爬虫解析提取数据的四种方法

发布时间：2025-11-05 06:00:12 来源：码上建站 作者：IT科技类资讯

 一、爬虫分析网页

以经典的解析爬取豆瓣电影 Top250 信息为例。每条电影信息在 ol class 为 grid_view 下的数据 li 标签里，获取到所有 li 标签的爬虫内容，然后遍历，解析就可以从中提取出每一条电影的数据信息。

翻页查看url变化规律： 

start参数控制翻页，start = 25  * （page - 1）

本文分别利用正则表达式、解析BeautifulSoup、数据PyQuery、爬虫Xpath来解析提取数据，解析并将豆瓣电影 Top250 信息保存到本地。数据

二、爬虫正则表达式

正则表达式是解析一个特殊的字符序列，它能帮助你方便地检查一个字符串是数据否与某种模式匹配，常用于数据清洗，也可以顺便用于爬虫，从网页源代码文本中匹配出我们想要的数据。

re.findall

示例如下： 

代码如下： 

三、BeautifulSoup

find( )与 find_all( ) 是 BeautifulSoup 对象的两个方法，它们可以匹配 html 的标签和属性，把 BeautifulSoup 对象里符合要求的数据都提取出来：

代码如下： 

四、PyQuery

如下示例：在解析 HTML 文本的时候，首先需要将其初始化为一个 pyquery 对象。它的初始化方式有多种，比如直接传入字符串、站群服务器传入 URL、传入文件名等等。 

结果如下： 

首先引入 pyquery 这个对象，取别名为 pq，然后定义了一个长 HTML 字符串，并将其当作参数传递给 pyquery 类，这样就成功完成了初始化。接下来，将初始化的对象传入 CSS 选择器。在这个实例中，我们传入 li 节点，这样就可以选择所有的 li 节点。

代码如下： 

五、Xpath

Xpath是一个非常好用的解析方法，同时也作为爬虫学习的基础，在后面的 Selenium 以及 Scrapy 框架中也会涉及到这部分知识。

首先我们使用 lxml 的 etree 库，然后利用 etree.HTML 初始化，然后我们将其打印出来。其中，这里体现了 lxml 的一个非常实用的功能就是自动修正 html 代码，大家应该注意到了，最后一个 li 标签，其实我把尾标签删掉了，是不闭合的。不过，lxml 因为继承了 libxml2 的特性，具有自动修正 HTML 代码的功能，通过 xpath 表达式可以提取标签里的内容，如下所示： 

代码如下： 

六、总结

对于爬取网页结构简单的 Web 页面，有些代码是可以复用的，如下所示： 

伪装请求头，并可以随机切换，封装为函数，便于复用。 

请求网页，返回状态码为 200 说明能正常请求，并返回网页源代码文本。 

相关文章