python抓取网页数据的常见方法

本文介绍python抓取网页数据的常见方法。

八爪鱼·云采集网络爬虫软件

http://

python抓取网页数据的常见方法

很多时候爬虫去抓取数据，其实更多是模拟的人操作，只不过面向网页，我们看到的是html在CSS样式辅助下呈现的样子，但爬虫面对的是带着各类标签的html。下面介绍python抓取网页数据的常见方法。

一、Urllib抓取网页数据

Urllib是python内置的HTTP请求库

包括以下模块：urllib.request 请求模块、urllib.error 异常处理模块、urllib.parse url解析模块、urllib.robotparser robots.txt解析模块urlopen

关于urllib.request.urlopen参数的介绍：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

url参数的使用

先写一个简单的例子：

本文介绍python抓取网页数据的常见方法。

八爪鱼·云采集网络爬虫软件

http://

import urllib.request

response = urllib.request.urlopen('

print(response.read().decode('utf-8'))

urlopen一般常用的有三个参数，它的参数如下：

urllib.requeset.urlopen(url,data,timeout)

response.read()可以获取到网页的内容，如果没有read()，将返回如下内容

data参数的使用

上述的例子是通过请求百度的get请求获得百度，下面使用urllib的post请求

这里通过http:///post网站演示（该网站可以作为练习使用urllib的一个站点使用，可以

模拟各种请求操作）。

import urllib.parse

import urllib.request

data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')

本文介绍python抓取网页数据的常见方法。

八爪鱼·云采集网络爬虫软件

http://

print(data)

response = urllib.request.urlopen('http:///post', data=data) print(response.read())

这里就用到urllib.parse，通过bytes(urllib.parse.urlencode())可以将post数据进行转换放到urllib.request.urlopen的data参数中。这样就完成了一次post请求。

所以如果我们添加data参数的时候就是以post请求方式请求，如果没有data参数就是get请求方式

timeout参数的使用

在某些网络情况不好或者服务器端异常的情况会出现请求慢的情况，或者请求异常，所以这个时候我们需要给

请求设置一个超时时间，而不是让程序一直在等待结果。例子如下：

import urllib.request

response = urllib.request.urlopen('http:///get', timeout=1) print(response.read())

本文介绍python抓取网页数据的常见方法。

八爪鱼·云采集网络爬虫软件

http://

运行之后我们看到可以正常的返回结果，接着我们将timeout时间设置为0.1 运行程序会提示如下错误

所以我们需要对异常进行处理，代码更改为

import socket

import urllib.request

import urllib.error

try:

本文介绍python抓取网页数据的常见方法。

八爪鱼·云采集网络爬虫软件

http://

response = urllib.request.urlopen('http:///get', timeout=0. 1)

except urllib.error.URLError as e:

if isinstance(e.reason, socket.timeout):

print('TIME OUT')

响应

响应类型、状态码、响应头

import urllib.request

response = urllib.request.urlopen('

print(type(response))

可以看到结果为：<class 'http.client.httpresponse'="">

我们可以通过response.status、response.getheaders().response.getheader("server")，获取状态码以及头部信息

response.read()获得的是响应体的内容

本文介绍python抓取网页数据的常见方法。

八爪鱼·云采集网络爬虫软件

http://

当然上述的urlopen只能用于一些简单的请求，因为它无法添加一些header信息，如果需要添加头部信息去访问目标站的，这个时候就要用到urllib.request。

二、requests抓取网页数据

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed 开源协议的HTTP库

Requests它会比urllib更加方便，可以节约我们大量的工作。（用了requests 之后，你基本都不愿意用urllib了）一句话，requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。

默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装

requests功能详解

总体功能的一个演示

import requests

response = requests.get("https://http://")

本文介绍python抓取网页数据的常见方法。

八爪鱼·云采集网络爬虫软件

http://

print(type(response))

print(response.status_code)

print(type(response.text))

print(response.text)

print(response.cookies)

print(response.content)

print(response.content.decode("utf-8"))

我们可以看出response使用起来确实非常方便，这里有个问题需要注意一下：很多情况下的网站如果直接response.text会出现乱码的问题，所以这个使用response.content

这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题.

请求发出后，Requests 会基于HTTP 头部对响应的编码作出有根据的推测。当你访问response.text 之时，Requests 会使用其推测的文本编码。你可以找出Requests 使用了什么编码，并且能够使用r.encoding 属性来改变它.如：

本文介绍py …… 此处隐藏：5067字，全部文档内容请下载后查看。喜欢就下载吧 ……