爬虫python入门

一、爬虫概述

网络爬虫（web crawler）又称网络蜘蛛（web spider），是一种自动获取网页内容的程序。爬虫程序根据一些指定的规则，按照链接逐层遍历整个互联网，把抓取到的网页或数据保存在本地或者数据库中。

在互联网时代，几乎所有的信息都可以在网上找到。但是，数据分散，难以获取，并且数据量庞大。使用爬虫可以方便地从互联网上获取数据，可以运用于互联网搜索、大数据分析、舆情监控等各种领域。爬虫技术已经成为互联网技术中的重要分支之一。

二、爬虫起步

如果想要使用Python编写爬虫，首先需要学习Python基础。Python是一门易学易用的语言，入门门槛较低，学习曲线平缓。学习Python的过程中，需要掌握Python的基础语法、数据类型、常用模块的使用等方面的知识。

Python 有很多用于网络编程的库，其中著名的三个是：urllib，httplib 以及Twisted。urllib 是 Python 自带的 HTTP 请求库，通过它，我们可以实现最基础的 GET 和 POST 请求，从而获取网站的数据，和进行简易版的爬虫开发。httplib 则是 Python 自带的 HTTP 客户端库，由于支持 HTTP/1.1，我们可以在爬虫中手动控制数据流传输，它的运用可以让并发（concurrency）性得到优化。Twisted 是目前 Python 中应用最为广泛的网络编程库，其可靠性和高效性已经得到了大家的一致认可，Twisted 可以让网络通信和异步处理变得轻松简单。这里，我们介绍 Python 的一个常用爬虫库：requests。

三、请求方式

requests 是 Python 中最受欢迎的请求库，它提供了很多的方法和参数，可以使请求更加简单和方便。requests 中最常用的请求方式有以下三个：

1、GET 请求

GET 请求是最常见的一种请求方式，当我们在浏览器 URL 地址栏输入网址时，实际上发起的就是 GET 请求，请求网址的服务器将返回所请求的页面信息。

使用 requests 中的 get（）方法可以轻松地实现 GET 请求。

import requests

response = requests.get('https://www.baidu.com')

print(response.text) # 打印网页源代码

2、POST 请求

POST 请求一般用于提交表单，或者上传文件等操作。POST 请求一般通过表单提交，将表单字段封装成一定的格式加入请求正文，提交到服务器。

使用 requests 中的 post（）方法可以轻松地实现 POST 请求。

import requests

data = {'username':'test','password':'testpassword'}

response = requests.post('http://www.example.com/login', data=data)

print(response.text) # 打印返回信息

3、HTTP 请求（其他请求）

requests 支持其他的 HTTP 请求方式，例如：

HEAD, DELETE, PUT, PATCH, OPTIONS

四、网页解析

获取到网页后，需要解析网页，从中提取需要的数据。理论上，可以直接使用 requests 库中 text 方法获取全文网页源代码，然后通过正则表达式或者 Beautiful Soup 库等进行信息提取。但是，为了降低程序的运行复杂度，并提高程序的效率，一些优秀的 HTML 解析库是非常有用的。下面，我们介绍两个常用的 HTML 解析库：BeautifulSoup 和 PyQuery。

1、BeautifulSoup

BeautifulSoup 是 Python 中最常用的 HTML 解析库之一。它是一个 PyPI（Python Package Index）上的第三方库，可以处理不完整或者有错误的 HTML 代码，非常灵活。它的主要功能包括查找标签、CSS选择器、获取属性值等。使用BeautifulSoup获取数据的代码如下：

import requests

from bs4 import BeautifulSoup

response = requests.get('http://www.example.com')

html = response.text

soup = BeautifulSoup(html, 'html.parser')

print(soup.prettify()) # 格式化输出网页内容

2、PyQuery

PyQuery 类似于 jQuery，是一个强大的 Python 实体库，它使用 jQuery 的语法来解析 HTML 文档。PyQuery 的主要功能包括查找、过滤、搜索、修改。

使用 PyQuery 可以通过以下代码获取网页内容：

import requests

from pyquery import PyQuery as pq

response = requests.get('http://www.example.com')

html = response.text

doc = pq(html)

print(doc('title'))

五、数据存储

当我们从互联网上爬取数据之后，需要将数据存储到本地或者数据库中，便于后续的分析或使用。

1、存储到本地文件

使用 Python 内置的文件操作函数，可以将获取到的数据存储到本地文件中。保存文件的过程可以通过以下代码实现。

import requests

response = requests.get('http://www.example.com')

with open('example.html', 'wb') as f:

f.write(response.content)

这里，将获取到的网页源代码存储为一个 html 文件。

2、存储到数据库

对于爬虫获取到的数据，如果需要在后续的分析或使用中大规模地读取和操作，可以考虑将数据存储到数据库中。目前，常用的数据库包括MySQL、MongoDB、Redis等。

以MySQL为例，可以使用Python中的pymysql库进行连接，然后将数据插入到MySQL数据库中。

import pymysql

import requests

conn = pymysql.connect(

host='localhost',

user='root',

password='1234',

database='example',

charset='utf8mb4'

)

cursor = conn.cursor()

response = requests.get('http://www.example.com')

html = response.text

sql = "INSERT INTO example (content) VALUES ('%s')" % (html)

cursor.execute(sql)

conn.commit()

conn.close()

这里，将获取到的网页源代码存储到了一个名为 example 的表中。

六、反爬虫技巧

由于爬虫容易引起对方网站服务器的压力过大，可能会占用对方服务器的带宽和计算资源，所以很多网站都会设置反爬虫机制，限制对爬虫的访问。这就需要我们熟悉和掌握一些反爬虫技巧，以便我们绕越这些限制。

1、Headers 偽裝

许多网站会检查用户代理和 Referer 等信息来限制爬虫的访问。在我们发送HTTP请求时通过修改Headers，也可以完成Headers 偽裝。

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"

}

response = requests.get(url, headers=headers)

这里，我们使用相对常见的浏览器 User-Agent 信息，以让目标网站误以为这是一个合法的浏览器发出的请求。如果要避免使用网络浏览器的 User-Agent，可以采用一些通用的偽裝头，例如：Mozilla/5.0, Mozilla/4.0, Opera/9.80 等。

2、限制访问速度

在发起爬虫请求时，设置一个间隔时间，防止过于频繁地请求目标网站，减轻对方服务器压力。

import time

url = 'http://www.example.com'

sleep_time = 5

while True:

response = requests.get(url)

if response.status_code == 200:

print(response.text)

time.sleep(sleep_time)

这里，我们通过设置间隔时间，并在 while 循环中添加 sleep 函数，实现了限制访问速度的效果。

3、多账号轮换

如果一个账号爬虫使用过于频繁，被对方封锁，则可以考虑使用多个账号轮换的方式，防止爬虫被封掉。

4、IP 偽裝

如果你的请求是多次重复发出的，或者源地址来自同一区域，则会被视为一些恶意攻击。而使用代理服务器可以让请求的源地址更具随机性和不可追溯性。当然，代理服务器可以免费或付费租用，但使用免费代理时，要注意网速和代理的安全性。

proxies = {

"http": "http://127.0.0.1:1080",

"https": "https://127.0.0.1:1080"

}

response = requests.get(url, proxies=proxies)

这里，我们指定了本地代理服务器的地址和端口，使得请求的源地址具有随机性。

七、总结

Python 爬虫是一种方便、高效、自动化获取网络信息的方法，拓展了人们获取信息的方式。它是 Python 网络编程中的重要应用之一。爬虫开发需要具备熟练掌握 Python 开发能力、熟悉各类爬虫库和数据解析库、理解反爬虫技巧等知识。

总的来说，学习爬虫技术不是一件容易的事情。要掌握好这些技术，需要更多的实战和练习，不断扩充自己的知识储备。