为了避免反爬机制，我们需要采取一些措施来模拟真实用户访问行为，尽可能地减少爬虫被识别的概率。以下是一些具体的措施：
大部分网站都会通过检查User-Agent来判断请求是否来自爬虫，因此我们需要将爬虫的User-Agent修改为浏览器的User-Agent，使得服务器难以判断该请求是否来自爬虫。可以从多个网站上获得一些常见的User-Agent并在程序中随机选取一个使用。
使用代理IP可以将请求的来源隐藏掉，使得服务器无法追踪到该请求真正的来源IP。可以使用一些付费的代理IP服务商提供的代理IP，也可以自己搭建代理池来获取代理IP。
真实用户的访问时间是不规律的，而爬虫程序的访问时间通常比较规律，因此为了模拟真实用户的访问习惯，可以在程序中增加一定的随机时间等待，使得请求出现随机性，减少被识别为爬虫的可能。
robots.txt文件是一个规定爬虫程序所能访问的页面的协议，网站管理员可以通过它来限制爬虫的行动。因此，我们在编写爬虫程序的时候可以先读取robots.txt文件，遵守其中的规则，避免访问到不应该被访问的页面。
示例1：修改User-Agent
import requests
import random
url = 'http://www.example.com'
User_Agent = [
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
]
headers = {
'User-Agent': random.choice(User_Agent)
}
response = requests.get(url, headers=headers)
以上代码通过随机选取一个常见的浏览器User-Agent来模拟真实用户的访问行为。
示例2：使用代理IP
import requests
url = 'http://www.example.com'
proxy_ip = '127.0.0.1:8888'
proxies = {
'http': 'http://' + proxy_ip,
'https': 'https://' + proxy_ip
}
response = requests.get(url, proxies=proxies)
以上代码使用了本地代理IP(127.0.0.1:8888)进行访问，使得服务器无法追踪到请求的真实来源。使用代理IP需要注意代理IP的速度、是否可用等问题。
本文链接：http://task.lmcjl.com/news/6863.html