| 方法 | 说明 |
|---|---|
| requests.request() | 构造一个请求对象，该方法是实现以下各个方法的基础。 |
| requests.get() | 获取HTML网页的主要方法，对应于 HTTP 的 GET 方法。 |
| requests.head() | 获取HTML网页头信息的方法，对应于 HTTP 的 HEAD 方法。 |
| requests.post() | 获取 HTML 网页提交 POST请求方法，对应于 HTTP 的 POST。 |
| requests.put() | 获取HTML网页提交PUT请求方法，对应于 HTTP 的 PUT。 |
| requests.patch() | 获取HTML网页提交局部修改请求，对应于 HTTP 的 PATCH。 |
| requests.delete() | 获取HTML页面提交删除请求，对应于 HTTP 的 DELETE。 |
headers和params，前者用来构造请求头，后者用来构建查询字符串。这些参数对于编写爬虫程序有着至关重要的作用。本节对其他常用参数做重点介绍。
verify参数的作用是检查 SSL 证书认证，参数的默认值为 True，如果设置为 False 则表示不检查 SSL证书，此参数适用于没有经过 CA 机构认证的 HTTPS 类型的网站。其使用格式如下：
response = requests.get( url=url, params=params, headers=headers, verify=False )
proxies，该参数的语法结构如下：
proxies = {
'协议类型(http/https)':'协议类型://IP地址:端口号'
}
下面构建了两个协议版本的代理 IP，示例如下：
proxies = {
'http':'http://IP:端口号',
'https':'https://IP:端口号'
}
proxies参数，示例如下：
import requests
url = 'http://httpbin.org/get'
headers = {
'User-Agent':'Mozilla/5.0'
}
# 网上找的免费代理ip
proxies = {
'http':'http://191.231.62.142:8000',
'https':'https://191.231.62.142:8000'
}
html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
print(html)
输出结果：
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Cache-Control": "max-age=259200",
"Host": "httpbin.org",
"User-Agent": "Mozilla/5.0",
"X-Amzn-Trace-Id": "Root=1-605073b0-4f54db1b2d2cfc0c074a1193"
},
# 注意此处显示两个IP，第一个是你自己的真实IP，另外一个是对外展示的IP
"origin": "121.17.25.194, 191.235.72.144",
"url": "http://httpbin.org/get"
}
由于上述示例使用的是免费代理 IP，因此其质量、稳定性较差，可能会随时失效。如果想构建一个稳定的代理 IP 池，就需要花费成本。
auth参数，该参数的支持用户认证功能，也就是适合那些需要验证用户名、密码的网站。auth 的参数形式是一个元组，其格式如下：
auth = ('username','password')
其使用示例如下所示：
class xxxSpider(object):
def __init__(self):
self.url = 'http://code.tarena.com.cn/AIDCode/aid1906/13Redis/'
# 网站使用的用户名，密码
self.auth = ('c语言中文网','task.lmcjl.com')
def get_headers(self):
headers = {'User-Agent':"Mozilla/5.0"}
return headers
def get_html(self,url):
res = requests.get(url,headers=self.get_headers(),auth=self.auth)
html = res.content
return html
...
如果想更多地了解关于 Requests 库的参数，可以参考官方文档：https://requests.readthedocs.io/zh_CN/latest/
本文链接：http://task.lmcjl.com/news/18129.html