前言：
通常编写爬虫代码，使用如下三行代码就可以实现一个网页的基本访问了。
from urllib import request
rsp = request.urlopen(url='某某网站')
print(rsp.read().decode('编码'))
或者
import requests
rsp = requests.get(url='某某网站')
print(rsp.text)
但是，有的网站你使用上述方式访问时，有可能出现一下情况：
上述讲到的三种情况，怎样解决呢？基本方式是添加一个请求头（请求头的字段通常只需添加user-agent字段即可，用来模拟浏览器访问；然而有的网站用Python爬虫来访问时，可能还要添加其他字段，最好是把这个网页所有请求头字段信息全部添加上；有的网页全部请求头字段信息全部添加上，然而也访问不到数据，这种情况小编也没有什么好的解决办法，不知道使用selenium模块直接操控浏览器是否可以，没有试过）。
1.如用urllib模块来访问bilibili网站时会报错，如下：
但是添加请求头之后，就可以正常访问了。
参考代码如下：
from urllib import request
url = 'https://www.bilibili.com/'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3877.400 QQBrowser/10.8.4507.400'
}
req = request.Request(url=url,headers=headers)
rsp = request.urlopen(req)
print(rsp.read().decode('utf-8'))
2.如用urllib模块来访问百度网站时会出现如下情况：
很显然，这个网页不可能就这么点代码标签，添加一个请求头之后，如下：
提到动态网页，读者首先可以去看看小编的这篇文章：Python爬虫：什么是静态网页(数据)，什么是动态网页(数据)、Python爬虫：爬取动态网页数据“你”需要知道的事，小编学习过后端知识，大体知道为什么用上述方式访问不到相应的数据。why（大概是这样吧！也有可能讲的不对，希望读者指正[如果有错误的话]，一般而言，我们用爬虫爬取得到的数据是当前网页已经完全加载的，然而动态网页使用了ajax技术，而执行者一段ajax代码好像是网页完全加载之后才执行的，因此你用爬虫爬取不到那部分数据。）
此时，你有两种解决方式：
如果读者使用第1种解决方式，有可能你访问的那个链接一些参数是加密的，这时你需要利用js断点（使用谷歌浏览器），找到那段加密参数加密之前的数据信息和相关的一些js加密函数，找到加密之前的数据信息的组合规则。关于js加密函数，如果简单的话，直接用Python模拟出加密效果即可；如果复杂的话，最好使用execjs或者其他Python模块下的一些方法去执行这些js加密函数。
上述关于使用第1种解决方式，小编过去做过的有Python爬虫爬取酷狗音乐、网易云音乐、斗鱼视频等。
有的读者也许会问，如果我ip封掉了，怎样爬取网页数据，其实，使用相关ip代理即可，IP代理文章链接为：Python爬虫:制作一个属于自己的IP代理模块2、Python爬虫:运用多线程、IP代理模块爬取百度图片上小姐姐的图片。另外，还有一些高大上的反爬措施，小编并不是很了解，就不在这一一赘述了，如果未来小编真的了解到了，到时候再在本文章后加上吧！
本文链接：http://task.lmcjl.com/news/6932.html