我正在尝试使用 bs4 从谷歌搜索中获取链接,但我的代码返回一个空集。
import requests
from bs4 import BeautifulSoup
website = "https://www.google.co.uk/?gws_rd=ssl#q=science"
response=requests.get(website)
soup = BeautifulSoup(response.content)
link_info = soup.find_all("h3", {class": "r"})
print link_info
<h3 class="r">
是所有结果的链接不仅仅是第一个结果的链接。
作为回应,我得到了[]
,这是我尝试请求的任何其他课程,包括<div class="rc">
。
这是我所追求的 prt sc,
【问题讨论】:
查询是 POST 请求,而不是 GET。您应该使用 POST 请求并将 q 放入 post 参数中,如下所述。为了更好地理解它,请在浏览器中打开检查元素,打开网络选项卡,然后发送请求。您将看到在那里完成的 URL 命中列表。单击其中一个,您将看到有关您的请求的更多信息。将有参数、标题、cookie 等选项。 Params 是发送到服务器的 post 参数。如果是 GET 请求,一般不会有任何参数
标签:
python-2.7
beautifulsoup
python-requests
bs4
本文链接:http://task.lmcjl.com/news/12910.html