关键词

Python 2.7 BeautifulSoup4 返回一个空集

【问题标题】:Python 2.7 BeautifulSoup4 is returning an empty setPython 2.7 BeautifulSoup4 返回一个空集
【发布时间】:2023-04-01 11:16:01
【问题描述】:

我正在尝试使用 bs4 从谷歌搜索中获取链接,但我的代码返回一个空集。

import requests
from bs4 import BeautifulSoup

website = "https://www.google.co.uk/?gws_rd=ssl#q=science"

response=requests.get(website)

soup = BeautifulSoup(response.content)

link_info = soup.find_all("h3", {class": "r"})
print link_info

<h3 class="r"> 是所有结果的链接不仅仅是第一个结果的链接。

作为回应,我得到了[],这是我尝试请求的任何其他课程,包括<div class="rc">

这是我所追求的 prt sc,

【问题讨论】:

  • Scrapy: Google Crawl doesn't work的可能重复

  • 查询是 POST 请求,而不是 GET。您应该使用 POST 请求并将 q 放入 post 参数中,如下所述。为了更好地理解它,请在浏览器中打开检查元素,打开网络选项卡,然后发送请求。您将看到在那里完成的 URL 命中列表。单击其中一个,您将看到有关您的请求的更多信息。将有参数、标题、cookie 等选项。 Params 是发送到服务器的 post 参数。如果是 GET 请求,一般不会有任何参数

标签:
python-2.7
beautifulsoup
python-requests
bs4

本文链接:http://task.lmcjl.com/news/12910.html

展开阅读全文