我用BeautifulSoup
从Metacritic网站上获取游戏数据.我正在try 获取每个 comments 者的分数和文本.我以为一切都很顺利,但当我收到回复时,我看到的是这样的情况:
class="c-siteReviewPlaceholder_header"
该网站在其类中没有占位符一词.我知道我需要针对特定的类:
class_="c-pageProductReviews_row"
我的代码如下所示:
import requests
from bs4 import BeautifulSoup
URL = 'https://www.metacritic.com/game/alien-isolation/critic-reviews/?
platform=playstation-4'
headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '\
'AppleWebKit/537.36 (KHTML, like Gecko) '\
'Chrome/75.0.3770.80 Safari/537.36'}
critic_review_page = requests.get(URL, headers=headers)
soup = BeautifulSoup(critic_review_page.content, "html.parser")
critic_review_rows = soup.find_all("div", class_="c-pageProductReviews_row")
print(critic_review_rows)
当我打印critic_review_rows
的时候,我发现很多类都有单词占位符.我不知道Metacritic是否不会让我刮掉这个网站,也不知道发生了什么.当我抓取数据时,几乎就像数据没有加载数据一样.