我试图使用Python抓取一个使用Angular构建的网站,但我遇到了检索动态生成的内容的问题.当我发出直接HTTP请求或查看页面源代码时,我只得到初始HTML,其中包含

    <app-root>
     <!-- empty app root -->
    </app-root> 

占位符.但是,当我在浏览器中判断呈现的页面时,我可以看到完整的内容. 以下是当我从浏览器中呈现的页面中 Select 判断页面时,判断页面返回的内容:

    <app-root _nghost-ynj-c115 ng-version="14.3.0">
      <!-- Rendered HTML content from browser inspection -->
      ...


    </app-root>

我试过使用Selenium来等待内容呈现,但我不确定我是否使用了正确的 Select 器,或者是否有更好的方法.下面是我一直在使用的代码:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from webdriver_manager.chrome import ChromeDriverManager

service = Service(ChromeDriverManager().install())
options = webdriver.ChromeOptions()
options.headless = True
driver = webdriver.Chrome(service=service, options=options)

try:
    driver.get("https://www.fedlex.admin.ch/de/cc/international-law/0.1")
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "app-root ng-version"))
    )
    page_source = driver.page_source
finally:
    driver.quit()

print(page_source)

这段代码似乎没有像预期的那样检索动态内容.如何以编程方式判断页面并检索Angular渲染的完整内容?是否有一种特定的方法可以使用Selenium与Angular应用程序交互,或者是否有其他的工具或方法我应该考虑执行此任务?

推荐答案

您的问题是"app—root"在开始时出现,但它是空的

更改这一行,此元素是显示数据的地方

EC.presence_of_element_located((By.XPATH, "//div[@id='content']"))

Python相关问答推荐

有什么方法可以避免使用许多if陈述

如果索引不存在,pandas系列将通过索引获取值,并填充值

如何在图片中找到这个化学测试条?OpenCV精明边缘检测不会绘制边界框

在Python Attrs包中,如何在field_Transformer函数中添加字段?

如何找到满足各组口罩条件的第一行?

Python中绕y轴曲线的旋转

梯度下降:简化要素集的运行时间比原始要素集长

组/群集按字符串中的子字符串或子字符串中的字符串轮询数据框

NumPy中条件嵌套for循环的向量化

使用NeuralProphet绘制置信区间时出错

Python导入某些库时非法指令(核心转储)(beautifulsoup4."" yfinance)

ModuleNotFoundError:没有模块名为x时try 运行我的代码''

从源代码显示不同的输出(机器学习)(Python)

从嵌套极轴列的列表中删除元素

如何将相同组的值添加到嵌套的Pandas Maprame的倒数第二个索引级别

没有内置pip模块的Python3.11--S在做什么?

你能把函数的返回类型用作其他地方的类型吗?'

为什么我的scipy.optimize.minimize(method=";newton-cg";)函数停留在局部最大值上?

正在try 让Python读取特定的CSV文件

如何在Polars中将列表中的新列添加到现有的数据帧中?