Python 使用CSS Select 器和：：before抓取不会显示文本

发布于02月10日

我正在try 用scrapy从this个eBay列表中删除Monday, 9:30 AM个.

从一个破烂的贝壳scrapy shell https://www.ebay.com/itm/145599690533?:

>>> response.css('span.ux-timer__time-left::text')
[]

我还try 了从Firefox Dev复制css路径和XPath，但结果相同.

我怀疑这个问题与明文之前的::before有关，但我对此几乎一无所知.

我错过了什么？

推荐答案

事实上，你什么都不会错过.您的元素 Select 是正确的，但是scrapyshell 没有得到任何元素，因为该值是由JavaScript填充的，而scrapy无法模仿它.

只需举个例子，说明您的CSS Select 正在使用Selify和Beautiful Soup :

import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup

options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
#chrome to stay open
options.add_experimental_option("detach", True)

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()),options=options)

driver.get("https://www.ebay.com/itm/145599690533?")
time.sleep(5)

soup = BeautifulSoup(driver.page_source, 'lxml')
date = soup.select_one('span.ux-timer__time-left').get_text()
print(date)

Output: