Javascript 空的结果抓取网站与Fetch和Cheerio

base + url总是使用"?page=1".try 在:`${base}?page=${i}`中插入索引变量.

.attr("TEXT")看起来不对我假设您希望在每个页面上所有20个wine 店名称，所以使用[...$("...")].map(e => $(e).text())将每个名称收集为单独的数组元素.

至于 Select 器，long, browser-generated ultra-rigid selectors are prone to error.如果这个链条中的任何假设改变，整个事情就会破裂.使用".HotelCard_title__cpfvk"更安全，这是识别你想要的元素所需要的全部，没有更多或更少.

!res.ok不足以确定分页何时结束.结果列表为空时中断.

把它们放在一起:

const cheerio = require("cheerio"); // ^1.0.0-rc.12
const {writeFile} = require("node:fs/promises");

const url = "<Your URL>";

(async () => {
  const data = [];

  for (let i = 1; i <= 1000; i++) {
    const res = await fetch(`${url}?page=${i}`);

    if (!res.ok) {
      break;
    }
    
    const $ = cheerio.load(await res.text());
    const chunk = [...$(".HotelCard_title__cpfvk")]
      .map(e => $(e).text());

    if (!chunk.length) {
      break;
    }

    data.push(...chunk);
  }

  console.log(data);
  await writeFile("numbers.txt", JSON.stringify(data));
})();

这需要一段时间才能运行，因此您可以并行化请求(冒着激怒服务器的风险)，或者简单地添加一些日志(log)来确保每个块都正常通过.

要获取所需的其他字段，可以按如下方式修改脚本:

const chunk = [...$('[data-testid="serp-hotelcard"]')]
  .map(e => ({
    name: $(e).find('[class*="HotelCard_title"]').text(),
    price: $(e).find('[class*="HotelCard_ratePriceValue"]').text(),
    rating: $(e).find('[class*="TripAdvisor_tripAdvisor_value"]')
      .first()
      .attr("class")
      ?.split(/\s+/)
      .find(e => e.includes("TripAdvisor_tripAdvisor_value"))
      .match(/_value_(\d+)_/)[1]
      .split("")
      .join("."),
  }));

注意，我已经放松了一些 Select 器来使用子字符串，避免了生成的子字符串"cpfvk"变成".HotelCard_title__cpfvk"的情况.

_{披露:我是链接博客文章的作者.}