如何忽略打印达到最大深度限制 go colly

发布于05月30日

我有一个go 冷爬虫，我正试图抓取许多网站.在我的终端上，它打印了很多:

2023/05/30 02:22:56 Max depth limit reached
2023/05/30 02:22:56 Max depth limit reached
2023/05/30 02:22:56 Max depth limit reached
2023/05/30 02:22:56 Max depth limit reached
2023/05/30 02:22:56 Max depth limit reached
2023/05/30 02:22:56 Max depth limit reached
2023/05/30 02:22:56 Max depth limit reached

这让我很难阅读我放置的一些 fingerprint .我想知道是否有任何方法可以忽略临时打印这一点.谢谢

推荐答案

Max depth limit reached等于colly.ErrMaxDepth.您的项目中一定有这样的代码:

c := colly.NewCollector(colly.MaxDepth(5))

// ...

if err := c.Visit("http://go-colly.org/"); err != nil {
    log.Println(err)
}

如果您不想记录此错误，请添加一个简单的判断以将其排除:

c := colly.NewCollector(colly.MaxDepth(5))

// ...

if err := c.Visit("http://go-colly.org/"); err != nil {
    // log the error only when the error is not ErrMaxDepth.
    if err != colly.ErrMaxDepth {
        log.Println(err)
    }
}

另一种 Select 是将输出重定向到文件: