我有一个 case ,我应该访问多个链接,并从中提取信息.问题是,当我使用"coly.viite(URL)"时,我的访问量就会增加. 示例:
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
CATETORIES := []string{
"cate1",
"cate2",
"cate3",
}
c := colly.NewCollector()
for _, cate := range CATETORIES {
c.OnRequest(func(r *colly.Request) {
fmt.Println("Visiting categories", r.URL)
})
c.Visit(cate)
}
}
这将打印以下内容:
Visiting categories http://cate1
Visiting categories http://cate2
Visiting categories http://cate2
Visiting categories http://cate3
Visiting categories http://cate3
Visiting categories http://cate3
我try 在每次迭代后初始化Colly,这很好用-然后顺序是:访问类别http://cate1,访问类别http://cate2,访问类别http://cate3 但这样做,我会失go 我的登录会话. 有什么建议吗?