某网站爬取时间过长 about crawlergo HOT 3 CLOSED

这种情况属于伪静态去重没有覆盖到， 使用--max-crawled-count参数设置每个域名的最大任务数量。

from crawlergo.

使用 --max-crawled-count参数 会导致有接口遗漏的情况嘛.
还有爬取时间过长不是crawlergo的原因,是我获取crawlergo生成的结果req_list, 然后对req_list做请求时, 发现请求量巨大, 我的解决方法方法是若为GET请求,则请求路径split("/"), 然后取最后一个字符串做统计, 达到30次就去重复, 然后针对单个子域名, req_list超过1万个,则只取前10000.
感觉自己的方法挺笨的, 我等下试试--max-crawled-count.

from crawlergo.

其实单个域名取前1000已经能满足绝大多数的情况了，很少有单个域名的接口数量那么庞大的，大多都是伪静态。你的方法没什么问题。

from crawlergo.