火车采集器V9.7之采集网址重复中检测网址重复的问题_爬虫软件技术与爬虫软件网页数据采集器门户

当提示如上图的时候，您可以通过清空网址和清空内容来重新运行采集。

另外，如果您不想排除网址重复 可以不勾选

这样，在第一次运行结束后，再进行第二次运行 ，就不会对采集过的网址 进行排除重复了。也就是说这个设置是针对多次运行规则之间排除重复起作用的。

另外需要注意的是，如果您是在单次运行中 有网址重复的，这种情况采集器是自动排除重复的，您是否勾选 检查重复网址，对这个是不起作用的。