火车头采集

火车采集器V7.6使用随机二级代理服务器设置方法_爬虫软件技术与爬虫软件网页数据采集器门户

火车采集器V7.6使用随机二级代理服务器设置方法_爬虫软件技术与爬虫软件网页数据采集器门户

在我们采集过程中,如果遇到对方网站限制了你的ip访问,就可以通过二级代理服务器的功能,来实现更换ip。

1, 获取代理ip

首先我们需要获取一些代理ip(官方没有代理ip,这个ip请自行解决),然后按照下图格式:ip地址:端口号,一行一个写到txt文件里面:

火车采集器V7.6使用随机二级代理服务器设置方法

上图可以看到格式是“IP:端口”。IP准备好后面会使用到。

2, 代理ip导入采集器

按照下图

火车采集器V7.6使用随机二级代理服务器设置方法

然后把第一步准备好的代理IP,导入进去:

火车采集器V7.6使用随机二级代理服务器设置方法

点击“浏览”,选择准备好的代理ip文本,如上图。这样就把文本里面的代理ip导入到采集器里面了,看下图:

火车采集器V7.6使用随机二级代理服务器设置方法

点击右侧“批量验证”,验证结果如下:

火车采集器V7.6使用随机二级代理服务器设置方法

只有状态是“通过”的才是有效,状态是“未通过”是不能用的给删掉。

3, 从网页中导入代理ip

比如http://www.itmop.com/proxy/post/1448.html 我们要把这样页面的代理ip给导进采集器里面,步骤如下图:

clip_image014

继续按照下图做:

火车采集器V7.6使用随机二级代理服务器设置方法

上图中有个匹配正则表达式,如果你和我一样是正则门外汉的话,就不要深究这是什么东西了,不要动它就好。然后点击下面的“确定”按钮。

火车采集器V7.6使用随机二级代理服务器设置方法

然后会有提示导入多少条的提示,点击确定,就可以看到结果了:

火车采集器V7.6使用随机二级代理服务器设置方法

同样需要验证。

4,选项设置

选项设置这里也是必须设置好的:

火车采集器V7.6使用随机二级代理服务器设置方法

端口设置:这个数字可以是修改,但是要记住,等会要使用的。

访问地址:上面我们说了要验证代理ip,是怎么验证的呢?

就是通过访问这个“访问地址”来验证的,同样可以修改,可以修改成你要访问的地址,这样对于确定代理ip是否有用更准确。

当访问结果包含一下字符时,验证通过:能正常访问的情况下,返回的源代码的部分。用来做为验证通过的依据。

以上设置好了,点击右下角的“保存&重新启动”,就可以了。

5,规则使用代理

设置如下图:

火车采集器V7.6使用随机二级代理服务器设置方法

在规则的第四步“文件保存及部分高级设置”,设置Http请求设置

1. 服务器:填写127.0.0.1,一定要这样写。

2. 端口:上面我们说的端口这里就用到了,这2个部分保持一致。

这样就全部设置好了。

火车头采集

更多有关于 火车头采集

如何利用火车采集软件采集58招聘信息_爬虫软件技术与爬虫软件网页数据采集器门户

什么是火车采集器 如何使用火车采集器软件_爬虫软件技术与爬虫软件网页数据采集器门户

如何使用火车采集器制作zencart数据包来进行批量导入商品_爬虫软件技术与爬虫软件网页数据采集器门户

火车头采集器的DedeCMS5.7文章免登陆发布接口_爬虫软件技术与爬虫软件网页数据采集器门户

火车头采集器如何把浏览器里面的cookie到火车头采集器里面_爬虫软件技术与爬虫软件网页数据采集器门户

火车头采集器教程之如何通过fiddler获取cookie简单教程_爬虫软件技术与爬虫软件网页数据采集器门户

火车头采集器FTP设置 图片下载上传的路径的设置_爬虫软件技术与爬虫软件网页数据采集器门户

火车头采集器文件图片下载路径设置简易说明_爬虫软件技术与爬虫软件网页数据采集器门户

火车采集器采集淘宝天猫商品采集多页获取宝贝详细教程_爬虫软件技术与爬虫软件网页数据采集器门户

本人擅长Ai、Fw、Fl、Br、Ae、Pr、Id、Ps等软件的安装与卸载,精通CSS、JavaScript、PHP、ASP、C、C++、C#、Java、Ruby、Perl、Lisp、Python、Objective-C、ActionScript、Pascal等单词的拼写,熟悉Windows、Linux、OS X、Android、iOS、WP8等系统的开关机。

通过下面的方式来联系我们:

电邮:138762189@qq.com

联系QQ:点击这里给我发消息

官方站:www.tadke.com

※ ※ 联系请加我的企鹅号 ※※

※ ※技术支持请微信联系站长 ※※

Copyright © 2016 Tadke.com. Powered by Wordpress.