火车头采集器教程之如何通过fiddler获取cookie简单教程_爬虫软件技术与爬虫软件网页数据采集器门户

有的网站要登录才能采集 就是要采集器获取到登录后网站的cookie 才能采集 或者 是写发布模块要用到抓包 获取post的数据 有的时候采集内置的浏览器获取的信息可能不行

那就可以用抓包软件 获取这些信息 这里使用fiddler这个抓包工具说明下如何抓包

fiddler工具下载地址：https://pc.qq.com/detail/10/detail_3330.html

1，下载并安装好，启动fiddler工具 界面如下：

 

 

2，我们看到很多信息，要找到我们的网站很难 我们可以清空已经抓到的信息 办法是在右侧随便选中一个网址电脑键盘“CTER+X”是清空的快捷键如图：

 

 

清空后的结果：

 

 

3，然后就不要在用浏览器刷新别的网站了 ，现在只要刷新我们要获取cookie的网站 ，刷新后我们看下fiddler工具得到什么 如下图：哦 这里一定要选择“raw”这个选项，这个图忘记注明了 第4步的注明了具体看下面的图吧

 

 

4，就可以获取到cookie并把cookie user-engent 复制到采集器里面了