火车采集器如何使用fiddler获取post分页_爬虫软件技术与爬虫软件网页数据采集器门户

大家在采集列表分页的时候会遇到,点击下面的分页页面内容是改变了 ,但是浏览器地址却没有改变 ,

是吧 好奇怪是吧,是的,好奇怪, 这个种情况分页是post的 方式,今天我们来说下这个种情况 该如何获取分页

火车采集器如何使用fiddler获取post分页用这个网址来做例子http://www.yidianda.com/category/two/1-7.html

首先你要选项下用fiddler抓包 教程这里 好好看看 一定要会用 要不然 下面就没有办法做了

https://www.youxiuziliao.com/huochetoucaijiqijiaocheng/20.html

这个是简单的教程 只要帖子里说的会用 就可以了 如果你要学习具体的 可以在论坛搜索这方面的教程 这里自行解决

这里假设你已经掌握了火车采集器fiddler的使用了 我们开启fiddler然后点击下面的分页看下fiddler都抓到了什么

火车采集器如何使用fiddler获取post分页教程图片1

我们点击第三页 和第5页 抓包 看看分别获取什么

火车采集器如何使用fiddler获取post分页教程图片2

火车采集器如何使用fiddler获取post分页教程图片3

说明如上图 这样比较不好比较我们把结果保存的文本中来比较就很方便了 用按钮“View in Notepad” 把结果保存到文本中来比较

火车采集器如何使用fiddler获取post分页教程图片4

按照 上图的说明我们找到ec_p的值就是分页,这里大家明白了吧

ec_crd=32&ec_p=5&id=1&pid=7&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=

这些是提交的值 那采集器里如何设置呢 如下图

火车采集器如何使用fiddler获取post分页教程图片5

我们看到除了ec_p还有比的参数如ec_crd这些 那这些是什么呢

我们去页面源代码里找下我们以这个参数为例ec_crd 别的一样处理

这个源代码里的情况 我们最终要获取他的值也就是"32" 在采集如何获取呢

火车采集器如何使用fiddler获取post分页教程图片6

火车采集器里获取 在采集器里像这样的参数叫做post随机值

火车采集器如何使用fiddler获取post分页教程图片7

就是这样了我把规则也上传你们如果不清楚可以下载规则对照操作

本人擅长Ai、Fw、Fl、Br、Ae、Pr、Id、Ps等软件的安装与卸载,精通CSS、JavaScript、PHP、ASP、C、C++、C#、Java、Ruby、Perl、Lisp、Python、Objective-C、ActionScript、Pascal等单词的拼写,熟悉Windows、Linux、OS X、Android、iOS、WP8等系统的开关机。

通过下面的方式来联系我们:

电邮:138762189@qq.com

联系QQ:点击这里给我发消息

官方站:www.tadke.com

※ ※ 联系请加我的企鹅号 ※※

※ ※技术支持请微信联系站长 ※※

Copyright © 2023 Tadke.com. 琼ICP备20000547号