火车浏览器百度地图商家信息采集详细讲解_爬虫软件技术与爬虫软件网页数据采集器门户

1、打开百度地图,以推拿为关键词采集一个城市的所有推拿店的信息,包括名称、地址、电话、坐标。

打开百度地图截图

2、进入火车浏览器的操作界面,开始脚本的编写。

火车浏览器的操作界面截图

3、新建百度推拿脚本并逐一添加步骤。

①首先是打开百度地图网页

网址输入:http://api.map.baidu.com/lbsapi/getpoint/index.html

打开百度地图网页截图

②然后输入城市

然后输入城市截图

(1)这里注意,复杂的提取可能会用到xpath,(对xpath感兴趣的话可以看看这个深入学习一下,http://www.w3school.com.cn/ )对于一些简单的直接用浏览器的点选按钮在页面上点击选取即可拾取对应的xpath了。

火车浏览器百度地图商家信息采集详细讲解教程截图1

(2)另外需要注意对变量的管理。我们找到输入框,接下来就是添加变量,写入城市、关键词。

火车浏览器百度地图商家信息采集详细讲解教程截图2

③设置变量的值——北京(可单步测试运行,测试能否输入城市名称)

火车浏览器百度地图商家信息采集详细讲解教程截图3

④点击“百度一下”,及右键点击暂停等待——元素操作——点击

火车浏览器百度地图商家信息采集详细讲解教程截图4

⑤同理,输入城市后,我们需要输入推拿并再次点击百度,就可以找到有关推拿的商家了。

火车浏览器百度地图商家信息采集详细讲解教程截图5

火车浏览器百度地图商家信息采集详细讲解教程截图6

4、上面是模拟访问,接下来是采集:把页面右方出现的信息采集下来,由于右方的信息有很多页,所以我们要进行分页采集。

⑥先来采集首页,设置一个循环并对页面进行一个条件判断,即判断有无数据:如有,则判断为真,单次取值;如判断为假,结束当前循环。

火车浏览器百度地图商家信息采集详细讲解教程截图7

⑦这是采集其他页(分页),加了一个点击。

火车浏览器百度地图商家信息采集详细讲解教程截图8

⑧最后一步,就是把采集的数据进行处理,如果有本地运行环境的话是可以导入数据库,没有的话,可以直接导入到本地。

火车浏览器百度地图商家信息采集详细讲解教程截图9

完成后,可查看运行日志,检查每一步骤有没有成功。

火车浏览器百度地图商家信息采集详细讲解教程截图10

火车浏览器的功能还是比较强大的,除了采集之外,群发、批量注册、自动打码等一系列复杂的网页操作都可以轻松实现。

火车浏览器百度地图商家信息采集详细讲解教程截图11

本人擅长Ai、Fw、Fl、Br、Ae、Pr、Id、Ps等软件的安装与卸载,精通CSS、JavaScript、PHP、ASP、C、C++、C#、Java、Ruby、Perl、Lisp、Python、Objective-C、ActionScript、Pascal等单词的拼写,熟悉Windows、Linux、OS X、Android、iOS、WP8等系统的开关机。

通过下面的方式来联系我们:

电邮:138762189@qq.com

联系QQ:点击这里给我发消息

官方站:www.tadke.com

※ ※ 联系请加我的企鹅号 ※※

※ ※技术支持请微信联系站长 ※※

Copyright © 2023 Tadke.com. 琼ICP备20000547号