使用方法

Web发布中内容发布之前的版本一直是粘贴发布中抓包的数据，然后软件自动分析表单名与表单值，但是对于一些特殊要求的发布网站，这个功能就不大好用，因此，新版本添加了新的自定义发布数据的功能，可以更方便的处理一些复杂的网站。 下面介绍下自定义数据的功能： （1）对于使用json或者其他特殊格式作为post的网站，那么就可以直接使用自定义数据。 （2）对于一些表单项个数不确定的网站。 ①比如发布商品时，有添加发布图片，发布图片有几个那么就需要添加几个表单项，那么就必须要使用自定义数据，发布的图片在采集数据的标签中就定义好，然后发布模块直接调用该标签中的值 ②比如发布分类时，有各种不同的颜色，每增加一种颜色就会增加一个表单项，但是每种产品颜色数量不固定的时候，这时就可以使用自定义发布数据来做。   还有各种不同的应用场景，具体结合需求来做。不过简单的发布还是建议使用发布web本身的发布即可，这种方式要更明确一些。 下面以opencart发布商品图片为例来讲解该功能用法，教程中主要讲自定义发布数据用法，发布模块制作方法就简单截图示意： (1) 首先，我们手动发布一条商品信息，使用fiddler抓包分析下发布格式： 这种出现的form-data格式的参数，我们现在用自定义发布的话，最好是使用 application/x-www-form-urlencoded，因此我们可以在发布模块中写一个简单的发布模块，看下application/x-www-form-urlencoded这种是什么格式： 直接将post参数粘贴在程序中，然后点击提取，因为opencart较特殊，还会在高级功能中产生文件上传，但是这个实际是没有作用的，因此我们手动将他删除掉 接下来，就是测试发布试下得到接下来就可以点击保存，然后在配置文件中配置好地址参数，接下来就是测试发布使用fiddler抓包得到application/x-www-form-urlencoded格式的post参数，参数格式如下图： （3）已经得到post参数格式如下图： 接下来就是分析图片上传的参数格式： 如上图分析，可以看出，①处是主图上传的参数，②处是上传的两个附图，因此我们只需要将上传的两个附图处理成如②中的参数格式就能正确上传多个附图。现在我们先将post参数填入自定义发布数据中，并定义好标签名称，地址中的随机值也定义为全局变量，接下来的操作就是在采集规则中定义的： (3) 下面以 http://www.jammerall.com/products/Desktop-Adjustable-4W-All-5.2G-5.8G-2.4G-WIFI-Jammer-.html，这个产品的采集为例，介绍下怎么处理采集规则，这个产品的采集需要cookie，因此使用fiddler抓取cookie并放入火车采集器中，然后将需要采集的标签通过发布模块导入采集器中： 下面将所需设置的标签采集规则设置好，设置并下载图片后如下图： 其中商品标题之类，加了字符编码的处理，因为在使用自定义发布数据的时候，是不会对发布的内容进行加密的，因此我们要在采集规则的时候就加密： 我们采集的规则应该可以看出，主图的结果已经是符合格式要求的了，我们现在要处理的就是附图的格式，我们来对比下，我们现在抓取到的格式以及要处理成的格式 我们抓取到的格式是以逗号间隔，但是我们处理的格式是需要每一张图片都有一个递增的序号，并加上一些前缀后缀来处理，这种的话，我们就必须使用C#代码来处理，这边我们提供下这个样板的代码： using System; using System.Collections.Generic; using SpiderInterface; class LocoyCode{ public string Run(string content,ResponseEntry response){ string[] strArray = content.Split(','); int len=strArray.Length; string t; content=""; for(int i=0;i<len;i++) { t=strArray[i]; content=content+"&product_image["+i+"][image]="+t+"&product_image["+i+"][sort_order]=0"; } return content; } } 填在C# […]

火车采集器V9.7批量内容替换功能使用方法,比如我们想把采集到的时间改成汉字形式，如我们想要将月份替换成汉字，我们就可以使用批量替换功能 在数据处理->高级功能中找到批量替换 注意：这里的顺序一定要按照从大到小的顺序来写，反过来的话那么12月就会被替换为一月二月。

火车采集器V9.7之自动分类功能的使用方法教程 此功能是针对用户需求为：采集内容包含某个字符即将该字段的所有内容都替换为某个固定的内容。 使用场景例如：我们从对方网站采集城市名称，然后城市名称示例:浙江省杭州市，我们需要将这个内容替换为杭州，这时就可以使用自动分类功能。 下面以百度为例介绍下用法： 如上图，我们想要将包含百度的标题 内容更替换为 常用搜索网站，则写成如下格式： 运行结果为： 如上就是自动分类的使用方法。 其中需要注意的是:1.一行一个分类，可以写多个分类。若是一个关键词符合多个分类，则优先替换上面的分类，按照从上至下的原则替换。 2.若是所有分类不符合的情况下，你想要将关键词赋予为一个默认值，按下图操作：

正文提取功能是不需要分析页面源代码也不需要设置复杂的规则，对于简单的文章采集，大家可以首先试试这个功能，如果采集不到自己要的内容再写规则。 此方法适合部分简单的内容提前，如果你使用这个功能没有办法提取到想要的内容，请果断放弃，去写规则吧。

火车采集器V7.6之标签循环采集的使用方法，我们要采集一个页面上面同样格式的多条数据的时候，就可以针对一条信息设置好规则，勾选下标签循环匹配，就可以把满足这个规则的所有数据采集到如下图： 比如采集这个网站：http://www.smct.com.cn/wat/controllerServlet.do?queryid=0002001&method=doquery&querysid=g0002&showpage=1 我们查看页面源代码，我把源代码复制到txt里面做了些简单的处理，让大家看的更明白如下图： 上图看到船名都是“<tr><td >”开始“</td>”结束，我们建立一个规则分别是以“<tr><td >”开始和以“</td>”结束。 规则设置如下图： 采集结果如下： 左侧标签循环处理那里选了“添加为新记录”，右侧看到了船名都已经采集到了，并且每个船名都是一条独立的信息， 看到上图左侧有个选项“循环不足的记录以第一条记录补全”勾选上这个，如果在循环过程中有的信息没有采集到，就会用采集到的第一条数据填充。 假如左侧标签循环处理那里选了“用分隔符链接在上条的记录后” 然后在下面的“分隔符”哪一项设置分隔符，如下图： 测试结果如下： 上图可以看到每次循环采集到的结果都是用我们设置的分隔符连接起来做为一条信息，注意和上面选择“添加为新记录”，采集结果的不同。 我们通过页面源代码，知道这个是个表格，那么我们就多说些，表格如何采集。如果我们还要继续采集更多信息如下图的“英文船名”，“航次”等等。 我们打开页面源代码看到这些信息的开始都是以“<td >”开始以“</td>”结束，我们设置规则的时候就会很困难，如下图 那么看下我是如何采集到“英文船名”的规则如下： 在看下我采集“航次”规则是如何设置的： 设置完后测试采集如下图： 成功采集了！ 原理就是都是以“<td >”开始那么我们就通过这个字符出现的次数来界定，结束字符全部都是“</td>”。 上面设置的规则正好说明了这个一点，船名是在第一次出现<td >的后面，英文船名是在第二次出现“<td >”的后面，航次是在第三次出现“<td >”的后面。。。。。。。 后面以此类推，中间不需要的东西我们就用“(*)”代替，表示任意。可以自己尝试写写。这个是经常采集表格要用的。

火车采集器之采集记录筛选功能的使用方法,有时有些采集的数据不需要怎么办？火车采集器的记录筛选功能可以完成这个工作。火车采集器记录筛选有以下几个处理方法： 内容过滤 请在 第二步：采集内容规则标签窗口做如下设置即可 1，内容必须包含和内容不得包含 采集的内容包含某些词或者不包含某些词。多个词之间的关系用“｜”和“↑”来表示。 “|” 为只包含其中一个即可，多个词之间，或的关系； “↑”为多个条件必须都包含，与的关系，两者不可混淆使用。 2，采集结果不得为空 该功能可以让某个字段不出现空内容。 3，采集结果不得重复 该功能可以让某个字段不出现重复内容。 4，当内容长度过滤 可以设置当采集的内容长度大于或者小于或者等于或者不等于某字数时，该条过滤。 对于满足上述四条中的任何一条或者多条的情况下，采集器的处理结果是可以设置删除此条记录，或者把此条记录标记为未采集下次运行任务会再次采集。 在编辑规则的第四步：文件保存及部分高级设置 如上图，可以对符合上述设置的记录进行删除 或者 标记为未采。 删除 ：就是把这条记录删掉，不会采集下来 。 标记为未采 ：就是把这条记录标记为未采集 然后每次运行任务都会采集一次

火车采集器之内容替换支持[参数]和标签的使用方法 1， 内容替换 比如我们想要把标题里面的“网购火车票”，换为“网购火车头采集器”，我们就可以用采集器的替换功能如下图： 编辑规则，在数据处理＝＝》添加＝＝》内容替换， “将字符串”空白框里写要替换的字符串； “替换为”空白框里写替换后的字符串。 设置好了，点击“确定”按钮，替换可以有多个替换，需要一个一个添加替换，不能写在一起替换。 如上图操作，测试结果如下： 看已经替换成功了。这个是最基本的替换了。 2， 内容替换支持参数 下面在说一种常用的替换，这个不单纯的是把字符串１替换成字符串２，是要从字符串１中获取到部分字符再重新组合成新的字符串。如下图： 我们把ｓｒｃ里面的图片地址给拿出来，设置如下图 我们来测试下采集结果： 是不是替换成我们想要的了。 总结，就是在“将字符串”空白框里，用［参数］代替我们需要的字符，这个可以是多个，然后在“替换为”空白框里面，使用［参数１］［参数２］．．．［参数ｎ］ 按照顺序来替代前面的［参数］。 3， 内容替换支持标签 在这个替换功能还可以使用标签如下图： 我们要把标题加到内容的前面去，替换那里这样写： “将字符串”空白框里面直接用［参数］，就是获取全部的内容。 测试的结果如下： 已经把标题标签采集到的结果添加到内容里面去了。 替换这个块功能很灵活，能解决很多问题，当然需要你能举一反三。

火车采集器之任务运行日志使用方法 1，首先开启日志功能 默认是不开启的，也就是不记录采集器的运行情况，如下图 通过菜单栏 工具＝＝》选项： 2，查看日志 在菜单栏 高级＝＝》任务运行日志管理： 任务运行日志查看器如上图。 日志文件夹目录是\System\Logs下面

火车采集器之任意格式文件下载功能使用方法解说，如下图： 编辑标签界面，文件下载选项，勾选探测文件并下载，会把采集到的任何格式的文件附件下载下来，包含常见的图片。 顺便说下其他选项： “将相对地址补全为绝对地址”：勾选这个，会把标签采集到相对地址补全为绝对地址。 “下载图片”：采集器是不认识什么是图片的，只要代码格式是<img src=”图片地址”/>采集器才认为这个是图片，仅仅是图片的地址，勾选这个是不会下载的，很多用户都没有明白这点。 “探测文件真实地址但不下载”：有时候采集到的附件下载地址，其实不是真实的的下载地址，点击后是会有跳转的，勾选这个就会把真实地址给采集出来，但是只是下载地址并不下载。

列表页附加参数获取功能，是在采集内容页地址的时候，通过设置采集规则，获得的值，也就是获取列表页的值，该值将被循环的添加到每条记录上。 如下图，设置在 “添加多级网址采集规则” 的第四步： 我们通过采集腾讯新闻为例来说明这个功能如何使用。 比如我们采集腾讯新闻的时候，要把分类“时政新闻”这个分类加到每条信息里面。 和第二步建立标签一样，在源代码里面找到前后字符，然后我们建立一个标签［标签：分类］，如下图，这里又有一个地方可以建立标签   所以标签并不是只能在第二步采集内容规则那里建立大家要明白，看下图： 设置好了我们点击保存，测试下。 因为这个标签的值是在列表页获取的，如果你直接到第二步采集测试是采集不到任何值的如下图： 上图看到，分类标签是灰颜色的，就表示这个标签是在采集地址的时候获取的，也就是通过第一步：采集网址规则，如果你不经过第一步直接在第二步测试的话 是没有值的。 必须通过测试网址如下图： 然后点击测试采集到的地址到第二步才可以． 选中地址，在列表页建立的标签和采集的值就会看到如上图。 然后双击地址就会跳转到第二步：采集内容规则 然后测试，就可以把列表页采集的标签显示出来如下图：