前嗅的这款数据采集软件，这个可以去它官网，好像百度经验不允许粘网址。搜“前嗅”或就可以找到官网。建议大家先在官网注册登录，免费试用前嗅ForeSpider爬虫软件，如果满意的话再使用付费版也不迟。不过小编觉得还是很好用，不信你可以试试，免费体验就可以抓取很多数据信息。

前嗅采集器logo

之前小编发现很多公司使用八爪鱼等采集工具互相合作过，但是八爪鱼采集速度太慢，小编是开着服务器用八爪鱼采集，一个月差不多采到100万条数据。后来是朋友介绍知道的前嗅，用前嗅的软件，小编仅仅开着笔记本采，一天给小编采了几百万条，差距还是很明显的。

他们的ForeSpider数据采集软件很高级，不论是采集速度还是采集的数据全面，都完成的非常好。另外值得一提的是他们可视化的操作，对于小编这种技术白很是方便，几步的配置就能完成采集。有一些比较复杂的网站，也可以用他们自己的爬虫脚本。就算自己不想配置，也可以直接找他们买模板，拿回来自己一点按钮就能采集，小编也是每次都是直接买的模板。

最主要他们不仅仅能采集，他们还有自己的数据分析系统。数据采集后把数据交给他们，进行分析，然后给小编分析报告也是非常的详细和具体，省了小编很多的事。分析方面给我提供了很多有价值的建议，有效的提升了小编公司的市场竞争力。 小编也是现在跟前嗅合作久了，觉得很是不错，总想着推荐给同行们使用，良心推荐一下。

数据采集抽象图

可以采集，案例的话。。。我也没有。。你可以找他们客服要，应该有吧。大家觉得我说的哪里不对的，欢迎大家给小编留言指点，谢谢!

随着大数据越来越被人重视，数据采集的挑战变得尤为突出。这其中包括：

数据源多种多样数据量大变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量

高性能分布式采集，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，乐驰分布式采集系统替您解决一切采集难题！

乐驰分布式采集系统

合肥乐维信息技术有限公司开发的一款大数据服务产品

（补充说明：合肥乐维成立于2008年，是国内最早从事大数据服务的企业之一、合肥市首批大数据认定企业、安徽省大数据产业联盟理事成员、安徽省软件行业协会“双软”认证企业。）

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，乐驰分布式采集系统真正做到了满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

乐驰特色与难点攻克

方便的web管理

新增、编辑、删除、分发、执行、周期与间隔配置等，系统的所有管理都可以在网页上完成。

灵活的应用框架

基于框架开发应用，可适应各种采集场景。

多场景多任务多线程，自动运行、分发，管理。

无缝对接火车采集器火车浏览器的规则脚本。

极限的采集能力与海量的存储能力

单日亿级别数据采集量

最大支持两百集群

支持200M/s的写入速度

按需配置，弹性增加存储节点

强大的统计功能

网络、数据、集群等信息实时监控。

多维度，多角度查看任务实时状态。

轻松突破IP封锁

支持Http代理

支持PPOPE拨号换IP

支持PPTP拨号换IP

支持VPN拨号换IP

验证码识别毫无压力

针对当前众多网页普遍存在的反爬虫机制之一“验证码”识别，乐驰提供了多种应对方案：

支持接入现有的各种打码平台用户可根据接口自行开发打码插件可使用乐驰自带的验证码识别方案

基于分布式中心控制服务器群组打造大数据云采集支撑平台，乐驰分布式云采集系统功能更多，应用更为灵活，可操作性更强，性能与效率也更高。

满足实时、海量、高难，将针对传统采集过程中常见的难点一一攻克，六大特色助乐驰分布式云采集系统采集数据毫无压力!

岸电电源系统采集包括空调、通风系统、报警系统、输入/输出开关柜、输入/输出变压器、岸电电源、拖缆设施、船舶并网等设备的运行状态、电气参数、启停控制、故障报警等信号，信号类型包括：

（1）硬线接口：具备启动、停止、复位、紧急停止命令。

（2）工作状态信号：具备岸电电源就绪、运行、停止、报警、故障（停机）信号。

（3）模拟量接口：具备同步指令给定信号（4~20mA）、输出电流、电压、频率（4~20mA）接口。同时必须考虑预留至少一定数量的输入输出点位。

通信网络控制系统还需采用本地控制和远程控制2种方式，其中本地控制采用LCD现场控制盘来实现，远程控制采用以太网、modbus或profibus等通信协议来实现。

现场LCD控制盘可同时显示多个实际值与给定值，可存储多条控制器数据，每个数值应带有时间标签；可作为WEB SERVER以便PC机远程存取、控制触摸屏人机界面上载与下载文件。主要界面：岸电电源并网同步过程监视、岸电电源运行情况、参数显示、设定、岸电电源故障诊断。主要参数记录和查询包括：输出电流、输出电压、输出频率、网侧输入电流、网侧输入电压、警报事件、故障事件。显示功能：应可对输出电源的频率、三相电压平均值、三相电流平均值、三相线（相）电压、三相线电流、三相不平衡度、有功功率、无功功率、功率因素等参数显示并对有功功率电度、无功功率电度进行统计计量。所有数据应可以在装置屏上显示，且能够支持一定时间内连续供电参数（包括频率、电压、电流等参数）等记录和回放功能，所有这些数据应随时可在控制系统中查询。

远程操作系统功能，应该具备完成整个系统的操作、监控、控制等功能；同时，操作系统还应配置数据管理功能，包括：事件、故障记录与保存；能够将运行过程中的事件、故障记录并保存到数据库，为维护、维修提供数据支持。

工业物联网无线数据采集系统，是一套具备终端数据采集，无线数据传输和数据应用分析等多功能的智能化数据采集和监控系统，它在市政供排水管网、供汽管网、热力管网、石油天然气管网、地下管沟监控；游泳池水箱水塔液位、大坝、河道水位、泵房浸水监控；蔬菜蘑菇、针金菇、水果、花卉、育苗等农业大棚智能环境监控；畜牧、家禽、水产等农业养殖智能环境监控；化工危化品石油天然气储罐区、电池、面粉仓库智能环境监控；电信机房、实验室、医院药房、生产车间、冷柜冰箱、图书馆、博物馆、档案室、粮库、烟草、酒糟酒曲酒窖等仓储馆藏智能环境监控；社区楼宇、港口工业园区、公园景区、校园广场、超市商场等大气环境质量智能监控；发动机、变频器等生产机器设备运行状态、仪器仪表能耗及生产缺料的智能监控等多个领域有着广泛的应用。

近年来，工业物联网无线数据采集系统的发展趋势是简化终端结构，在数据采集终端与主机之间采用无线通信，以代替复杂、不灵活的现场布线。该阶段数据采集系统采用更先进的模块式结构，根据不同的应用要求，通过简单的增加和更改模块，并结合系统编程，就可以扩展或修改系统，满足不同领域的需要。

针对工厂生产车间机器设备运行状态、运行工艺参数、运行能耗数据，以及管网运行状态数据、变配电系统运行数据、车间仓储库房环境参数等数据的采集、监控，深圳信立科技结合XL.SN无线传感器网络2.4GHz或433MHz模块技术、MES制造执行系统技术及无线传感器、无线测控装置RTU等，自主研发设计了一套工业版工厂生产车间无线数据采集系统解决方案，实现实时获取完整、准确的工厂生产制造过程中的各种数据，为企业提高生产制造管理提供基础数据，全面优化生产制造的管理手段、提高生产制造管理效率，向工业4.0靠近！

一、系统功能

1、采集设备运行状态：停止、待机、运行、故障、检修等等，以及发生的时间点；

2、采集设备运行工艺参数：压力、温度、流量、转速、计数、风速、位移等；

3、采集设备运行能耗：电流、功率、电能；汽、气消耗量；

4、采集企业供水、供汽、空压、制冷等设备及相应管网的运行状态数据；

5、采集企业变配电系统运行数据；

6、监控车间环境参数，以及仓储库房环境参数。

二、系统通讯方案

1、XL.SN智能传感网络采集结构

XL90物联网智能网关，可同时构建433MHz和2.4GHz两种不同结构的传感网络，用于接收终端采集的数据，并上传至服务器。其中433MHz用于跨车间、厂区内的数据传输，2.4GHz用于车间内的数据传输。

2、XL.SN通讯网络方案

a、XL90物联网智能网关通过2.4GHz或433MHz等方式读取节点设备数据后，进行协议转换、数据处理，通过局域网，上传数据至MES服务器；

b、XL90物联网智能网关通过以太网，从第三方监控系统，如电力监控系统、EMS、DCS、智能楼宇系统等等，读取数据；

c、MES服务器，或XL90物联网智能网关，通过以太网，将数据转发给第三方系统，如EMS、ERP等。如图2。

3、物联网智能网关数据接入MES系统通讯方案

XL90物联网智能网关通过企业局域网，和MES服务器通讯。 XL90智能网关和MES的通信协议，可选以下3种： 建议首选：XL/9E-RDF Redis数据交换协议； 建议次选：XL/9E-DF 数据库格式协议； 建议再次选：XL/9E-UDP 通信协议； 工业以太网通用协议：MODBUS TCP。（不太建议选择）

三、系统解决方案

1、设备信号采集

配置XL60智能测装置，采集机器设备的运行信号，通过2.4GHz或433MHz方式上传，实现生产制造设备的信号采集。

2、设备控制器的数据采集

选配XL66智能转换器，读取机器设备控制装置及现场监控仪表采集的信号，通过2.4GHz或433MHz等方式接入传感网络。

3、管道压力、温度，车间环境、仓储环境的气体浓度、温湿度采集

选配XL61系列智能传感器，采集管道压力、温度，车间环境、仓储环境的气体浓度、温湿度，通过无线上传，并在需要的通道，出、入口设置声光报警器，或启动紧急设备。

4、其他信号采集

选配XL60智能测控装置，及XL68智能环境监测装置，采集火灾探测器、噪音传感器，光照传感器，液位变送器，压力变送器等等设备，以及系统原配的仪表数据。

四、系统优势

1、工厂生产车间无线数据采集系统建设过程中，无需布线，或减少布线数量，减少系统建设成本。

2、系统所需的设备安装调试方便，设备支持手机调试，提高运营维护的效率。

3、系统底层终端各种数据采集后统一接入企业MES系统，便于监控管理，提高企业生产管理效率。

五、系统配套

整个无线数据采集系统方案，根据应用需要配套的软硬件设备，包括XL90物联网无线智能网关、XL60智能测控装置RTU、XL68智能环境测控装置RTU、XL66智能转换器，以及XL61无线压力传感器、XL61无线温度传感器、XL61无线气体传感器、XL51无线温湿度传感器等无线传感器，还有MES制造执行系统软件。

六、适用范围

深圳信立科技设计的工业版工厂生产车间无线数据采集系统解决方案，适用于在我国珠三角、长三角、京津冀等沿海发达地区，以及重庆、成都、湖北、河南、安徽等内陆省份的电子加工制造、汽车制造、钢铁冶炼、机械装备、食品生产、医药生产等各行业制造业工厂。

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。

今天给大家介绍一下我平时使用前嗅forespider数据采集系统配置模板的时候用到的几种方法，以前写过一个链接抽取的教程，今天就不给大家介绍了，没看过的用户可以关注一下我以前的文章，有很多有用的教程。

首先，大家看一下这是我准备采集数据的网页：

截图中三个圈起来的地方就是我要取的三个字段，然后分别取到下面每一行的数据，一直到结束。

像这种多行的数据又不确定行数，我们就要使用循环，先取到最上面一行，然后往下循环。一直到结束。

上图是我写的数据抽取脚本，这个数据抽取一共有3个字段，名字分别为“word”“inde”“rank”，对应脚本中“re.***”，每一行的脚本上都有绿色的注释，

解释每一行的作用。

总结一下脚本中用到的几种方法：

① DOM.FindClass：HTML文档的操作方法，通过标签class属性值查找标签节点（还有能通过标签名称和ID属性值查找标签节点的方法，本文未使用）。

② DOM.GetTextAll：获取HTML标签节点及所有子节点的可见文本。

③ next：返回标签节点的后一节点。

④ if、while：常见的判断、循环语句。

*想了解更详细的使用方法请看软件文档。

采集示例网址：http://top.chinaz/Html/site_ali213.html

大家可以根据网页源码，软件帮助文档，对照着脚本看一下，理解每一行的意思。

也可以看一下往期的文章教程，有兴趣的朋友关注一下，经常会更新教程和有意思的东西，希望大家使用的一切顺利。

往期精选：

ForeSpider链接抽取脚本：http://toutiao/item/6454813216395493902/

ForeSpider如何通过关键词进行采集：http://toutiao/item/6451829518142276110/

为什么总是入库错误？关于字段属性的问题：http://toutiao/item/6451485277398499853/

想了解前嗅？ForeSpider到底是做什么的？http://toutiao/i6437323628127191554/

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！