大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。

人们都知道人口学的马尔萨斯假设——粮食生产呈算数增长，人口呈几何数增长。在单位亩产不可能有大突破的状况下，以粮食为主的生产资料只能依靠土地扩张。工业革命、农业科技和人口管理缓解了马尔萨斯问题。今天这个类似的危机又在虚拟世界里出现了。

大数据世界的马尔萨斯定律可以这样描述：人口以算数极数增长，数据以几何级数增长。数据量以线性规律增加，计算量以非线性规律增长。

世界所产生的数据始终在高速增长。这是因为数据赋能使所有人、所有人人类活动都在产生数据，只要想记录，就有无数的数据可以“无中生有”。

很多电商网站早期只追求抢地盘、抢用户，重运营、清数据，并不在意数据布局。举个例子，用户如果只关闭了一个订单，过去电商系统并不记录这个行为，只会直接删除这个下单数据。但是后来发现记录和分析用户的失败交易数据也是有商业价值的，可以用于统计用户信用、喜好等，于是决定记录下来。每个行为都有被记录，数据量就开始成倍增长。

数据的存储一直是一个大问题。根据市场研究公司Forrester估计，每部智能手机产生的数据平均可达1G。全球智能手机用户数量保守估计达20多亿。每天可产生20多亿G数据。如果用普通的1TB硬盘存储，每天所需的硬盘数量就达200多万块，1年就需要近8亿块硬盘。这已经远远超过全球硬盘生产商的产能。

更恐怖的是，产生数据的主要还不是人类活动，incapsula在全世界2万个每天至少有10个访问量的网站，统计了90天150亿的访问数据后得出了这样一个数据：56%的网页浏览量都是爬虫机器人贡献。话句话说主要的互联网用户已经不是人类。大部分点击数据都是机器程序产生的。

非人类访问中，近一半来自善意机器人，如搜索引擎的内容爬虫，它们能够对网页建立索引，方便人们快速查找到对应的网页内容。百度和谷歌就是使用这种方法整理全世界的信息。另外超过一半的浏览量就来自恶意机器人，比如盗取内容的爬虫、各种黑客工具、垃圾邮件等，而且比例还在不断增加。这就是互联网另一面的真实写照。这只是网页浏览状况，在整个人类社会，随着信息化和物联网的快速发展，连接入网的所有硬件都在时刻产生数据，互相通信。发电机组上的监测芯片时刻侦测运行状况并把数据发回服务器。

遍布城市的摄像头把监控数据上传指挥中心，家里的智能电视，冰箱等都在采集和上传数据，即使全人类都沉沉睡去，世界也依然在数据海洋中律动。

数据采集内容

数据采集包括历史数据的采集和当前市场数据的采集，是科学进行数据分析的基础，数据采集的准确与否直接决定了数据分析的价值。

在企业运营过程中，假设企业环境基础不稳定，项目发展的规律在运营期间内没有大的变化，我们可以通过搜集准确的历史数据或可比历史数据，根据以往的发展规律，运用定量预测技术对未来收入和成本加以预测，直接推算出预测的相关数据。当运营环境略有改变时，可以利用定性预测技术对预测结果加以修正。因而，这类项目的数据采集主要是对历史数据的有效采集。

对于新开的发的项目，由于缺乏可比性历史数据，或者市场发展规律不明确或不稳定，我们则先需要通过市场调研甄别影响市场需要求的主要市场因素的变量，根据项目具体情况选择市场调研的途径和方法，进而采集相关的市场数据，形成预测主要市场因素间关系的数据基础。

企业所在的市场不同，影响需求的主要因素不同，数据采集的途径也不同。

1、制定市场研究的具体计划

在市场研究工作中数据采集是最重要的部分，它帮助解决投资与经营中相关的重要数据的确定和决策的改进。然而，数据采集工作是要花费资金的，尽量其带来的益处不言而喻，但是，如果要采集数据，就一定要让这笔费用华的物超所值。为了达到这一目标，需要周密的计划、安排和监控。这样做，不仅从协调计划的方面看是很重要的，而且也确保在预计时间内获得重要的数据，同时也可将成本监控在一定的范围内。

2、明确数据来源

在数据采集前，必须要对数据资料来源进行选择。数据资料按其来源不同，可分为第一首资料和第二手资料。第一手资料指为了一定的目的采集所得的原始资料。采集第一手资料的费用比较高，但资料的价值相当大。这种资料常常来自现场的调查，其准确度高且针对性强。第二手资料是指采集现成的资料，包括互联网上的信息，各种报刊

文献上的资料，还有各类权戚机构发布的统计和研究报告等等，在现代项目研究中，由于互联网应用的普及，获取各种二手资料比起以往变得更加便捷，内容也异常丰富，所以二手资料的采集成为非常重要的调研手段．它有方便、快捷．成本较低的优点。数据分析人员还可以从内部资料中提取第二手资料．也可以利用外部资料间接获取。常见的内部资料往往来自企业的财务报表．比如．资金平衡表、销售统计以及其他报表档案。项目数据分析的起点始于采集第二手资料．但是这样的二手资料必须经过仔细统计、筛选及甄别．以尽可能保证资料的精确、可靠和真实。

3、明确抽样方案及样本容量

在一手数据的采集中，根据项目所属的特定行业及特定市场定位，许多数据可以通过直接采集得到全部样本，尤其对于成本、费用等可控制的要素；然而，对于其他数据的采集，比如说产销硫及其趋势变化数据，其总体范围很广，很难直接获取全部数据。这时我们常采川抽样技术，从拟采集数据的总体中抽取有代表性的部分单位作为样本，对样本进行调查或观察，并根据样本统计城估计总体参数，对所猫投资数据进行顶测

4、明确数据采集方法

数据采集往往采用三种方法：访问调查法、实验法和观察法。访问调查法通过访问代表性样本而获得数据，强调语言应答。而观察法强调非语言方式，通过调研人员在事件发生时或在过去已发生事件的记录中采集信息 · 与上述两种方法相比，实验法能够有效控制调研环境，在实际项目数据采集中，可根据项目特点、数据采集成本费用预算标准、时间及精度要求，采用不同的方法。

5、问卷设计

为了达到采集数据的目的，采川问卷方式进行调査是近年应用最广的一种调査手段。问卷设计的好坏，在很大程度上取决于调查问卷的回收率和有效率。另外，—张好的调查问卷必须满足后期数据分析的两个基本标准:相关性与准确性。

问卷设计部分包括了对问卷结构、问卷设计原则、问卷的问题格式等问题的讨论与分析。

6、数据处理及分析

原始数据收集回来后，可能出现虚假、差错、冗余等现象，如果简单地把这些数据投 入预测分析，可能会导致错误的分析结论，从而使整个分析工作失去意义。因此，首先要对数据进行整理和加工，才能进行分析研究并得出科学的结论。数据的处理是指运用科学的方法，将调査所得的原始资料按调査目的进行审核、编码、录人及预分析的过程

1.1 项目背景

希望通过高新技术手段，提高危险行业设备巡检的工作执行力度，提高危险行业维护保养企业的管理水平，保护企业员工生命安全，以及将已有的众多设备运行维护管理系统进行有效融合，将视频压缩录制和移动信息技术全面应用于生产过程，从而形成一套高效、协同指挥、信息化、数字化的端到端的多业务融合通信智能化移动巡检系统。集成了视频、语音、照明、录像、回放、4G无线传输的智能手持终端。如果不配备4G无线传输设备，则采用本地随身录像系统，可以将巡检过程中遇到的各种问题和巡检过程记录下来，形成视频数据库，制作巡检档案，如果采用全功能无线传输设备，可以远程实时监控现场的各种作业环节，极大地提高安全生产系数。

1.2 现状与需求

危险行业设备维保检修：在设备管理、生产线运行维护方面虽投入大量的人力物力，然而落后的通信方式、过于粗放、被动、无监督和无评价机制的传统监督模式已不能满足当今化工行业的管理需求，创建一种全新的设备日常运行维护质量监督模式来推动化工行业的企业持续发展已成为迫在眉睫的首要工作。

随着通信技术的发展，3G/4G无线网络的日趋普及，基于公网的数字集群对讲已经开始走进各行各业，可以有效为危化企业解决设备巡检上的很多问题，并实现如下功能。

1.2.1 建立设备巡检信息库

巡检人员在进行每日例行设备巡检任务时，可通过终端录像、拍照功能将设备现场实际情况拍摄后上传到中心数据库，同时可以把设备运行温度、转速等参数上传带数据服务器，建立设备巡检信息库，以备后期查询,作为设备巡检、大修等操作的判断依据。

如果暂时不考虑4G无线传输，则只需要采用本地录像和数据采集存储设备，巡检回来后采用读卡器把数据资料拷贝到电脑数据库，以备存查。

1.2.2 远程指导

现场作业人员在一些关键性抢修紧急情况下，对于位处偏远或专业人员无法及时赶到现场，可由现场人员采用视频实时上传功能将现场实际情况的实时视频回传至专业人员处，专家可通过视频直播，进行故障分析并做出相应的停开机或故障检修指导。

1.2.3 对设备巡检人员管理

在厂区设备日常巡检工作中，管理人员可通过系统的GPS功能或RDIF读取巡检点的ID编号，实现巡检人员的设备巡检任务到位监控。可有效管理巡检人员日常巡检工作，做到对设备巡检人员的工作的高度监督、管理。

1.2.4 提高巡检工作人员工作效率

设备运维管理人员，可通过系统的GPS轨迹回放功能对巡检工作人员日常巡检路线进行回放，从而达到对巡检工作的监督作用。同时，便于管理人员根据轨迹，优化巡检行走路线，提高人力物力使用率。

1.2.5 特殊区域，进入报警

在厂区中，由于人员专业的限制，某些特定区域只允许相关专业的人员进入。可通过本系统的电子围栏功能，实现不允许进入的特殊区域，通过GPS电子围栏功能设置侵入报警。当人员进入违禁区域时，终端、后台立即发出警报，并登记相应违规信息，将重大违规事故防范于未然。

1.2.6 对设备运行视频监控

对一些不允许人员进入的关键性区域，可通过系统的固定点无线视频监控，达到对设备运行状态的监控，同时故障设备达到快速定位，便于中控室对故障设备及时做出远程的运行调整，派遣相应专业人员前往故障设备点进行检修。

综上以上需求，迫切需要一种能同时提供多种业务，无线信号覆盖范围广泛，使用时无区域限制，信号盲点少，分组容量大，终端保密性高，抗干扰能力强的系统设备来满足工作人员对通讯保障和其他功能的需求。为规范工作人员在日常工作中提供可靠的整改依据，同时也希望能满足位置信息定位，为指挥中心随时了解设备的运行状况、巡检人员的位置及状态信息，使得指挥决策更加快捷、直观、有效。

这不是一个虚构的故事，以下人物角色均采用实名。

我：匡恩研究院驻西南某区域专家。

张总：匡恩授权代理商，西南某公司技术负责人，工业自动化资深专家。

……

17：35分，手机来电铃声响起，这是今天第37个电话！

按下接听键：“张总，您好！根据我之前的建议目前状况如何？”

代理商张总：“您好，王老师，关于SCADA数据采集异常的事情，按您给的问题排查建议，已经完成了现场检查，目前怀疑是病毒导致的异常，由于该单位涉密，所以想请您带专业设备到现场帮忙诊断故障原因……”

================================分割线=======================================================

以下是本次故障事件现象描述和导致事件产生的原因分析。

1. 故障现象

2017年1月上线试运行的西南某省省会城市生活垃圾发电厂工况运行监控系统（SCADA）系统，主要是采集本市5个垃圾焚烧发电厂生产及工况运行数据，上传至本市数字城管中心机房存储、分析、集中展示，为本市数字城管提供城市管理参考和依据。系统自上线后一直运行正常，从4月初起，5个发电厂前端数采站出现监测数据时通时断的故障情况，出现该故障时，PLC、上位机、实时数据库、历史数据库、数采网关等设备服务工作正常。

2. 故障排查分析

按照ANSI/ISA-95.00.01企业分层模型，工业控制企业的架构可以分为五层（Level 0-4）：现场设备层、现场控制层、过程监控层、经营管理层以及企业管理层。发生故障时，过程监控层的监视控制、显示系统、实时数据库、通信处理等工作稳定，能正常对现场工作设备的监测及显示。那么故障发生的范围就可能在系统管理及监视控制的经营管理层面。在这层上，和该故障有关的资产包括：OPC服务器、前端数采站和承载数据传输的网络。

确定可能引起故障问题的范围及对象后，分别对可疑资产进行排查。

2.1网络分析

我们将安全临检系统接入OPC服务器及前端数采站所连接的交换机网络镜像口获取工控流量进行分析。以下为接入示意图：

通过临检系统展示的实时分析结果，我们发现该工控网络中有明显的异常连接，源IP地址的20000多个不同端口与同一个目标IP的51000端口建立了连接，对源IP进行定位，确定IP对应的资产为前端数采站。以下为网络连接示意图。

2.2 前端数采站分析

为满足监管部门及企业生产管理要求，发电厂把监管所需的底层数据通过OPC上传给数采站，监管部门的监控系统直接从发电厂数采站的数据库中进行抽取。

在数采站我们查看了网络连接、异常进程、注册表、可疑账户、工控病毒等项，发现本机有大量异常的连接，该现象也与网络流量分析所展示的情况一致。追踪到建立连接的进程PID值为1636，据此定位到DatagatherApp.exe是产生异常连接的罪魁祸首，该程序是某厂家的数据采集代理客户端。

2.3 导致SCADA数据采集异常分析

代理商所承建的SCADA前端数采站的数据采集应用程序工作端口为高位40000-50000间的随机范围，而某厂家4月份新装在数采站的数采代理客户端在运行后，会占用从40000~65535的2万多个端口与其数据接收服务器51000端口建立连接，那么就导致SCADA数据采集应用程序工作端口被占用，从而发生数据传输异常的情况。

3. 故障事件总结

到此，SCADA数采异常故障排查工作应该结束了，但思考却远未结束：

监管部门通过互联网环境从发电厂工控系统中采集数据，虽然不直接与PLC等现场控制层设备进行连接，但众多威胁的客观存在，这样数据访问途径，会不会为工控系统带来极大的风险呢？

已发生的工控安全事件中，很多现在都存在类似情况，如：2015年乌克兰电厂遭受BLACKENERGY（黑暗力量）攻击导致的大规模断电事件；2016年01月28日，以色列电力供应系统遭受有史以来规模最大的网络攻击事件；2016年3月24日，伊朗黑客入侵纽约鲍曼水坝（Bowman Avenue Dam）防洪控制系统事件；2016年8月27日伊朗民防部门负责人Gholamreza Jalali向路透社透露，最近石化公司起火是网络攻击所致等等。