数据驱动企业发展，企业对数据需求有按个层次，一是业务数据，代表性企业是神策；二是类似企业订单数据、CRM 数据等 SaaS 服务数据，如销售易做的事情；三是互联网公开数据，例如企业工商、电商网站、社交数据、招投标数据等开公开数据。互联网数据量是最大的，但很难拿到全部互联网公开数据，非结构化数据很难结构化。

通常互联网公开数据的获取有三种方法，第一种是复制粘贴收集数据，成本高、效率低；第二种是雇佣爬虫工程师，一个人的工资成本是每年至少20万元；第三种是用云端智能采集，机器人挖掘数据，这样做获取数据门槛降低，不再需要技术人员，效率高、成本低。造数采用的是第三种方法，是一家智能云数据采集服务商。

造数产品无需专业技术人员完成，产品对互联网页面做智能解析，采用了可视化爬取，可爬取需要登录的网页、对网站进行多次采集，支持批量规则配置，采集结果可以按时推送。最终可以到处各种格式文件，如 excel、csv、xml 等。此外还提供了 API 接口，爬取的数据可以直接接入到企业内部系统。

看这个项目考虑两个问题，一个是技术实力，一个是应用场景是不是对产品有刚需。

首先看技术，造数区别于其他爬虫公司的一点是，造数全部在云端。从用户角度讲，不用下载任何软件就可以直接爬取，产品配置和使用的门槛降低了，用户体验更好；从可视化角度讲，云端爬取“越用越聪明”，即别人爬过的数据或者之前爬过的数据不用二次爬取；此外，云端部署在 Docker上面，可以快速同时伸缩几千个节点爬取，有大规模爬取数据的能力，云端的扩展性提供了大量的 API 接口，可以和上下游产品协同，如数据可视化工具等；最后云端支持大量数据存储。

除了云端优势之外，造数在技术上的突破还有智能解析和浏览区交互页面实现，以往的爬虫产品通常是做浏览器的插件，而造数直接在网页上实现。

其次看应用场景是不是对产品有刚需。业务数据、内部 SaaS 数据和互联网公开数据的重要程度并没有高下之分，在不同行业和场景有不同侧重点。企业内部数据通常用作用户画像和精准营销，用来优化转化率；外部数据是对大环境的分析，主要是用来辅助局侧，比如外贸电商群体，需要从外部数据了解到市面上的潮款爆品，也需要从海量评论中知道消费者真正关心什么，甚至产品的陈列、排外、库存状况都受外部数据的影响。

当然，对外部数据有强烈需求的还有零售选址，金融行业中一级市场投资者需要第一时间发现好的创业公司、融资信息的分布情况、二级市场股民舆情倾向、上市公司分析等，咨询行业则需要了解调查领域的各项数据。

所以对于金融、电商、零售、咨询等领域，外部数据发挥很大作用，是引领生产、调整战略的重要依据。从这一点说，快速获取、门槛低的云端爬虫采集产品是不错的切入点。

造数最终能为中小企业节省人力成本，为大企业开源节流，将人力用在该用的地方。

造数目前有15000多家用户，包括数之联、Geoconcept、天气宝、优易数据、星客多、发改委等。合作伙伴有云基础服务商京东云、电子科技大学大数据研究中心、大数据教育平台 Datacastle、数据分析培训机构数据团学社、可视化平台BDP等。其中造数与 BDP API 接通，用户在爬取万数据后直接将数据可视化。

数据采集赛道上还有八爪鱼和神箭手，八爪鱼是传统软件，神箭手更面向开发者；国外则有 import.io 和diffbot，import.io 累计融资 2200 万美金，diffbot 获得腾讯领投的了1000 万美金 A 轮融资。

造数科技成立之初获得了明势资本、仟跃科技数百万元天使轮融资，2017年7月获得了逐鹿资本领投的千万级pre-A轮融资。

随着大数据越来越被人重视，数据采集的挑战变得尤为突出。这其中包括：

数据源多种多样数据量大变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量

高性能分布式采集，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，乐驰分布式采集系统替您解决一切采集难题！

乐驰分布式采集系统

合肥乐维信息技术有限公司开发的一款大数据服务产品

（补充说明：合肥乐维成立于2008年，是国内最早从事大数据服务的企业之一、合肥市首批大数据认定企业、安徽省大数据产业联盟理事成员、安徽省软件行业协会“双软”认证企业。）

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，乐驰分布式采集系统真正做到了满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

乐驰特色与难点攻克

方便的web管理

新增、编辑、删除、分发、执行、周期与间隔配置等，系统的所有管理都可以在网页上完成。

灵活的应用框架

基于框架开发应用，可适应各种采集场景。

多场景多任务多线程，自动运行、分发，管理。

无缝对接火车采集器火车浏览器的规则脚本。

极限的采集能力与海量的存储能力

单日亿级别数据采集量

最大支持两百集群

支持200M/s的写入速度

按需配置，弹性增加存储节点

强大的统计功能

网络、数据、集群等信息实时监控。

多维度，多角度查看任务实时状态。

轻松突破IP封锁

支持Http代理

支持PPOPE拨号换IP

支持PPTP拨号换IP

支持VPN拨号换IP

验证码识别毫无压力

针对当前众多网页普遍存在的反爬虫机制之一“验证码”识别，乐驰提供了多种应对方案：

支持接入现有的各种打码平台用户可根据接口自行开发打码插件可使用乐驰自带的验证码识别方案

基于分布式中心控制服务器群组打造大数据云采集支撑平台，乐驰分布式云采集系统功能更多，应用更为灵活，可操作性更强，性能与效率也更高。

满足实时、海量、高难，将针对传统采集过程中常见的难点一一攻克，六大特色助乐驰分布式云采集系统采集数据毫无压力!

工业互联网是在传统互联网的基础上建立起来的。这种演化是工业技术发展的必然趋势。传统互联网将人与人通过计算机网络连接在一起，分享各种信息，传递各种需求，获得各种服务，这是人类社会、经济、科技发展的巨大进步。但是，这种连接的能力还是非常有限的。因为如果只有人而没有机器的参与，我们应用互联网的空间不是完整的。只有当全球70多亿人口和600亿台左右的机器都能够连接在一起的时候，互联网的价值才能得到最大程度的彰显，人类社会才能完全从体力和脑力劳动中彻底解放出来。我们今天已经步入了“复杂的工作要用最简单的方法来处理”的时代。这就是工业互联网技术发展的原动力，发展的趋势不可逆转。在传统互联网的基础上，影响这项技术发展速度的一个重要因素是机器侧的数据采集和云控制技术问题。事实上，这就是自动化技术与信息化技术深度融合的问题。这个问题处理好了，工业互联网的发展就会更顺利一些。机器的连接只是手段，能对机器的有效管控才是工业互联网发展的重要目的。

目前，数据采集技术主要受到两个方面的制约。一是部分机器没有数据接口，二是存在大量异构的通讯规范。与此同时，我们还要考虑到工业发展的惯性，不能完全采用新旧技术彻底更替的办法来解决这两方面的问题。所以，工业社会必须要有这样的技术，在没有数据接口的机器上能够增加数据接口（包括传感器），在异构通讯规范之间采用全兼容的数据采集技术。通用网关是提供这种全兼容技术的产品。在工业互联网技术体系中，通用网关属于边缘计算的一部分。这是与传统互联网明显不同的地方。每一种通讯协议都对应着通用网关中的一种通讯驱动。一项新的技术是把通讯数据包交给通用网关中边缘计算来处理，以便分解出有效的信息来。这将极大地降低通用网关的通讯处理开发成本，提高通用网关数据采集的灵活性。边缘计算的另一个用途当然是对采集来的数据进行必要的处理，以减轻云平台的计算压力。同时，多个边缘计算构成的雾计算，也是工业互联网的重要组成部分。雾计算的加入，可极大地提升工业互联网的分布计算能力。考虑到互联网通讯的不确定性，还需要在通用网关中增加断网续传的功能，以保持数据的完整性。除此之外，我们还需要关注数据的实时性和同步性问题。这些特性一般能够通过调整通讯的请求周期和标记数据的时间戳来确定。显而易见，通用网关是数据采集的重要设备，它在整个工业互联网中构成了一个庞大的通讯节点系统，对于整个工业互联网的运行有着非常重要的影响。为此，我们需要一种有效的网络工具，用于管理这样的通讯节点系统，对它们的运行状态，采集数据更新，采集周期等状态进行监控，同时也能对相应的软件维护、节点参数、接口配置等进行动态的调整。

云控制是工业互联网很重要的一项功能。但是，目前工业互联网的关注点主要集中在数据的处理和信息的管理方面。事实上，由于工业互联网中云平台能够综合更多的数据，因此它不仅可以对企业的管理过程提供重要的决策，而且可以对机器的控制过程提供更优的指令。云机器人和能源互联网都属于云控制的典型的应用。人工智能的技术需要强大的计算资源的支持，而这只有在云计算环境中才能得到满足。只有当强大的云控制功能和强大的数据采集功能结合在一起的时候，工业互联网才能具有真正强大的支配机器的能力。一般情况下，工业互联网的云平台是按照PaaS架构进行设计的。云控制可利用这方面的计算资源，进行智能控制、资源调度、优化决策，以及多个生产过程的协同作业等方面的计算处理，从而为机器的先进控制提供最优的设定值。云控制需要解决的关键技术问题是：互联网通讯的不确定性造成的数据通讯延迟补偿，如何让复杂算法的编辑、编译和基于工业互联网的动态调试过程变得更加简单和直观。工业APP提供的可视化能力，也为云控制技术的工程应用提供了有力支撑。另外，云控制需要边缘计算的协同。边缘计算一方面为云控制提供数据通讯的通道，一方面也为云控制过程提供安全保障。随着工业互联网技术的快速发展，云控制将逐步成为工业领域中最重要的一种生产技术。

工业互联网是生产企业控制与管理深度融合的重要技术设施。数据采集和控制是工业互联网连接机器社会的重要手段。数据采集和云控制技术的研究与应用，将有效消除人们对工业互联网发展的质疑，并产生积极的促进作用。

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。

智能硬件结合大数据优势，全方位挖掘用户线下、线上行为，精准定义目标客群特征、消费偏好、地域分布，为零售客户提供选址招商、运营管理、客群洞察、推广营销、实现 营销的“点对点”高效精准的传播，是新一代人工智能思维下的营销新武器。

店内优化

客流实时监测

顾客质量和转化率

顾客运动轨迹热点动图

店内商品试用、转化率

新客招募

厘米级精准定位新客，信息采集分析

对接各个广告平台，精准投放

广告效果评估

提高活动效果

展示真实人流，轨迹动图，客观评估活动效果

场景式营销，广告实时送达

用户画像

了解品牌受众，帮助品牌定位

进店顾客人群画像采集

人员、物品管理

优化员工管理系统，监测到岗及工作时间

贵重物品定位，防盗防损

优化库存管理

探针

集探针，iBeacon，商品触碰探测为一体

wifi与gprs两种上报信息方式

搭载gps模块，采集地理位置信息

出色的定位技术

手机号与mac地址绑定方案

平台化运作，提供丰富的上层接口给集成商

解决方案

购买地址：https://detail.1688/offer/551150997804.html?spm=b26110380.sw1688.mof001.1.b4WnET

或阿里巴巴搜索：58数云、潜客宝

随着医院信息化的发展以及“互联网+医疗”行动计划的推进，实现医院各部门、科室之间，医疗机构之间不同系统数据的互联互通，消除医疗“数据孤岛”，建立临床数据中心CDR、远程医疗平台、互联网医疗平台等医疗大数据应用中心，是大势所趋。

而HIS系统作为覆盖医院所有业务和业务全过程的信息管理系统，是医院最基础、最重要的系统。HIS系统数据正是医疗大数据应用的基础，若不能实现与HIS系统的数据交互，医疗大数据应用就如“无源之水”。

绕不开与HIS系统做对接，但对接方法，除了数据接口，还有别的方式。最具代表性的就是HIS数据采集工具，因为它不需要HIS系统软件厂商配合，就能采集HIS数据，建立数据输出通道。从而，很好的避免大量协调工作以及因厂商不愿配合而导致的对接难题。

HIS数据采集工具特点

①高兼容性：可以采集不同软件厂商的各种HIS系统数据。

②数据直接采集：不需要HIS系统厂商配合。

③非侵入性：数据采集与HIS系统数据库无关，对于加密数据库数据也可以采集。

应用场景

远程医疗平台——采集HIS系统的患者基本信息、病历病程等信息，存储至远程医疗平台数据库，为远程医疗数据调用提供数据源。

互联网医疗平台——与足够多的医院建立合作关系，且实现平台和医院临床数据的互联互通，是互联网医疗进行远程“重问诊”的前提，HIS数据采集工具，可以更方便、快捷的达成。

健康险精准核保——获得被保险人的诊疗信息，健康医疗保险才能精准核保与快速理赔。HIS数据采集工具，为核保系统与合作医院HIS系统的互联互通，提供了快捷通道。

医疗APP/医院微信公众平台——医院移动端为患者提供预约挂号、报告查询、费用查询、处方查询等服务，需要与HIS系统进行数据交互。通过数据采集工具，采集医生排班、检查报告等字段新增信息，同步至APP或医院微信公众平台，由此降低患者就医时间成本。

院内其他系统——医院PACS、SPD、EMR、辅助诊断等系统都需要与HIS进行数据交互，以减少工作人员重复操作。HIS数据采集工具，为系统间数据交互提供了一种更为易操作的方式。

敬

请

关

注

xPro_Therm32

32通道同步采样，热电偶转CAN系统

extending CAN-Logging Systems with 32 Thermocouple Inputs

CAN记录系统32通道热电偶扩展模块

xPro_Analog32 is a signal conditioning unit which extends any CAN logger with additional 32 Thermoelemente Typ K inputs.

xPro_Analog32是一款信号调理单元，可以接入任何CAN记录设备，32个K型热电偶输入。

Input Range Thermocouples热电偶输入范围

The input range for Type-K thermocouples is a wide -200 C to 1350 c. Each channel is sampled in paralle with 7 Hz enough even for dynamically changing temperatures.

K型热电偶的输入范围是 -200℃to 1350 ℃，通道在7Hz的采样率下同步采集温度的变化。

By the use of 24-Bits-Technology xPro_Therm32 does not need any pre-amplifiers which usually introduce a lot of drift and noise. Therfore xPro_Therm32 outputs a very stable signal with a high resolution, which provides information down to 0.01 degrees.

xPro_Therm32使用24位技术，无需预放大器，避免带来大的漂移和噪声。因此xPro_Therm32输出高分辨率的稳定的信号，可以带来0.01度的高分辨率。

xPro_Therm32 has been designed with using the latest technology. Each channel does have its own power supply and also channels are galvanically separeted.

xPro_Therm32设计时采用最新的技术，每个通道单独供电，通道间光隔离。

Each inpidual channel is equipped with a local cold junction compensation, which results in an excellent overall precision.

每个通道配有本地冷端补偿，带来完美的精度。

Power Supply供电

xPro_Therm32 comes with a wide range power supply of 10 … 30 VDC.

xPro_Therm32供电范围为： 10 … 30 VDC。

Vehicle Ground and instrument ground are consequently galvanically isolated, thus reliably avoiding ground loops.

汽车地和仪器地是光隔离的，避免地线回路。

xPro_Therm32 does have an electronic protection against wrong polarity of the supply.

xPro_Therm32 带有供电极性保护，防止极性反接损坏设备。

Status-LEDs and internal CAN-Hub

内置状态LED灯显示和CAN路由

Each input channel of xPro_Therm32 is equipped with a separate multi-colour status LED. These LEDs signal if a channel has been activated for acquisition and if the signal is within the predefined range.

xPro_Therm32每个通道配有不同的多个颜色的LED灯，假如通道激活，信号在其设置范围内，LED可以指示其状态。

By using the internal CAN-Hub ofxPro_Therm32 several units can be chained without the need to attach an external router.

xPro_Therm32的CAN路由功能可以将多个设备串联在一起食用，无需额外的路由设备。

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！