ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

数据采集器是一种常见的仓储管理设备，相信很多仓库管理人员或快递员都有接触过，随着物联网科技的进步，仓储信息化数据管理不仅错综复杂、而且数据非常庞大，传统人工录入管理数据不仅效率低下，数据的准确性和时效性都不能得到实时保证，因此使用条码数据化管理就显得非常有必要了。

那么企业仓储管理使用移动数据采集器有啥好处呢？首先工作效率的提高，在仓库管理中应用条码技术，实现数据的自动化采集，去掉了手工书写单据和送到机房输入的步骤，能大大提高工作效率。其次降低了仓储工作人员的工作强度，将单据所需的大量纸张文字信息转换成电子数据，简化了日后的查询步骤，工作人员不用再手工翻阅查找各种登记册和单据本，只需输入查询条件，计算机在很短的时间内就会查到所需记录，并将内容显示在屏幕上，大大加快了查询速度。提高生产数据统计的速度和准确性，减轻汇总统计人员的工作难度。

手工盘点与数据采集器盘点比较：

（1）数据的准确性比较

手工输入经常会产生抄写错误和键入错误，产生很多无效劳动和重复工作，导致仓库盘点信息不准确，使企业承担附加的库存量。而利用盘点机扫描服装的商品条码即可完成盘点工作，大大降低了盘点出错的概率，确保得到精准的数据。

（2）盘点周期的比较

一张单据从填写、收集到键盘输入，需要一天或更长的时间。这使得生产调度员只能根据前几天甚至一周前的库存信息，为用户定下交货日期。而使用数据采集器进行仓库库存盘点，可以使管理人员快速高效地进行盘点，原本手工盘点几天的工作量，用采集器往往数小时就能完成。

（3）数据的时效性比较

运用人工的计算方法需要先根据产品的包装清单逐个列出计算，当要计算多种产品,中间又嵌套半成品时将是件非常繁琐的事，并且很难做到准确、及时的核算，并还要核对库存最后才能得出库存报表。而使用盘点机进行仓库库存盘点，将现场采集的数据上传到仓库管理系统中，自动更新系统中的数据。同时也可以将系统中更新已后的数据下载到手持终端中，以便在现场进行查询和调用。

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

2017年中国机加工市场规模达8万亿元，其中1000家的机床生产企业，80万家机床使用企业。庞大的机加工市场同时存在着很大痛点，高端控制系统被国外垄断、客户分散、订单不稳定、设备闲置率高、同质化竞争利润低、人力成本高等，国内的加工制造业已经在外流，行业急需升级。

智能云科是一家聚焦机加工领域的工业互联网平台公司，由沈阳机床联合神州控股、光大金控于2015年在上海共同投资设立。

工业互联网平台有很多家在做，可以从以下几个关键维度去快速理解智能云科在做的事情。

行业方面，智能云科聚焦在机加工领域。服务对象，核心是上游机床厂商、下游加工厂。服务内容，从设备、生产数据联网，到产能交易、设备运维、租赁、供应链金融、工业APP等产业全生命周期服务。

有了框架，下面来具体看看，智能云科的iSESOL工业互联网平台是怎么做的，如何产生价值。

可以把智能云科的服务粗略分为两个大类：数据采集联网、数据应用。

数据采集联网：不止是采集，还能直接产生客户价值

朱志浩曾带领团队历时7年，于2014年推出了自主研发的机床控制系统i5，并于同年开始销售搭载i5系统的i5智能机床。

“这件事情的意义，类似于将传统手机升级为智能手机，智能机床通过i5系统，可以快速开发上层应用，从而将宝贵的工业机理、经验持续沉淀下来”朱志浩告诉36氪。

此前，机床厂商做的是一次性买卖生意，现在通过智能机床，能持续提供增值服务，例如零部件的故障预测，帮助客户及时更换，避免生产故障。这样，设备厂商能够从设备使用全周期的角度做这门生意，提高附加值，促使不断提高产品、服务质量，产生良性循环。

更进一步，朱志浩希望能把此项能力开放给市面上更多设备制造厂商。2017年，团队将i5机床控制系统进行独立封装，推出i5OS。可以将i5理解成苹果手机专属的iOS系统，而i5OS则是面向所有设备厂商的Android系统。

智能云科的数据采集联网业务，对于i5智能机床，或者搭载i5OS的设备，可以通过标准接口协议快速获取丰富的加工数据，对于其他机床，智能云科提供iSESOL BOX产品，进行数据采集和联网。

与市面大多数据采集联网设备不同，iSESOL BOX自带操作系统和边缘计算能力，可以直接支持APP应用，如耗电优化、刀具切削优化、温度补偿等。客户付出了连接成本，可以直接获得相应价值，不是为了连接而连接，从而增强客户买单动力。

以上说的是设备层面的数据采集和联网问题，而对于设备的使用方加工厂，智能云科提供iSESOL WIS产品帮助中小微加工厂完成企业信息化。

iSESOL WIS可以理解为轻量化的云MES系统，甚至不需要接入数据采集硬件，直接通过移动设备录入信息方式，将生产过程和结果信息化、可视化。

“工厂老板最关心的是生产情况如何，哪些订单要交货，已经完成了多少，是否有风险。WIS系统不做很复杂的东西，就聚焦在客户最核心的痛点，让他们用得起。”朱志浩告诉36氪。

总结来看，智能云科通过i5 OS、iSESOL BOX、iSESOL WIS产品，将设备和生产数据采集联网，并在连接的同时，直接产生了客户价值。

产业生态应用：基于真实数据，提供精准服务

有了数据，联了网，这只是开始。

智能云科提供了工业APP、产能交易、设备运维、租赁、供应链金融等一系列产业生态应用服务。

工业APP今年很火热，在朱志浩看来，工业互联网平台单纯的汇聚APP没有意义，一定要有承载体。对智能云科来说，承载体就是i5 OS和iSESOL BOX产品，能够与底层制造装备紧密对接，向上为APP提供开发平台。设备商、工厂、研究机构，都可以将自己对于工业机理的理解，以APP的方式沉淀下来，借助平台轻量化、低成本的推广到机加工行业，获取回报。

基于工厂真实透明的生产数据，可以形成较精准的工厂画像，包括每家工厂擅长加工哪些东西，产能情况，需要哪些工业品，经营状况等。智能云科可以更精准的对接订单加工方和需求方，对接工业品的供应方和购买方，对接金融机构和中小微加工厂等。

对于设备厂商来说，基于设备数据，可以进行远程运维、分时租赁等服务，降本增效，创新商业模式。

行业落地和挑战

智能云科的整套服务覆盖面很广，要怎么逐步实现呢？

朱志浩告诉36氪，智能云科从2015年成立，先用了3年时间，把核心产品和整套商业模式架构搭建起来，并通过i5数控机床进行了内部试验验证。当前阶段以及2019年要重点实现社会化落地，先以iSESOL BOX和iSESOL WIS为核心业务，把数据问题解决，再不断延伸产业生态服务。

官方信息显示，截至2018年11月，iSESOL服务范围已涵盖26省、161市，服务企业客户3000余家，已连接智能设备22000多台，累计服务机时5000多千时，覆盖汽车刹车盘、铝雕、消费电子、珠宝等行业。

36氪还了解到，智能云科目前正在准备A轮融资，总金额在亿元以上。

目前，国内已有数十家工业互联网平台公司，包括树根互联、徐工信息、海尔、富士康、智能云科等工业背景公司，浪潮、运营商等ICT巨头，阿里等互联网巨头，用友等IT公司，以及众多科技创业公司等。

智能云科的特点是基于深厚的机加工装备背景，聚焦机加工垂直领域。相比于通用平台，能从机床内部机理入手，更深入的挖掘数据价值。同时具备机加工行业较广泛的客户基础、市场基础（已销售3万台i5智能机床）。

当然，智能云科也面临着很多挑战，包括其i5 OS以及iSESOL BOX能多快多广的覆盖到行业客户，实现工业互联网平台的构建。以及其他设备厂商的接受意愿，是否有竞争顾虑，是否能接受智能机床的新模式等。

——————

我是36氪记者陈绍元，关注物联网、AI、科技，交流或寻求报道(不收费)加微信:963757163，请注明公司、职位、姓名，否则不加。

在互联网高速发展的时代，每一个个体都变得不再孤单。透过大数据、云计算、人工智能、物联网等技术的应用，通讯不再划定界限，数据也变得愈发清晰。技术在减少人与人之间距离的同时，也将设备变得互联互通，闭塞的信息孤岛在工厂中逐步减少，制造业迎来升级变革的最佳时机。在这之中，工业互联网又是新工业革命的关键基石。

在国家战略的支持下，工业互联网的发展稳步前进。数据处理的技术不断提高，数据挖掘能力不断提升。那么，究竟什么是生产设备数据采集？它的数据采集的重要性和难点又是什么呢？数网星工业互联网平台是如何进行数据采集呢？带着这几个问题，我们以数网星工业互联网平台为例，为大家讲解一下基于平台如何做好数据采集。

什么是生产设备数据采集？

数据采集(DAQ)，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号，送到上位机中进行分析，处理。

工业生产设备数据采集是利用泛在感知技术对各种工业生产设备进行实时高效采集和云端汇聚。通过各类通信手段接入不同设备、系统和产品，采集大范围、深层次的工业生产设备数据，以及异构数据的协议转换与边缘处理，构建工业互联网平台的数据基础。

工业生产设备数据采集的重要性和难点是什么？

工业大数据的采集为工业创新以及战略性发展提供数据基础，也是打造数字化工厂实现智能制造，迈向工业4.0的必经之路。工业生产设备作为工业生产最为重要的一部分，其各种数据直接关系着产品和工厂管理。

数字化工厂不等于无人工厂，产品配置，制造流程越复杂越多变，就越需要人的参与；在数字化工厂当中，工人更多地是处理异常情况，调整设备。但数据采集一直是困扰着所有制造工厂的传统痛点，自动化设备品牌类型繁多，厂家和数据接口各异，国外厂家本地支持有限，不同采购年代。即便产量停机数据自动采集了，也不等于整个制造过程数据都获得了，只要还有其他人工参与环节，这些数据就不完整。

数网星工业互联网平台是如何进行数据采集？

数网星工业互联网平台是天拓四方基于多年行业经验及项目积累而研发的互联网平台，它面向的是中小企业最为关注的核心痛点，透过丰富的功能应用，帮助企业有效降低运营风险和整体成本。

在强大的处理系统帮助下，数网星可以支持多种PLC和DCS控制系统的对接和电表的快速配置，快速读取设备状态数据。帮助用户将工业大数据项目实施难度和维护成本大幅降低，用户只需简单操作即可按照自己的意愿去采集想要的数据。

自动化生产都会伴随着产生大量的设备和生产数据，但由于布设的采集器不同，导致很多企业需要花费高昂价格、时间去开发对应的采集系统，直接阻碍了后续对数据存储和分析上的使用。数网星工业互联网平台通过先进的数据采集、管理、分析和应用，帮助企业在实现实时监控基础上，高效的进行远程调试、运维管理等工作。下一期，我们将继续分享设备智能应用之状态检测，敬请期待！

CCMT2018数控机床展将为您呈现业界最新的数字化制造、信息互联解决方案和智能制造系统等方面的内容。

上海双湖信息科技有限公司研发的“时视”--设备数据采集/联网与生产管理系统亮相CCMT2018上海数控机床展.

工业互联网平台是面向制造业数字化、网络化、智能化需求，构建基于海量数据采集、汇聚、分析的服务体系，支撑制造资源泛在连接、弹性供给、高

效配置的工业云平台，包括边缘、平台（工业 PaaS）、应用三大核心层级。可以认为，工业互联网平台是工业云平台的延伸发展，其 本质是在传统云

平台的基础上叠加物联网、大数据、人工智能等新兴技术，构建更精准、实时、高效的数据采集体系，建设包括存储、集成、访问、分析、管理功能的

使能平台，实现工业技术、经验、知识模型化、软件化、复用化，以工业 APP 的形式为制造企业各类创新应用，最终形成资源富集、多方参与、合作

共赢、协同演进的制造业生态。

时视-设备数据采集/联网与生产管理系统，为企业设备与生产的智能化管理，提供基于互联网及大数据平台技术的解决方案。

时视系统由“时视BOX”智能硬件、数据传输网络、数据应用软件、 数据管理平台组成。采用创新的数据采集、传输、存储、分析、云计 算、集成的大数据和智能化技术，实现设备与生产管理的信息化、数据 化、可视化。

数字安灯与生产可视用工业触屏，在触屏上配置安灯内容（计划与产 量、质量与报废、设备与点检、故障与维修、物料与批号、 模具与刀具等）。发生问题按动触屏软键时，数据通过时视 BOX实时传递到APP和数据平台，数据平台同时记录安灯数 据和问题解决时间，还可以使用大数据分析对经常发生的问 题进行分析。

从ERP自动或人工生成采购订单，采购订单数据上传至供应链协同平台，供应商从供应链协同平台打印条码标 签和条码送货单；工厂扫描收货、物料扫描上架。 生产过程中，采用扫描工单、扫描发料、扫描采集生产工人、机器、物料批号、生产方法和环境、产品测试数 据等信息，实现生产质量的全程追溯.

数据采集与智能制造 工业互联网、MES与智能工厂的实施，设备数据采集是基础；数据平台(PAAS)是核心；工业APP是关键。 设备和生产的数据通过时视BOX的数据互联和采集，不但可以构建各种管理应用模块和数据分析模块，还可以在 EAP数据管理平台上构建出多种MES功能模。

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

智能硬件结合大数据优势，全方位挖掘用户线下、线上行为，精准定义目标客群特征、消费偏好、地域分布，为零售客户提供选址招商、运营管理、客群洞察、推广营销、实现 营销的“点对点”高效精准的传播，是新一代人工智能思维下的营销新武器。

店内优化

客流实时监测

顾客质量和转化率

顾客运动轨迹热点动图

店内商品试用、转化率

新客招募

厘米级精准定位新客，信息采集分析

对接各个广告平台，精准投放

广告效果评估

提高活动效果

展示真实人流，轨迹动图，客观评估活动效果

场景式营销，广告实时送达

用户画像

了解品牌受众，帮助品牌定位

进店顾客人群画像采集

人员、物品管理

优化员工管理系统，监测到岗及工作时间

贵重物品定位，防盗防损

优化库存管理

探针

集探针，iBeacon，商品触碰探测为一体

wifi与gprs两种上报信息方式

搭载gps模块，采集地理位置信息

出色的定位技术

手机号与mac地址绑定方案

平台化运作，提供丰富的上层接口给集成商

解决方案

购买地址：https://detail.1688/offer/551150997804.html?spm=b26110380.sw1688.mof001.1.b4WnET

或阿里巴巴搜索：58数云、潜客宝

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。