一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

1.1 项目背景

希望通过高新技术手段，提高危险行业设备巡检的工作执行力度，提高危险行业维护保养企业的管理水平，保护企业员工生命安全，以及将已有的众多设备运行维护管理系统进行有效融合，将视频压缩录制和移动信息技术全面应用于生产过程，从而形成一套高效、协同指挥、信息化、数字化的端到端的多业务融合通信智能化移动巡检系统。集成了视频、语音、照明、录像、回放、4G无线传输的智能手持终端。如果不配备4G无线传输设备，则采用本地随身录像系统，可以将巡检过程中遇到的各种问题和巡检过程记录下来，形成视频数据库，制作巡检档案，如果采用全功能无线传输设备，可以远程实时监控现场的各种作业环节，极大地提高安全生产系数。

1.2 现状与需求

危险行业设备维保检修：在设备管理、生产线运行维护方面虽投入大量的人力物力，然而落后的通信方式、过于粗放、被动、无监督和无评价机制的传统监督模式已不能满足当今化工行业的管理需求，创建一种全新的设备日常运行维护质量监督模式来推动化工行业的企业持续发展已成为迫在眉睫的首要工作。

随着通信技术的发展，3G/4G无线网络的日趋普及，基于公网的数字集群对讲已经开始走进各行各业，可以有效为危化企业解决设备巡检上的很多问题，并实现如下功能。

1.2.1 建立设备巡检信息库

巡检人员在进行每日例行设备巡检任务时，可通过终端录像、拍照功能将设备现场实际情况拍摄后上传到中心数据库，同时可以把设备运行温度、转速等参数上传带数据服务器，建立设备巡检信息库，以备后期查询,作为设备巡检、大修等操作的判断依据。

如果暂时不考虑4G无线传输，则只需要采用本地录像和数据采集存储设备，巡检回来后采用读卡器把数据资料拷贝到电脑数据库，以备存查。

1.2.2 远程指导

现场作业人员在一些关键性抢修紧急情况下，对于位处偏远或专业人员无法及时赶到现场，可由现场人员采用视频实时上传功能将现场实际情况的实时视频回传至专业人员处，专家可通过视频直播，进行故障分析并做出相应的停开机或故障检修指导。

1.2.3 对设备巡检人员管理

在厂区设备日常巡检工作中，管理人员可通过系统的GPS功能或RDIF读取巡检点的ID编号，实现巡检人员的设备巡检任务到位监控。可有效管理巡检人员日常巡检工作，做到对设备巡检人员的工作的高度监督、管理。

1.2.4 提高巡检工作人员工作效率

设备运维管理人员，可通过系统的GPS轨迹回放功能对巡检工作人员日常巡检路线进行回放，从而达到对巡检工作的监督作用。同时，便于管理人员根据轨迹，优化巡检行走路线，提高人力物力使用率。

1.2.5 特殊区域，进入报警

在厂区中，由于人员专业的限制，某些特定区域只允许相关专业的人员进入。可通过本系统的电子围栏功能，实现不允许进入的特殊区域，通过GPS电子围栏功能设置侵入报警。当人员进入违禁区域时，终端、后台立即发出警报，并登记相应违规信息，将重大违规事故防范于未然。

1.2.6 对设备运行视频监控

对一些不允许人员进入的关键性区域，可通过系统的固定点无线视频监控，达到对设备运行状态的监控，同时故障设备达到快速定位，便于中控室对故障设备及时做出远程的运行调整，派遣相应专业人员前往故障设备点进行检修。

综上以上需求，迫切需要一种能同时提供多种业务，无线信号覆盖范围广泛，使用时无区域限制，信号盲点少，分组容量大，终端保密性高，抗干扰能力强的系统设备来满足工作人员对通讯保障和其他功能的需求。为规范工作人员在日常工作中提供可靠的整改依据，同时也希望能满足位置信息定位，为指挥中心随时了解设备的运行状况、巡检人员的位置及状态信息，使得指挥决策更加快捷、直观、有效。

MES制造执行系统的特点，就是能实时收集生产过程中的各类信息、数据，然后汇集到数据库中，作数据分析及供管理层查询。如何高效的采集车间的各类数据，是决定一个MES制造执行系统软件项目实施成败的重要关键环节。为您简单介绍一下几类常见的数据采集方式。

数据收集是MES制造执行系统业务进行的根本，也是MES制造执行系统进行统计分析的基础。MES制造执行系统软件应用中根据不同的数据、应用场景、人员能力、设备投入等方面的因素需要采用不同的数据收集方式，选择不同的数据收集设备。根据各类数据的分类，采用不同的数据采集方式。

1、必须录入的数据

必须录入的数据指系统必须直接从外部获得的数据。系统可以通过规格基础定义功能以及过程数据基础定义功能完全的自行建立属于企业自己的数据收集项目库。

例如产品的编码、产品流程、工序名称、工艺条件目标等。

2、系统自动生成的的数据

生产过程中的部分由事件触发的数据可以由系统在过程中自动收集，主要包括：工序开始操作的时间、结束时间、设备状态等。这一类的数据，可由时间触发之后，根据原本设定的基础数据，由系统自动收集。

3、通过条码采集的方式

通过条码收集制造数据的方式是最为普遍的方式之一。条码收集数据的前提是信息可以以编码的方式表达或与预设的数据通过编码建立对应关系。

条码方式可收集的数据主要包括：产品批号、物料批号、加工资源编号、运输资源编号、人员编号、异常类别、异常现象、设备状态(维修、保养、故障停机等)、作业开始、作业结束等。

条码可以提高数据录入的准确性，提高录入速度，且成本较低。因此，建议尽可能的将数据进行分类然后编码处理，转化成条码的方式表达以便于现场的数据采集。

4、传感器采集数据

某些行业对温度、压力、湿度等的要求有严格要求的，其相关数据来源可以增加各类传感器。采集模式主要为温度传感器、压力传感器、无线数据采集卡和PC等构成。

5、RFID数据采集

在汽车行业中，由于完全依据订单进行生产，并且几乎没有两辆完全一样的订购汽车，因此自动化的物流跟踪是顺利生产的前提条件。对于每道生产工序，必须要对汽车进行明确的识别，以避免诸如错误安装了空调、调漆颜色不对等问题。在装配流水线上应用RFID技术以尽可能大量地生产用户定制的汽车，用户可以从上万种内部和外部选项中选定自己所需要的颜色、引擎型号等，这样汽车装配流水线上就得装配上百种样式的汽车。在装配流水线上配有RFID系统，使用可重复使用的电子标签，该标签上可带有详细的汽车所需的所有信息，在每个工作点都有RFID读写器，这样可以保证汽车在各个流水线位置处能毫不出错的完成装配任务。

实时、准确的生产数据采集并实现是MES制造执行系统得以成功的重要基础，企业MES制造执行系统软件建设中应该充分考虑其数据采集的特点，在采集过程中，根据完整性、实时性原则、多种采集技术综合应用、人机结合原则、易于集成应用原则，运用多种数据采集方式，并利用计算机、数据网络语通信设备、各种技术标准和实时历史数据库软件的有机组合来实现生产数据的集成应用。

效率MES解决方案在自动化的基础上，显著提高工厂的智能化水平，降低人为因素的影响，便捷、“傻瓜式”的操作将大大降低人力成本。

来源：深圳效率科技efficient.hk

点击上方"关注"，共同关注工业互联网的发展!

工业数据采集过程，包含多类工业设备接入、多种工业通信网络协议解析、多源工业数据格式转换、实时工业数据存储与预处理等多个环节，为实现多源设备、异构系统、运营环境、人等要素信息的实时高效采集，需要大量 IT、OT 与 CT 核心关键技术支撑。

本报告所列工业数据采集关键技术主要源于工业数据采集各相关方共同关切和发展急需的方面。工业数据采集主要涉及工业通信网络、协议转换、物体标识及解析、边缘计算、工业人工智能等关键技术。

(一) 工业通信网络

工业数据采集常用工业通信网络技术主要有工业现场总线、工业以太网、工业光纤网络、TSN、NB-IoT、4G/5G 等，总体上可16分为有线和无线通信网络技术。

有线通信网络技术主要包括现场总线、工业以太网、工业光纤网络、TSN 等，现阶段工业现场设备数据采集主要采用有线通信网络技术，以保证信息实时采集和上传，对生产过程实时监控的需求。

无线通信网络技术正逐步向工业数据采集领域渗透，已成为有线网络的重要补充。主要包括短距离通信技术 RFID、Zigbee、WIFI 等，用于车间内的传感数据读取、物品及资产管理、AGV 等无线设备的网络连接；专用工业无线通信技术 WIA-PA/FA、WirelessHART、ISA100.11a 等；以及蜂窝无线通信技术 4G/5G、NB-IoT 等，用于工厂外智能产品、大型远距离移动设备、手持终端等的网络连接。

1. 现场总线：

现场总线主要解决工业现场的智能化仪器仪表、控制器、执行机构等现场设备间的数字通信以及这些现场控制设备和高级控制系统之间的信息传递问题，是连接智能现场设备和自动化系统的全数字、双向、多站的通信系统。现场总线目前仍没有统一标准，很多公司都推出其各自的现场总线技术，但彼此的开放性和互操作性还难以统一，目前应用较多的有 Profibus、CAN、LonWorks、HART、Modbus 等。

现场总线在工业界使用时间较长，技术成熟稳定。现场总线仍然是目前工业环境应用最为广泛的工业网络，现场总线的简单17性、可靠性高的优点受到许多用户的喜爱。随着中国产业升级的进一步深化，现场总线作为智能制造和工业互联网的基础，预计从 2018 年开始新增节点数会逐步回升。

2. 工业以太网：

工业以太网是指在工业环境的自动化控制及过程控制中应用以太网的相关组件及技术。工业以太网采用 TCP/IP 协议，和IEEE 802.3 标准兼容，但在应用层会加入各自特有的协议。工业以太网实现了以太网 TCP/IP 协议与工业现场总线的融合，是在标准以太网协议基础上修改或增加一些特定的功能而形成的。工业以太网在发展过程中形成了多种协议标准，包括 Profinet、EthernetIP、Modbus/TCP、EtherCAT 等，这些协议背后皆有各自支持厂商，难以形成统一标准。

工业以太网最大的优势在于：能够使企业的信息网络和控制网络实现统一；以太网容易实现网络集成，开发技术广泛，价格较低，容易获得众多厂商的支持。

工业以太网近几年快速发展，技术逐渐成熟，电磁兼容性、高低温等工业特性已能够满足工业数据采集需求，在工业数据采集领域得到了广泛应用，近年来工业以太网的市场占比逐步上升。

3. 工业光纤网络

随着无源光网络（PON）技术在电信、电力行业的广泛应用，工业光纤网络已成为工业数据采集领域的一种新型组网技术。工业光纤网络在工业互联网体系架构中处于车间级网络位置，工业18光纤网络由汇聚设备 OLT、无源分光器、PON 接入设备 ONU 组成，可以提供多种工业接口，实现工业设备数据、生产数据到企业 IT系统的可靠有效地传输。

工业光纤网络在工业场景下最常用的组网方式是基于 TypeD 保护方式的手拉手保护链型组网和星型组网，实现全光路保护，提高了车间通信网络的可靠性，为制造企业的通信可靠性提供了坚实的保障。

工业光纤网络具有以下优点：PON 通过无源器件组网，不受电磁干扰和雷电影响；采用自愈环形网络支持并联型，切换时间短、抵抗失效能力强；点到多点传输架构，终端并行接入，部署灵活；仅需单根光纤线传输，最远覆盖 30 公里范围；多业务承载，支持数据、视频、语音、时间同步等多种业务；高安全性，PON 网络设置 ONU 安全注册机制，下行数据传送天然加密，上行数据传送时分机制隔离。

点击上方关注，共同关注工业互联网的发展!

4. TSN

TSN 是 IEEE 提出的一个国际标准，TSN 是为了解决工业领域中的互操作性孕育而生的标准协议，厂商设备之间可以进行非常好的互联互通。TSN 是基于以太网标准的确定性实时通信机制，定义了极其准确、极易预测的网络时间，具备高数据量传输与优先权设定功能等优势。TSN 是其它工业以太网协议的基础，现有的工业以太网协议未来将会成为 TSN 网络之上的专属网络协议，因此这类协议依旧会存在，但彼此之间不会互相取代。

通过为以太网增添诸多功能特性，有效地解决了工业数据采集数据在以太网传输中的时序性、低延时和流量整形问题。同时又保持了 100%向后兼容传统以太网，TSN 确保了关键任务型时间敏感数据在网络上不会滞留，有助于跨许多行业打造一个互操作性的生态系统。通过使用标准的以太网组件，TSN 可无缝集成现有棕色地带应用和标准的 IT 网络来提高易用性。此外，TSN 继承了 HTTP 接口和 WEB 服务，实现了工业数据采集系统所需的远程监控、可视化和修复功能。

5. NB-IoT

NB-IoT 是由 3GPP 定义的基于蜂窝网络的窄带物联网技术,它支持海量连接、有深度覆盖能力、功耗低，适合于传感、计量、监控等工业数据采集应用，可满足这些应用对广覆盖、低功耗、低成本的需求，目前广泛商用的 2G/3G/4G 及其他无线技术都无法满足这些挑战。

NB-IoT 单小区可支持 5 万用户，NB-IoT 可以比现有无线技术提供 50~100 倍的接入数；NB-IoT 比 LTE 提升 20dB 增益，很好实现广域覆盖,就算在地下车库、地下室、地下管道等信号难以到达的地方也能覆盖到。

NB-IoT 引入超长 DRX 省电技术和 PSM 省电态模式，可让设备时时在线，通过减少不必要的信令和在 PSM 状态时不接受寻呼信息来达到省电目的，保障电池 5 年以上的使用寿命。

6. 5G（第五代移动通信网络）

近些年 WiFi、Zigbee 和 WirelessHART 等无线通信网络技术已经在制造车间使用，但这些无线技术存在局限性，不能满足智能制造对于数据采集的灵活、可移动、高带宽、低时延和高可靠等通信要求。

5G 具有更高的速率、更宽的带宽，预计 5G 网速将比 4G 提高 10 倍左右，从行业应用看，5G 具有更高的可靠性，更低的时延，支持接入网络更多、密度更大，可以为关键任务型的服务提供保障能力。能满足工业数据采集的高带宽、低时延和高可靠性等网络通信需求，可保证工业信息实时采集和上传，从而实现对生产过程的实时监控。

从发展态势看，5G 目前还处于技术标准的研究阶段，5G 有望 2020 年正式商用。目前，有线连接在工业数据采集连接数量方面占主导地位。但预测显示，从 2022 年到 2026 年，5G 物联网连接的平均年复合增长率将达到 464%。

点击上方关注，共同关注工业互联网的发展!

制造业生产数据采集的作用与意义导读：制造业是我国国民经济的支柱产业，也是推动工业化的原动力，现代制造业已经并且正在深刻地改变着人们的生产方式、生活方式甚至社会文化。全球经济一体化的趋势愈演愈烈，国际竞争不断加剧，制造业的发展必须不断提高在质量保障、品种多样化、快速设计制造、快速检测响应以及快速重组等方面的要求。于是，“以信息化带动工业化，以工业化促进信息化”被提到了前所未有的高度、深度和广度。

制造业生产数据采集的作用与意义

众所周知，制造业的信息化主要包括设计数字化、生产数字化、装备数字化、管理数字化、企业数字化等。信息化的大趋势使世界各国争先恐后的把先进技术和信息化引进到传统工业和制造业。1990 年，美国 AMR(Advanced Manufacturing Research)所提出的制造行业的ERP(Enterprise Resources Planning,企业资源规划)/MES(Manufacturing Execution System,制造执行系统)/PCS(Process Control System,过程控制系统)三层结构,已经成功地在许多行业得到了应用,并被越来越多的企业所认可.

美国 AMR 研究公司对MES 的定义表述为：MES 是一个常驻工厂层的信息系统，介于企业领导层的计划系统与生产过程的直接工业控制系统之间，它以当前视角向操作人员、管理人员提供生产过程的全部资源(人、设备、材料、工具和客户要求)的数据和信息，其着重点是将信息技术运用于改善制造过程。

而作为MES中低层的数据采集功能，可以实现对生产现场各种数据的收集、整理工作，是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。它可以为企业中其他例如ERP等管理信息系统提供实时数据。另一方面，MES也要从其它管理系统中获取相关的数据以保证MES自身正常运行。因此要满足MES快速、实时的要求，作为各种功能模块运行基础的数据就显得十分重要。一个迅速而可靠的数据采集系统是整个MES能够正常稳定工作的有力保证。

制造企业面临的数据采集现状

作为车间底层的数据采集系统，在企业实际生产过程中却存在着许多困难，尤其是在离散企业中由于自动化程度较低，往往存在着以下特点：

生产过程不可视：主要体现在不能实时了解生产现场中在制品、人员、设备、物料等制造资源和加工任务状态的动态变化。

生产过程复杂性：由于产品结构和加工工艺的复杂性，造成生产过程中各制造过程的关联性强，生产环境复杂多变(临时插单、材料短缺等) 。

制造过程信息集成度低：制造过程中的各种信息不能有效进行集成，导致产能不能得到充分利用。

信息不能有效与上层管理系统进行集成：这种隔断造成生产过程不透明，生产进度、在制品状况、设备利用状况等关键数据不能到达管理层，增加了过程管理和生产决策的复杂性。

制造过程信息的真实性差：现场数据信息过多依赖人机交互界面通过人工录入，增加了出错的机率。

制造过程信息的实时性低：作业任务随市场需求的频繁调整变化，不利于制造过程信息的实时采集，再加上制造过程信息交互的速度和效率低下，造成企业对市场变化的响应速度慢。

企业设计层和管理层到车间层特别是车间设备层的信息采集困难，一方面车间设备层的重要信息难于采集和上传，无法达到对生产过程的监控。另一方面上层系统难以深入到车间和设备层，从而影响管理信息系统的准确运行，使动态信息成为脱离实际的无源之水难于及时下达，从而使整个企业信息化难以产生更大的效益。

上述特点反映了制造车间迫切需要对制造过程进行信息化的数据采集管理，从而建立一个完整高效的离散制造车间数据采集及其分析处理系统是实现离散车间信息化的基础。数据采集及其分析处理系统的主要功能就是将车间的各种离散数据完整实时的采集到车间数据库中，并进行初步的分析处理，将车间生产的信息实时准确的反馈到车间的管理层，加强管理人员对车间生产现场的监控和管理，并为企业管理人员制定生产计划提供依据。

华磊迅拓科技专业提供SCADA数据采集监控系统，OrBit-SCADA（Supervisory Control And Data Acquisition）系统是"制造业物联网信息总线"的具体实现，它包含两个层次的含义：一是分步式的实时数据采集系统，即工业通讯与控制的PC上位机系统 ；另一个是生产现场的场景建模和显示系统。

随着工业科技的不断发展与技术的不断更新，在对于工业生产上的数据采集也越来越严格。

以前我们可以在产品生产完了再进行数据的统一收集，如今对数据的采集是实行实时制且需要可以一边观测的时候一边可以实施同步的调整数据，以达到生产过程中都能达到最合理的范围内。而实时制的数据采集与应用方式使整个生产水平得到了显著提升。

德航智能在工控行业内一直兢兢业业的耕耘着，公司在短短几年内发展成为如今的规模，离不开细致的服务与帮助不同的客户建立应用现场需求。现针对德航智能最成熟的产品——工业平板电脑应用于生产现场的数据采集，来讲一下怎么建立帮助客户解决需求方案的。

该解决方案帮助客户快速的在生产车间进行数据采集，实现了实时的获取车间现场数据信息，方便了生产数据可以第一时间进行调整并进行生产，为接下来的决策提供了实时的数据依据。

在工业现场中应用：

工业现场中，PC产品一般都是配套生产机器使用的，因而装载PC产品的空间会比较狭小，有的需求还要将PC产品进行嵌入式安装或固定在支架上。这对于台式PC来说是很难实现的，这时工业平板电脑在这里就发挥了很大的作用，在产品的机身背后有国际标准的VESA孔可方便产品嵌入或固定安装到各种空间中。

此外，工业平板电脑还拥有网口、串口、VGA等端口完全的满足了日常工业生产现场中的数据采集，在采集数据时，可直接通过串口线与之相连，同时工程师可在数据采集界面中设置相关的信息。

在工业机械加工行业的应用：

机械加工中的应用都是比较精细的且数据不能产生偏差，因为这种都是差之毫厘失之千里。传统的操作方式候都是采用人工输入到PC端中方式进行数据采集，然而这很容易的产生错误，一步错步步错，使机械的生产产生了很大的困难。

现在将工业平板电脑应用到机械加工中并外置了传感器，当机械产品接触到传感器发出的红外线时，传感器可以准确的将数据记录下来并传输到界面中让工程师可观测到产品的精确数据，以便工程师可以在第一时间知道在生产的产品中那个是不合格品、那个是数据出现了错误。这时工程师可以马上将产品返工并及时的调整数据，这就大大的增加了生成效率。

与SPC软件等系统的配合使用：

首先我们得了解一下什么叫SPC软件，SPC软件它是一种科学的、以数据为依据的质量分析与改进工具。利用了数理统计的原理，通过检测资料的收集和分析，可以达到“事前预防”的效果，从而有效的控制了生产过程、实时的不断改进品质。

SPC软件系统可为生产制造企业科学地将生产过程中的正常波动与异常波动给区分开来,它可以及时地发现异常状况，方便工程师采取措施进行异常的消除从而恢复稳定的生产，是质量成本得到了降低并提高了整体的产品质量。

而工业平板电脑作为SPC软件系统应用的载体,系统对工业平板电脑品质及接口方面有着比较高的要求，这不仅方便了数据的采集更是提高了整个生产效率。搭载SPC软件系统的工业平板电脑实现了对数据的实时监控，让生产人员可以第一时间发现问题避免重大生产事故的发生。

德航智能作为一个成熟的工业平板电脑设计及生产制造商，可为客户提供一款实现实时、自动、高效的数据采集的工业平板电脑，多种端口方便了不同的外设设备的接入，而高性能的处理器则高速的将采集的数据进行分析与处理，大容量的存储器则可将数据全方面的存储下来，方便工程师对整个生产车间的数据进行分析。

德航智能的工业平板电脑除了应用以上提到的几个方面外,它在与IQC入料检验系统、工时管理系统、OEE设备管理系统等系统都有很好的兼容，它们之间的配合使用提高整个生产的效率、减小了生产成本与生产时间。

最后，德航智能还研发出了一款手持的工业平板电脑，该款产品可作为移动式的工业数据采集终端。它体积小、质量轻、性能高、多端口，并适于户外数据的采集等特点,目前已被广泛的推广在一些工业应用现场中，实现了移动数据的实时采集与实时的上传到服务器中。

扬尘在线监测系统感知层，污染源在线监测仪，包括颗粒物浓度监测仪、气象五参数监测仪、噪声监测仪和视频监控摄像机，对颗粒物浓度、气象参数、噪声和现场视频进行连续自动在线监测;OSEN-YZ颗粒物监测仪就可以实现扬尘的实时监测，数据无线上报。传输层：采用有线、无线、3G/4G等方式传输各种监测数据。平台层：数据服务云平台，依托在建工地扬尘与噪声监测平台的数据，进行系统分析、提供跨区域、全时间、多层次的数据挖掘和对比，为科学治理雾霾提供数据支撑，应用层：面向不同环保局、建筑工地的客户端系统，实现基于Web的污染源实时数据在线监测、现场图像和视频的监控、污染源超标报警、以及面向不同管理层的各种管理与统计分析。

扬尘在线监测系统由颗粒物在线监测仪、数据采集和传输系统、视频监控系统、后台数据处理系统及信息监控管理平台共四部分组成。系统集成了物联网、大数据和云计算技术，通过光散射在线监测仪、云台摄像头、气象五参数采集设备和采集传输等设备，实现了实时、远程、自动监控颗粒物浓度;数据通过采用3G/4G网络传输，可以在智能移动平台、桌面PC机等多终端访问;监控平台还具有多种统计和高浓度报警功能，可广泛应用在散货堆场和码头、混凝土搅拌站以及工厂企业无组织排放的实时监控。

扬尘在线监测系统的功能与系统特点，人机交换界面，采样频率自主设定，高低上限报警，8路常开继电器，标准RS485 RS232数据提取 RJ45以太网接口，标准MODBUS RTU通讯协议。符合国家标准：GB3096-2008《声环境质量标准》和GB3095-2012《环境空气质量标准》采用在线式粉尘监测仪，性能稳定，数据准确。具有数据观察窗功能，以方便用户就地查看测量数据。具有扬尘预警、超标提醒、图像抓拍功能。全天候全自动24小时365天持续不间断工作，故障提示报警功能。气象参数扩展：可选配温湿度、风速风向、气压、降雨量、一体化摄像头等。工作环境：温度-20～80℃，相对温度不高于90%.

对于大部分制造业企业，测量仪器的自动数据采集一直是个令人烦恼的事情，即使仪器已经具有RS232/485等接口，但仍然在使用一边测量，一边手工记录到纸张，最后再输入到PC中处理的方式。不但工作繁重，同时也无法保证数据的准确性，常常管理人员得到的数据已经是滞后了一两天的数据；而对于现场的不良产品信息及相关的产量数据，如何实现高效率、简洁、实时的数据采集更是一大难题。 深圳市乐凡信息科技有限公司（以下简称乐凡）作为国内领先的行业移动终端解决方案的供应商，针对生产现场的数据采集，研发出乐凡工业平板电脑首创的现场数据采集领先解决方案，帮助客户快速建立车间现场数据采集终端，实时获取车间现场的数据信息，为生产及决策提供实时的数据依据。

在生产行业的应用：　在生产现场，由于空间的限制，一般情况下不方便放置常规的工控主机，同时也基于成本的考虑，所以采用乐凡工业平板电脑是一个比较好的解决方案，采集数据时，可直接通过串口线与之相连，同时用户可在数据采集仪中设置产品相关的信息。

在机械加工行业的应用：　　在对机械加工中轴类零件的轴向及径向跳动测量时，常规的手工方法费时费力，同时其准确性由于采用人工读数的方法，也容易导致一定的误差，现在只需要使用乐凡工业平板电脑连接各种指示表,如百分表等,就可以实时采集测量的数据,并计算出各种测量结果,这样不但成本低，而且测量效率高。

　　乐凡工业平板电脑与SPC软件等系统的配合使用：　　数据采集作为SPC系统的核心组成部分,其在品质过程中处于一个非常重要的环节，好的数据采集方案可把品质管理人员从处理数据的繁重工作中解放出来，有更多的时间去解决实际的品质问题，同时即时的数据采集也真正地实现实时监控，尽早发现问题，避免更大的损失。

　　而乐凡工业平板电脑作为一种实时、自动、高效的数据采集终端，可直接接入仪器设备，将数据传输到服务器的数据库中，极大地减少人工数据采集的成本。　　乐凡工业平板电脑除了应用于以上几个方面外,也可以直接与IQC入料检验系统、工时管理系统、OEE设备管理系统等配合使用,总之,乐凡工业平板电脑作为工业数据采集终端，由于它的体积小、重量轻、高性能，并适于手持等特点,目前已经被广泛应用于工业生产现场实时数据采集中。

工业物联网无线数据采集系统，是一套具备终端数据采集，无线数据传输和数据应用分析等多功能的智能化数据采集和监控系统，它在市政供排水管网、供汽管网、热力管网、石油天然气管网、地下管沟监控；游泳池水箱水塔液位、大坝、河道水位、泵房浸水监控；蔬菜蘑菇、针金菇、水果、花卉、育苗等农业大棚智能环境监控；畜牧、家禽、水产等农业养殖智能环境监控；化工危化品石油天然气储罐区、电池、面粉仓库智能环境监控；电信机房、实验室、医院药房、生产车间、冷柜冰箱、图书馆、博物馆、档案室、粮库、烟草、酒糟酒曲酒窖等仓储馆藏智能环境监控；社区楼宇、港口工业园区、公园景区、校园广场、超市商场等大气环境质量智能监控；发动机、变频器等生产机器设备运行状态、仪器仪表能耗及生产缺料的智能监控等多个领域有着广泛的应用。

近年来，工业物联网无线数据采集系统的发展趋势是简化终端结构，在数据采集终端与主机之间采用无线通信，以代替复杂、不灵活的现场布线。该阶段数据采集系统采用更先进的模块式结构，根据不同的应用要求，通过简单的增加和更改模块，并结合系统编程，就可以扩展或修改系统，满足不同领域的需要。

针对工厂生产车间机器设备运行状态、运行工艺参数、运行能耗数据，以及管网运行状态数据、变配电系统运行数据、车间仓储库房环境参数等数据的采集、监控，深圳信立科技结合XL.SN无线传感器网络2.4GHz或433MHz模块技术、MES制造执行系统技术及无线传感器、无线测控装置RTU等，自主研发设计了一套工业版工厂生产车间无线数据采集系统解决方案，实现实时获取完整、准确的工厂生产制造过程中的各种数据，为企业提高生产制造管理提供基础数据，全面优化生产制造的管理手段、提高生产制造管理效率，向工业4.0靠近！

一、系统功能

1、采集设备运行状态：停止、待机、运行、故障、检修等等，以及发生的时间点；

2、采集设备运行工艺参数：压力、温度、流量、转速、计数、风速、位移等；

3、采集设备运行能耗：电流、功率、电能；汽、气消耗量；

4、采集企业供水、供汽、空压、制冷等设备及相应管网的运行状态数据；

5、采集企业变配电系统运行数据；

6、监控车间环境参数，以及仓储库房环境参数。

二、系统通讯方案

1、XL.SN智能传感网络采集结构

XL90物联网智能网关，可同时构建433MHz和2.4GHz两种不同结构的传感网络，用于接收终端采集的数据，并上传至服务器。其中433MHz用于跨车间、厂区内的数据传输，2.4GHz用于车间内的数据传输。

2、XL.SN通讯网络方案

a、XL90物联网智能网关通过2.4GHz或433MHz等方式读取节点设备数据后，进行协议转换、数据处理，通过局域网，上传数据至MES服务器；

b、XL90物联网智能网关通过以太网，从第三方监控系统，如电力监控系统、EMS、DCS、智能楼宇系统等等，读取数据；

c、MES服务器，或XL90物联网智能网关，通过以太网，将数据转发给第三方系统，如EMS、ERP等。如图2。

3、物联网智能网关数据接入MES系统通讯方案

XL90物联网智能网关通过企业局域网，和MES服务器通讯。 XL90智能网关和MES的通信协议，可选以下3种： 建议首选：XL/9E-RDF Redis数据交换协议； 建议次选：XL/9E-DF 数据库格式协议； 建议再次选：XL/9E-UDP 通信协议； 工业以太网通用协议：MODBUS TCP。（不太建议选择）

三、系统解决方案

1、设备信号采集

配置XL60智能测装置，采集机器设备的运行信号，通过2.4GHz或433MHz方式上传，实现生产制造设备的信号采集。

2、设备控制器的数据采集

选配XL66智能转换器，读取机器设备控制装置及现场监控仪表采集的信号，通过2.4GHz或433MHz等方式接入传感网络。

3、管道压力、温度，车间环境、仓储环境的气体浓度、温湿度采集

选配XL61系列智能传感器，采集管道压力、温度，车间环境、仓储环境的气体浓度、温湿度，通过无线上传，并在需要的通道，出、入口设置声光报警器，或启动紧急设备。

4、其他信号采集

选配XL60智能测控装置，及XL68智能环境监测装置，采集火灾探测器、噪音传感器，光照传感器，液位变送器，压力变送器等等设备，以及系统原配的仪表数据。

四、系统优势

1、工厂生产车间无线数据采集系统建设过程中，无需布线，或减少布线数量，减少系统建设成本。

2、系统所需的设备安装调试方便，设备支持手机调试，提高运营维护的效率。

3、系统底层终端各种数据采集后统一接入企业MES系统，便于监控管理，提高企业生产管理效率。

五、系统配套

整个无线数据采集系统方案，根据应用需要配套的软硬件设备，包括XL90物联网无线智能网关、XL60智能测控装置RTU、XL68智能环境测控装置RTU、XL66智能转换器，以及XL61无线压力传感器、XL61无线温度传感器、XL61无线气体传感器、XL51无线温湿度传感器等无线传感器，还有MES制造执行系统软件。

六、适用范围

深圳信立科技设计的工业版工厂生产车间无线数据采集系统解决方案，适用于在我国珠三角、长三角、京津冀等沿海发达地区，以及重庆、成都、湖北、河南、安徽等内陆省份的电子加工制造、汽车制造、钢铁冶炼、机械装备、食品生产、医药生产等各行业制造业工厂。

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。