工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。

MES系统的核心任务就是：在企业的生产制造过程中及时、有效地传递正确的数据信息，并针对生产过程中的任何异常变动立即作出快速准确的反应。其目标是：尽可能地减少生产制造过程中无附加价值的活动，对企业的生产作业和流程进行更为有效的优化和再造。

提高MES系统数据实时性的实现办法和保障措施：

1.MES系统中数据流通的技术环节分析1.1位于系统最顶部的数据应用层，负责对系统中的数据进行分析、加工，并以可视化的方式，通过B/S或C/S的网络架构，将处理后的结果信息发布给企业的各级生产管理人员。1.2位于系统中间的数据处理层，负责将采集到的数据进行分类、存储等处理。1.3位于系统最底部的数据采集层，主要负责从生产现场的DCS等各种设备装置中采集系统所需的各种数据信息。

2、提高MES系统中数据采集、传输和处理速度要提高MES系统数据的实时性，就必须提高MES系统中数据采集、传输和处理速度。

而与此有主要关联的是以下几个环节：

1.数据采集2.数据传输网络3.实时数据库4.应用层的网络架构

5.用户端处理技术。必须针对上述这5个环节，分别采取相应的措施进行处理。

3、具体实现办法和保障措施

3.1数据采集部分数据采集部分是整个MES系统的基础，对于不同的采集对象，只有采用有针对性的、合理适当且安全高效的数据采集方法和策略，才能以最快的速度从现场设备装置(主要是各种DCS)中获取数据。针对DCS系统的数据采集的方法：方法1：实时数据库使用 OPC协议直接从DCS采集OPC的英文全称是：OLE for Process Control，即：“面向处理控制的对象链接与嵌入”的标准接口技术，它是基于Microsoft公司的

Distributed interNet Application(DNA)构架和Component Object Medel(COM)技术的，根据易于扩展性而设计的。同时，OPC以OLE(即：对象链接与嵌入)/COM(即：部件对象模型)机制作为应用程序的通讯标准，而OLE/COM是一种客户/BE务器模式，具有语言无关性、代码重用性、易于集成性等优点。OPC规范了接口函数，不管现场设备以何种形式存在，客户都以统一的方式去访问。是一种基于OLE技术、COM和DCOM(即：分布式COM)技术的开放性的接口技术，已成为目前的工业标准接口。

多数新型的DCS设备都支持OPC数据接口通信协议，从理论上讲，可以让实时数据库直接从DCS中采集数据，但我们在实际调研中发现，有的企业采用这种方式的效果并不好，有的甚至出现导致DCS“死机”，而这也正是实施数据采集的最大风险。通过调查分析和请教有关专家才了解到，造成这一“灾难”的原因在于：实时数据库自身的数据吞吐量相当大，当实时数据库直接从DCS系统中同时采集大量的数据时，DCS本身也必须花费大量的机时来响应实时数据库的这些数据请求，一旦数据请求量大到DCS处理不过来时，就会导致DCS处理其它事件的响应速度，从现象上看就像“死机”一样。

方法2：建立OPC服务器，由OPC服务器从DCS采集后转发给实时数据库为避免重蹈他人的覆辙，我们采取的方法是：用一台工控机作为数据采集工作站，通过OPC协议与DCS进行数据通信，并且仅从DCS中读取我们最关心的数据而不进行任何的写入操作。实践证明，这种方法非常安全可靠，同时也并未影响整个系统数据更新的快速性。 方法3：建立OPC服务器，由OPC服务器通过其他协议从没有OPC接口的老DCS中读取数据后，再通过OPC协议转发到实时数据库。 3.2 数据传输网络 当数据采集工作站现场采集到实时数据后，通过网络将这些数据快速地转发给放置在数据机房中的实时数据库服务器。在通过各种数据处理后，由应用服务器以WEB方式让企业的各级管理人员通过内部办公网络访问MES系统。由此可以看到数据传输网络在整个过程中的重要程度。从前面的介绍中我们知道，一套完整的MES系统其网络结构也分为对应的三个部分：采集网、管理网、应用网。其中，采集网是指从实时数据库到数据采集工作站和现场采集对象(DCS等)之间的网络，管理网则包含的是从实时数据库到关系数据库、应用服务器之间的部分，应用网则是从各类应用人员的计算机终端到MES应用服务器和关系服务器的部分。对于赤天化股份有限公司而言，原来已有的办公网络就是MES系统的应用网，由于此前已将办公网络改造成千线光纤、百兆到桌面的高速网络，因此，在此次MES项目中，我们只对MES系统内部的采集网和管理网按照“高速、稳定、安全、可靠”的原则进行了建设和完善。

具体主要采取了以下措施：

措施1：将采集工作站放置在现场采集对象(如DCS)旁边，尽可能缩短采集工作站与DCS之间的数据传输线路距离，以保障它们之间通过百兆以太网连接实现数据的高速传输。

措施2：将实时数据库、关系数据库、应用服务器放置在公司的数据机房，从数据机房敷设单模光纤到各个现场采集点，在数据机房安装带光纤模块的核心交换机，在现场采集点安装带光纤模块桌面交换机，核心交换机与各采集点的桌面交换机之间直接用光纤连接，不通过光纤收发器进行光电转换，减少传输环节，提高传输效率。

措施3：核心交换机采用背板带宽≥100Gbps、包转发率≥75Mpps的四层交换机，采集点的桌面交换机背板带宽≥4.4Gbps、包转发率≥6.5Mpps。机房服务器选用性能比较稳定、处理能力较强的四核双CPU品牌设备。现场采集工作站使用性能稳定可靠性较高的工控机。

措施4：在现场的数据采集工作站除了采集并转发数据外，还要将需转发的数据在本地保存7d以上，当网络出现中断经处理恢复后可以自动向实时数据库补发数据，从而有效防止因网络中断而导致大量数据丢失，最大程度地避免给企业带来损失。

3.3实时数据库

毋庸置疑，在整个MES系统中最核心的就是实时数据库。实时数据库自身性能的高低将直接决定整个MES系统运行性能。采用高效的数据压缩和存储技术，可以大大提高数据传输和处理的速度，试想一下，从同一台服务器上下载数据文件，是下载上百兆的大文件快还是只有几兆甚至几K的文件快呢？因此，我们在对实时数据库进行选型时，也将数据压缩能力和存储方式作为重要的考核指标。

3.4 ME应用层的网络架构

用于MES系统是以WEB方式向应用人员提供访问服务的，因此应用层的网络架构分为B/S和C/S两种。那么，这两种架构又该如何取舍呢？考虑到公司各部门的实际应用情况，在少数特殊岗位(如调度、总控等)设置采用C/S架构的客户端，而其他通过WEB方式访问的用户均采用B/S架构。这样一来，整个MES系统实际上是B/S与C/S的混合架构。

3.5用户端处理技术

在MES中涉及大量的图形图像需要在用户端的电脑屏幕上显示，尤其是工艺流程图，需要用外形逼真的图像将其对应的设备装置展示出来，如果采用传统的BMP或JPG格式的图形文件格式，在用户端浏览时完整画面显示的速度会很慢，尤其是要动态显示诸如温度、液位等状态变化时，就更很难达到界面显示既形象直观又快速的效果要求。因此，在制定具体的技术方案时，就考虑到这一客观要求。经过反复比较测试，最后选择了基于矢量图技术的用户端动态成像技术。从实际运行中的效果来看，采用这种技术在用户端的浏览器上由WEB插件自己根据服务器提供的数据生成图形，尤其是工艺流程图，显示的速度非常快，画面效果也比较逼真清晰，而且也能达到实时动态的展示温度、液位的变化。

4、整体效果评价

由于在上述5个方面分别采取了有针对性的方法和措施，至少在数据的实时性方面效果更为明显，达到了用户端看见的数据基本上与现场DCS设备数据同步。

深科特MES制造执行系统在3C电子、通讯电子、汽车电子、医疗电子、军工电子、航空航天和光电技术等各离散制造行业实现可落地易执行的方案，并积累和沉淀了丰富的行业经验和客户案例，累计超过200多家制造型企业正在使用深科特的产品和服务并不断提升效益，目前团队规模超过200人并在不断壮大。

扬尘在线监测系统感知层，污染源在线监测仪，包括颗粒物浓度监测仪、气象五参数监测仪、噪声监测仪和视频监控摄像机，对颗粒物浓度、气象参数、噪声和现场视频进行连续自动在线监测;OSEN-YZ颗粒物监测仪就可以实现扬尘的实时监测，数据无线上报。传输层：采用有线、无线、3G/4G等方式传输各种监测数据。平台层：数据服务云平台，依托在建工地扬尘与噪声监测平台的数据，进行系统分析、提供跨区域、全时间、多层次的数据挖掘和对比，为科学治理雾霾提供数据支撑，应用层：面向不同环保局、建筑工地的客户端系统，实现基于Web的污染源实时数据在线监测、现场图像和视频的监控、污染源超标报警、以及面向不同管理层的各种管理与统计分析。

扬尘在线监测系统由颗粒物在线监测仪、数据采集和传输系统、视频监控系统、后台数据处理系统及信息监控管理平台共四部分组成。系统集成了物联网、大数据和云计算技术，通过光散射在线监测仪、云台摄像头、气象五参数采集设备和采集传输等设备，实现了实时、远程、自动监控颗粒物浓度;数据通过采用3G/4G网络传输，可以在智能移动平台、桌面PC机等多终端访问;监控平台还具有多种统计和高浓度报警功能，可广泛应用在散货堆场和码头、混凝土搅拌站以及工厂企业无组织排放的实时监控。

扬尘在线监测系统的功能与系统特点，人机交换界面，采样频率自主设定，高低上限报警，8路常开继电器，标准RS485 RS232数据提取 RJ45以太网接口，标准MODBUS RTU通讯协议。符合国家标准：GB3096-2008《声环境质量标准》和GB3095-2012《环境空气质量标准》采用在线式粉尘监测仪，性能稳定，数据准确。具有数据观察窗功能，以方便用户就地查看测量数据。具有扬尘预警、超标提醒、图像抓拍功能。全天候全自动24小时365天持续不间断工作，故障提示报警功能。气象参数扩展：可选配温湿度、风速风向、气压、降雨量、一体化摄像头等。工作环境：温度-20～80℃，相对温度不高于90%.

FC-Gateway数据采集接口网关是北京华恒信远专门为工业标准通讯接口OPC Server软件、数据采集接口软件配套定制开发的一款嵌入式硬件产品，内置两个标准RS-232串口（其中一个串口可以通过跳线设置成RS-485）和两个RJ45以太网口，型号为Gateway-227B， 此外，还有Gateway-240B、Gateway-230B等嵌入式工控机型号。 该设备操作系统有Windows、Linux两种，其功能与特点如下： 1、OPC服务器：可连接DCS、PLC等控制系统，读写实时数据，包装成OPC Server工业标准通讯接口，提供给实时数据库系统、先进控制系统和MES系统集成商； 2、安全隔离：当数据采集接口网关为实时数据库系统提供实时数据时，它一般位于自动化控制系统和实时数据库服务器之间，由于数据采集接口网关采用了内置单向数据传输技术，可达到自动化控制系统和实时数据库服务器之间的安全隔离目的。 3、该产品操作系统、数据采集程序等均固化，不可修改。一旦被修改，重新启动后，自动恢复到初始状态，可防止病毒以及黑客软件攻击。 4、结构先进、安装方便，该产品高度1U，可以直接安装在标准机柜中，独特的散热技术，1U机箱有多个磁悬浮风扇散热。 5、数据采集冗余设计：支持双机双网冗余通讯。 6、可作为InfoPlus.21、PI、PHD等实时数据库系统的数据采集终端，也可写数据至关系数据库，为MIS、ERP等管理信息系统提供生产实时数据。

制造业生产数据采集的作用与意义导读：制造业是我国国民经济的支柱产业，也是推动工业化的原动力，现代制造业已经并且正在深刻地改变着人们的生产方式、生活方式甚至社会文化。全球经济一体化的趋势愈演愈烈，国际竞争不断加剧，制造业的发展必须不断提高在质量保障、品种多样化、快速设计制造、快速检测响应以及快速重组等方面的要求。于是，“以信息化带动工业化，以工业化促进信息化”被提到了前所未有的高度、深度和广度。

制造业生产数据采集的作用与意义

众所周知，制造业的信息化主要包括设计数字化、生产数字化、装备数字化、管理数字化、企业数字化等。信息化的大趋势使世界各国争先恐后的把先进技术和信息化引进到传统工业和制造业。1990 年，美国 AMR(Advanced Manufacturing Research)所提出的制造行业的ERP(Enterprise Resources Planning,企业资源规划)/MES(Manufacturing Execution System,制造执行系统)/PCS(Process Control System,过程控制系统)三层结构,已经成功地在许多行业得到了应用,并被越来越多的企业所认可.

美国 AMR 研究公司对MES 的定义表述为：MES 是一个常驻工厂层的信息系统，介于企业领导层的计划系统与生产过程的直接工业控制系统之间，它以当前视角向操作人员、管理人员提供生产过程的全部资源(人、设备、材料、工具和客户要求)的数据和信息，其着重点是将信息技术运用于改善制造过程。

而作为MES中低层的数据采集功能，可以实现对生产现场各种数据的收集、整理工作，是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。它可以为企业中其他例如ERP等管理信息系统提供实时数据。另一方面，MES也要从其它管理系统中获取相关的数据以保证MES自身正常运行。因此要满足MES快速、实时的要求，作为各种功能模块运行基础的数据就显得十分重要。一个迅速而可靠的数据采集系统是整个MES能够正常稳定工作的有力保证。

制造企业面临的数据采集现状

作为车间底层的数据采集系统，在企业实际生产过程中却存在着许多困难，尤其是在离散企业中由于自动化程度较低，往往存在着以下特点：

生产过程不可视：主要体现在不能实时了解生产现场中在制品、人员、设备、物料等制造资源和加工任务状态的动态变化。

生产过程复杂性：由于产品结构和加工工艺的复杂性，造成生产过程中各制造过程的关联性强，生产环境复杂多变(临时插单、材料短缺等) 。

制造过程信息集成度低：制造过程中的各种信息不能有效进行集成，导致产能不能得到充分利用。

信息不能有效与上层管理系统进行集成：这种隔断造成生产过程不透明，生产进度、在制品状况、设备利用状况等关键数据不能到达管理层，增加了过程管理和生产决策的复杂性。

制造过程信息的真实性差：现场数据信息过多依赖人机交互界面通过人工录入，增加了出错的机率。

制造过程信息的实时性低：作业任务随市场需求的频繁调整变化，不利于制造过程信息的实时采集，再加上制造过程信息交互的速度和效率低下，造成企业对市场变化的响应速度慢。

企业设计层和管理层到车间层特别是车间设备层的信息采集困难，一方面车间设备层的重要信息难于采集和上传，无法达到对生产过程的监控。另一方面上层系统难以深入到车间和设备层，从而影响管理信息系统的准确运行，使动态信息成为脱离实际的无源之水难于及时下达，从而使整个企业信息化难以产生更大的效益。

上述特点反映了制造车间迫切需要对制造过程进行信息化的数据采集管理，从而建立一个完整高效的离散制造车间数据采集及其分析处理系统是实现离散车间信息化的基础。数据采集及其分析处理系统的主要功能就是将车间的各种离散数据完整实时的采集到车间数据库中，并进行初步的分析处理，将车间生产的信息实时准确的反馈到车间的管理层，加强管理人员对车间生产现场的监控和管理，并为企业管理人员制定生产计划提供依据。

华磊迅拓科技专业提供SCADA数据采集监控系统，OrBit-SCADA（Supervisory Control And Data Acquisition）系统是"制造业物联网信息总线"的具体实现，它包含两个层次的含义：一是分步式的实时数据采集系统，即工业通讯与控制的PC上位机系统 ；另一个是生产现场的场景建模和显示系统。

在《中国制造2025》战略实施后，“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。

离开生产数据采集，生产管理部门不能及时、准确地得到工件生产数量；无法准确、科学地制定生产计划；无法实现生产管理协同等。

可见，只有有效的实现生产数据的采集和分析，才能从根本上解决车间管理中计划跟踪迟滞、设备利用率低、产品质量难以提升等问题。

自动地、及时地、准确地数据采集，是现代化工业车间的基础。而我们，能为数字化工厂打造一个更加可视、实时、精细、可追溯的制造环境。

东芝，是日本最大的半导体制造商，也是第二大综合电机制造商。公司创立于1875年，业务领域包括数码产品、电子元器件、社会基础设备、家电等。东芝信息机器（杭州）有限公司是日本东芝株式会社的全资子公司，也是东芝笔记本电脑全球唯一的生产基地。

面临的挑战

东芝电脑产品及机板配件生产部门每天都需要及时产出大量的生产数据统计报表，同时质检部门也需要定时定期巡检设备生产相关的异常信息，方便对生产数据进行快速高效和精细化的管理。

但是东芝之前通过excel记录生产数据已无法满足现有业务量的需求：

1、数据采集难：依然采用人工采集、手工输入等方式采集生产线信息；

2、手工数据质量差：excel记录不仅准确性不足，还存在一定的错误率；

3、报送周期长，统计延时：手工输入只能定时进行，无法实时更新系统中的生产数据，滞后情况严重，不利于生产线的顺利进行，制约了产能的进一步提高。

4、事后监管机制：不能及时发现生产过程问题，生产效率提升缓慢；

5、数据分析不足：不能进行可视化的展现，无法给领导提供决策支撑。

为什么选择亿信华辰

1、经受考验的成熟度

支撑30多个国家级部委完成监管、普查、抽查、统计等应用场景的数据采集与分析，助力100余家银行完成统一报表平台和统一数据平台的建设，业务稳定运行。

2、技术先进性

12年的技术沉淀，围绕数据全生命周期自主研发了多款重量级核心智能产品，产品线涵盖了数据采集、数据处理、数据存储、数据分析、数据挖掘等多个领域。

3、高品质强口碑

亿信华辰不仅提供成熟的平台化产品，而且不断地给客户成功交付数据中心、决策支持等应用系统，并以几乎100%的项目成功率，取得了远超同业公司的客户满意度。

平台建设

东芝制造车间生产过程中的数据包括车间人员、物料、加工设备、工票、工装、加工过程等，涉及车间各个部分。面向东芝内部的生产部门，为一线生产人员及质检部门提供数据填报及数据分析平台，是一个完全基于互联网技术构建的智能数据系统。

1、生产数据自动采集并上报

生产部门需要定时每天填写电脑产品及机板配件等的生产信息日报等，利用亿信华辰i@Report产品可以自动将数据库中的设备相关信息初始化到固定格式的报表中，然后根据相关业务逻辑公式，自动统计工数、时长、产出等，生产业务人员确认后直接上报，即可完成数据的采集填报工作，生产组长可以快速汇总其下属各个人员的生产数据，并将数据逐层上报。

2、异常数据提前预警

品质部门需要监管生产流水线的产品生产情况，并形成品质报告定期输出，利用i@Report移动填报功能，品质部门会去现场定时定期巡检，并将异常原因、设备编号等信息在平板电脑上立即进行填报，并拍照上传相关图片留档；同时，对于异常原因利用亿信BI进行历史数据的相关分析，形成问题检索表，方便对比分析。

方案价值

总体而言，利用i@Report+亿信BI两个产品，将以往需要大量的人工通过excel方式报送报表，改为只需要在移动端/PC端在线填报数据的工作模式，极大的减少了业务人员的工作量，提高了数据的共享效率；并将手工数据按照统一的标准存储到数据库，增强了数据的完整统一，也更加有利于对历史数据的对比关联分析。

同时，因为有效的流程监控，在生产过程中，可及时发现异动数据，提前预警，进一步提升了生产质量，降低了事故率，亿信华辰帮助客户收获更高的运营效率和生产质量。

目前，通过智能数据平台的搭建，亿信华辰帮助东芝提升生产能力的同时，也保证了数据的安全性和可靠性，着实为互联网时代的制造业注入了新的活力。

近期，由柳州欧维姆机械股份有限公司（以下简称欧维姆公司）承建的世界跨径最大钢桁梁斜拉桥——鸭池河特大桥索力监测系统升级顺利完成。至此，该桥索力监测系统由离线模式数据采集系统正式升级为在线模式数据采集系统，使鸭池河特大桥的健康、安全得到实时保障。

欧维姆在线数据采集系统为中国桥梁安全实时保驾护航

鸭池河特大桥作为贵黔高速全线控制性工程，跨越鸭池河，大桥全长1461米，是主跨为800米的双塔双索面钢桁架斜拉桥，主塔采用H型索塔，桥面至水面高差达380米，东塔高243.2米，西塔高258.2米，是目前建成的世界跨径最大钢桁梁斜拉桥，同时创世界山区斜拉桥之最。大桥采用了OVM250钢绞线拉索体系产品及施工服务，于2016年5月20日顺利合龙。

斜拉桥是一个内部高次超静定的结构体系，许多因素的变化，例如，钢绞线的应力松弛、主梁及索塔混凝土的收缩徐变、气候的变化等，都会对整个桥梁结构产生影响，其外在反映最突出的表现就是，斜拉索索力重新分配并导致主梁线形发生变化，索力变化也会使主梁及索塔产生二次内力。尤其在成桥之后的数年时间内，其变化更为显著，斜拉桥索力的变化是判断桥梁是否处于正常运营状态的一个重要指标，而索力测量是分析拉索是否处于正常运营状态的一个重要依据，通过监测斜拉索的受力状况，判断和分析斜拉索的健康状态，已经成为斜拉桥安全监测的重要内容。

2015年11月，欧维姆工程公司人员入场开展索力监测系统首期搭建工作，2016年6月顺利竣工。鸭池河特大桥首期采用的是基于磁通量传感器技术的索力监测系统，于每束斜拉索塔端锚具内安装磁通量传感器测量单根钢绞线受力；于每8束斜拉索中部位置布设1台数据采集装置，安装于塔内塔壁上。这个索力监测系统为离线模式数据采集系统，需人工定期上桥进行数据采集。

为了更好的了解鸭池河特大桥斜拉索在运营期内的受力情况，业主提出了实时采集数据的新要求，于是欧维姆公司于近期，在鸭池河大桥原索力监测系统的基础上，增设了7台磁弹仪和4套数据采集主站，由原系统升级为在线模式数据采集系统，可以实现实时采集数据，实时反馈大桥斜拉索的受力情况，为鸭池河特大桥的运营状况分析提供可靠、有效的依据。

该桥结构索力监测系统采用目前国内最先进的磁通量传感器，均由欧维姆公司自主研发及生产。

作为中国预应力行业领军，欧维姆公司五十多年来一直坚持科技创新，在提升了企业自主创新能力和核心竞争力的同时，通过科技创新产品推动中国预应力行业的发展，为中国桥梁结构健康与安全一直做着不懈的努力。OVM桥梁健康监测系统解决方案曾为毕都北盘江大桥、安徽铜陵长江公铁大桥、杭州湾大桥、厦门集美大桥等中国乃至世界大型桥梁的寿命周期提供技术支撑，推动中国未来大型桥梁产业化发展。（本文来自欧维姆）

匹配算法实现，通过将用户属性、用户学习状态属性、用户操作行为统计属性与资源属性进行匹配，数据容量大，遥测距离远，人机界面友好，可靠性高的优点，可广泛用于学校和社区小区域范围环境服务。

也适合于气象、海洋、环境、机场、港口、工及等领域使用．实时数据采集与上传该模块主要功能是通过无线方式获取环境观测站采集的实时数据并显示．数据采集的基本算法如下：首先判断是否到发送数据时间，若到了执行数据发送命令。

为了方便学习者查找资源以及系统推送资源，须对学习者和资源的属性进行标记，即创建属性元数据．本研究采用标签技术分别建立学习者和资源的属性元数据．学习者的属性标签主要来自于用户注册时的信息（用户属性）、学习者的学习状态属性以及学习者系统操作行为统计属性（对上传、下载、浏览、评论等操作的统计）。

资源的属性标签主要来自于资源提供者根据学科和关键字分类的标签以及资源使用者对资源的评价、标记等．根据研究性学习的主题、用户学习进度，系统可以将用户可能感兴趣，其他用户感兴趣或评分高、浏览次数多，相同领域的最优资源或相似领域的最佳资源推送给用户，系统根据学习者的学习主题，将平台中评价最高的相关资源、教师指定的资源和拓展的相关资源进行匹配，

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文