MES系统的核心任务就是：在企业的生产制造过程中及时、有效地传递正确的数据信息，并针对生产过程中的任何异常变动立即作出快速准确的反应。其目标是：尽可能地减少生产制造过程中无附加价值的活动，对企业的生产作业和流程进行更为有效的优化和再造。

提高MES系统数据实时性的实现办法和保障措施：

1.MES系统中数据流通的技术环节分析1.1位于系统最顶部的数据应用层，负责对系统中的数据进行分析、加工，并以可视化的方式，通过B/S或C/S的网络架构，将处理后的结果信息发布给企业的各级生产管理人员。1.2位于系统中间的数据处理层，负责将采集到的数据进行分类、存储等处理。1.3位于系统最底部的数据采集层，主要负责从生产现场的DCS等各种设备装置中采集系统所需的各种数据信息。

2、提高MES系统中数据采集、传输和处理速度要提高MES系统数据的实时性，就必须提高MES系统中数据采集、传输和处理速度。

而与此有主要关联的是以下几个环节：

1.数据采集2.数据传输网络3.实时数据库4.应用层的网络架构

5.用户端处理技术。必须针对上述这5个环节，分别采取相应的措施进行处理。

3、具体实现办法和保障措施

3.1数据采集部分数据采集部分是整个MES系统的基础，对于不同的采集对象，只有采用有针对性的、合理适当且安全高效的数据采集方法和策略，才能以最快的速度从现场设备装置(主要是各种DCS)中获取数据。针对DCS系统的数据采集的方法：方法1：实时数据库使用 OPC协议直接从DCS采集OPC的英文全称是：OLE for Process Control，即：“面向处理控制的对象链接与嵌入”的标准接口技术，它是基于Microsoft公司的

Distributed interNet Application(DNA)构架和Component Object Medel(COM)技术的，根据易于扩展性而设计的。同时，OPC以OLE(即：对象链接与嵌入)/COM(即：部件对象模型)机制作为应用程序的通讯标准，而OLE/COM是一种客户/BE务器模式，具有语言无关性、代码重用性、易于集成性等优点。OPC规范了接口函数，不管现场设备以何种形式存在，客户都以统一的方式去访问。是一种基于OLE技术、COM和DCOM(即：分布式COM)技术的开放性的接口技术，已成为目前的工业标准接口。

多数新型的DCS设备都支持OPC数据接口通信协议，从理论上讲，可以让实时数据库直接从DCS中采集数据，但我们在实际调研中发现，有的企业采用这种方式的效果并不好，有的甚至出现导致DCS“死机”，而这也正是实施数据采集的最大风险。通过调查分析和请教有关专家才了解到，造成这一“灾难”的原因在于：实时数据库自身的数据吞吐量相当大，当实时数据库直接从DCS系统中同时采集大量的数据时，DCS本身也必须花费大量的机时来响应实时数据库的这些数据请求，一旦数据请求量大到DCS处理不过来时，就会导致DCS处理其它事件的响应速度，从现象上看就像“死机”一样。

方法2：建立OPC服务器，由OPC服务器从DCS采集后转发给实时数据库为避免重蹈他人的覆辙，我们采取的方法是：用一台工控机作为数据采集工作站，通过OPC协议与DCS进行数据通信，并且仅从DCS中读取我们最关心的数据而不进行任何的写入操作。实践证明，这种方法非常安全可靠，同时也并未影响整个系统数据更新的快速性。 方法3：建立OPC服务器，由OPC服务器通过其他协议从没有OPC接口的老DCS中读取数据后，再通过OPC协议转发到实时数据库。 3.2 数据传输网络 当数据采集工作站现场采集到实时数据后，通过网络将这些数据快速地转发给放置在数据机房中的实时数据库服务器。在通过各种数据处理后，由应用服务器以WEB方式让企业的各级管理人员通过内部办公网络访问MES系统。由此可以看到数据传输网络在整个过程中的重要程度。从前面的介绍中我们知道，一套完整的MES系统其网络结构也分为对应的三个部分：采集网、管理网、应用网。其中，采集网是指从实时数据库到数据采集工作站和现场采集对象(DCS等)之间的网络，管理网则包含的是从实时数据库到关系数据库、应用服务器之间的部分，应用网则是从各类应用人员的计算机终端到MES应用服务器和关系服务器的部分。对于赤天化股份有限公司而言，原来已有的办公网络就是MES系统的应用网，由于此前已将办公网络改造成千线光纤、百兆到桌面的高速网络，因此，在此次MES项目中，我们只对MES系统内部的采集网和管理网按照“高速、稳定、安全、可靠”的原则进行了建设和完善。

具体主要采取了以下措施：

措施1：将采集工作站放置在现场采集对象(如DCS)旁边，尽可能缩短采集工作站与DCS之间的数据传输线路距离，以保障它们之间通过百兆以太网连接实现数据的高速传输。

措施2：将实时数据库、关系数据库、应用服务器放置在公司的数据机房，从数据机房敷设单模光纤到各个现场采集点，在数据机房安装带光纤模块的核心交换机，在现场采集点安装带光纤模块桌面交换机，核心交换机与各采集点的桌面交换机之间直接用光纤连接，不通过光纤收发器进行光电转换，减少传输环节，提高传输效率。

措施3：核心交换机采用背板带宽≥100Gbps、包转发率≥75Mpps的四层交换机，采集点的桌面交换机背板带宽≥4.4Gbps、包转发率≥6.5Mpps。机房服务器选用性能比较稳定、处理能力较强的四核双CPU品牌设备。现场采集工作站使用性能稳定可靠性较高的工控机。

措施4：在现场的数据采集工作站除了采集并转发数据外，还要将需转发的数据在本地保存7d以上，当网络出现中断经处理恢复后可以自动向实时数据库补发数据，从而有效防止因网络中断而导致大量数据丢失，最大程度地避免给企业带来损失。

3.3实时数据库

毋庸置疑，在整个MES系统中最核心的就是实时数据库。实时数据库自身性能的高低将直接决定整个MES系统运行性能。采用高效的数据压缩和存储技术，可以大大提高数据传输和处理的速度，试想一下，从同一台服务器上下载数据文件，是下载上百兆的大文件快还是只有几兆甚至几K的文件快呢？因此，我们在对实时数据库进行选型时，也将数据压缩能力和存储方式作为重要的考核指标。

3.4 ME应用层的网络架构

用于MES系统是以WEB方式向应用人员提供访问服务的，因此应用层的网络架构分为B/S和C/S两种。那么，这两种架构又该如何取舍呢？考虑到公司各部门的实际应用情况，在少数特殊岗位(如调度、总控等)设置采用C/S架构的客户端，而其他通过WEB方式访问的用户均采用B/S架构。这样一来，整个MES系统实际上是B/S与C/S的混合架构。

3.5用户端处理技术

在MES中涉及大量的图形图像需要在用户端的电脑屏幕上显示，尤其是工艺流程图，需要用外形逼真的图像将其对应的设备装置展示出来，如果采用传统的BMP或JPG格式的图形文件格式，在用户端浏览时完整画面显示的速度会很慢，尤其是要动态显示诸如温度、液位等状态变化时，就更很难达到界面显示既形象直观又快速的效果要求。因此，在制定具体的技术方案时，就考虑到这一客观要求。经过反复比较测试，最后选择了基于矢量图技术的用户端动态成像技术。从实际运行中的效果来看，采用这种技术在用户端的浏览器上由WEB插件自己根据服务器提供的数据生成图形，尤其是工艺流程图，显示的速度非常快，画面效果也比较逼真清晰，而且也能达到实时动态的展示温度、液位的变化。

4、整体效果评价

由于在上述5个方面分别采取了有针对性的方法和措施，至少在数据的实时性方面效果更为明显，达到了用户端看见的数据基本上与现场DCS设备数据同步。

深科特MES制造执行系统在3C电子、通讯电子、汽车电子、医疗电子、军工电子、航空航天和光电技术等各离散制造行业实现可落地易执行的方案，并积累和沉淀了丰富的行业经验和客户案例，累计超过200多家制造型企业正在使用深科特的产品和服务并不断提升效益，目前团队规模超过200人并在不断壮大。

智能硬件结合大数据优势，全方位挖掘用户线下、线上行为，精准定义目标客群特征、消费偏好、地域分布，为零售客户提供选址招商、运营管理、客群洞察、推广营销、实现 营销的“点对点”高效精准的传播，是新一代人工智能思维下的营销新武器。

店内优化

客流实时监测

顾客质量和转化率

顾客运动轨迹热点动图

店内商品试用、转化率

新客招募

厘米级精准定位新客，信息采集分析

对接各个广告平台，精准投放

广告效果评估

提高活动效果

展示真实人流，轨迹动图，客观评估活动效果

场景式营销，广告实时送达

用户画像

了解品牌受众，帮助品牌定位

进店顾客人群画像采集

人员、物品管理

优化员工管理系统，监测到岗及工作时间

贵重物品定位，防盗防损

优化库存管理

探针

集探针，iBeacon，商品触碰探测为一体

wifi与gprs两种上报信息方式

搭载gps模块，采集地理位置信息

出色的定位技术

手机号与mac地址绑定方案

平台化运作，提供丰富的上层接口给集成商

解决方案

购买地址：https://detail.1688/offer/551150997804.html?spm=b26110380.sw1688.mof001.1.b4WnET

或阿里巴巴搜索：58数云、潜客宝

这不是一个虚构的故事，以下人物角色均采用实名。

我：匡恩研究院驻西南某区域专家。

张总：匡恩授权代理商，西南某公司技术负责人，工业自动化资深专家。

……

17：35分，手机来电铃声响起，这是今天第37个电话！

按下接听键：“张总，您好！根据我之前的建议目前状况如何？”

代理商张总：“您好，王老师，关于SCADA数据采集异常的事情，按您给的问题排查建议，已经完成了现场检查，目前怀疑是病毒导致的异常，由于该单位涉密，所以想请您带专业设备到现场帮忙诊断故障原因……”

================================分割线=======================================================

以下是本次故障事件现象描述和导致事件产生的原因分析。

1. 故障现象

2017年1月上线试运行的西南某省省会城市生活垃圾发电厂工况运行监控系统（SCADA）系统，主要是采集本市5个垃圾焚烧发电厂生产及工况运行数据，上传至本市数字城管中心机房存储、分析、集中展示，为本市数字城管提供城市管理参考和依据。系统自上线后一直运行正常，从4月初起，5个发电厂前端数采站出现监测数据时通时断的故障情况，出现该故障时，PLC、上位机、实时数据库、历史数据库、数采网关等设备服务工作正常。

2. 故障排查分析

按照ANSI/ISA-95.00.01企业分层模型，工业控制企业的架构可以分为五层（Level 0-4）：现场设备层、现场控制层、过程监控层、经营管理层以及企业管理层。发生故障时，过程监控层的监视控制、显示系统、实时数据库、通信处理等工作稳定，能正常对现场工作设备的监测及显示。那么故障发生的范围就可能在系统管理及监视控制的经营管理层面。在这层上，和该故障有关的资产包括：OPC服务器、前端数采站和承载数据传输的网络。

确定可能引起故障问题的范围及对象后，分别对可疑资产进行排查。

2.1网络分析

我们将安全临检系统接入OPC服务器及前端数采站所连接的交换机网络镜像口获取工控流量进行分析。以下为接入示意图：

通过临检系统展示的实时分析结果，我们发现该工控网络中有明显的异常连接，源IP地址的20000多个不同端口与同一个目标IP的51000端口建立了连接，对源IP进行定位，确定IP对应的资产为前端数采站。以下为网络连接示意图。

2.2 前端数采站分析

为满足监管部门及企业生产管理要求，发电厂把监管所需的底层数据通过OPC上传给数采站，监管部门的监控系统直接从发电厂数采站的数据库中进行抽取。

在数采站我们查看了网络连接、异常进程、注册表、可疑账户、工控病毒等项，发现本机有大量异常的连接，该现象也与网络流量分析所展示的情况一致。追踪到建立连接的进程PID值为1636，据此定位到DatagatherApp.exe是产生异常连接的罪魁祸首，该程序是某厂家的数据采集代理客户端。

2.3 导致SCADA数据采集异常分析

代理商所承建的SCADA前端数采站的数据采集应用程序工作端口为高位40000-50000间的随机范围，而某厂家4月份新装在数采站的数采代理客户端在运行后，会占用从40000~65535的2万多个端口与其数据接收服务器51000端口建立连接，那么就导致SCADA数据采集应用程序工作端口被占用，从而发生数据传输异常的情况。

3. 故障事件总结

到此，SCADA数采异常故障排查工作应该结束了，但思考却远未结束：

监管部门通过互联网环境从发电厂工控系统中采集数据，虽然不直接与PLC等现场控制层设备进行连接，但众多威胁的客观存在，这样数据访问途径，会不会为工控系统带来极大的风险呢？

已发生的工控安全事件中，很多现在都存在类似情况，如：2015年乌克兰电厂遭受BLACKENERGY（黑暗力量）攻击导致的大规模断电事件；2016年01月28日，以色列电力供应系统遭受有史以来规模最大的网络攻击事件；2016年3月24日，伊朗黑客入侵纽约鲍曼水坝（Bowman Avenue Dam）防洪控制系统事件；2016年8月27日伊朗民防部门负责人Gholamreza Jalali向路透社透露，最近石化公司起火是网络攻击所致等等。

现在我们出门去不熟悉的地方打开地图，除了指路之外，实时路况信息也是我们关注的重点之一，不仅可以提前告知在前方多少公里处因为事故导致多少公里的拥堵或者行车缓慢。甚至可以预测未来的路况信息，那么这些变动性非常大的实时路况和事故信息都是怎么获取的呢？

一：官方采集，地图公司都有自己的官方数据来源，例如数据采集车，里面内置了激光仪，全景摄像头，GPS等，利用这些车，官方可以迅速到达需要查勘的指定地点。

二：众包数据，众包UGC（User Generated Content）指的就是每个人都参与的任务数据，一般分为主动参与和被动参与。而地图软件80%实时路况数据来源都靠这个，不仅是地图软件，大多数获取位置权限的软件都会在后台上传位置信息，而根据你的位置和移动速度，地图软件很容易就可以计算出你当前路段的实时路况信息。

三：获取交通部门的信息，除了用户数据，交通部门的数据应该说是最重要的一部分了，他们不仅有国内最多的公路摄像头测速仪和电子警察，而且像出租车大客车这类的运营车辆是必须安装定位设备的。所以这部分数据肯定是不能放过的，抱抱国家的大腿就是必须的了。

四：向其他专业公司购买，虽然上面几个来源的量非常大，但是可靠性并不敢百分百保证，而有质量的数据还是得参考人家专业公司，现在国内提供路况数据服务的公司有世纪高通、掌成科技、九州联宇等，他们提供的数据质量更高，专业性更强。路况信息的整合上这些公司的数据也就更具有参考意义。

这些就是我们常用的地图实时路况数据的信息来源了。不知道大家还有什么需要补正的没？

点个赞再走呗！

企业简介

青岛丰光精密机械股份有限公司是一家以精密机械加工、压铸制造为核心技术并致力于为高端装备制造、高速列车/轨道交通、汽车、工业智能化等行业提供核心零部件的中外合资企业。2011年取得了高新技术企业称号，2014年1月24日公司在全国股份转让系统成功挂牌。

作为一家精密零部件制造企业，企业充分意识到信息化对于企业管理的提升和促进作用。通过U8+产品和专业信息化实施服务团队，让企业打破了原有的流程壁垒，改变了原有的工作方式；管理范围和管理内容都有了非常大的改善，条码技术的应用、车间管理透明化让企业开始走向智能制造之路。

总体业务流程

销售接单后，计划部门编排滚动计划，LRP运算出生产计划、采购计划、委外计划。

“自制”属性的物料，按照制造部门和产品组合分开下达，便于后续执行、区分和统计。

“采购”属性的物料，下达请购，通知采购进行采购的后续流程；“委外”属性的物料，下达委外请购，此处的委外指产品委外，计划下达后，即可通知采购执行委外流程。

根据生产订单号，制作工序流转卡，经过每道工序进行条码扫描开工、报工、完工。

成品完成后，扫描条码入库，实现单台管理，实时盘库。

软件自动进行生产成本归集，自动进行成本核算。

提前安排发货计划，扫描发货，验证发货准确。

关键应用场景

基础数据管理

基础业务数据是企业信息化的根基，根据丰光精密机械业务特点，将所有存货（原材料、半成品、产成品、工具、模具、低值易耗等）进行多级分类；并针对存货属性（内销、自制、采购、委外、生产耗用等）、计划属性（固定提前期、供应倍数、最低供应量、销售跟单、安全库存、批号）等进行分析。

丰光精密机械属于精加工型企业，工艺路线设置的规范性与准确性，直接影响到车间现场信息化应用效果，为此针对企业的工艺特点，对产品+工序+设备的组合（宽放系数、机加工时间、人工安装时间、权重、单机人数）维护对应的参数。

库存管理条码应用

企业互联从条码应用开始，条码技术在丰光精密机械业务中的应用，开启了企业智能制造的第一步，条码标签与识读设备的软硬件结合，让数据采集在企业中更加便捷、高效，同步提升了其供应链上的准确性和效率。

通过条码技术的应用，从材料入库和产品生产下线时开始进行赋码、打码、贴码，整个供应链上端到下端的业务通过扫码方式进行连接，并保持物流与数据流的同步。箱码的使用，让产成品一次扫码，批量出库。集准确与便捷于一体，集软件与硬件于一体，集信息流与物流为一体，是条码技术带给丰光精密机械最显著的价值。

车间现场管理与车间条码应用

丰光精密机械的产品属于多工序连续加工。对于车间现场的组织管理，除了要做到生产订单级的管控外，还需要对工序、机台设备以及班组人员做到细化管理。但是由于车间现场数据的产生需要到完工之后集中录入，场地约束与时间的滞后性导致企业数据收集的不方便与不及时。

车间条码技术的应用为企业数据实时采集提供便利，根据生产订单生成的工序流转卡，采用PDA移动报工方式，各班组作业者使用终端设备上岗开工后开始加工作业，每个工序加工完成后，扫描工序流转卡中的工序二维码，扫描人员条码、机器设备条码并输入对应的合格数量，完成数据实时采集。

应用价值

提供多层次的计划及平衡系统，细化生产计划，构成完整灵活的LRP解决方案：需求规划实现对采购计划进行编制，并提供计划调整建议，可以针对销售订单编制物料的需求计划。

优化生产管理，提供集成的混合模式制造解决方案，实现有效的生产过程控制：通过生产订单管理实现生产领退料严格管理及生产订单的审核、下达、关闭和生产统计；通过车间管理实现工艺路线管理、车间执行汇报、车间统计和车间工时记录。

与财务、供应链全面集成，实现精细化的成本管理：解决跨部门生产产品的成本费用归集；帮助企业实现按单进行成品成本核算，实现更加精细的成本管理。

全面的企业运营监控管理：从销售、采购、生产、库存、财务、成本等各个环节，深入全面监控企业运营状况，帮助管理者集中精力迅速找出潜在问题并予以解决，同时又能在复杂的经济形势下识别并充分利用新的商机。

全面内控管理：企业的运营过程涉及到多种不同的流程，通过ERP在众多的内部控制点进行了控制，深入到每个业务链条的各个环节。通过规范业务流程和严格操作控制，有效预防风险事件的发生；保证信息采集渠道的畅通和监控的实时性、及时性，辅助各级管理者、决策者全面透视企业内部、掌握企业全局。

制造业生产数据采集的作用与意义导读：制造业是我国国民经济的支柱产业，也是推动工业化的原动力，现代制造业已经并且正在深刻地改变着人们的生产方式、生活方式甚至社会文化。全球经济一体化的趋势愈演愈烈，国际竞争不断加剧，制造业的发展必须不断提高在质量保障、品种多样化、快速设计制造、快速检测响应以及快速重组等方面的要求。于是，“以信息化带动工业化，以工业化促进信息化”被提到了前所未有的高度、深度和广度。

制造业生产数据采集的作用与意义

众所周知，制造业的信息化主要包括设计数字化、生产数字化、装备数字化、管理数字化、企业数字化等。信息化的大趋势使世界各国争先恐后的把先进技术和信息化引进到传统工业和制造业。1990 年，美国 AMR(Advanced Manufacturing Research)所提出的制造行业的ERP(Enterprise Resources Planning,企业资源规划)/MES(Manufacturing Execution System,制造执行系统)/PCS(Process Control System,过程控制系统)三层结构,已经成功地在许多行业得到了应用,并被越来越多的企业所认可.

美国 AMR 研究公司对MES 的定义表述为：MES 是一个常驻工厂层的信息系统，介于企业领导层的计划系统与生产过程的直接工业控制系统之间，它以当前视角向操作人员、管理人员提供生产过程的全部资源(人、设备、材料、工具和客户要求)的数据和信息，其着重点是将信息技术运用于改善制造过程。

而作为MES中低层的数据采集功能，可以实现对生产现场各种数据的收集、整理工作，是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。它可以为企业中其他例如ERP等管理信息系统提供实时数据。另一方面，MES也要从其它管理系统中获取相关的数据以保证MES自身正常运行。因此要满足MES快速、实时的要求，作为各种功能模块运行基础的数据就显得十分重要。一个迅速而可靠的数据采集系统是整个MES能够正常稳定工作的有力保证。

制造企业面临的数据采集现状

作为车间底层的数据采集系统，在企业实际生产过程中却存在着许多困难，尤其是在离散企业中由于自动化程度较低，往往存在着以下特点：

生产过程不可视：主要体现在不能实时了解生产现场中在制品、人员、设备、物料等制造资源和加工任务状态的动态变化。

生产过程复杂性：由于产品结构和加工工艺的复杂性，造成生产过程中各制造过程的关联性强，生产环境复杂多变(临时插单、材料短缺等) 。

制造过程信息集成度低：制造过程中的各种信息不能有效进行集成，导致产能不能得到充分利用。

信息不能有效与上层管理系统进行集成：这种隔断造成生产过程不透明，生产进度、在制品状况、设备利用状况等关键数据不能到达管理层，增加了过程管理和生产决策的复杂性。

制造过程信息的真实性差：现场数据信息过多依赖人机交互界面通过人工录入，增加了出错的机率。

制造过程信息的实时性低：作业任务随市场需求的频繁调整变化，不利于制造过程信息的实时采集，再加上制造过程信息交互的速度和效率低下，造成企业对市场变化的响应速度慢。

企业设计层和管理层到车间层特别是车间设备层的信息采集困难，一方面车间设备层的重要信息难于采集和上传，无法达到对生产过程的监控。另一方面上层系统难以深入到车间和设备层，从而影响管理信息系统的准确运行，使动态信息成为脱离实际的无源之水难于及时下达，从而使整个企业信息化难以产生更大的效益。

上述特点反映了制造车间迫切需要对制造过程进行信息化的数据采集管理，从而建立一个完整高效的离散制造车间数据采集及其分析处理系统是实现离散车间信息化的基础。数据采集及其分析处理系统的主要功能就是将车间的各种离散数据完整实时的采集到车间数据库中，并进行初步的分析处理，将车间生产的信息实时准确的反馈到车间的管理层，加强管理人员对车间生产现场的监控和管理，并为企业管理人员制定生产计划提供依据。

华磊迅拓科技专业提供SCADA数据采集监控系统，OrBit-SCADA（Supervisory Control And Data Acquisition）系统是"制造业物联网信息总线"的具体实现，它包含两个层次的含义：一是分步式的实时数据采集系统，即工业通讯与控制的PC上位机系统 ；另一个是生产现场的场景建模和显示系统。

现在谈论大数据已经没有新意了，形形色色的产品、平台和公司都贴满大数据标签，但大数据却并没有掀起预期飓风，甚至还被冠以“伪命题”污名。

大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。大数据在核心领域的渗透速度有目共睹，然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取采集。

因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，数据采集才是大数据产业的基石。那么什么是大数据采集技术呢？

什么是数据采集？

数据采集(DAQ)， 又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。

线上行为数据：页面数据、交互数据、表单数据、会话数据等。

内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。

大数据的主要来源：1）商业数据 2）互联网数据 3）传感器数据

传统数据采集的不足

传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。

大数据采集新的方法

以博为软件101异构数据采集技术为例：通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。

技术特点如下：

1. 无需原软件厂商配合；

2. 实时数据采集，数据端到端的响应速度达秒级；

3. 兼容性强，可采集汇聚Windows平台各种软件系统数据；

4. 输出结构化数据，作为数据挖掘、大数据分析应用的基础；

5. 自动建立数据间关联，实施周期短、简单高效；

6. 支持自动导入历史数据，通过I/O人工智能自动将数据写入目标软件；

7. 配置简单、实施周期短。

优点：其优势在于不需要“接口”配合，这就摆脱了对软件厂商的依赖。特别是在在需要集成多个系统数据时，不仅能节省大量时间、人力与资金，实现“一站式”完成；还避免了因个别系统开发团队解体、源代码丢失等原因导致系统数据集成出现烂尾的情况。

缺点：只采集Windows平台的各软件系统数据

版权声明：本文部分来自网络，如有侵权，请联系删除!

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

在《中国制造2025》战略实施后，“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。

离开生产数据采集，生产管理部门不能及时、准确地得到工件生产数量；无法准确、科学地制定生产计划；无法实现生产管理协同等。

可见，只有有效的实现生产数据的采集和分析，才能从根本上解决车间管理中计划跟踪迟滞、设备利用率低、产品质量难以提升等问题。

自动地、及时地、准确地数据采集，是现代化工业车间的基础。而我们，能为数字化工厂打造一个更加可视、实时、精细、可追溯的制造环境。

东芝，是日本最大的半导体制造商，也是第二大综合电机制造商。公司创立于1875年，业务领域包括数码产品、电子元器件、社会基础设备、家电等。东芝信息机器（杭州）有限公司是日本东芝株式会社的全资子公司，也是东芝笔记本电脑全球唯一的生产基地。

面临的挑战

东芝电脑产品及机板配件生产部门每天都需要及时产出大量的生产数据统计报表，同时质检部门也需要定时定期巡检设备生产相关的异常信息，方便对生产数据进行快速高效和精细化的管理。

但是东芝之前通过excel记录生产数据已无法满足现有业务量的需求：

1、数据采集难：依然采用人工采集、手工输入等方式采集生产线信息；

2、手工数据质量差：excel记录不仅准确性不足，还存在一定的错误率；

3、报送周期长，统计延时：手工输入只能定时进行，无法实时更新系统中的生产数据，滞后情况严重，不利于生产线的顺利进行，制约了产能的进一步提高。

4、事后监管机制：不能及时发现生产过程问题，生产效率提升缓慢；

5、数据分析不足：不能进行可视化的展现，无法给领导提供决策支撑。

为什么选择亿信华辰

1、经受考验的成熟度

支撑30多个国家级部委完成监管、普查、抽查、统计等应用场景的数据采集与分析，助力100余家银行完成统一报表平台和统一数据平台的建设，业务稳定运行。

2、技术先进性

12年的技术沉淀，围绕数据全生命周期自主研发了多款重量级核心智能产品，产品线涵盖了数据采集、数据处理、数据存储、数据分析、数据挖掘等多个领域。

3、高品质强口碑

亿信华辰不仅提供成熟的平台化产品，而且不断地给客户成功交付数据中心、决策支持等应用系统，并以几乎100%的项目成功率，取得了远超同业公司的客户满意度。

平台建设

东芝制造车间生产过程中的数据包括车间人员、物料、加工设备、工票、工装、加工过程等，涉及车间各个部分。面向东芝内部的生产部门，为一线生产人员及质检部门提供数据填报及数据分析平台，是一个完全基于互联网技术构建的智能数据系统。

1、生产数据自动采集并上报

生产部门需要定时每天填写电脑产品及机板配件等的生产信息日报等，利用亿信华辰i@Report产品可以自动将数据库中的设备相关信息初始化到固定格式的报表中，然后根据相关业务逻辑公式，自动统计工数、时长、产出等，生产业务人员确认后直接上报，即可完成数据的采集填报工作，生产组长可以快速汇总其下属各个人员的生产数据，并将数据逐层上报。

2、异常数据提前预警

品质部门需要监管生产流水线的产品生产情况，并形成品质报告定期输出，利用i@Report移动填报功能，品质部门会去现场定时定期巡检，并将异常原因、设备编号等信息在平板电脑上立即进行填报，并拍照上传相关图片留档；同时，对于异常原因利用亿信BI进行历史数据的相关分析，形成问题检索表，方便对比分析。

方案价值

总体而言，利用i@Report+亿信BI两个产品，将以往需要大量的人工通过excel方式报送报表，改为只需要在移动端/PC端在线填报数据的工作模式，极大的减少了业务人员的工作量，提高了数据的共享效率；并将手工数据按照统一的标准存储到数据库，增强了数据的完整统一，也更加有利于对历史数据的对比关联分析。

同时，因为有效的流程监控，在生产过程中，可及时发现异动数据，提前预警，进一步提升了生产质量，降低了事故率，亿信华辰帮助客户收获更高的运营效率和生产质量。

目前，通过智能数据平台的搭建，亿信华辰帮助东芝提升生产能力的同时，也保证了数据的安全性和可靠性，着实为互联网时代的制造业注入了新的活力。

匹配算法实现，通过将用户属性、用户学习状态属性、用户操作行为统计属性与资源属性进行匹配，数据容量大，遥测距离远，人机界面友好，可靠性高的优点，可广泛用于学校和社区小区域范围环境服务。

也适合于气象、海洋、环境、机场、港口、工及等领域使用．实时数据采集与上传该模块主要功能是通过无线方式获取环境观测站采集的实时数据并显示．数据采集的基本算法如下：首先判断是否到发送数据时间，若到了执行数据发送命令。

为了方便学习者查找资源以及系统推送资源，须对学习者和资源的属性进行标记，即创建属性元数据．本研究采用标签技术分别建立学习者和资源的属性元数据．学习者的属性标签主要来自于用户注册时的信息（用户属性）、学习者的学习状态属性以及学习者系统操作行为统计属性（对上传、下载、浏览、评论等操作的统计）。

资源的属性标签主要来自于资源提供者根据学科和关键字分类的标签以及资源使用者对资源的评价、标记等．根据研究性学习的主题、用户学习进度，系统可以将用户可能感兴趣，其他用户感兴趣或评分高、浏览次数多，相同领域的最优资源或相似领域的最佳资源推送给用户，系统根据学习者的学习主题，将平台中评价最高的相关资源、教师指定的资源和拓展的相关资源进行匹配，