算法的复杂性、不透明性导致了一个“黑箱社会”的形成。在这个“黑箱社会”里，真相只有被“局内人”所掌握，公众对算法理解得越少，就越难以接触到事实的真相。

冰川思想库特约撰稿 | 郑伟彬

在经历5天的数据丑闻之后，美国社交网络公司facebook CEO 扎克伯格终于在3月21日（美国当地时间）打破沉默，首次发声，为5000万用户数据泄露道歉。

在此数日前，英美媒体披露，数据分析企业剑桥分析（Cambridge Analytica）未经授权，获取facebook上多达5000万用户的信息，并将之用于预测和影响2016年美国总统大选的选民投票。这一事件成为facebook创建14年以来最大的用户数据泄露事件之一。

▲Facebook创始人兼CEO马克·扎克伯格发布声明。

在声明中，扎克伯格承认了平台曾经犯下的“错误”，并且提出为了阻止用户信息被利用，接下来将做出改善措施，以重新获得用户的信任。

可操控的数据

对于facebook而言，用户的信任至关重要，因为这是facebook的商业运作逻辑，是它的生存根本。

有人曾计算得出，facebook上的每个用户能够为其带来2.76美元的收入。而这些收入的实现，则是通过对用户特征的准确分析，进而实现精准的广告投放。

因此，我们不难发现，无论是剑桥分析公司通过大数据分析影响2016年美国大选，或是facebook通过用户研究实现精准的广告投放，都说明了一个基本事实，即大数据提可操控的，人的思想、意识和行为方式，都可以通过数据的过滤及呈现，进行控制与干扰。

通常，大数据分析会被视为帮助人们更好作出决策的工具，尤其是在商业上，基于大数据和人工智能技术产生的智能投顾、智能决策等产品不断涌现，但对于大数据可被操控这一现实，却似乎被人们普遍遗忘。

此次facebook的数据丑闻暴露出了大数据分析完全有可能被作为恶意武器，成为操控决策的工具。

数据隐私保护被忽视的问题

面对这样的事实，如何保护数据隐私再度成为公众讨论的焦点。但这些讨论中却又常常忽视了另一个问题：即数据的使用和处理，是否也属于数据保护的范围？以及如果是，该怎样做才能起到保护作用？

以欧盟历经4年讨论，即将于今年5月25日生效的《统一数据保护条例》（GDRR）为例，它同样是基于数据的采集、使用许可及数据使用目的进行立法。从全球范围来看，欧盟的《统一数据保护条例》进一步强化了数据保护措施，强调对自然人数据的尊重。

比如公众有权利要求各种系统、应用程序停止记录和使用自己的行为数据，并且，即使这些行为数据被采集之后，也不能永久保留，其时限最多为一年半。同时，用户可以要求相关企业将其数据彻底删除。换句话说，用户可以选择让自己从互联网上“消失”。

▲Facebook官方发布声明，提出防止用户数据被滥用的举措。

此外，为了避免造成潜在的歧视，该条例还要求不得将敏感数据用于智能决策。所谓的敏感数据包括种族、政治倾向、宗教信仰、健康、性生活、性取向的数据，或者可唯一性识别自然人的基因数据、生物数据。

尽管如此，这一条例在应对如此快速增长的数据世界时，恐怕仍然捉襟见肘。虽然它从根本上强调用户对其自身数据拥有相应的处理权，可以选择删除，可以拒绝被采集。但在实际上，用户如果拒绝数据被采集，其结果往往意味着同时失去使用软件或应用程序的关键功能。因此，事实上用户的选择权相当有限。

算法造就的“黑箱社会”

再者，如果不能清楚地知道自己的数据如何被使用，被用于何处，那么用户这种选择权同样也将毫无用处。

虽然欧盟这一条例强调用户拥有选择权，并且要求进行数据分析的算法可被理解，但在现实中，相关的人工智能算法或大数据分析算法，往往是企业重要的商业机密。根据商业秘密保护的规定，算法程序拥有相应的产权，可以无须公开披露的。因此，欧盟《统一数据保护条例》最终实施效果如何，恐怕还需要时间加以证明。

但在此之前，我们可以想象得到，算法不公开将必然导致的一个结果，即是追究责任上的艰难。如果用户不能知晓具体的分析算法是什么，以及该算法具体使用其数据，那么必然导致用户无法判断其数据是否正在被滥用。即使怀疑自己遭遇到算法的不公平对待，由于算法的难以理解或企业拒绝公开，用户也往往无法就此提出控诉，导致用户无法维护其权益。

▲facebook创始人马克·扎克伯格

可以说，正是算法的这种复杂性、不透明性导致了一个“黑箱社会”的形成。在这个“黑箱社会”里，真相只有被“局内人”所掌握，公众对算法理解得越少，就越难以接触到事实的真相。与此同时，“黑箱”的存在，也让相关人员掌握了欺骗公众或隐藏真相的能力，让其轻易拥有编造各种理由以应对调查的可能。

所以，保护数据隐私，不仅仅涉及数据的采集许可及其目的使用的限制，同样需要对其使用过程，以及使用算法，有着清晰、明确的边界和能够被严格理解的基本要求。

当然，上述悲观的论述不应该成为我们拒绝科技进步的理由。毕竟借助大数据和人工智能算法、技术进行数据分析，挖掘数据价值仍然是大势所趋。并且，由于大数据所带来的潜在危害，背后都是人为因素在作怪，因此，这些危害在很大程度上也是可避免的，关键在于首先要确保进行大数据分析的数据集是高质量的，其次避免相关算法没有被恶意设计或使用。

对航天器进行跟踪测量并控制其运动和功能的专用地面系统，由航天测控中心和若干航天测控站组成，简称测控网。测控网通过对航天器跟踪测量、监视、控制和接收航天器发送来的数据，检测和控制航天器的运动，检测和控制航天器上各种装置和系统的工作，接收来自航天器的专用信息，与载人航天器的乘员进行通信联络。

任务　航天测控和数据采集网的主要任务是：①跟踪测量和监视人造地球卫星、载人飞船和空间探测器的飞行轨道及其各分系统的工作和环境状态，对获取的数据加以分析，判断航天器飞行轨道的正确性和航天器对空间环境的适应性，为改变航天器轨道、飞行程序和工作状态提供依据。②完成实时或程序控制，使航天器达到预定的轨道和保持正确的姿态。典型例子是静止卫星发射和定点。有的应用卫星是由卫星上存贮的理论轨道自动完成程序控制的。卫星入轨后，须由测控网测量和计算出实际轨道，将其注入卫星，依此修正卫星上的程序控制时间。航天器交会、机动、变轨和返回，都由航天测控网控制。③接收航天器的内部遥测数据、各种探测数据以及反映航天员生理状态的遥测信息、话音和电视信息等。将这些信息发送给航天测控中心，进行记录、显示、处理，供实时和事后分析使用。④对于各种要求高精度定位的应用卫星(如导航卫星、测地卫星、高分辨率对地观测卫星)，由测控网向用户提供准确的卫星位置数据，作为应用数据处理的基准信息。

网的组成　由航天测控中心和若干配有跟踪测量、遥控和数据采集设备的航天测控站(包括测量船和测量飞机)组成。测控站的数量、配备和分布取决于航天器的飞行轨道及其测控要求。航天测控中心与各测控站通过有线、无线通信与卫星通信构成一个通信和数据传输系统的综合体。

为便于同各测控站交换信息，航天测控中心设在地点适中和通信便利的地方。测控站的分布宜广，以提高测轨精度和增加网的测控范围。在固定测控站的跟踪范围之外，还辅以测量船、活动测控站或测量飞机。测控站配有大功率无线电发射设备和高灵敏度接收设备，站址设在无线电干扰小、有较小的遮蔽角(即测控设备的最低可跟踪角)的地方。光学跟踪测量站还应考虑有好的气象条件。

分类　航天测控和数据采集网依照测控功能大体上可以分为三类:①卫星测控网:为各种应用卫星和科学试验卫星服务。②载人飞船测控网：为载人飞船服务。载人飞船测控网除拥有一般测量、遥测和遥控设备外，还配备有与航天员通话和传递电视的设备。③深空网：为探测月球和深空行星的航天器服务。为了实现超远程的作用距离，深空网的地面设备有大口径天线和高灵敏度接收系统，所用设备采用距离变化率综合测量体制。由于深空目标距地球遥远，一个测控站可以对目标进行较长时间的观测。在全球均匀分布3个站，则任何时间至少有一个站能跟踪目标(见无线电跟踪测量系统、航天测控系统)。

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。

测井数据采集控制系统是用于对各种置于地层中的井下仪器产生的信号进行采集、处理并对井下仪器进行控制的油田基础测控设备。由于专业性极强，以往系统中的数据采集及控制单元通常是以自我设计为主，因此导致系统的开发周期长、成本高、稳定性较差。现在，我们硬件使用National Instruments 公司的数据采集卡，软件使用VC++结合 Measurement Studio 软件包，实现了测井数据采集和控制单元的基于标准工业数据采集产品的设计与开发，大幅度的降低了系统的开发和维护成本，缩短了系统的开发周期，提高了系统的稳定性和可靠性。目前这套系统已制造20余套，成功应用于全国各大油田，取得了可观的经济效益。

系统原理

测井数据采集控制系统主要由工控机、NI通用数据采集卡、信号调理模块、绘图仪、综合控制箱、直流电源、交流电源、UPS电源、示波器等构成。系统原理框图如图1。

主机1主要用于系统的数据采集、处理和控制。绘图仪用于测井曲线实时出图。深度信号调理模块对光电编码器信号及其它井口信号进行调理，并控制深度显示；数字信号调理模块用于配接各类编码（例如，曼彻斯特编码）传输的井下仪器，如双源距C/O能谱测井仪、脉冲中子氧化化测井仪等；脉冲信号调理模块主要配接采用脉冲、周期信号传输的井下仪器以及各种脉冲编码类型的仪器。如：井壁超声成像测井仪等；直流信号调理模块主要配接采用直流量、低频模拟信号传输的井下仪器。直流电源为井下仪器提供直流供电、交流电源为井下仪器提供交流、泵、阀、继电器和释放器的供电。综合控制箱负责完成缆芯切换、供电控制。UPS电源用以保证在停电或外部供电不正常时，维持一段时间的供电，以免测井数据因得不到及时存储而丢失。以上各单元统一安装到两组19英寸标准机柜中。关于信号的流程，从图1中可以看出。我们把进入数据采集控制系统的信号归结为两类：井口信号和井下信号。井口信号来自井口和电缆绞车，它包括电缆张力信号、电缆磁记号和深度系统的光电编码信号。井下信号是指来自井下仪器的信号。来自井下仪器的感应型或脉冲型信号、深度系统的两路光电编码信号、井口的张力信号及电缆磁记号，通过电缆线进入采集箱内的深度调理模块、脉冲信号调理模块或直流信号调理模块，经过调理后，输出到NI数据采集卡。井下仪器编码信号经过综合控制电路的分离及预处理后通过电缆线进入到数字信号调理模块，进行信号调理、解码。解码后的信号同样输出到NI数据采集卡。NI数据采集卡控制数据采集的方式、采样的间隔，同时实现对脉冲信号、直流信号和数字信号的实时采集，采集到的数据以DMA方式传给主机内的数据缓冲区，由系统软件按不同的采样方式控制数据的显示、处理、打印和存盘。

数据采集方案设计

测井数据采集控制系统设计的核心是其数据采集方案设计。数据采集方案设计主要由系统深度数据采集和深度中断管理方案设计；多路复合信号实时同步采集方案设计；复杂编码格式数字信号高速传输与采集模式设计；直流信号高精度采集方案设计；系统状态及井下仪器控制方案设计等构成。由于专业性极强，以往系统中的数据采集及控制单元通常是以自我设计为主，因此系统的开发周期长、成本高、而且稳定性较差，并经常导致使用过程中，系统死机、深度测量不准等问题的出现，使系统的维护成本成倍增长，同时由于技术水平的限制，自己开发的系统只能配接一些信号类型简单和传输速率低的井下仪器，不具备多路信号实时同步采集以及高速传输的数字信号采集和处理能力。为了克服现有系统的缺陷，我们在充分调研和试用各大公司的数据采集产品的基础上，选择了NI 公司生产的系列数据采集卡和Measurement Studio 软件开发包，经过对NI各个采集卡的仔细研究和深度开发，我们仅用了３个月的时间就完成了过去需要２年以上的系统核心设计，并在业界首次实现了全部基于标准工业数据采集产品的测井数据采集控制系统设计，同时使系统在采样精度，深度控制，采集速度等主要技术指标上得到了全面的大幅度的提升。

（1）系统深度数据采集和深度中断管理方案设计：

系统深度模块是该系统中行业性最强的一个模块，它需要对正交光电编码器信号进行测量，得到系统当前的深度数据，同时它还要根据当前的深度数据生成用于同步各信号采集的深度等距触发信号。例如，在光电编码器顺时针转动时，每隔固定位移间隔（例如5 cm） 产生一个触发信号，这个触发信号通知系统对所有测量信号进行采集，如果系统光电编码器突然反方向转动，则不产生触发信号，系统不做任何采集，从而使系统只按照单方向等位移的状态采集数据。此外，该模块还要具备对正交光电编码

信号防抖动，防滑动处理的功能。在系统开发过程中，我们发现 NI PCI-660X 系列产品的用户手册上没有实现该工作模式的基本功能。为了实现该功能，我们经过深入研究和开发，通过利用PCI-6602处理光电编码器信号的计数器通道所能生成的某种特殊状态信号，同时结合其它计数器通道的脉冲生成功能，最终生成了我们所需要的连续的深度等距触发信号。在最终的产品设计中我们利用PCI-6602的5个计数器通道通过程序初始化控制实现了这个功能。这是我们首次通过使用标准工业数据采集卡实现深度数据的精确读取和触发信号的定距输出，它为整个系统得成功研制奠定了坚实的基础。

（2）多路复合信号实时同步采集方案设计：

测井数据采集系统通常需要根据定距或定时触发信号对多路直流信号、脉冲信号和数字信号进行实时同步测量。这就需要系统保证对多个采集卡间以及同一采集卡内部的多个测量通道间的数据采集的同一性和实时性，否则得到的数据就不能反映井下仪器在地层中真实状况。我们采用具有RTSI（实时同步接口）总线的 NI 6070E 或 NI6024E 用于直流信号的测量，PCI-6602 或 PCI-6601 用于脉冲信号和深度信号的测量，PCI-6534 或 PCI-6533用于数字信号的测量。系统中任何一块卡都可以根据工作模式的不同作为主卡来生成同步触发信号或用作从卡来接收同步触发信号。我们把主卡产生的同步触发信号加载到RTSI 总线上，由RTSI来同步其它从卡上的各个测量通道的数据采集，各块采集卡采集到的数据都以DMA方式传给主机内各自的数据缓冲区。由于整个触发和采集过程都是由系统硬件独立控制完成的，使得各个测量通道的采集延时可以控制在纳秒级。所有采集卡都采用DMA模式传输数据，这与以往系统多采用中断模式相比，极大的提高了系统工作效率。

通过RTSI总线我们把原来需要通过系统软件轮询依次读取各通道数据的工作方式转变成通过初始化各个采集卡的工作状态，然后由各采集卡（即系统硬件）的RTSI来控制采集的同步。这种工作方式的转变，不但降低了系统负荷，而且使系统测量的同步性和实时性得到了显著提高。这也是我们选用NI 公司数据采集卡来实现系统数据采集的一个重要原因。

（3）复杂编码格式数字信号高速传输与采集模式设计：

由于测井仪器种类繁多，一个设计合理的测井系统，必须考虑能与不同编码格式的井下仪器配接使用。由于PCI-6534通常情况下具有40MS/s的采样率，我们在系统设计中，充分开发PCI-6534的Pattern I/O功能，实现了复杂高速传输的数字的采集和解码，同时根据井下仪器的特点，可以把调理模块触发PCI-6534的信号加载到RTSI 总线上，以同步系统深度和其它数据的采集，也可以通过RTSI总线把定距或定时触发信号加载到PCI-6534上，以控制数字信号的采集模式。PCI-6534与系统前端数字信号调理模块配合使用，使系统具备了配接各种传输速率高、编码协议复杂的测井井下仪器的能力。

（4）直流信号高精度采集方案设计：

有些测井仪器上传的信号中，既有直流量也有脉冲量还有数字量，而且其直流量的采样频率一般要求达到1MS/ s。采集系统除了要完成井下仪器直流信号的高速采集外还要以定时或定距的模式和较低的采样率采集其它直流信号和脉冲信号。我们在设计中，通过对NI 6070E、PCI-6024E、PCI-6602、PCI-6534这四块卡综合编程控制，采用多通道多次复合同步触发技术，同时充分开发PCI-6534的数字信号模式触

发控制技术，实现了定时或定距触发条件下以高采样率采集井下仪器的直流信号，同时以低采样率采集井下仪器的脉冲信号、井口的直流信号和数字信号的工作模式。这是整个测井数据采集系统设计的难点。

（5）系统状态及井下仪器控制方案设计：

在系统调理模块和井下仪器状态控制设计中，我们选用PCI-6601, 利用它的Digital I/O功能，建立起了一套控制能力强大的32位命令输出体系。选用PCI-6601,主要是为了降低系统的总成本，根据需要也可以选择专门的数字I/O卡，或其它多功能卡。

系统软件设计

测井数据采集控制系统软件主要由现场测控及数据采集软件和测后数据分析处理软件构成，在软件开发上，我们选择使用VC++ 与NI 公司Measurement Studio 软件包相结合的开发方式，用VC++开发与操作系统底层相关的程序和曲线打印输出程序，使用Measurement Studio和CVI提供的类库开发与数据实时采集和曲线显示相关的程序。这种开发方案不但可以对操作系统进行灵活的控制而且充分利用了NI 公司提供的开发工具，从而极大的缩短了系统软件的开发时间。我们仅用了三个月的时间就完成了系统软件的设计，开发和测试工作。图2为系统软件中的脉冲中子氧活化测井及解释软件序界面。图3为系统软件总体框图。

我们使用NI公司的数据采集卡和软件开发工具实现了测井数据采集控制系统的基于标准工业数据采集产品的设计与开发。大幅度地降低了系统的开发和维护成本，缩短了系统的开发周期，提高了系统的稳定性和可靠性。此外，我们可以根据用户的需要对系统数据采集卡进行多种组合或把系统更新为PXI总线系统，实现功能各有侧重的测井数据采集控制系统。目前这套系统已生产20余套，成功应用于大庆油田和全国其它油田，取得了可观的经济效益，具有相当广阔的应用前景。

第一部分系统目标

省安全生产监督管理局安全数据采集管理中心的总体建设目标，就是建设一个对安监网安全巡查的数据进行统一采集、存储、管理的中心平台，实现能够使县市乃至省级安监局相关单位在安监专网网络范围内通过此系统将安全巡查过程中智能安全帽所记录巡查的各类数据（视频、音频和照片）上传到系统平台，进行统一存储管理，便于各县市省级单位同事及领导登录系统后，对上传的各类数据（视频、音频和相片）进行检索、查看、浏览、下载，满足对安监网巡查工作更细致的情况追踪和监控，实现更高效的业务转化。

系统主要特点

1、拥有自主研发的智能安全帽，使用该安全帽可实现在巡查工作过程中的全自动巡查记录或重点记录，在不影响巡查工作的各项操作下，实现静默且稳定的图像资料记录和保存，实现巡查工作的忠实记录和保存，以便于巡查工作更好的保存和追踪。

2、拥有自主研发的智能安全帽数据采集柜，具备智能的门锁技术，实现安全帽和储存柜的互相绑定，安全帽配合采集柜实现设备保存、设备充电、设备数据自动采集三合一功能，大大简化使用流程和提升使用便利性。

3、采集柜本机具备超大容量存储空间的同时，可实现手动或自动上传备份数据或者传输数据至制定数据位置，实现数据的分布存储或集中存储的不同需求。可根据条件设置自动化执行任务，实现自动定时或针对性备份或传输特定数据，同时不同数据支持互相迁移。

4、灵活多样、满足多途径的数据检索、统计和再利用能力，通过通用浏览器即可方便访问数据管理平台，实现远程的数据检索、预览、下载或备份。

5、完善的日志管理和追踪功能，用户在系统中的各项操作均会生成日志记录，方便层层溯源追踪把控。

6、完善的用户层级和权限管理，上百项细致入微的用户自定义权限内容，精确把控不同用户可在系统中获取的数据及操作权限，方便不同的使用和管理需求。

7、支持网状模型连接扩展，可无限扩展架构层级，无损添加新节点，满足不断扩张成长的业务需求。

通过该系统平台的建设，帮助省安监局各地单位建立远程的巡查数据管理入口，实现巡查业务更加精确高效安全的同时，将各地区的数据区块汇总接入，最终建立起属于省安监局单位独有的云端巡查数据管理中心。

第二部分系统逻辑结构

该方案可分为两种形成，每种形式各有优势和缺点，可以根据实际的需求情况，采用不同的搭建形式，满足不同的建设目标。、

一、分布存储独立架构

该架构下系统包含：一级应用服务器一台运行数据管理中心平台软件；一级数据服务器一台用于备份特殊重要数据满足少量独立存储需求；二级分布式数据采集柜多台。

通过多台数据采集柜互联构成采集柜网状结构，经由网络统一直接连接到一级应用服务器托管，实现应用服务器对所有网络内的数据采集柜的远程连接、访问和管理，同时一级数据服务器接入应用服务器，作为数据管理平台的备份数据存储中心，常规数据全部储存在区块中各自独立的数据采集柜内，网络内电脑通过浏览器开启数据管理中心后台登陆，即可实现远程的数据访问与管理，并根据应用服务器内的权限层级设定，实现不同的功能和效果。

结构拓扑图见（图1）

优点：

该模式下搭建平台更为简单快速，由于单层结构设计，可以大大免去网络层级的部署和规划，同时简化接入流程，提供快速更高效的平台建设和数据传输流程。数据采集柜接入网络，连接应用服务器即可实现托管。建设简单，相对建设成本较低，满足快速搭建小型网络平台或初期建立平台雏形，后续可方便的升级变换架构，升级成中心存储集群式。

缺点：

由于采用较为简单的单层结构，数据全部分布存储于数据采集柜，数据存储较为分散，访问并管理的效率较低，同时由于分布存储的原因，只安排了较小的数据服务器满足低比例的特殊备份需求，大量数据分散存储于不同地区采集柜中，数据产生丢失或者无法访问的风险较高，需要稳定的供电和网络维持基本的连接。同时分布式存储导致的数据访问并发情况较多，对网络的承载压力较大，传输链路较多跳转，导致效率较低。

二、中心存储集群架构

该架构下系统包含：一级应用服务器一台运行数据管理中心平台软件；一级数据服务器多台或多级数据服务器多台用于备份特定区块数据满足集群数据存储需求；二级分布式数据采集柜多台。

通过多台数据采集柜互联构成采集柜网状结构，经由网络连接到区块内独立数据服务器，区块设立可依据地区或者业务规划来定，多区块数据服务器最终通过网络统一连接中心应用服务器，实现应用服务器对所有网络内的数据采集柜和数据服务器都能实现远程连接、访问和管理，设定不同的权限层级可满足区块内数据访问的相对独立和区块间的数据仍能通信的需求，同时通过中心应用服务器设定自动化自定义条件任务，自动执行数据从数据采集柜汇总备份到区块数据服务器进行多层级分布式存储，最终实现数据的多重安全备份，高效汇总和自动化的分配目标。

结构拓扑图见（图2）

优点：

该架构下搭建而成的平台具备多区块分布存储备份，数据永不丢失，安全可靠，同时基于分布式存储技术接入网络后可实现更高效的可访问性和更稳定的数据传输。基于自动化的自定义任务可以在网络闲时自动静默汇总分散于采集柜中的零散数据集中传输至区块内的专用数据服务器进行存储，同时借由数据服务器的高速处理能力，实现更高效的远程访问、预览、下载、传输及检索操作。架构内采集工作、数据存储、中心访问分工明确，互不干扰运行更加稳定，同时可方便的无限拓展数据服务器数量，满足长远的平台成长需求。

缺点：

该方案搭建需要配合规划区块，搭建相对独立的数据服务器，同时由于多层级的架构加大了初期建设的工程难度和成本，基于分布式存储的形态需要安排更多的服务器安装空间。

第三部分系统运行环境

系统分为采集端CS程序和浏览器BS管理程序两部分。

系统采集程序运行在windows环境下，支持各种版本的windows系统，数据库支持SQL Server系列的数据库或其它版本的关系型数据库。

对安全帽采集数据的管理后台使用浏览器，支持目前主流的各种版本的浏览器。

第四部分产品介绍

智能安全帽

l高清宽动态摄像头，支持高清录像

l开机自动录像，免去繁琐操作

l机身一体化设计，镜头及照明灯内置，产品更美观

l高强度复合材料帽身，提供专业的安全帽应有的防护功能

l简约的功能操作设计，一键开机，一键录像，一键亮灯

l支持大容量最高128GB存储扩展，满足更持久的录像需求

数据采集柜

l高强度框架式机身，抗冲击防腐蚀外壳

l安全内部排布设计，满足长时间连续稳定运行需求

l内置键盘鼠标，屏幕支持触摸，多种操作方面满足不同场景需求

l多设备独立存储仓设计，方便单独存储安全帽以及其他装备。

l智能电子独立门锁设计，可实现独立开启每个存储仓位。

l支持多设备同时接入，满足大批量安全帽充电需求同时实现自动化数据采集上传

l支持网络化运行，可单机使用也可接入网络后交由统一服务器托管，实现多台采集柜互联构建采集网络。

l主柜6口，副柜10口，最多一主两副一共26口，但实际可用最多22口。

数据管理平台（服务器）

lBS轻量化设计架构，通用浏览器即可访问，满足更好的兼容性

l支持多条件数据检索，满足快速书筛选需求

l支持多层级网络架构，实现不同的平台建设需求

l支持用户权限管理，根据实际需求定义用户不同权限实现不同管控

l远程预览，远程下载，可通过网络随时访问数据并进行管理

l高度自定义的自动化任务系统，设定周期，时间，人员，单位等条件实现自动化数据备份操作。

第五部分：产品功能说明

一、产品示意图

工业4.0是基本国策，

智能制造是工业4.0的核心，

工厂数字化是必要条件，

工业大数据是智能工厂的血液，

MES是智能工厂的脊柱。

也就是说，mes是在国家政策，世界工业发展大势下应运而生的。

MES把分布在工厂各个作业点上的微电脑、移动终端、RFID/条码设备、软件PLC、传感器、等都通过网络集成连接在系统中，让数字化血液贯穿工厂的每个细胞。

面向工业4.0工厂的五层数字化结构规划

管理层：ERP（Enterprise Resource Planning）企业资源计划、OA（Office Automation办公自动化）、PLM（product lifecycle management产品生命周期管理）、HR（Human Resource人力资源）命令由管理层发出。

执行层：mes（Manufacturing Execution System 面向制造企业车间执行层的生产信息化管理系统，MES能通过信息传递对从订单下达到产品完成的整个生产过程进行优化管理）；wms（Warehouse Management System仓库管理系统）；qms（Quality Management System质量管理体系）；spc（Statistical Process Control统计过程控制）；aps（进阶生产规划及排程系统）。

操作层。

控制层。

现场层。

MES各板块的逻辑关系

工厂良性运营的关键指标有：

1.由上而下按计划生产使计划与生产密切配合，

2.在最短的时间内掌握生产现场的变化，

3.作出准确的判断和快速的应对措施，

4.保证各种异常得到合理而快速的修正。

MES在整个企业信息集成系统中承上启下，是生产活动与管理活动信息沟通的桥梁；在产品从工单下发到生产为成品的整个过程中，扮演着促进生产活动最佳化的信息传递者；当生产事件发生时，MES借着所收集的即时信息，做出快速的反应，以减少无附加价值的生产活动，提升工厂的生产效率。

数据采集的实现方式

数据收集是MES项目的基础及核心，只有数据方便、及时、准确的收集汇总到数据库，才能有效的发挥后续几个功能模块的作用。

在车间现场部署信息采集点，根据现场情况和管理要求，选择相应的数据采集方式(例如PC机＋条码阅读器、便携式采集终端、485数据终端设备＋条码阅读器)，通过扫描条码、手工录入、设备集成等方式收集关键物料、检测结果、软件版本、测试数据、维修、抽检、包装、重工等信息。

过程控制的实现方式

根据现场作业所收集的数据，建立日常管理信息数据平台，监控现场连续的作业过程、分解SPC（统计过程控制）和SQC（统计质量控制）的数据信息，包含对作业过程中各项元素(人员、设备、产品、物料、实时数据信息)的跟踪、校验、管理,运用防呆机制避免作业过程中不必要的差错。

对现场所收集的各项数据进行合法性验证，将验证结果及时反馈给操作人员，只有通过验证后才可以继续执行某项操作，确保产品实际生产流程和预定流程的一致性，例如人员岗位、条码规则、工艺生产流程、上料、物料装配、完整性、可用性、存在性、冲突性、质量状态、兼容性等。

最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。

制造业生产数据采集的作用与意义导读：制造业是我国国民经济的支柱产业，也是推动工业化的原动力，现代制造业已经并且正在深刻地改变着人们的生产方式、生活方式甚至社会文化。全球经济一体化的趋势愈演愈烈，国际竞争不断加剧，制造业的发展必须不断提高在质量保障、品种多样化、快速设计制造、快速检测响应以及快速重组等方面的要求。于是，“以信息化带动工业化，以工业化促进信息化”被提到了前所未有的高度、深度和广度。

制造业生产数据采集的作用与意义

众所周知，制造业的信息化主要包括设计数字化、生产数字化、装备数字化、管理数字化、企业数字化等。信息化的大趋势使世界各国争先恐后的把先进技术和信息化引进到传统工业和制造业。1990 年，美国 AMR(Advanced Manufacturing Research)所提出的制造行业的ERP(Enterprise Resources Planning,企业资源规划)/MES(Manufacturing Execution System,制造执行系统)/PCS(Process Control System,过程控制系统)三层结构,已经成功地在许多行业得到了应用,并被越来越多的企业所认可.

美国 AMR 研究公司对MES 的定义表述为：MES 是一个常驻工厂层的信息系统，介于企业领导层的计划系统与生产过程的直接工业控制系统之间，它以当前视角向操作人员、管理人员提供生产过程的全部资源(人、设备、材料、工具和客户要求)的数据和信息，其着重点是将信息技术运用于改善制造过程。

而作为MES中低层的数据采集功能，可以实现对生产现场各种数据的收集、整理工作，是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。它可以为企业中其他例如ERP等管理信息系统提供实时数据。另一方面，MES也要从其它管理系统中获取相关的数据以保证MES自身正常运行。因此要满足MES快速、实时的要求，作为各种功能模块运行基础的数据就显得十分重要。一个迅速而可靠的数据采集系统是整个MES能够正常稳定工作的有力保证。

制造企业面临的数据采集现状

作为车间底层的数据采集系统，在企业实际生产过程中却存在着许多困难，尤其是在离散企业中由于自动化程度较低，往往存在着以下特点：

生产过程不可视：主要体现在不能实时了解生产现场中在制品、人员、设备、物料等制造资源和加工任务状态的动态变化。

生产过程复杂性：由于产品结构和加工工艺的复杂性，造成生产过程中各制造过程的关联性强，生产环境复杂多变(临时插单、材料短缺等) 。

制造过程信息集成度低：制造过程中的各种信息不能有效进行集成，导致产能不能得到充分利用。

信息不能有效与上层管理系统进行集成：这种隔断造成生产过程不透明，生产进度、在制品状况、设备利用状况等关键数据不能到达管理层，增加了过程管理和生产决策的复杂性。

制造过程信息的真实性差：现场数据信息过多依赖人机交互界面通过人工录入，增加了出错的机率。

制造过程信息的实时性低：作业任务随市场需求的频繁调整变化，不利于制造过程信息的实时采集，再加上制造过程信息交互的速度和效率低下，造成企业对市场变化的响应速度慢。

企业设计层和管理层到车间层特别是车间设备层的信息采集困难，一方面车间设备层的重要信息难于采集和上传，无法达到对生产过程的监控。另一方面上层系统难以深入到车间和设备层，从而影响管理信息系统的准确运行，使动态信息成为脱离实际的无源之水难于及时下达，从而使整个企业信息化难以产生更大的效益。

上述特点反映了制造车间迫切需要对制造过程进行信息化的数据采集管理，从而建立一个完整高效的离散制造车间数据采集及其分析处理系统是实现离散车间信息化的基础。数据采集及其分析处理系统的主要功能就是将车间的各种离散数据完整实时的采集到车间数据库中，并进行初步的分析处理，将车间生产的信息实时准确的反馈到车间的管理层，加强管理人员对车间生产现场的监控和管理，并为企业管理人员制定生产计划提供依据。

华磊迅拓科技专业提供SCADA数据采集监控系统，OrBit-SCADA（Supervisory Control And Data Acquisition）系统是"制造业物联网信息总线"的具体实现，它包含两个层次的含义：一是分步式的实时数据采集系统，即工业通讯与控制的PC上位机系统 ；另一个是生产现场的场景建模和显示系统。

工业互联网是在传统互联网的基础上建立起来的。这种演化是工业技术发展的必然趋势。传统互联网将人与人通过计算机网络连接在一起，分享各种信息，传递各种需求，获得各种服务，这是人类社会、经济、科技发展的巨大进步。但是，这种连接的能力还是非常有限的。因为如果只有人而没有机器的参与，我们应用互联网的空间不是完整的。只有当全球70多亿人口和600亿台左右的机器都能够连接在一起的时候，互联网的价值才能得到最大程度的彰显，人类社会才能完全从体力和脑力劳动中彻底解放出来。我们今天已经步入了“复杂的工作要用最简单的方法来处理”的时代。这就是工业互联网技术发展的原动力，发展的趋势不可逆转。在传统互联网的基础上，影响这项技术发展速度的一个重要因素是机器侧的数据采集和云控制技术问题。事实上，这就是自动化技术与信息化技术深度融合的问题。这个问题处理好了，工业互联网的发展就会更顺利一些。机器的连接只是手段，能对机器的有效管控才是工业互联网发展的重要目的。

目前，数据采集技术主要受到两个方面的制约。一是部分机器没有数据接口，二是存在大量异构的通讯规范。与此同时，我们还要考虑到工业发展的惯性，不能完全采用新旧技术彻底更替的办法来解决这两方面的问题。所以，工业社会必须要有这样的技术，在没有数据接口的机器上能够增加数据接口（包括传感器），在异构通讯规范之间采用全兼容的数据采集技术。通用网关是提供这种全兼容技术的产品。在工业互联网技术体系中，通用网关属于边缘计算的一部分。这是与传统互联网明显不同的地方。每一种通讯协议都对应着通用网关中的一种通讯驱动。一项新的技术是把通讯数据包交给通用网关中边缘计算来处理，以便分解出有效的信息来。这将极大地降低通用网关的通讯处理开发成本，提高通用网关数据采集的灵活性。边缘计算的另一个用途当然是对采集来的数据进行必要的处理，以减轻云平台的计算压力。同时，多个边缘计算构成的雾计算，也是工业互联网的重要组成部分。雾计算的加入，可极大地提升工业互联网的分布计算能力。考虑到互联网通讯的不确定性，还需要在通用网关中增加断网续传的功能，以保持数据的完整性。除此之外，我们还需要关注数据的实时性和同步性问题。这些特性一般能够通过调整通讯的请求周期和标记数据的时间戳来确定。显而易见，通用网关是数据采集的重要设备，它在整个工业互联网中构成了一个庞大的通讯节点系统，对于整个工业互联网的运行有着非常重要的影响。为此，我们需要一种有效的网络工具，用于管理这样的通讯节点系统，对它们的运行状态，采集数据更新，采集周期等状态进行监控，同时也能对相应的软件维护、节点参数、接口配置等进行动态的调整。

云控制是工业互联网很重要的一项功能。但是，目前工业互联网的关注点主要集中在数据的处理和信息的管理方面。事实上，由于工业互联网中云平台能够综合更多的数据，因此它不仅可以对企业的管理过程提供重要的决策，而且可以对机器的控制过程提供更优的指令。云机器人和能源互联网都属于云控制的典型的应用。人工智能的技术需要强大的计算资源的支持，而这只有在云计算环境中才能得到满足。只有当强大的云控制功能和强大的数据采集功能结合在一起的时候，工业互联网才能具有真正强大的支配机器的能力。一般情况下，工业互联网的云平台是按照PaaS架构进行设计的。云控制可利用这方面的计算资源，进行智能控制、资源调度、优化决策，以及多个生产过程的协同作业等方面的计算处理，从而为机器的先进控制提供最优的设定值。云控制需要解决的关键技术问题是：互联网通讯的不确定性造成的数据通讯延迟补偿，如何让复杂算法的编辑、编译和基于工业互联网的动态调试过程变得更加简单和直观。工业APP提供的可视化能力，也为云控制技术的工程应用提供了有力支撑。另外，云控制需要边缘计算的协同。边缘计算一方面为云控制提供数据通讯的通道，一方面也为云控制过程提供安全保障。随着工业互联网技术的快速发展，云控制将逐步成为工业领域中最重要的一种生产技术。

工业互联网是生产企业控制与管理深度融合的重要技术设施。数据采集和控制是工业互联网连接机器社会的重要手段。数据采集和云控制技术的研究与应用，将有效消除人们对工业互联网发展的质疑，并产生积极的促进作用。