随着大数据应用的不断发展和成熟，一些监控系统企业已收获可观的回报。近来，大数据的处理更是发展到了一个更高的新水平，即人工智能（AI）平台的形式。AI平台预计将在未来十年产生重大影响（或颠覆）。在各种技术中，人工智能用于处理海量数据集将前所未有地提升商业智能和分析。

AI智能机器学习是运用算法来分析数据，并从中学习和做出预测。算法包括决策树学习、聚类、强化学习和归纳逻辑编程。

人工智能和机器学习现在主要用作研究和网络活动的个人助理，以及完成诸如接电话、做销售预测和驾驶车辆之类的任务。这些技术综合在一个AI平台中时，将显示出巨大的应用前景

AI平台是一种比传统框架更高效、更智能化的框架。设计得好的话，它可为组织或监控系统企业提供与数据科学家和员工更快、更高效和更有效的协作。它可以帮助以多种方式降低成本——防止重复工作、使简单任务自动化，以及消除一些费用昂贵的活动，例如复制或提取数据等。AI平台还可以提供数据治理，确保由AI科学家和ML工程师组成的团队的最佳实践应用。它还可以帮助确保工作更均匀地分配、更快地完成。

AI平台一般将其要素组织成五个逻辑层：

数据和集成层提供对数据的访问。这种访问是至关重要的，因为开发人员不手工编写规则，相反，规则是由AI运用它所访问的数据进行“学习”的。

实验层允许数据科学家开发、测试和证明假设。设计良好的实验层将提供自动化的特征工程、特征选择和模型选择。

操作和部署层提供模型治理和部署。正是在这里对模型进行风险评估，允许模型治理团队验证它。这一层提供了跨平台部署各种容器化模型和组件的管理工具。

智能层提供对人工智能工作的支持（培训活动在实验层进行）。智能层组织和提供智能服务，并且是用于指导服务交付的主要组件。理想情况下，在该层实现诸如动态服务发现之类的概念，以提供支持认知交互的灵活响应平台。

体验层通过诸如增强现实、会话UI和手势控制之类的技术与用户交互。这一层通常由认知体验团队控制，该团队努力创建丰富且有意义的、由AI技术支持的体验。

使用人工智能分析大数据可以提供对影响企业的外部和内部机制更深入的理解。采用最新的大数据体系结构和机器学习可以更好地支持人工智能的使用。一个现代的、先进的基于人工智能的平台具有以下特征：

· AI可以访问所有可用的数据

· 它从客户或潜在客户的历史中学习

· 它从以前的类似客户那里获取经验，并展示过去行之有效的策略

· AI监控和学习，发现人类可能错过的模式

· AI实时学习，并根据新数据作出实时响应

· 基于变化的数据提供指导

· AI融合机器学习

为了使用先进的AI收获最大的结果，应满足以下三个基本要求：

一、是分析框架。分析框架是随着时间推移而开发的用于解决特定业务问题（通常是复杂的）的方法。使用分析框架是支持系统的AI和机器学习能力的关键。

二、是语境。目前AI和机器学习在判断语境方面表现还非常差。AI可以发现趋势，并且从数据中判断发生了什么，但是超越趋势来推荐员工应该做什么，就必须要考虑语境。虽然人们希望AI能够学习如何确定语境，但这目前还不是现实，还需要由人工确定语境并将其添加到模型中。

三、是适当的技术。与传统的分析系统不同，AI支持的平台必须是可扩展的，以便AI学习和创建解决方案。传统的分析系统会提供对数据的洞察力，而AI会实时地提供建议。

对于安防监控系统AI，看上去是AI，实际上最后是大数据，大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防监控系统AI中， 说到底都是对大数据的采集、建模和应用。本文大致说一下安防监控系统AI中，对于大数据的运用过程与环节，让大家有个大致的印象。

安防监控系统AI大数据流程三个环节

1、数据采集

数据采集，有说数据获取，这是数据的来源，安防监控系统AI中这个数据是来源于视频监控系统中的视频流，当然往大了说安防监控系统，还包括很多内容，但是基本都是以视频监控为核心，这里主要指视频监控系统。

2、数据预处理

对于采集到的实时或者历史视频，是只能看不能应用的，要调用就得结构化，先给视频流解码，把视频流还原成一张张图片，再对图片进行预处理。可能不同的公司对预处理包含的步骤内容说法不太一致，我是以安软慧视的技术负责人介绍为准。先对图片进行目标清洗垃圾，清洗掉模糊的、不合尺寸的，目标无法识别的、无目标对象的等等。

当然，有些场景可能只有这样的图像，这需要用到另外一些图像处理方法，和我们的主题相关但不是一回事。这样我们就可以得到基本符合要求的图像。然后对这些图像中的目标对象进行检测和分割，并改变目标的大小与标准图片大小一致，目标对象包括人形、人脸、车形等，这样就可以拿去训练模型了。

3、模型训练

对图片中的目标对象进行识别，提取和构建模型，在安防监控系统AI中，需要的结构化描述是比较具体的，比如对人的描述就包括性别、年龄、发型特征、发饰、上衣款式特征、下衣款式特征、鞋帽款式特征、交通工具特征、随身物品特征、同行人特征等一系列描述。对车的描述包括车牌号码、厂牌、车身颜色、车辆品牌、车辆类型、车辆特征物（如：年检标、挂饰、纸巾盒、遮阳板）等。

有了这些识别模型，就可以通过语义分析等技术对视频数据进行分类处理存储，并通过后端服务器的智能分析功能进行业务处理，将人、车、物的信息从数据中分离出来。这样公安民警就可以进行快速检索、条件搜图（人）、以图搜图，再配以图片的拍摄地点、时间等数据，就可以进行轨迹查询，再匹配一下大安防监控系统系统中的住宿、手机号码、车票等大数据，基本上嫌疑人就是插翅难逃，这对民警的破案效率将是百千倍的提升。这才是安防监控系统AI真正的价值所在。

安防监控系统AI数据预处理技术及方法

目前常见的数据预处理技术

1）数据清理

数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点，并且解决不一致性来进行“清理数据”。

2）数据集成

数据集成过程将来自多个数据源的数据集成到一起。

3）数据规约

数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。

4）数据变换

通过变换使用规范化、数据离散化和概念分层等方法，使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。

数据清理方法

1）缺失值

对于缺失值的处理，一般是能补的就想办法把它补上，实在补不上的就丢弃处理。通常的处理方法有：忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。

2）噪声数据

噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。

3）数据清理过程

这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。数据清理的原理是通过分析“无效数据”产生的原因和存在形式，利用现有的技术手段和方法去清理，将“无效数据”转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。

4）模型构建数据统计分析

数据统计为模型构建提供基础，只有通过数据统计分析探索到了数据中隐藏的规律，深度学习才有意义，人工智能才有可能。数据统计又包括数据分析与结果分析，基本的分析方法有：对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。

高级的分析方法有：主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的，往往是混合使用的，然后再通过进一步的分析对比从中挑选某些组合模型。

5）数据可视化

数据可视化，就是通过一些可视化图形或者报表形式进行展示，增强对分析结果的理解。再针对结果进行进一步的数据再分析，使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。

安防监控系统AI大数据的应用

安防监控系统大数据的应用当前是围绕提升破案率和提升警务工作效率为中心的，要想在安防监控系统数据的基础上开发出优秀的应用，必须要深入了解警务工作流程，从接处警、现场勘查、情报研判、应急指挥、关联碰撞、合成作战，再到各类型警用装备间的互联互通，再到各警种间的配合，再到各警种业务数据库间的融合。这些都要有详细地了解，才能发现针对刑侦破案、治安防监控系统控、交通管理的应用间的差异。

说到底，大数据最终是为应用服务的，只有最后真正提高了公安民警的工作效率和破案率，才能证明安防监控系统AI的价值和意义。这就要求我们既要懂AI业务，又要懂公安业务。脱离了这两者，想让安防监控系统AI得到大面积推广是连想都不要想的。

近日，航空工业太航人影飞机综合大气参数采集处理系统通过专家组审查。审查组认为，该系统提高了人工影响天气作业的有效性和科学性，成功解决了目前人工影响天气的急需，填补了国内空白，具备了国际领先水平。

人影飞机综合大气参数采集处理系统由太航自筹资金、自主立项，与山西省气象局联合研发，是为人工影响天气飞机配套、专业的机载云物理参数探测设备，对科学指导增雨作业、提高业务效率具有重要作用。该系统由大气数据采集吊舱、云总水成物含量吊舱、飞机姿态惯导计算单元、主控计算机、系统参数显示器以及GPS天线构成。该系统可以随人影飞机实时测量出大气压力、大气静温、云总水含量、过冷水含量、三维风等气象参数，经过运算分析给出人工降雨催化潜力指数。

近年来，人工影响天气工作在服务农业生产、缓解水资源紧缺、防灾减灾、保护生态以及保障重大活动中的重要作用日益突显。目前我国多数人影飞机尚未装备探测设备，仅少数装备了国外的相关设备，因数据输出种类多，操作处理繁杂，对人影作业实时指导性不强，且价格昂贵、维修困难、保障能力差，限制和影响了人影作业的实施。

在国家军民融合战略指引下,太航与山西省气象局密切协作顺应时代需求，经过两年半的戮力攻关，研制成功人影飞机综合大气参数采集处理系统。该系统以其高端测量、高应用价值和高技术含量代表着国内最先进的大气物理测量水平，也标志着太航在航空技术领域大气物理测量技术能力进一步提升，为全力进军环境探测和气象领域，大力开拓民用市场奠定了坚实的基础。

第一部分系统目标

省安全生产监督管理局安全数据采集管理中心的总体建设目标，就是建设一个对安监网安全巡查的数据进行统一采集、存储、管理的中心平台，实现能够使县市乃至省级安监局相关单位在安监专网网络范围内通过此系统将安全巡查过程中智能安全帽所记录巡查的各类数据（视频、音频和照片）上传到系统平台，进行统一存储管理，便于各县市省级单位同事及领导登录系统后，对上传的各类数据（视频、音频和相片）进行检索、查看、浏览、下载，满足对安监网巡查工作更细致的情况追踪和监控，实现更高效的业务转化。

系统主要特点

1、拥有自主研发的智能安全帽，使用该安全帽可实现在巡查工作过程中的全自动巡查记录或重点记录，在不影响巡查工作的各项操作下，实现静默且稳定的图像资料记录和保存，实现巡查工作的忠实记录和保存，以便于巡查工作更好的保存和追踪。

2、拥有自主研发的智能安全帽数据采集柜，具备智能的门锁技术，实现安全帽和储存柜的互相绑定，安全帽配合采集柜实现设备保存、设备充电、设备数据自动采集三合一功能，大大简化使用流程和提升使用便利性。

3、采集柜本机具备超大容量存储空间的同时，可实现手动或自动上传备份数据或者传输数据至制定数据位置，实现数据的分布存储或集中存储的不同需求。可根据条件设置自动化执行任务，实现自动定时或针对性备份或传输特定数据，同时不同数据支持互相迁移。

4、灵活多样、满足多途径的数据检索、统计和再利用能力，通过通用浏览器即可方便访问数据管理平台，实现远程的数据检索、预览、下载或备份。

5、完善的日志管理和追踪功能，用户在系统中的各项操作均会生成日志记录，方便层层溯源追踪把控。

6、完善的用户层级和权限管理，上百项细致入微的用户自定义权限内容，精确把控不同用户可在系统中获取的数据及操作权限，方便不同的使用和管理需求。

7、支持网状模型连接扩展，可无限扩展架构层级，无损添加新节点，满足不断扩张成长的业务需求。

通过该系统平台的建设，帮助省安监局各地单位建立远程的巡查数据管理入口，实现巡查业务更加精确高效安全的同时，将各地区的数据区块汇总接入，最终建立起属于省安监局单位独有的云端巡查数据管理中心。

第二部分系统逻辑结构

该方案可分为两种形成，每种形式各有优势和缺点，可以根据实际的需求情况，采用不同的搭建形式，满足不同的建设目标。、

一、分布存储独立架构

该架构下系统包含：一级应用服务器一台运行数据管理中心平台软件；一级数据服务器一台用于备份特殊重要数据满足少量独立存储需求；二级分布式数据采集柜多台。

通过多台数据采集柜互联构成采集柜网状结构，经由网络统一直接连接到一级应用服务器托管，实现应用服务器对所有网络内的数据采集柜的远程连接、访问和管理，同时一级数据服务器接入应用服务器，作为数据管理平台的备份数据存储中心，常规数据全部储存在区块中各自独立的数据采集柜内，网络内电脑通过浏览器开启数据管理中心后台登陆，即可实现远程的数据访问与管理，并根据应用服务器内的权限层级设定，实现不同的功能和效果。

结构拓扑图见（图1）

优点：

该模式下搭建平台更为简单快速，由于单层结构设计，可以大大免去网络层级的部署和规划，同时简化接入流程，提供快速更高效的平台建设和数据传输流程。数据采集柜接入网络，连接应用服务器即可实现托管。建设简单，相对建设成本较低，满足快速搭建小型网络平台或初期建立平台雏形，后续可方便的升级变换架构，升级成中心存储集群式。

缺点：

由于采用较为简单的单层结构，数据全部分布存储于数据采集柜，数据存储较为分散，访问并管理的效率较低，同时由于分布存储的原因，只安排了较小的数据服务器满足低比例的特殊备份需求，大量数据分散存储于不同地区采集柜中，数据产生丢失或者无法访问的风险较高，需要稳定的供电和网络维持基本的连接。同时分布式存储导致的数据访问并发情况较多，对网络的承载压力较大，传输链路较多跳转，导致效率较低。

二、中心存储集群架构

该架构下系统包含：一级应用服务器一台运行数据管理中心平台软件；一级数据服务器多台或多级数据服务器多台用于备份特定区块数据满足集群数据存储需求；二级分布式数据采集柜多台。

通过多台数据采集柜互联构成采集柜网状结构，经由网络连接到区块内独立数据服务器，区块设立可依据地区或者业务规划来定，多区块数据服务器最终通过网络统一连接中心应用服务器，实现应用服务器对所有网络内的数据采集柜和数据服务器都能实现远程连接、访问和管理，设定不同的权限层级可满足区块内数据访问的相对独立和区块间的数据仍能通信的需求，同时通过中心应用服务器设定自动化自定义条件任务，自动执行数据从数据采集柜汇总备份到区块数据服务器进行多层级分布式存储，最终实现数据的多重安全备份，高效汇总和自动化的分配目标。

结构拓扑图见（图2）

优点：

该架构下搭建而成的平台具备多区块分布存储备份，数据永不丢失，安全可靠，同时基于分布式存储技术接入网络后可实现更高效的可访问性和更稳定的数据传输。基于自动化的自定义任务可以在网络闲时自动静默汇总分散于采集柜中的零散数据集中传输至区块内的专用数据服务器进行存储，同时借由数据服务器的高速处理能力，实现更高效的远程访问、预览、下载、传输及检索操作。架构内采集工作、数据存储、中心访问分工明确，互不干扰运行更加稳定，同时可方便的无限拓展数据服务器数量，满足长远的平台成长需求。

缺点：

该方案搭建需要配合规划区块，搭建相对独立的数据服务器，同时由于多层级的架构加大了初期建设的工程难度和成本，基于分布式存储的形态需要安排更多的服务器安装空间。

第三部分系统运行环境

系统分为采集端CS程序和浏览器BS管理程序两部分。

系统采集程序运行在windows环境下，支持各种版本的windows系统，数据库支持SQL Server系列的数据库或其它版本的关系型数据库。

对安全帽采集数据的管理后台使用浏览器，支持目前主流的各种版本的浏览器。

第四部分产品介绍

智能安全帽

l高清宽动态摄像头，支持高清录像

l开机自动录像，免去繁琐操作

l机身一体化设计，镜头及照明灯内置，产品更美观

l高强度复合材料帽身，提供专业的安全帽应有的防护功能

l简约的功能操作设计，一键开机，一键录像，一键亮灯

l支持大容量最高128GB存储扩展，满足更持久的录像需求

数据采集柜

l高强度框架式机身，抗冲击防腐蚀外壳

l安全内部排布设计，满足长时间连续稳定运行需求

l内置键盘鼠标，屏幕支持触摸，多种操作方面满足不同场景需求

l多设备独立存储仓设计，方便单独存储安全帽以及其他装备。

l智能电子独立门锁设计，可实现独立开启每个存储仓位。

l支持多设备同时接入，满足大批量安全帽充电需求同时实现自动化数据采集上传

l支持网络化运行，可单机使用也可接入网络后交由统一服务器托管，实现多台采集柜互联构建采集网络。

l主柜6口，副柜10口，最多一主两副一共26口，但实际可用最多22口。

数据管理平台（服务器）

lBS轻量化设计架构，通用浏览器即可访问，满足更好的兼容性

l支持多条件数据检索，满足快速书筛选需求

l支持多层级网络架构，实现不同的平台建设需求

l支持用户权限管理，根据实际需求定义用户不同权限实现不同管控

l远程预览，远程下载，可通过网络随时访问数据并进行管理

l高度自定义的自动化任务系统，设定周期，时间，人员，单位等条件实现自动化数据备份操作。

第五部分：产品功能说明

一、产品示意图

1787年第一架纺织机的出现，第一次工业革命正式拉开序幕。随着蒸汽驱动机械制造设备的出现，人类进入机械时代。

火车喷出的浓烟在英格兰风景如画的旷野中升起，19世纪末至20世纪初，第二次工业革命将人类带入自动化世界。

从20世纪四五十年代以来，原子能、电子计算机、微电子技术、航天技术等领域取得重大突破，第三次的工业革命到来，世界格局发生重组改变。

现在，工业4.0已经到来，第四次工业革命的目标是工厂智能化，是基于信息融合，大数据、物联网等实现智能制造。

工业4.0离你的企业实务有多远？智能信息化究竟会给你的企业带来什么样的影响？

比如，制造企业在进行数据采集和处理时经常会遇到类似的问题：

数据采集效率低；例如：采购收货采用的是打印送货单的方式收货。数据采集耗时长；例如：从到货点收到数据录入系统耗时长。数据处理不智能；例如：库存不足时系统不会自动预警或者智能性的自动转采购订单。

制造企业只有软硬件完美结合，用智能信息化系统结合智能硬件设备，最终才能实现工厂智能化。

采购入库通过扫描送货单上的二维码或者条形码，采集送货单号后匹配后台的采购订单信息，自动抓取采购单信息进行数量确认收货，保存后实时上传后台。生产领料生产领料时，可实时查看现有库存及库位，通过扫描库位上的二维码或者条形码进行智能领料。生产入库生产完成后，录入物料信息自动带出库位信息，将货物移转到仓库后扫描库位上的二维码或者条形码进行智能入库。销售出货销售出货时，通过扫描库位上的二维码或者条形码进行物料及数量的匹配后，进行智能出库。盘点仓库盘点时，采用PDA的方式扫描库位上的二维码或者条形码进行快速盘点。简易报工扫描制令单上的二维码，自动带出工序讯息后维护数量，轻松完成报工。简便追溯客户发现品质疑问产品，用手机或二维码扫描设备扫码产品二维码，即显示该产品的生产相关信息，如：公司，生产班组、作业员、检验员、出厂日期。

经过信息化管理之后，企业数据实现快速收集以及智能处理。正如正航智能制造解决方案，帮助企业搭建智能管理平台，提升企业生产效率、提高产能、规避错误、放大管理力，通过快速，智能的工作方式帮助企业实现流程的规范化，智能化，最终实现工厂智能化。

一、GPRS 网络

GPRS 是目前解决移动通信信息服务的一种较完美的业务，它是以数据流量计费、或大 数据的包月包年计费。覆盖范围广泛、数据传输速度更快。GPRS 的推出，为行业和企业用 户开展无线数据传输提供了基础设施平台，为推动移动办公的应用和发展创造了有利条件。 与有线网络相比，GPRS 网络具有租用费用低、移动办公，不受地域制约等优点。GPRS 的出 现为企业和行业用户开展无线办公提供了一种新的选择。

GPRS 通信方式更适合于各类数据采集业务，目前城市供水管网系统与各采用有线交互传输或电台方式，甚至有些偏远井道要有线网络接入成了不可能。月租费太高，用电话线传送数据按时间计费，带来诸多不便，费用也不便宜。GPRS的网络优点，包括5个方面：

1、覆盖范围

构建城市供水管网系统要求数据通信覆盖范围广，扩容无限制，接入地点无限制，能满足城区、乡镇和跨地区的接入需求。由于管网检测点数量众多，分布在地 区的各个角落，而且地理位置分散。另外，还必须考虑今后系统扩充的可能，必须具有良 好的可扩展性。由于目前 GPRS 已覆盖省内绝大部分地区，能够满足城市供水管网系统对覆 盖范围的要求。

2、数据传输速率高

目前 GPRS 实际数据传输速率在 40Kbps 左右，完全能满足供水管 网系统数据传输速率的需求。

3、系统的传输容量大

城市供水管网系统要和每一个监测点实现实时连接。由于监测 点数量众多，系统要求能满足突发性数据传输的需要，而 GPRS 技术能很好地满足传输突发 性数据的需要。

4、通信费用控制灵活

采用传统的有线方式建立供水管网系统，必须租用专线或电话 线进行连接。由于管网监测点必须与中心随时保持连线状态，而每次数据发送的数据量很 小，线路资源利用率很低，平均每一个监测点每月的线路费用为 800～1200 元。而如果采 用 GPRS 通信方式，由于 GPRS 采用按数据流量计费的方式，资源利用率高，月通信费用将 在 200 元之内，如果数据量很大的情况下也可按包月或包年计费。

5、良好的实时响应与处理能力

与短消息服务比较，由于 GPRS 具有实时在线特性，系统无时延，可很好的满足系统对数据采集和传输实时性的要求。

二、供水管网管理的概述

随着我国经济的发展、城市规模的扩大和现代化程度的不断提高，城市的供水管网系统也越来越庞大，且许多供水管线的填埋情况复杂、资料不清，有些管线甚至仅凭当时施工工人的记忆去寻找，造成诸多设计上的失误和施工中的事故。

采用人工方法，借助图纸、各类卡片来管理城市供水管网系统，已越来越难以满足 实际需要。所以实现对供水管网管理系统的需求是相当迫切的。业内众多有识之士已达成 共识：使用计算机，借助无线网络系统技术来进行供水管网的管理、管网设计及数据采集，已是势在必行。

基于 GPRS 网络平台的无线数据传输技术自 2002 年在中国正式商用以来，以“实时在线、 按流量计费、覆盖率广”等优势在各行业取得广泛应用。随着信息化的发展，无线采集传输已经完全取代了以往的各种有线接入。而以往的有线连接必须依赖于网络布线、固定电话线路，对于发展移动性的服务、增设新的服务网点、增设临时性的窗口常会受到有线连接的困扰。 同时布线还需要昂贵的费用和铺设时间，对已有的网络也会有影响，所以有线连接已经严重限制了目前各种信息化应用的主要原因。

三、供水管网数据采集与监控系统的概述

深圳信立科技供水管网数据采集与监控系统，基于XL.SN无线传感器网络技术、传感器技术和计算机技术，通过无线传感器采集节点管网温度、压力数据，并以433M通讯方式上传至物联网智能网关，物联网智能网关将接收到数据以GPRS通讯方式实时传输到监控服务器，工作人员在电脑、手机端通过XL.VIEW组态软件解析监控服务器的管网压力、温度数据，实现对城市不同地方多点管网温度、压力的监控。

管网数据采集与监控系统，包括三个工作层：

1、数据采集层，负责采集节点数据。

2、数据传输层，负责接收、传输节点数据。

3、监控应用层，负责对节点数据的解析、查看、统计、分析、打印。

四、供水管网数据采集与监控系统的工程界面

1、登录界面

2、数据报表

3、历史曲线

4、报警信息

五、供水管网数据采集与监控系统的优点

1、供水管网数据采集与监控系统建设过程中，无需布线，或减少布线数量，减少系统建设成本。

2、系统所需的设备安装调试方便，设备支持手机调试，提高运营维护的效率。

3、系统底层终端各种数据采集后统一传输到监控服务器，便于监控管理，提高供水管网管理效率。

六、供水管网数据采集与监控系统的软硬件设备

1、无线压力传感器

集压力采集、无线传输等功能，自动保存或恢复补传数据，支持手机现场调试的XL61无线压力传感器，也叫智能压力传感器，无线压力采集器等，属于无线传感器网络产品。

XL61无线压力传感器，具有防爆、低功耗、高精度、稳定性强、使用寿命长等特点，可选433MHZ，2.4GHZ，WI-FI等无线传输方式。XL61无线压力传感器，也叫智能压力传感器，无线压力采集器。它的应用范围广，无需布线，减少运维成本，安装便捷，即插即用，适用于供水管网、供气管网、供油管网、环境、制造业、化工、能源、仓储、办工场所等环境的温度实时采集、无线传输、现场或远程监测和预警。

2、无线温度传感器

集温度采集、无线传输等功能，自动保存或恢复补传数据，支持手机现场调试的XL61无线温度传感器（插入式），也叫智能温度传感器，无线湿度采集器，属于无线传感器网络产品。

XL61无线温度传感器（插入式），具有防爆、低功耗、高精度、稳定性强、使用寿命长等特点，可选433MHZ，2.4GHZ，WI-FI等无线传输方式。

XL61无线温度传感器（插入式）应用范围广，无需布线，减少运维成本，安装便捷，即插即用，适用于各种管网管道管沟、气象、农业大棚、养殖场、仓储馆藏、冷藏冰柜、实验室、机房、生产车间等环境的温度实时采集、无线传输、现场或远程监测和预警。

3、物联网智能网关

智能网关，也称为无线数据通讯网关、数据采集网关、物联网智能网关，具有高度集成化的特点，集数据接收、协议转换、无线通讯传输等功能，支持多种通讯协议和通讯方式，如可采用GPRS，433mhz，2.4G及以太网等多种通讯方式。

XL90智能网关，集通讯管理、数据接收、协议转换、数据处理转发等功能，支持手机现场调试，可同时接收多个无线传感器数据，支持2路以太网口(Ethernet)、RS485和1路RS232串口、无线传输等上行方式， 可选GPRS，433MHZ，2.4GHZ等无线传输方式。适用于构建大容量的智能传感网络，广泛应用于机房、机站动力、环境监控系统，低压配电监控系统，电能数据监控系统，工厂机器设备、生产线运行状态监控系统，生产信息采集系统等无线监测与预警。

4、XL.VIEW组态监控软件

XL.view组态监控软件是基于SQLServer 数据库的系统控制中心，负责系统历史数据存贮，更高层级的数据计算、统计、分析，数据展示、发布、推送等，支持XLPS、MODBUS TCP、MODBUS RTU、OPC等通信协议，可按用户要求提供定制协议，支持Mssql、Mysql、Access等数据库接口，支持Active/Com/Dll，并通过Java Script调用，支持Windows、Android、iOS平台访问，适用于Window XP,Windows 7,Windows Server 2003/2008 操作系统。

该组态软件，读取XL90、XL91智能网关，以及XL65、XL68通过GPRS上传的数据，生成历史数据库。对数据进行统计、分析，生成用户所需的各种报表、曲线、图形，技术指标；实时显示、发布各种环境参数数据等；自动推送通知、报警信息，提醒相关人员进行支援； PC、移动终端，依据访问权限，查询、浏览相关数据； 通过PC或移动智能终端，对现场设备进行控制； 支持百度地图和视频图像显示。

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

|本文由好程序员特训营编辑

|作者：好程序员

1. 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

2. 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

欢迎关注【“好程序员”百家号】高端IT教育--从平凡到卓越 为梦想而拼搏

工业物联网无线数据采集系统，是一套具备终端数据采集，无线数据传输和数据应用分析等多功能的智能化数据采集和监控系统，它在市政供排水管网、供汽管网、热力管网、石油天然气管网、地下管沟监控；游泳池水箱水塔液位、大坝、河道水位、泵房浸水监控；蔬菜蘑菇、针金菇、水果、花卉、育苗等农业大棚智能环境监控；畜牧、家禽、水产等农业养殖智能环境监控；化工危化品石油天然气储罐区、电池、面粉仓库智能环境监控；电信机房、实验室、医院药房、生产车间、冷柜冰箱、图书馆、博物馆、档案室、粮库、烟草、酒糟酒曲酒窖等仓储馆藏智能环境监控；社区楼宇、港口工业园区、公园景区、校园广场、超市商场等大气环境质量智能监控；发动机、变频器等生产机器设备运行状态、仪器仪表能耗及生产缺料的智能监控等多个领域有着广泛的应用。

近年来，工业物联网无线数据采集系统的发展趋势是简化终端结构，在数据采集终端与主机之间采用无线通信，以代替复杂、不灵活的现场布线。该阶段数据采集系统采用更先进的模块式结构，根据不同的应用要求，通过简单的增加和更改模块，并结合系统编程，就可以扩展或修改系统，满足不同领域的需要。

针对工厂生产车间机器设备运行状态、运行工艺参数、运行能耗数据，以及管网运行状态数据、变配电系统运行数据、车间仓储库房环境参数等数据的采集、监控，深圳信立科技结合XL.SN无线传感器网络2.4GHz或433MHz模块技术、MES制造执行系统技术及无线传感器、无线测控装置RTU等，自主研发设计了一套工业版工厂生产车间无线数据采集系统解决方案，实现实时获取完整、准确的工厂生产制造过程中的各种数据，为企业提高生产制造管理提供基础数据，全面优化生产制造的管理手段、提高生产制造管理效率，向工业4.0靠近！

一、系统功能

1、采集设备运行状态：停止、待机、运行、故障、检修等等，以及发生的时间点；

2、采集设备运行工艺参数：压力、温度、流量、转速、计数、风速、位移等；

3、采集设备运行能耗：电流、功率、电能；汽、气消耗量；

4、采集企业供水、供汽、空压、制冷等设备及相应管网的运行状态数据；

5、采集企业变配电系统运行数据；

6、监控车间环境参数，以及仓储库房环境参数。

二、系统通讯方案

1、XL.SN智能传感网络采集结构

XL90物联网智能网关，可同时构建433MHz和2.4GHz两种不同结构的传感网络，用于接收终端采集的数据，并上传至服务器。其中433MHz用于跨车间、厂区内的数据传输，2.4GHz用于车间内的数据传输。

2、XL.SN通讯网络方案

a、XL90物联网智能网关通过2.4GHz或433MHz等方式读取节点设备数据后，进行协议转换、数据处理，通过局域网，上传数据至MES服务器；

b、XL90物联网智能网关通过以太网，从第三方监控系统，如电力监控系统、EMS、DCS、智能楼宇系统等等，读取数据；

c、MES服务器，或XL90物联网智能网关，通过以太网，将数据转发给第三方系统，如EMS、ERP等。如图2。

3、物联网智能网关数据接入MES系统通讯方案

XL90物联网智能网关通过企业局域网，和MES服务器通讯。 XL90智能网关和MES的通信协议，可选以下3种： 建议首选：XL/9E-RDF Redis数据交换协议； 建议次选：XL/9E-DF 数据库格式协议； 建议再次选：XL/9E-UDP 通信协议； 工业以太网通用协议：MODBUS TCP。（不太建议选择）

三、系统解决方案

1、设备信号采集

配置XL60智能测装置，采集机器设备的运行信号，通过2.4GHz或433MHz方式上传，实现生产制造设备的信号采集。

2、设备控制器的数据采集

选配XL66智能转换器，读取机器设备控制装置及现场监控仪表采集的信号，通过2.4GHz或433MHz等方式接入传感网络。

3、管道压力、温度，车间环境、仓储环境的气体浓度、温湿度采集

选配XL61系列智能传感器，采集管道压力、温度，车间环境、仓储环境的气体浓度、温湿度，通过无线上传，并在需要的通道，出、入口设置声光报警器，或启动紧急设备。

4、其他信号采集

选配XL60智能测控装置，及XL68智能环境监测装置，采集火灾探测器、噪音传感器，光照传感器，液位变送器，压力变送器等等设备，以及系统原配的仪表数据。

四、系统优势

1、工厂生产车间无线数据采集系统建设过程中，无需布线，或减少布线数量，减少系统建设成本。

2、系统所需的设备安装调试方便，设备支持手机调试，提高运营维护的效率。

3、系统底层终端各种数据采集后统一接入企业MES系统，便于监控管理，提高企业生产管理效率。

五、系统配套

整个无线数据采集系统方案，根据应用需要配套的软硬件设备，包括XL90物联网无线智能网关、XL60智能测控装置RTU、XL68智能环境测控装置RTU、XL66智能转换器，以及XL61无线压力传感器、XL61无线温度传感器、XL61无线气体传感器、XL51无线温湿度传感器等无线传感器，还有MES制造执行系统软件。

六、适用范围

深圳信立科技设计的工业版工厂生产车间无线数据采集系统解决方案，适用于在我国珠三角、长三角、京津冀等沿海发达地区，以及重庆、成都、湖北、河南、安徽等内陆省份的电子加工制造、汽车制造、钢铁冶炼、机械装备、食品生产、医药生产等各行业制造业工厂。

制造业生产数据采集的作用与意义导读：制造业是我国国民经济的支柱产业，也是推动工业化的原动力，现代制造业已经并且正在深刻地改变着人们的生产方式、生活方式甚至社会文化。全球经济一体化的趋势愈演愈烈，国际竞争不断加剧，制造业的发展必须不断提高在质量保障、品种多样化、快速设计制造、快速检测响应以及快速重组等方面的要求。于是，“以信息化带动工业化，以工业化促进信息化”被提到了前所未有的高度、深度和广度。

制造业生产数据采集的作用与意义

众所周知，制造业的信息化主要包括设计数字化、生产数字化、装备数字化、管理数字化、企业数字化等。信息化的大趋势使世界各国争先恐后的把先进技术和信息化引进到传统工业和制造业。1990 年，美国 AMR(Advanced Manufacturing Research)所提出的制造行业的ERP(Enterprise Resources Planning,企业资源规划)/MES(Manufacturing Execution System,制造执行系统)/PCS(Process Control System,过程控制系统)三层结构,已经成功地在许多行业得到了应用,并被越来越多的企业所认可.

美国 AMR 研究公司对MES 的定义表述为：MES 是一个常驻工厂层的信息系统，介于企业领导层的计划系统与生产过程的直接工业控制系统之间，它以当前视角向操作人员、管理人员提供生产过程的全部资源(人、设备、材料、工具和客户要求)的数据和信息，其着重点是将信息技术运用于改善制造过程。

而作为MES中低层的数据采集功能，可以实现对生产现场各种数据的收集、整理工作，是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础。它可以为企业中其他例如ERP等管理信息系统提供实时数据。另一方面，MES也要从其它管理系统中获取相关的数据以保证MES自身正常运行。因此要满足MES快速、实时的要求，作为各种功能模块运行基础的数据就显得十分重要。一个迅速而可靠的数据采集系统是整个MES能够正常稳定工作的有力保证。

制造企业面临的数据采集现状

作为车间底层的数据采集系统，在企业实际生产过程中却存在着许多困难，尤其是在离散企业中由于自动化程度较低，往往存在着以下特点：

生产过程不可视：主要体现在不能实时了解生产现场中在制品、人员、设备、物料等制造资源和加工任务状态的动态变化。

生产过程复杂性：由于产品结构和加工工艺的复杂性，造成生产过程中各制造过程的关联性强，生产环境复杂多变(临时插单、材料短缺等) 。

制造过程信息集成度低：制造过程中的各种信息不能有效进行集成，导致产能不能得到充分利用。

信息不能有效与上层管理系统进行集成：这种隔断造成生产过程不透明，生产进度、在制品状况、设备利用状况等关键数据不能到达管理层，增加了过程管理和生产决策的复杂性。

制造过程信息的真实性差：现场数据信息过多依赖人机交互界面通过人工录入，增加了出错的机率。

制造过程信息的实时性低：作业任务随市场需求的频繁调整变化，不利于制造过程信息的实时采集，再加上制造过程信息交互的速度和效率低下，造成企业对市场变化的响应速度慢。

企业设计层和管理层到车间层特别是车间设备层的信息采集困难，一方面车间设备层的重要信息难于采集和上传，无法达到对生产过程的监控。另一方面上层系统难以深入到车间和设备层，从而影响管理信息系统的准确运行，使动态信息成为脱离实际的无源之水难于及时下达，从而使整个企业信息化难以产生更大的效益。

上述特点反映了制造车间迫切需要对制造过程进行信息化的数据采集管理，从而建立一个完整高效的离散制造车间数据采集及其分析处理系统是实现离散车间信息化的基础。数据采集及其分析处理系统的主要功能就是将车间的各种离散数据完整实时的采集到车间数据库中，并进行初步的分析处理，将车间生产的信息实时准确的反馈到车间的管理层，加强管理人员对车间生产现场的监控和管理，并为企业管理人员制定生产计划提供依据。

华磊迅拓科技专业提供SCADA数据采集监控系统，OrBit-SCADA（Supervisory Control And Data Acquisition）系统是"制造业物联网信息总线"的具体实现，它包含两个层次的含义：一是分步式的实时数据采集系统，即工业通讯与控制的PC上位机系统 ；另一个是生产现场的场景建模和显示系统。

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文