一、 项目背景

据国家环保部统计，在大气的主要污染中近几年煤烟污染(主要是S02等)得到了比较好的控制，但是NO等污染物的比例早逐年上升趋势，而NO的主要排放源之一来自于在用机动车尾气的排放。按照目前经济发展状况，机动车的数量按照每年10％的速度递增，机动车尾气已经或将很快成为很多城市大气的主要污染源。

目前，人们对在用机动车的关注通常只偏重于安全性能和动力性能，而对车辆带来的尾气污染一般来说重视不够。其中相当一部分车辆由于超载、过度使用，维护保养条件差等情况，使得其尾气中污染物排放量要比美国等发达国家高15倍以上。

早在2000年，我国部分城市就开始用简易工况法取代当时的怠速法来进行车辆年检的工作，北京在2002年下半年在全国率先正式应用了简易工况法检测，在全国范闱内率先对车辆的NO排放采取了严格控制措施，近两年，昆明、深圳、杭州等城市也由于实施了简易工况法联网，对机动车尾气的排放控制都取得了良好的效果。

实践证明：通过实施有效的机动车排放监管系统(建立I/M制度)，对保证车辆的达标使用，加速老旧同车辆的更新淘汰，减少机动车排放污染，改善大气环境质量，是目前最为有效的办法。

为了使城市的空气更加透明，更加清新，蓝天白云更多地出现在人们的视野里，各地都加快了改善大气环境质量的步伐，其中，对机动车尾气排放进行有效的监测和控制成为实现城市大气质量的根本性好转的关键措施。

二、 功能特点

基于RFID的汽车尾气在线监测平台是针对环保领域机动车排气污染监督管理工作的实际需求而研制开发。系统将综合运用RFID（无线射频）技术、图像识别技术、数据加密技术、视频监管、计算机与网络技术等国际国内领先的技术手段有机的结合运用，旨在增强机动车环保标志管理工作的信息化、智能化，完善机动车排放监管系统(I/M 制度)。通过对高排放车辆的精确管理，保证在用车的达标使用，加速老旧车辆的更新淘汰，减少机动车排放污染，改善大气环境质量。在项目建设完成后，具有以下功能特点：

1) 信息审核、申请及处理

待检车辆录入人员通过入待建车辆的车牌号码和车牌颜色，系统将自动提取该车辆的档案信息，录入人员核对车辆信息，确保每辆车录入的数据都是准确的，确保在基础数据的公正公平，不存在弄虚作假。

若车辆信息有误，检测员可申请修改车辆数据。录入人员可申请复检车辆跨站检测解锁检测，还可申请更换车辆检测方法进行检测。

2) 检测业务查询

系统实现检测业务数据的查询功能，通过检测机构区域、检测机构名称、设备编号、检测类型、检测方法、车牌号码、检测日期、检测结果、车牌类别、检测报告编号、复测情况、检测机构性质、数据类型等属性进行查询，对查询结果可查看详细信息，并导出Excel、Word等类型文件，或生成日报、周报、月报、年报等几种形式展示。

3) 检测站点管理

检测站点管理主要实现检测站点的添加、删除、设置和修改信息等操作，还包括对多个站点发标审核进行管理、授权设置，各站点的资质申报、资质到期提示、资质延续申报、终止或变更的管理，将对检测站点的日常管理和审核实现自动化和信息化管理。

4) 检测业务统计

系统实现检测业务数据的统计功能，通过区域、站点名称、报表类型、首检情况、燃料类别、检测方法、检测结果、日期等进行统计，对统计结果可查看详细信息，统计结果可导出Excel、Word等类型文件，并生成饼状图、柱状图、日报、周报、月报、年报等几种形式展示。

5) 过程数据分析

过程数据分析模块通过对排放过程数据的自动分析能判断检测过程中检测设备是否正确安装，检测设备是否工作正常，检测设备内的软件系统是否符合规范。系统采用多种可疑数据分析的算法，通过对防作弊装置记录的过程数据进行连续自动的智能分析，并与检测结果进行比对，自动筛选检测过程中的可疑数据，实现对检测作弊行为的重点排查。

三、 系统原理

本方案采用在主要路段设置远距离读写器，汽车上安装电子标签的方式对通过该路段的汽车进行动态尾气检测。汽车上的电子标签记录本车唯一的ID号，以及尾气是否达标的信息，当汽车通过安装读写器的路段时会把这些信息发送给读写器，读写器通过以太网或GPRS连接远程服务器，可以将尾气超标的汽车ID传给远程服务器。相关部门可以通过登陆远程服务器对尾气超标的汽车进行处理。

电子标签采用有源RFID技术，工作频率2.4GHz，识别距离70m，识别速度可达200公里/小时，采用GFSK调制方式，工作温度-25℃~+85℃，工作湿度小于90%；当尾气超标时，电子标签采用主动方式进行工作，主动将本车ID及尾气指标参数发射给读写器；在标签内部增加高能电池，可保证电子标签工作5年。

读写器的工作频点、调制方式与电子标签一样，发射功率可以软件设置，读写器通过以太网或GPRS连接远程服务器，可以将尾气超标的汽车ID传给远程服务器。相关部门可以通过登陆远程服务器对尾气超标的汽车进行处理。

通过将前端检测设备实施联网，建立一套完整的机动车排放数据库管理信息系统，完成管理、控制、数据采集、分析决策等工作，同时整合实现新车管理、环保标志发放管理、路检执法、抽检管理、维修管理、在用车监管及淘汰报废等机动车污染综合管理功能。

在车辆进行尾气检测过程中，检测线采集的数据实时上传云中心，云中心在5秒内完成检测结果计算，并与标准限值进行比对，然后下发裁决结果。

检测线只是一个数据采集端，所有数据的运算、比对都在云中心进行，检测线无法作假，也更方便环保部门监管，在云检测系统运行过程中，可随时通过视频和数据查看任意一条检测线的工作情况。根据相关要求，每条检测线都要配备监控摄像头，工作人员只要点击任意一个视频画面，实时检测数据就会显示在图像旁边的屏幕上。检测过程中的每一秒的检测数据都实时在屏幕上显示，如果出现问题，可以进行视频、数据双追溯，有效杜绝故意造假行为。

最后所有数据均上传至云检测中心，云检测管理中心能够提供省、市、县的精确污染量综合数据，有利于政府部门控制区域大气污染物排放总量和对高排放车辆实施淘汰政策。云检测系统基于真实的检测数据源进行各项智能图表统计分析，可按时、日、周、月、季、年进行各项污染分析和状态分析，为政策研究和排放量公布提供可信数据源。

四、 系统框架

系统是以一个监管中心、检测站为主体架构，系统整体运行在计算机硬件、网络、存储平台、操作系统、数据库平台以及中间件平台上，用来搭建整个机动车尾气在线监测系统的底层结构，连接车辆检测设备控制系统、视频监控设备、后台数据管理系统及公共服务平台等，此外还包含用于支撑机动车尾气排放监管系统的基础组件和一些中间件。监控中心端系统包括车辆管理、车型库管理、检测机构管理、环保标志管理、报警防作弊等子系统，检测站端系统包括车辆报检、标志联网发放、数据采集等子系统。

机动车尾气在线检测系统建设方案包括五大平台，分别是机动车污染防治感知平台、网络和基础设施平台、环境管理数据库平台、应用支撑平台和对外发布平台。

4.1 机动车尾气污染防治感知平台

主要包括处于监测前端的视频或录像设备、检测设备或仪器等实时监控与采集机动车排放尾气的各类监测数据，具备网络数据传输功能，与环境数据管理中心相连，实现数控中心与检测场所间实时的数据传输和监控；交管部门提供相应的接口，实现跨部门的数据交互；提供路检信息和抽检信息的接口，实现数据的交互和对数据进行统一管理。

4.2 网络和基础设施平台

系统具有数据通讯功能，周期地采集各个现场数据采集器发来的各种信息，进行处理、存储、显示及上传。系统能提供模拟信号和RS232、RS422、RS485等数字信号的接入及输出功能，可按照环保部门要求通过GPRS、电话拨号、电缆线、有线局域网、无线局域网、GSM、光纤等多种传输方式，向数据库平台定时传输数据和图表，并随时接受数据查询。

系统中预置了多种通信协议(国家、省、地、市的通讯协议)，用户只需选择通信端口和通信协议，借助GPRS就能实现数据远程上传。

支持群发手机短信的方式发送排放数据和报警信息。客户通过手机就可随时随地掌控系统运行情况。

4.3 中心数据库平台

包括数据库服务器，数据库是应用系统环境的核心，保存和提供系统基本信息参数；车型数据库（VLT）；环保车型目录数据；全市机动车环保数据库；检测站数据库（包括检测数据及视频数据）；检测站信息数据；路检、抽检、遥感检测数据；对外发布数据；各类通知、投诉及反馈的数据管理；控制参数；维修信息。

由于数据支撑平台的操作特点，使应用对于硬件的网络、内存、CPU、硬件可靠性都具有较高的需求，根据业务压力和应用规模，数据支持平台服务器采用2台服务器，部署双机方案，如果其中一台服务器由于业务压力或者软硬件故障引起的停机，可以由另一台服务器承担所有数据库服务，保证中心数据平台的高可靠性。

4.4 应用支撑平台

包括检测站监控服务器，车辆信息管理/抽检服务器，这部分建设方案属于机动车尾气监管系统的核心应用支撑平台，主要功能是接受保存各个检测站的检测工位传送的数据和视频，并自动加以分析；实现数据采集与传输、能检测数据真实性分析、检测站视频监控功能、对检测工位和检测过程实施全面的监控和管理、检测站信息管理；实现车辆档案信息维护管理；对常规路检、停放地抽检、遥感检测、超标车辆复检以及其它自动检测的管理功能;对常规路检、停放地抽检、遥感检测、超标车辆复检以及其它自动检测的管理功能。

为满足系统应能够每天24小时连续不间断工作，支持连续多个用户的数据浏览和输入和并发访问，并能满足后期业务扩展的要求。应用支撑平台服务器选择选择高端双路服务器。

4.5 对外发布平台

主要功能包括公众信息查询及对外发布服务器，提供管理部门发布相关业务信息功能，面向公众发布机动车管理相关的各项政策法规以及与环保相关的各种信息、新闻，及车辆相关信息的查询功能。

公众信息查询及对外发布服务器是前端检测平台、公众和后台支撑平台的接口，为了防止服务器的故障，导致用户无法访问支撑平台，方案配置2台以上服务器，既能实现客户端接入的负载均衡，还能保证未来业务扩展。

此外，为了防止操作系统出现操作失误、软件错误或者硬件故障导致数据丢失，需要将全部或部分数据集合从后台支撑平台产生的数据，备份到一个独立的设备中。由于平台产生的数据量较大，考虑到方案的成本，本次方案中配置1台备份一体机，采用LAN备份方式，将数据直接备份到存储服务器本地。

五、 方案优势

机动车尾气在线监测系统通过先进的计算机网络技术将机动车检测机构的排气污染检测工位和检测设备、流动检测设备及未来新增加的检测设备实施联网，建立一套完整的机动车排放数据库管理信息系统。

深入了解客户应用，提供稳定可靠的硬件基础平台，帮助客户完成管理、控制、数据采集、分析决策等工作。

方案致力于提高行政管理效率和综合执法能力，为机动车污染防治的各项措施提供有效平台和载体，为监督管理提供科学依据和决策支持，项目建成后具有以下优势：

1、 将先进的计算机网络技术与认证的检测排放终端设备、流动检测设备及未来新增加的检测设备与数据中心联网，实现检测实时同步进行数据采集、传输、监控、分析决策、管理服务等。

2、 建立机动车排气污染检测站端系统，包括车辆检测设备控制系统、检测站管理、视频监控设备，实现数据采集工作。

3、 提供稳定可靠的计算机硬件、网络、存储等基础平台，用来搭建整个机动车尾气排放监管系统的底层支撑平台，为机动车尾气监管系统提供稳定的计算能力和存储资源。

4、 硬件平台具有良好的扩展性，满足未来业务的扩展。

5、 提供数据保护方案，保证数据安全性。

六、 联系我们

1、 公司介绍

天津智易时代科技发展有限公司是由南开大学博士团队创建的高科技软件研发与信息系统集成公司，注册于天津市滨海高新技术产业园区，公司主要从事软件开发、系统集成、互联网信息技术领域的软件研发和信息系统集成。

公司与南开大学软件学院、南开大学信息学院、天津大学信息学院始终保持着良好的合作。以南开大学为技术核心支撑，校企优势互补，促进科研成果转化。

我们开发的项目及案例：天津市科技型中小企业创新基金天使投资项目申报系统；天津中医一附属医院大型一卡通项目，包括食堂售饭，超市购物，职工门禁，职工自行车借用等子系统；互联网+智慧消防水源管理系统；安卓项目评�...

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

我现在只提供我自己的思路，我希望你们看完此文章可以去静下心来执行！

创业是现在的一个大话题，做过销售的，但凡有点经验，觉得自己有点积累的就上赶着去创业。尤其是电商创业，认为开个淘宝或者微商只要发发产品就有单开，可实际上如果什么都不做，就等着客户上门的情况十分被动，业绩也不会太高。

一、打开数据搜素软件，在汽车网综合分类找，选择相应的网站，如：汽车之家，选择区域，再选择车型，一般车型代表这个人的消费能力，开宝马的，开奔驰的等车主的联系方式任由你采集。

二、导出这些车主的联系方式，用微信加他们为微信好友。

这种方法效率高，非常的精准，因为你和推广不同，这将是直接目标客。有了工具和方法，还有更多的技巧，关键还是要拥有持之以恒的执行力，成功的关键在于执行！

关注：艾米的套路

近期，由柳州欧维姆机械股份有限公司（以下简称欧维姆公司）承建的世界跨径最大钢桁梁斜拉桥——鸭池河特大桥索力监测系统升级顺利完成。至此，该桥索力监测系统由离线模式数据采集系统正式升级为在线模式数据采集系统，使鸭池河特大桥的健康、安全得到实时保障。

欧维姆在线数据采集系统为中国桥梁安全实时保驾护航

鸭池河特大桥作为贵黔高速全线控制性工程，跨越鸭池河，大桥全长1461米，是主跨为800米的双塔双索面钢桁架斜拉桥，主塔采用H型索塔，桥面至水面高差达380米，东塔高243.2米，西塔高258.2米，是目前建成的世界跨径最大钢桁梁斜拉桥，同时创世界山区斜拉桥之最。大桥采用了OVM250钢绞线拉索体系产品及施工服务，于2016年5月20日顺利合龙。

斜拉桥是一个内部高次超静定的结构体系，许多因素的变化，例如，钢绞线的应力松弛、主梁及索塔混凝土的收缩徐变、气候的变化等，都会对整个桥梁结构产生影响，其外在反映最突出的表现就是，斜拉索索力重新分配并导致主梁线形发生变化，索力变化也会使主梁及索塔产生二次内力。尤其在成桥之后的数年时间内，其变化更为显著，斜拉桥索力的变化是判断桥梁是否处于正常运营状态的一个重要指标，而索力测量是分析拉索是否处于正常运营状态的一个重要依据，通过监测斜拉索的受力状况，判断和分析斜拉索的健康状态，已经成为斜拉桥安全监测的重要内容。

2015年11月，欧维姆工程公司人员入场开展索力监测系统首期搭建工作，2016年6月顺利竣工。鸭池河特大桥首期采用的是基于磁通量传感器技术的索力监测系统，于每束斜拉索塔端锚具内安装磁通量传感器测量单根钢绞线受力；于每8束斜拉索中部位置布设1台数据采集装置，安装于塔内塔壁上。这个索力监测系统为离线模式数据采集系统，需人工定期上桥进行数据采集。

为了更好的了解鸭池河特大桥斜拉索在运营期内的受力情况，业主提出了实时采集数据的新要求，于是欧维姆公司于近期，在鸭池河大桥原索力监测系统的基础上，增设了7台磁弹仪和4套数据采集主站，由原系统升级为在线模式数据采集系统，可以实现实时采集数据，实时反馈大桥斜拉索的受力情况，为鸭池河特大桥的运营状况分析提供可靠、有效的依据。

该桥结构索力监测系统采用目前国内最先进的磁通量传感器，均由欧维姆公司自主研发及生产。

作为中国预应力行业领军，欧维姆公司五十多年来一直坚持科技创新，在提升了企业自主创新能力和核心竞争力的同时，通过科技创新产品推动中国预应力行业的发展，为中国桥梁结构健康与安全一直做着不懈的努力。OVM桥梁健康监测系统解决方案曾为毕都北盘江大桥、安徽铜陵长江公铁大桥、杭州湾大桥、厦门集美大桥等中国乃至世界大型桥梁的寿命周期提供技术支撑，推动中国未来大型桥梁产业化发展。（本文来自欧维姆）

本文主要介绍如何使用后羿采集器的智能模式，免费采集QQ音乐播单数据的播单名、播单链接、播放量、歌曲、歌手等信息。

采集工具简介：

后羿采集器是一款基于人工智能技术的网页采集器，只需要输入网址就能够自动识别网页数据，无需配置即可完成数据采集，是业内首家支持三种操作系统（包括Windows、Mac和Linux）的网络爬虫软件。

该软件是一款真正免费的数据采集软件，对采集结果导出没有任何限制，没有编程基础的小白用户也可轻松实现数据采集要求。

采集对象简介：

QQ音乐是腾讯公司推出的网络音乐平台，是中国互联网领域领先的正版数字音乐服务的领先平台，有着个性明星主题：大咖装，添星妆！同时也是一款免费的音乐播放器，始终走在音乐潮流最前端，向广大用户提供方便流畅的在线音乐和丰富多彩的音乐社区服务。

采集字段：

播单名、播单链接、播单作者、播放量、歌曲、歌手、专辑、时长

功能点目录：

如何采集列表+详情页类型网页

什么是深入采集

采集结果预览：

下面我们来详细介绍一下如何免费采集QQ音乐播单信息的数据，我们以经典音乐播单为例，具体步骤如下：

步骤一：下载安装后羿采集器，并注册登录

1、打开后羿采集器官网，下载并安装爬虫软件工具—后羿采集器软件

2、点击注册登录，注册新账号，登录后羿采集器

【温馨提示】您可以直接使用此款爬虫软件，不需要进行注册，但是匿名账户下的任务在切换到注册用户时会丢失，因此建议您注册后使用。

后羿采集器为神箭手云旗下产品，如果您是神箭手用户，可直接登录。

步骤二：新建采集任务

1、复制QQ音乐经典音乐播单的网页（需要搜索结果页的网址，而不是首页的网址）

2、新建智能模式采集任务

您可以在软件上直接新建采集任务，也可以通过导入规则来创建任务。

步骤三：配置采集规则

1、设置提取数据字段

在智能模式下，我们输入网址后软件即可自动识别出页面上的数据并生成采集结果，每一类数据对应一个采集字段，我们可以右击字段进行相关设置，包括修改字段名称、增减字段、处理数据等。

在列表页上，我们需要采集QQ经典音乐播单的播单名、播单链接、播单作者及播放量等信息，字段设置效果如下：

2、使用深入采集功能提取详情页数据

在列表页上只展示了QQ音乐经典播单的整体信息，如果需要采集播单的具体歌曲内容，我们需要右击播单链接，然后使用“深入采集”功能，跳转到详情页进行采集。

点此了解如何采集列表+详情页类型网页。

在详情页上默认的是单页类型的网页，但是我们播单歌曲是列表类型的，这时候我们可以手动设置抽取字段，并修改字段名称。

详情页字段设置效果如下：

步骤四：设置并启动采集任务

1、设置采集任务

完成了详情页的采集数据添加，我们跳转回列表页，然后开始启动采集任务。在启动之前我们需要对采集任务进行一些设置，从而提高采集的稳定性和成功率。

点击“设置”按钮，在弹出的运行设置页面中我们可以进行运行设置和防屏蔽设置，这里我们勾选“跳过继续采集”，设置“2”秒请求等待时间，勾选“不加载网页图片”，防屏蔽设置就按照系统默认设置，然后点击保存。

2、启动采集任务

点击“保存并启动”按钮，可在弹出的页面中进行一些高级设置，包括定时启动、自动入库和下载图片，本次示例中未使用到这些功能，直接点击“启动”运行爬虫工具。

【温馨提示】免费版本可以使用非周期性定时采集功能，下载图片功能是免费的。个人专业版及以上版本可以使用高级定时功能和自动入库功能。

3、运行任务提取数据

任务启动之后便开始自动采集数据，我们从界面上可以直观的看到程序运行过程和采集结果，采集结束之后会有提醒。

步骤五：导出并查看数据

数据采集完成后，我们可以查看和导出数据，后羿采集器支持多种导出方式（手动导出到本地、手动导出到数据库、自动发布到数据库、自动发布到网站）和导出文件的格式（EXCEL、CSV、HTML和TXT），我们选择自己需要的方式导出。

【温馨提示】：所有手动导出功能都是免费的。个人专业版及以上版本可以使用发布到网站功能。

通捷集客魔盒基于微波脉冲技术，为您提供更好的采集数据应用服务，为您打通了数据化营销的闭环。收集范围内人群电话信息，提供自助化的新媒体广告投放平台(平台上已整合95%以上主流APP广告资源)、以及搭建大数据云平台服务， 助力企业打通线上线下数据便于更系统数据化管理和营销。

1.无感采集客户数据

线下3-100米场景内客户数据无感采集后回传到瑞通捷后台。系统转化电话号，在线拨打电话，号码不会被泄露，不会侵犯用户隐私。

2.全面分析客户数据

个人画像/兴趣标签/线上线下行为轨迹/客群数据等多维度数据。

3.线下数据线上营销

利用线上大数据画像和用户线下行为精准识别目标客户，打通线上线下数据。

4.近场营销三大工具

可锁定采集的数据，通过短信、外呼通话，与目标客户直接联动。

5.定向投新媒体广告

集客魔盒已整合95%+新媒体广告资源。可锁定采集数据，投放朋友圈/腾讯新闻等主流APP广告。

广告形式多样化，可运用于多种平台！

当你走近我，我就能了解你

通捷集客魔盒---你的营销利器，

是你打败对手脱颖而出的秘诀。

联合5000+媒体资源，支持电话短信，

通捷集客魔盒，就在这里等着你！

扬尘在线监测系统感知层，污染源在线监测仪，包括颗粒物浓度监测仪、气象五参数监测仪、噪声监测仪和视频监控摄像机，对颗粒物浓度、气象参数、噪声和现场视频进行连续自动在线监测;OSEN-YZ颗粒物监测仪就可以实现扬尘的实时监测，数据无线上报。传输层：采用有线、无线、3G/4G等方式传输各种监测数据。平台层：数据服务云平台，依托在建工地扬尘与噪声监测平台的数据，进行系统分析、提供跨区域、全时间、多层次的数据挖掘和对比，为科学治理雾霾提供数据支撑，应用层：面向不同环保局、建筑工地的客户端系统，实现基于Web的污染源实时数据在线监测、现场图像和视频的监控、污染源超标报警、以及面向不同管理层的各种管理与统计分析。

扬尘在线监测系统由颗粒物在线监测仪、数据采集和传输系统、视频监控系统、后台数据处理系统及信息监控管理平台共四部分组成。系统集成了物联网、大数据和云计算技术，通过光散射在线监测仪、云台摄像头、气象五参数采集设备和采集传输等设备，实现了实时、远程、自动监控颗粒物浓度;数据通过采用3G/4G网络传输，可以在智能移动平台、桌面PC机等多终端访问;监控平台还具有多种统计和高浓度报警功能，可广泛应用在散货堆场和码头、混凝土搅拌站以及工厂企业无组织排放的实时监控。

扬尘在线监测系统的功能与系统特点，人机交换界面，采样频率自主设定，高低上限报警，8路常开继电器，标准RS485 RS232数据提取 RJ45以太网接口，标准MODBUS RTU通讯协议。符合国家标准：GB3096-2008《声环境质量标准》和GB3095-2012《环境空气质量标准》采用在线式粉尘监测仪，性能稳定，数据准确。具有数据观察窗功能，以方便用户就地查看测量数据。具有扬尘预警、超标提醒、图像抓拍功能。全天候全自动24小时365天持续不间断工作，故障提示报警功能。气象参数扩展：可选配温湿度、风速风向、气压、降雨量、一体化摄像头等。工作环境：温度-20～80℃，相对温度不高于90%.

大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。

在《中国制造2025》战略实施后，“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。

离开生产数据采集，生产管理部门不能及时、准确地得到工件生产数量；无法准确、科学地制定生产计划；无法实现生产管理协同等。

可见，只有有效的实现生产数据的采集和分析，才能从根本上解决车间管理中计划跟踪迟滞、设备利用率低、产品质量难以提升等问题。

自动地、及时地、准确地数据采集，是现代化工业车间的基础。而我们，能为数字化工厂打造一个更加可视、实时、精细、可追溯的制造环境。

东芝，是日本最大的半导体制造商，也是第二大综合电机制造商。公司创立于1875年，业务领域包括数码产品、电子元器件、社会基础设备、家电等。东芝信息机器（杭州）有限公司是日本东芝株式会社的全资子公司，也是东芝笔记本电脑全球唯一的生产基地。

面临的挑战

东芝电脑产品及机板配件生产部门每天都需要及时产出大量的生产数据统计报表，同时质检部门也需要定时定期巡检设备生产相关的异常信息，方便对生产数据进行快速高效和精细化的管理。

但是东芝之前通过excel记录生产数据已无法满足现有业务量的需求：

1、数据采集难：依然采用人工采集、手工输入等方式采集生产线信息；

2、手工数据质量差：excel记录不仅准确性不足，还存在一定的错误率；

3、报送周期长，统计延时：手工输入只能定时进行，无法实时更新系统中的生产数据，滞后情况严重，不利于生产线的顺利进行，制约了产能的进一步提高。

4、事后监管机制：不能及时发现生产过程问题，生产效率提升缓慢；

5、数据分析不足：不能进行可视化的展现，无法给领导提供决策支撑。

为什么选择亿信华辰

1、经受考验的成熟度

支撑30多个国家级部委完成监管、普查、抽查、统计等应用场景的数据采集与分析，助力100余家银行完成统一报表平台和统一数据平台的建设，业务稳定运行。

2、技术先进性

12年的技术沉淀，围绕数据全生命周期自主研发了多款重量级核心智能产品，产品线涵盖了数据采集、数据处理、数据存储、数据分析、数据挖掘等多个领域。

3、高品质强口碑

亿信华辰不仅提供成熟的平台化产品，而且不断地给客户成功交付数据中心、决策支持等应用系统，并以几乎100%的项目成功率，取得了远超同业公司的客户满意度。

平台建设

东芝制造车间生产过程中的数据包括车间人员、物料、加工设备、工票、工装、加工过程等，涉及车间各个部分。面向东芝内部的生产部门，为一线生产人员及质检部门提供数据填报及数据分析平台，是一个完全基于互联网技术构建的智能数据系统。

1、生产数据自动采集并上报

生产部门需要定时每天填写电脑产品及机板配件等的生产信息日报等，利用亿信华辰i@Report产品可以自动将数据库中的设备相关信息初始化到固定格式的报表中，然后根据相关业务逻辑公式，自动统计工数、时长、产出等，生产业务人员确认后直接上报，即可完成数据的采集填报工作，生产组长可以快速汇总其下属各个人员的生产数据，并将数据逐层上报。

2、异常数据提前预警

品质部门需要监管生产流水线的产品生产情况，并形成品质报告定期输出，利用i@Report移动填报功能，品质部门会去现场定时定期巡检，并将异常原因、设备编号等信息在平板电脑上立即进行填报，并拍照上传相关图片留档；同时，对于异常原因利用亿信BI进行历史数据的相关分析，形成问题检索表，方便对比分析。

方案价值

总体而言，利用i@Report+亿信BI两个产品，将以往需要大量的人工通过excel方式报送报表，改为只需要在移动端/PC端在线填报数据的工作模式，极大的减少了业务人员的工作量，提高了数据的共享效率；并将手工数据按照统一的标准存储到数据库，增强了数据的完整统一，也更加有利于对历史数据的对比关联分析。

同时，因为有效的流程监控，在生产过程中，可及时发现异动数据，提前预警，进一步提升了生产质量，降低了事故率，亿信华辰帮助客户收获更高的运营效率和生产质量。

目前，通过智能数据平台的搭建，亿信华辰帮助东芝提升生产能力的同时，也保证了数据的安全性和可靠性，着实为互联网时代的制造业注入了新的活力。