2018年， 无人机 将实现强大的新功能。将超高性能摄像机与升级版全球导航卫星系统（GNSS）结合使用，将提升无人机导航的灵敏度，且远超目前的无人机模型水平。新款无人机所配备的电池具备超高速的充电能力以及持久的续航能力，这意味着 2018年无人机续航里程会极大增加且性能会更加灵活 。

因而，预计今年将有越来越多的行业将无人机投入其运营。

以下三个领域应特别关注：

无人机可以纵览全局，为数据收集提供更广阔的视野，因而极大地促进气象、交通、甚至灾害预报等各个领域的发展。一组无人机可以收集并分析实时路况，所积累的数据可用于帮助缓解交通拥堵状况。而且，与高速公路摄像头不同的是，无人机可以灵活地从多个角度进行观察，并将结果快速发送到闪点，使它们成为道路状况监控的理想设备。

在2017年飓风和野火等自然灾害之后，人们利用无人机对损失进行统计，而这些数据对于2018年挽救更多生命来说至关重要。有几家公司已经开始在这些领域使用无人机对数据进行收集和分析。

Kespry设立与云存储相结合的空中情报平台，以简化保险索赔程序并帮助分析人员更好地了解灾害范围。 CyPhy专门生产具有安全有效载荷数据的高耐力栓式无人机，为应急人员提供重要的信息以及实时进程；这些无人机是专为国防领域、公共安全和商业领域的客户设计的。Flyability已创造出一种用于探索室内密闭空间的检测无人机Elios，其可应用于桥梁、矿井等领域，以改进其安全状况。

无人机所收集的数据也将有助于无人机行业本身的发展。随着无人机动力数据的逐渐积累，“智能无人机”将会更擅长在导航过程中自动识别危险，接着内部沟通以协商安全的飞行路线，根据当下状况自动调整实时路线，甚至在数据显示目前线路风险过大的情况下，可以完全放弃任务。有一天，人工智能控制的无人机甚至可能使得美国宇航局目前正在研发的无人机空中交通控制系统成为历史。

当然，无人机的发展也令人有所担忧——担心无人机被“老大哥”利用，从天空对我们进行监视。消费者通常会以牺牲隐私为代价来购买方便，但在未来一年为无人机制定发展路线时，监管机构应对这些问题有所注意。

第二，在2018年，几家公司将会争相推出飞行汽车或无人机，也被称为AAV（自动驾驶飞行器）。 这一概念最早出现在例如Ehang这样主要厂商的概念原型产品上，他们将环保无人机定位为个人自动驾驶交通工具。该公司已经获得了超过5000万美元的融资。

另一家竞争对手是德国公司Volocopter，其旨在帮助城市解决日益增长的人口流动问题。Volocopter是一架有18旋翼的双座无人机，获得了戴姆勒公司3000万美元的投资，并被一度认为会引领迪拜航空航天业的革命性变革，而且相关测试正在开始进行。

就连优步也推出Uber Elevate缓解抗道路拥堵状况。Uber Elevate是一款垂直起降（VTOL）飞机，即“快速向按需出行的城市空运”——该公司表示，2020年之前其会全面投入运营。Uber正在与包括航空巨头波音奥罗拉、贝尔直升机，甚至是美国国家航空航天局合作，实施无人机项目。

如果未来天空中充斥着无人驾驶出租车，对于如今的专业司机（或者鸟类）来说，可能将并不是一件好事。尽管如此，无人驾驶出租车还是将会提供巨大的便利。它们干净、安全，能够缓解交通压力——甚至有一天，它们会彻底废除道路——而且，随着车道数量的不断增多，将使我们的日常出行次数呈指数级增长。

第三，随着自主、多传感器无人机的崛起，家用安全摄像头可能很快就会成为历史。 在探测到噪音或可疑动作时，这些无人机将自动启动，并在建筑物内或周围飞行，直到威胁被发现和消除——而房主则可以在安全距离之外进行观察。无人机已经应用于大型工业设施的监控，但基于无人机的家庭监控系统可能会在2018年有所突破。

总部位于帕洛阿托的“太阳花实验室”正致力于研发一种家庭感知系统，其可以将无移动传感器和无人机相结合，不留任何死角。这些传感器与配备摄像头的四轴飞行器进行通信，从而对所进行的活动发送警报并实时跟踪。同样，随着家庭监控的广泛应用，隐私和网络安全问题将变得更加突出，而且房主将不得不在隐私和安全问题上做出艰难的选择。

2018年，人工智能、计算机视觉以及能源存储等技术也将继续呈指数级增长。因此，今年出现的创新一定会非常有趣且值得期待。

物体在空气中移动时，会推动其前方的空气，并产生向各个方向传播的、以声速移动的压力波。物体运行速度接近音速时，会有一股强大的阻力使物体产生强烈的振荡、速度衰减，这一现象被称为音障（Sound Barrier）。

当物体的移动速度等于或大于声速时（即突破音障），物体移动速度则超过了其产生的空气压力波。此时，压力波无法迅速传播出去，逐渐在物体的迎风面上累积而最终形成激波面。在激波面上，声学能量高度集中，产生类似于雷声的短暂而极其强烈的爆破声，称为“音爆”（Sonic Booms）。

通常，“音爆”被限制在一个称为“马赫锥”（Mach cones）的锥形区域内，主要从超音速物体的头部延伸到尾部。超音速飞机飞行速度突破音障时会产生锥形的音爆（sonic booms），类似的还包括汽艇行驶速度超过其在水中形成的水波速度时形成的V形船首激波（bow waves）。

早先研究表明，光脉冲也可以产生类似于“音爆”的锥形尾迹。超高速粒子产生冲击波，散射周围光线时，就可能形成“光子马赫锥”（Photonic Mach Cones）。

近日，来自圣路易斯华盛顿大学的研究者提出一种无损编码压缩超高速成像（lossless-encoding compressed ultrafast photography ,LLE-CUP）技术，利用超高速相机有史以来第一次捕捉到光脉冲的“音爆”画面，并称“该技术有望用于监测大脑神经元放电（neurons fire）以及脑内活动成像”。该研究于1月20日发表在《科学进展》（Science Advance）杂志上。

真空中，光的传播速度为299792458米/秒（国际公认值）。根据爱因斯坦的相对论，真空中没有任何物体的移动速度比光速更快。然而，光却能以远低于其本身最高速的速度缓慢传播。例如，光通过玻璃的速度大约是其最高速度的60％。事实上，根据以往的实验，目前研究者已经能将光速降低到其最大速度的100多万分之一。

激光入射通道“三明治”结构及其形成的“马赫锥”：上下分别为混合物组成的平板（折射系数为nd），中间为填满干冰（紫色圆点）的狭小通道（折射系数ns）。图片来源：Liang et al. Sci. Adv. 2017;3 : e1601814

光能够在不同材料中获得不同的传播速度，这一物理现象极大地帮助了科学家用光产生“光子马赫锥”的研究。该研究的第一作者、圣路易斯华盛顿大学光学工程师梁金阳（Jinyang Liang）及其团队，设计了一个塞满干冰的狭小通道，并将该狭小通道夹在两层用硅胶及氧化铝粉末混合物组成的平板之间，形成一个“三明治”夹层结构。利用这套系统，研究者第一次对这些难以捉摸的“光子马赫锥”进行了成像。

研究人员向该狭小通道发射绿色激光脉冲，每个激光脉冲仅持续7皮秒（注：1皮秒为1万亿分之一秒）。狭小通道中的干冰杂质能够散射入射的激光脉冲，从而使散射的激光光线进入周围的平板之中。

这里，研究者所用的绿色激光在狭小通道中的传播速度比周围平板中的传播速度快。因此，当激光脉冲沿着通道向下移动时，在平板内，就会在光脉冲之后留下一个慢速移动的锥形重叠光波。

为了可视化捕获这些难以捉摸的光散射现象，研究人员开发出一种“条纹相机”（streak camera），能够在单次曝光中以每秒千亿帧的速度捕获图像。研究者利用这种创新性相机捕获了激光脉冲散射现象的三个不同的视角：一个是场景的直接图像，另外两个记录了激光散射现象的时态信息，以便研究人员逐帧地重建光散射的过程。

研究者“对每帧单独的图像都标记了不同的条形码”，所以，即使在数据采集过程中图像都混在一起了，研究者也能将其整理出来。

其实，当前还有其他超高速成像系统能够捕捉此类现象，然而这些系统通常都需要记录数百或数千次曝光画面才能真正捕捉到。相比之下，研究者此次提出的新型超高速成像系统仅需一次曝光就能捕捉超高速现象的画面。

这种简单、高效的新型技术有助于捕获那些复杂、不可预测的事件及现象，那些可能不会以完全相同的方式重复发生的事件及现象。就如梁金阳团队所捕获的“光子马赫锥”的情况，散射激光的微小干冰杂质点每次都会随机移动。

研究人员称，该新型技术有望在复杂的生物医学背景中（如活组织或流动的血液）实时捕获超快速事件或现象。“我们的相机捕捉足够快，对于观察大脑中神经元放电现象以及脑内活动的成像，我们的相机速度绝对足够快。”梁金阳称，“我们希望能够利用这种超快速系统来研究大脑神经网络，最终了解大脑如何工作。”

参考论文：Liang et al. Sci. Adv. 2017;3 :e1601814

项目背景

大数据及其应用迅速发展，已经渗透到各个行业和业务职能领域，成为重要的生产因素，2015年8月国务院印发《促进大数据发展行动纲要》，将大数据提升为国家战略。在未来的5-10年，我国将把大数据作为提升政府治理能力的重要手段，大力推进大数据在政府管理中创新应用。为此，《交通运输信息化”十三五”发展规划》中提出要”运用大数据分析技术，开展交通运输经济运行分析、政策实施效果评价、交通发展趋势研判等分析工作，提高交通运输宏观掌控能力”。《交通运输统计发展纲要》也提出要”充分利用大数据、云计算等现代信息技术，变革统计生产方式，再造统计业务流程，丰富统计服务产品，不断提升统计生产能力、管理能力和服务能力，开创交通运输统计发展新局面”。

“十二五”以来，信息化逐渐融入行业管理的方方面面，作为大数据应用的基础，交通运输行业数据资源日益丰富。随着以高速公路联网收费、运输车辆联网联控、智能公交、物流信息平台等为代表的行业信息化重大工程的稳步实施，交通运输行业管理部门所掌握的交通大数据规模爆发性增长，这为推进交通运输行业大数据的应用，以大数据支撑行业管理决策，提高交通行业管理自动化、智能化水平提供了基础性条件。

2012年以来，受交通运输部委托，交通运输部科学研究院以行业中信息化基础最好的高速公路联网收费业务为示范，通过建立全国统一的数据采集规范和数据治理标准，开发基于大数据技术的全国高速公路通行数据动态监测平台，实现了全国29个省高速公路通行数据（源于高速公路联网收费系统）的动态采集，并利用该数据开展行业大数据应用，显著提升了交通运输行业应用大数据的能力，为行业管理决策提供了有力的支撑，成为行业大数据应用创新的典范。

项目概况

主要建设内容

“基于大数据技术的全国高速公路通行数据动态监测平台建设”属于交通运输行业”十二五”信息化重大工程的重要内容，其主要任务是要从全国29个实现了省级高速公路联网收费省份，动态采集其高速公路联网收费数据，并以大数据平台为支撑，在交通运输部实现对全国数据的集中存储与管理，结合行业管理的需要建立业务模型，对全国高速公路联网收费数据进行分析与挖掘，提升行业管理部门的动态监测能力和科学决策水平。

主要问题和挑战

各省高速公路联网收费系统独立建设，系统架构和数据指标差异大

交通行业信息化由交通运输部进行行业指导，各省结合业务管理需要自行进行建设。在高速公路管理信息化领域，各省建设进程差异巨大，东部发达省份高速公路建设起步早，信息化程度相对较高，许多省份在“十一五”期间已经实现了省级高速公路联网收费，而西部许多省份例如新疆、青海等省则在近几年才开始建设省级高速公路联网收费系统。由于管理体制的差异，各省在建设过程中所采用的技术架构不一、数据管理模式千差万别。大部分省高速公路联网收费系统采用ORACLE进行数据存储与管理，而一些发达省份，由于数据量庞大，已经逐步采用大数据管理系统作为数据管理工具。这些差异对从各省的系统中按照统一的技术标准采集数据带来巨大的困难。

各省高速公路联网收费数据指标体系不一，数据质量参差不齐

在数据指标方面，由于不同省份的高速公路联网收费系统都是独立建设，各省结合所采集的指标也存在较大差异，所采集的数据指标和内容也不尽一致，例如，涉及高速公路收费数据的核心数据表，有些省份采集了80多项指标，至有一些省份则拆分成100多项指标。在数据质量方面，不同省份也存在较大差异，例如，数据质量较好的省份，所采集的车牌号信息完整、规范，而一些省份所采集的车牌号，仅仅只录入了车牌号的后3位数字。由于高速公路数据指标体系不统一，数据质量层次不齐，导致数据分析工作难以开展。

交通运输行业缺乏对大数据的处理和分析能力

在交通运输行业，”十三五”之前大量的应用系统建设采用传统的技术架构传输、存储，大数据技术应用在行业管理中的应用处于起步研究阶段。而全国高速公路联网收费数据规模庞大，目前每个月数据量接近10亿条，在全国平台上实现29个省市的高速公路数据的采集，传输，汇聚，对平台的数据承载能力以及稳定性提出了挑战。此外，日益提升的高速公路数据分析需求，对平台数据建模以及计算效率也提出新的要求。

技术方案

针对上述的需求以及技术挑战，自2012年开始，交通运输部科学研究院结合各省高速公路联网收费系统建设的进度以及行业管理决策能力提升的需求对平台进行建设。主要从以下几个方面着手： 1、构建高速公路大数据指标体系，统一数据标准。2、构建跨省的数据采集系统，实现部省之间、不同技术架构系统之间的数据的统一采集、质量控制与数据汇聚。3、利用大数据技术，建立全国高速公路通行数据的管理平台，实现对全国数据的集中存储、管理以及大数据分析挖掘。

统一的数据指标体系

根据交通运输部开展交通运输行业动态监测，进行全国公路运输量测算、分析路网运行特点的需要，经过分析各省所采集的高速公路收费明细数据，我院制定了统一的部级数据采集指标体系，其主要内容包括高速公路公路收费明细数据、高速公路收费站信息、车辆信息以及高速公路电子地图等，核心内容如下：

①明细数据。包括入口网络编号、入口站编号、入口时间、出口网络编号、出口站编号、出口时间、出口车道编号、车牌号、车型代码、车种代码、里程、总轴数、轴型及轴重、车货总重、限重、超限率、是否绿色通道车辆代码、免费类型代码、路径标识、是否ETC车辆代码、ETC车辆电子标签OBU编号、支付方式代码等22项信息。

②数据字典。包括以下5项：

一是高速公路收费站字典。包括网络编号、收费站编号、收费站名称、所在线路编号、所在线路名称、是否省界站、开通时间、所属地市名称、是否开放式收费站、收费站状态、收费站经度、收费站纬度、备注等信息。二是高速公路收费车型字典。包括收费车型代码、车种代码、收费车型定义等信息。三是高速公路货车轴型字典。包括单轴组轴型代码、轴型定义等。四是高速公路免费类型代码字典。包括免费类型代码、免费类型定义等。五是高速公路标识站字典。包括标识站编号、标识站名称、所处路段名称。

此外，高速公路电子地图则以GIS地图的形式采集。

基本业务流程

总体业务主要包括数据报送以及数据分析两部分，数据报送业务主要实现各省原始数据的采集，审核，清洗，存储。数据分析业务则实现了对于数据的分析，查询以及可视化的展示。

总体业务流程如图所示

系统总体架构

整体架构分为6层，数据源层，数据采集层，数据存储层，数据处理层，数据分析层，数据应用层。

数据源层是指各省高速公路联网收费系统，在数据采集层，利用ETL工具和数据传输中间件从各省的前置机采集数据。系统实施时在每个省都部署了数据采集的前置机，在前置机上，通过ETL来对数据进行采集、清洗和标准化，数据传回部里后，利用关系数据库开展常规的统计工作，利用分布式的大数据平台，来进行数据的分析挖掘以及与其他数据之间的关联分析。在数据存储层，采用基于大数据的混合式数据存储架构，利用基于hadoop的分布式文件系统来管理高速公路明细数据，利用关系型数据库存储来存储ods层、dw层和dm层的数据，形成完善的数据仓库架构，在数据处理层，支持批处理、流式处理和混合处理三种方式的数据处理，在数据分析层：利用impala、spark等技术支持即席查询、信息检索，深度挖掘，在数据应用层，以地图、报表的形式展现分析成果。

系统总体框架如图所示：

下图所示为系统数据采集的流程示意图：

系统主要功能

平台主要功能包括数据质量监控、数据统计与查询、专题分析、系统管理、动态配置4个部分，系统的总体功能框架如下图所示：

数据质量监控

通过内置数据审核规则，对各省上报的高速公路通行数据进行质量审核，保证数据的有效性和完整性，对异常数据进行系统报警，提示数据管理人员进行相应处理。数据质量审核包括数据传输监控、数据异常情况预警、数据文件入库情况监控、数据动态监测等。

数据传输监控

数据传输过程监控功能监视ETL工具从各省前置机采集数据以及数据从各省向部传输的过程中是否存在数据丢失的情况。

数据异常情况预警

数据异常情况预警对数据指标按照设定的审核规则进行审核，如有异常则预警提示。审核规则包括入口网络编号+入口站编号不在枚举字典中、货车总轴数为空、货车车货总重为空等多项规则。

数据入库情况监控

根据数据记录数、最小记录时间、最大记录时间等条件实时监控当前数据入库进度，确保数据完整，不存在丢失的情况。

数据动态监测

数据量监测功能对每月各省数据量指标进行监控，从数据指标的角度，通过与上年、上月数据的变化情况监测各省报送的数据质量是否存在问题，主要包括数据量监测、车流量预警、行驶量预警等。

数据统计与查询

根据交通运输部开展运输量统计以及行业经济运行分析的需要，在系统中自动生成客车（分车型）的车流量、行驶量，省内的流量流量等；货车（分轴数）的车流量、行驶量、货物发送量、货物周转量、省内的流量流量等；货车的车货总重、超限率情况；免费车情况、ETC车流量占比情况等40余张监测报表，用于经济运行分析、向国务院报送的交通运输简明月报等相关分析材料中。

数据分析与挖掘

OD分析

该功能对省内城市与城市之间客流、货流的趋势和迁移规律，在地图中用可视化的方式反映某一个城市到其他城市的车辆迁徙特点，或者一个省全部城市之间的车辆迁移特点。

车籍地分析

根据高速公路通行数据中的车牌号信息，在地图中按照”外地车来本省”和”本省车去外地”两个维度，反映省与省之间高速公路车辆行驶的特点和联系情况。

热点收费站分析

该功能主要对全国各省收费站通行量进行统计分析，通过预设不同的筛选条件，如省份，开始时间、结束时间、车辆类型等条件，对通行量排名前10的收费站进行图、表多维展示，对某一个收费站，还支持直接查看其24小时的车流量情况。

收费站流量分析

该功能主要对全国各省高速公路收费站流量数据进行统计分析，通过预设不同的筛选条件，如省份，开始时间、结束时间、车辆类型等条件，对通行量进行图、表多维展示。

通行量时空分析

该功能主要用于分析高速公路上行驶车辆的时间和空间分布的特征，反映车辆在高速公路上行驶的时间和距离特点。

高速公路车流量分析

该功能主要从高速公路车流量角度出发，对不同省份(区域或全国)、不同时间段、不同车型的通行量情况进行统计，利用地图和曲线进行多维展示。

无人机2018年发展趋势：数据采集更频繁、空中飞的受热捧

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

大数据平台与数据采集

任何完整的大数据平台，一般包括以下的几个过程：

数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)

其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：

我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

1、Apache Flume

Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。

Flume最初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。

每一个agent都由Source，Channel和Sink组成。

Source

Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel

Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink

Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

Flume在source和sink端都使用了transaction机制保证在数据传输中没有数据丢失。

Source上的数据可以复制到不同的通道上。每一个Channel也可以连接不同数量的Sink。这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。

配置如上图所示的agent结构，Flume支持设置sink的Failover和Load Balance，这样就可以保证即使有一个agent失效的情况下，整个系统仍能正常收集数据。

Flume中传输的内容定义为事件(Event)，事件由Headers(包含元数据，Meta Data)和Payload组成。

Flume提供SDK，可以支持用户定制开发：

Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一个本地进程的输出作为Flume的输入。当然很有可能，以上的这些客户端都不能满足需求，用户可以定制的客户端，和已有的FLume的Source进行通信，或者定制实现一种新的Source类型。

同时，用户可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

2、Fluentd

Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署和Flume非常相似：

Fluentd的架构设计和Flume如出一辙：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input

Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。

Buffer

Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。

Output

Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

3、Logstash

Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

Logstash用JRuby开发，所有运行时依赖JVM。

Logstash的部署架构如下图，当然这只是一种部署的选项。

一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。

几乎在大部分的情况下ELK作为一个栈是被同时使用的。所有当你的数据系统使用ElasticSearch的情况下，logstash是首选。

4、Chukwa

官网：https://chukwa.apache.org/

Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，他用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。很奇怪的是它的上一次 github的更新事7年前。可见该项目应该已经不活跃了。

Chukwa的部署架构如下：

Chukwa的主要单元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相当复杂。由于该项目已经不活跃，我们就不细看了。

5、Scribe

代码托管：https://github/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护，同样的，就不多说了。

6、Splunk Forwarder

以上的所有系统都是开源的。在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

Splunk是一个分布式的机器数据平台，主要有三个角色：

Search Head负责数据的搜索和处理，提供搜索时的信息抽取。

Indexer负责数据的存储和索引 Forwarder，负责数据的收集，清洗，变形，并发送给Indexer

Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。

这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。

总结

我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

其中Flume，Fluentd是两个被使用较多的产品。如果你用ElasticSearch，Logstash也许是首选，因为ELK栈提供了很好的集成。Chukwa和Scribe由于项目的不活跃，不推荐使用。

Splunk作为一个优秀的商业产品，它的数据采集还存在一定的限制，相信Splunk很快会开发出更好的数据收集的解决方案。

人们都知道人口学的马尔萨斯假设——粮食生产呈算数增长，人口呈几何数增长。在单位亩产不可能有大突破的状况下，以粮食为主的生产资料只能依靠土地扩张。工业革命、农业科技和人口管理缓解了马尔萨斯问题。今天这个类似的危机又在虚拟世界里出现了。

大数据世界的马尔萨斯定律可以这样描述：人口以算数极数增长，数据以几何级数增长。数据量以线性规律增加，计算量以非线性规律增长。

世界所产生的数据始终在高速增长。这是因为数据赋能使所有人、所有人人类活动都在产生数据，只要想记录，就有无数的数据可以“无中生有”。

很多电商网站早期只追求抢地盘、抢用户，重运营、清数据，并不在意数据布局。举个例子，用户如果只关闭了一个订单，过去电商系统并不记录这个行为，只会直接删除这个下单数据。但是后来发现记录和分析用户的失败交易数据也是有商业价值的，可以用于统计用户信用、喜好等，于是决定记录下来。每个行为都有被记录，数据量就开始成倍增长。

数据的存储一直是一个大问题。根据市场研究公司Forrester估计，每部智能手机产生的数据平均可达1G。全球智能手机用户数量保守估计达20多亿。每天可产生20多亿G数据。如果用普通的1TB硬盘存储，每天所需的硬盘数量就达200多万块，1年就需要近8亿块硬盘。这已经远远超过全球硬盘生产商的产能。

更恐怖的是，产生数据的主要还不是人类活动，incapsula在全世界2万个每天至少有10个访问量的网站，统计了90天150亿的访问数据后得出了这样一个数据：56%的网页浏览量都是爬虫机器人贡献。话句话说主要的互联网用户已经不是人类。大部分点击数据都是机器程序产生的。

非人类访问中，近一半来自善意机器人，如搜索引擎的内容爬虫，它们能够对网页建立索引，方便人们快速查找到对应的网页内容。百度和谷歌就是使用这种方法整理全世界的信息。另外超过一半的浏览量就来自恶意机器人，比如盗取内容的爬虫、各种黑客工具、垃圾邮件等，而且比例还在不断增加。这就是互联网另一面的真实写照。这只是网页浏览状况，在整个人类社会，随着信息化和物联网的快速发展，连接入网的所有硬件都在时刻产生数据，互相通信。发电机组上的监测芯片时刻侦测运行状况并把数据发回服务器。

遍布城市的摄像头把监控数据上传指挥中心，家里的智能电视，冰箱等都在采集和上传数据，即使全人类都沉沉睡去，世界也依然在数据海洋中律动。

现在谈论大数据已经没有新意了，形形色色的产品、平台和公司都贴满大数据标签，但大数据却并没有掀起预期飓风，甚至还被冠以“伪命题”污名。

大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。大数据在核心领域的渗透速度有目共睹，然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取采集。

因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，数据采集才是大数据产业的基石。那么什么是大数据采集技术呢？

什么是数据采集？

数据采集(DAQ)， 又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。

线上行为数据：页面数据、交互数据、表单数据、会话数据等。

内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。

大数据的主要来源：1）商业数据 2）互联网数据 3）传感器数据

传统数据采集的不足

传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。

大数据采集新的方法

以博为软件101异构数据采集技术为例：通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。

技术特点如下：

1. 无需原软件厂商配合；

2. 实时数据采集，数据端到端的响应速度达秒级；

3. 兼容性强，可采集汇聚Windows平台各种软件系统数据；

4. 输出结构化数据，作为数据挖掘、大数据分析应用的基础；

5. 自动建立数据间关联，实施周期短、简单高效；

6. 支持自动导入历史数据，通过I/O人工智能自动将数据写入目标软件；

7. 配置简单、实施周期短。

优点：其优势在于不需要“接口”配合，这就摆脱了对软件厂商的依赖。特别是在在需要集成多个系统数据时，不仅能节省大量时间、人力与资金，实现“一站式”完成；还避免了因个别系统开发团队解体、源代码丢失等原因导致系统数据集成出现烂尾的情况。

缺点：只采集Windows平台的各软件系统数据

版权声明：本文部分来自网络，如有侵权，请联系删除!

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。