489034603

从2003年Google公布自家分布式文件系统相关技术（论文The Google File System）后，便涌现出众多的开源实现，包括HDFS、Quantcast File System（QFS）、MooseFS等，都采用了类似GFS分块的架构，但确有各自的不同特性，如HDFS发展最快，但只支持append-only写，不支持随机写，而QFS以支持erasure coding为主要特性，从而性价比最高，MooseFS其支持随机写特性最好，则在今年进入了快速发展时期，一年内十几个版本发布，企业版的多Master方案更使得其可用性大大提高。

2006年Sage A. Weil设计的CEPH提出了无中心化的架构，其通过CRUSH算法而不是Master来找到数据，其可用性更高。此外，Glusterfs采用弹性哈希解除了对元数据服务器的需求，消除了单点故障和性能瓶颈。

2014年提出的RAMCloud更是激进的提出了全内存的存储架构。

此外，FaceBook提出了Haystack架构来应对大量的小文件存储，提出f4来解决温数据的问题。Microsoft提出了Pelican来解决大量冷数据存储问题。

下面我举几个架构师设计的时候遇到的问题，他们是如何解决的呢?

1、异构存储（磁盘、SSD、内存）以及冷温热数据存储架构如何设计？比如数据热度由热到温最后到冷，对应的存储如何自适应的将数据转换和保存？

冷数据存入机械 SATA 盘，热数据存入 SSD + 内存，如果是非重要的热数据，直接存入内存，比如 Cache，如果是重要的热数据，可存入 SSD，如果对性能要求并不是很高，可以考虑存入 SATA，新写入的数据可以存入 SSD 或者内存，如果热度很低，可以切换至存储到 SATA，不重要的基本上可以直接删掉，根据业务场景设计，不同的业务的需求也不同。

2、有的应用读写并发并不大，而对元数据的操作确异常频繁，如何设计一个以读为主的元数据服务架构或者设计一个以写为主的元数据服务架构？

读写并发不大，对元数据操作频繁这种一般很有可能是小文件，开销主要用在对元数据操作部分了，根据场景不同设计的也不同，一般都是元数据集群，元数据存储在 SSD + 内存做元数据 Cache，跟设计的算法也有关系。

3、当前无论是 CEPH 还是GFS，都存在IO路径过长的问题，有什么方法能缓解这种情况?

Ceph 的性能还不错， GFS 没有用过，不过 Ceph 使用 API 方式性能还不错，但是稳定性确实不太好说，目前我没遇到问题，但是也没商用过，因为我不太喜欢API方式，一般还是 Posix 接口操作，方便，直接 mount 就当本地盘使用了。

4、使用分布式文件系统后，如何快速的检索数据？

最快的方式当然还是 Hash 表，O(1), 也有其他的方式应该，只不过我没有用过，因为我还是比较喜欢 Gluster 这种 Hash 计算文件存储位置的方式，加上一直以来都是做大文件，所以这个并不是太大的问题。

5、云存储的数据分享、隔离和安全性怎么做？

这个主要还是在应用层去做，直接从业务部分去划分好些，如果必须在文件系统层做，可以增加 ACL ，或者根据 UID 进行权限控制，因为 GNU/Linux 本身就有相关的控制设计了

如果小伙伴想学习大数据技术，可以加下图片下面的交流群，群里有很多学习视频都可以下载，而且每天大数据架构师马士兵老师都会在群里分享大数据的技术。。

今天，我们讨论一下大数据的集成

什么叫微信大数据，就是客户信息，大家都知道，不管你是进行什么营销推广，地推，广告，摆摊，自媒体等等都行，最终这个客户数据都会在微信上进行转化，裂变，成交。

谁能把握微信大数据，就能添加更多的真实客户，再进行客户的转化，变成意向客户，再通过这个营销套路，促进成交。那么也就带来一个重要考虑的点了，并不是人加多了就一定有效的，举个例子，加入你微信5000人，有4000千或者3000都是微商和死粉，那你觉得，你能进行客户转化的几率大不大？我觉得这个微信都废了吧？

所以，数据很重要，这里下次再给大家介绍一下数据的采集方式，当然，这个是针对没有客户数据的企业或商家而已，像电商企业，电销企业等等这些大企业，这个数据用都用不完，最缺一个数据的二次利用了，好的，先回归主题，那么这个微信大数据到手了，怎么样进行数据集成，二次营销呢？

一个最好的办法

那就是微信群控系统

这里再插入一个题外话，大家都知道，手机群控已经被微信大查封，也就是说不能完全使用了，那么我说的群控当然就不是手机群控了，而是目前处于火热期的精控系统----铁拐李精控系统。它这个我简单的说一下，就一句话，无痕迹，无后台，无硬件，无需手机，跟传统的群控，云控，中控在系统的操作方式，控制方式，运行模式都是完全不一样的。

这个大家可以了解一下，那我们回归主题。

那些说到这里，大家应该也明白了，就是将你的所有数据，导入系统，进行自动添加好友的方式，不断的累积客户，在进行营销套路，转化，成交。

记住一点，没有百分之百的精准客源，如果有，肯定是忽悠你的，即使你能得到精准客源，那这个成本肯定远远大于你产品的价值。往往出现的问题就是成本比收益高。

只有积累客户，让更多的人看到你的产品，这个量才能起来。酒香不怕巷子深的意思就是喝的人多了，自然会很多人去买，如果你的曝光率不高，你的“酒”再香，也没有用。

利益相关（目前国内仅我们一家，包括阿里、腾讯、百度等其他互联网公司也无法做到）

大数据领域

相信很多人都遇见过这样的事，自己电脑和手机，在浏览其他网站和APP的时候，有发现给自己相关的推荐商品或者其他理财、学校等，总之你之前浏览过什么，就会给你推荐什么。

这种相关推荐只是最常见的一种展现形式，因为现在很多互联网公司都是联盟，系统根据你的历史浏览记录判断你可能会需求的服务或产品。

比这更黑科技更精准的是另一种方式，也就是将大数据运用到DSP（需求方平台）。通俗一点来讲就是将更庞大更精准的大数据运用到广告平台。

1 数据采集

分线上采集和线下采集，首先线上采集现在都是互通。比如你淘宝浏览过的商品，你到百度，或者360浏览器也会给你推荐相关，也就是前面说的最常见的，基本上线上采集可以共享。并不稀奇。

关键在于线下采集，一般只要是县级以上的城市，都有我们采集设备覆盖的地方，只要你用智能机，而且打开了网络，我们就可以抓取你手机的MAC地址，从而收集到你的身份信息等手机相关操作记录。

最后通过三块形成了完整的数据库：

①线上浏览轨迹 （PC或移动端的浏览轨迹）

②身份信息分析出的人群画像（也就是给人打标签）

③线下每天在城市的活动轨迹地图（整个城市的人的活动热力图）

（这个时候肯定有人会有疑惑了，这不会违法了吧，侵犯隐私了吧。哈哈，当然不会，我们是正规公司，数据是会传到公安部过滤，然后再通过数据分析中心处理，我们得到的数据全是商业行为的数据，完全看不到你个人的信息，不过公安机关是可以查看你个人的）

2 数据分析

前面说到了采集数据的方式，都知道阿里做数据已经是非常厉害了，但是他们目前也做不到一点就是采集线下的数据，阿里目前只是通过支付宝支付，或者支付宝定位来获取你的轨迹，但是你如果不用支付宝支付，或者没有开定位，支付宝也没有办法。

我们采集到的数据会把他列为各类标签选项做成一个数据平台，做过电商或者广告平台投放都知道，微博广告的后台叫粉丝通，腾讯叫广点通，淘宝有钻展，今日头条和百度也都是有后台广告投放平台的。但是现在这些大互联网公司的痛点还是线下数据不够完善。

我举个例你就明白线下数据的精准型。在粉丝通也好还是广点通的广告平台，你在后台的选项，一般大概会有年龄，性别，行业等大的兴趣标签，相对于广泛投放给用户，有了选项会精准很多，但是要筛选更精准的潜在客户，必须得结合线下数据。

3 数据变现

前面数据分析没有讲到太细的标签，这里我特意讲下，性别、年龄、地域、行业、兴趣爱好、购物倾向等这是都有的数据。我还是讲下线下数据。首先城市活动热力图，这个商业价值就不用说了吧，很多企业利用这个图我相信他们知道如何实现他们的商业价值。

先举例婚纱摄影，因为目前一部分客户是影楼，而且是在三亚，所以在三亚的影楼基本上要做线上广告，微博、百度、朋友圈广告他们都是有投放的。但是他们投放有一个痛点，比如他们投放的时候选择年龄20-35岁的时候，这些平台无法分辨用户是未婚还是已婚，所以当广告展示给已婚用户时，其实广告费基本上是浪费了。

而我们的标签里不仅能分析出未婚和已婚，而且还能分析出备婚。已婚的数据可靠几乎是100%因为这个数据是连通了的，而未婚和备婚的数据，也是最大化精确。首先影楼通过我们投放就至少不会投放给已婚的人群，而如果想只直接的获取精准客户，就选择备婚的标签，备婚是如何分析的，跟前面宝马4S的例子同理，线上有过结婚相关的搜索浏览记录，线下去过结婚相关的场景，比如你去过婚戒。

然后举例母婴和教育行业，通过我们数据标签判断你的孩子几个月，多少岁，然后母婴产品通过年龄的数据，投放给你母婴产品的广告内容，而教育行业也是一样。

大数据必定是日后趋势，并且已经运用到人工智能上，以后我们每个人都会标签化，像支付宝里面有个短片一样，未来你去到任何一个地方，别人通过移动设备就知道你的性格，爱好，口味等。人类发展的动力就是生活便捷化。以后会越来越好~

随着互联网的高速发展,网络给人们提供了前所未有的开放、便捷的信息共享与发布平台,越来越多的人通过网络来表达自己的意见、想法、情绪和态度,其中包括对事件的发展有着正面、积极作用的信息,也包括一些负面、消极的信息。同时,网络平台的开放性、直接性和隐蔽性使得网络舆论越来越重要地影响人们的意识形态。因此,对大量舆情信息的及时有效监控分析,对维护社会稳定、促进国家发展具有重要的现实意义。

基于大数据技术的深入研究与开发，青海省大数据有限责任公司推出互联网大数据智能舆情监测系统，该系统实现了从大数据时代下让政府能快速、全面、高效的应对舆情事件。

互联网大数据智能舆情监测系统优势

互联网大数据智能情监测系统功能

1

数据抓取全、快、广

监测范围覆盖网络新闻、新浪微博、腾讯微博、微信公众号、平面媒体电子版、论坛、博客、问答、视频网站等各类媒体类型。

平台覆盖20万个站点，对所有主流网站10分钟完成一次采集，实现实时抓取。

平台支持采集最有影响力的40个移动新闻客户端。

2 数据筛选准确

3 多维度、可视化数据分析

专有的企业传播统计数据，提供媒体行业、 地域及影响力排行等独家数据，帮助企业的量化评估传播效果。

标准化、多维度、数字化、可视化的数据分析平台，方便生成、导出各类数据及图表、支持多品牌、事件的比较分析。

舆论维度分析项有：关注度、影响力、正负面、媒体分布量等。

4 监测维度多

5 信息推送快

系统：通过互联网，您可以随时访问舆情监测平台，获取最新、最全的网络舆情监测服务。

预警：最普遍、 最便捷的服务方式。 支持网页邮件，支持超大附件。

报告：专业行业分析师辅助提供相关日报、周报、月报，方便客户对不同时段的重点和热点进行把握。对于突发事件提供详细的事件专题分析报告，对事件舆情数据进行有针对性的解读。

6 监测及时，更早发现

7 简洁实用、易于操作

案 例

实现价值

利用独有的分布式网络采集技术，对互联网上舆情相关数据源进行完整采集，同时根据用户预定的监控关键词对全网数据进行补充获取。并可以在很短时间内收录到国内外重要网站、论坛、微博、微信公众号、贴吧、博客等互联网开放平台的相关信息，通过中文智能分词、自然语言处理、正负面研判等大数据处理技术对收录到的信息进行处理,发现涉及到用户的舆情信息,及时通过手机客户端、电子邮件、私信等方式进行预警服务，为政府或企业提供决策辅助。来源：青海省大数据有限责任公司

大数据是一门有前途的IT学科，目前，行情十分火爆，不论是阿里巴巴、百度这样的大公司，还是中小企业都很重视，是第一个纳入国家战略的技术，政府扶持力度大！

大数据高额的薪水、良好的发展前景，吸引了一大批有志之士，想学习并从事大数据相关工作，那么，大数据应该如何学习呢？

学习大数据之前，我们首选需要知道，从事大数据相关工作需掌握哪些知识和技能：

1. Java编程

Java编程是大数据开发的基础，大数据中很多技术都是使用Java编写的，如Hadoop、Spark、mapreduce等，因此，想要学好大数据，Java编程是必备技能！

2. Linux运维

企业大数据开发往往是在Linux操作系统下完成的，因此，想从事大数据相关工作，需要掌握Linux系统操作方法和相关命令。

3. Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架，HDFS和MapReduce是其核心设计，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，是大数据开发必不可少的框架技能。

4. Zookeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

5. Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。

6. Hbase

这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多

7. Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，通过Hadoop的并行加载机制来统一线上和离线的消息处理，通过集群来提供实时的消息。

8. Spark

Spark 是专为大规模数据处理而设计的快速通用的计算引擎，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

目录

1. 大数据概述

1.1. 概述1.2. 大数据定义1.3. 大数据技术发展

2. 大数据应用

2.1. 大数据应用阐述2.2. 大数据应用架构2.3. 大数据行业应用

3. 大数据解决方案

3.1. 大数据技术组成

3.2. 大数据处理过程

3.3. 大数据处理的核心技术-Hadoop

3.4. 大数据处理技术发展前景

4. 基于基站大数据应用及案例

4.1. 气象灾害应急短信发布平台

4.2. 旅游客源分析

1

大数据概述

1.1. 概述

大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。

数据技术发展历史如图一所示：

图一

1.2. 大数据定义

“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V，即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Value)。如图二;

图二

要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。

数据体量巨大。从TB级别，跃升到PB级别。

数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。

1.3. 大数据技术发展

大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值，而且未来急剧增长的数据迫切需要寻求新的处理技术手段。如图三所示：

图三

在“大数据”(Big data)时代，通过互联网、社交网络、物联网，人们能够及时全面地获得大信息。同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。

云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。预计到2012年，非结构化数据将达到互联网整个数据量的75%以上。用于提取智慧的“大数据”，往往是这些非结构化数据。传统的数据仓库系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。但“大数据”应用突出强调数据处理的实时性。在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级。

全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一，而其他领域的研究，如云计算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术，这意味着“大数据”技术将在未来3—5年内进入主流。

而 “大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的。选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。例如如何实时地及通过各种数据库管理系统来安全地访问数据，如何通过优化存储策略，评估当前的数据存储技术并改进、加强数据存储能力，最大限度地利用现有的存储投资。从某种意义上说，数据将成为企业的核心资产。

“大数据”不仅是一场技术变革，更是一场商业模式变革。在“大数据”概念提出之前，尽管互联网为传统企业提供了一个新的销售渠道，但总体来看，二者平行发展，鲜有交集。我们可以看到，无论是Google通过分析用户个人信息，根据用户偏好提供精准广告，还是Facebook将用户的线下社会关系迁移在线上，构造一个半真实的实名帝国，但这些商业和消费模式仍不能脱离互联网，传统企业仍无法嫁接到互联网中。同时，传统企业通过传统的用户分析工具却很难获得大范围用户的真实需求。

企业从大规模制造过渡到大规模定制，必须掌握用户的需求特点。在互联网时代，这些需求特征往往是在用户不经意的行为中透露出来的。通过对信息进行关联、参照、聚类、分类等方法分析，才能得到答案。

“大数据”在互联网与传统企业间建立一个交集。它推动互联网企业融合进传统企业的供应链，并在传统企业种下互联网基因。传统企业与互联网企业的结合，网民和消费者的融合，必将引发消费模式、制造模式、管理模式的巨大变革。

大数据正成为IT行业全新的制高点，各企业和组织纷纷助推大数据的发展，相关技术呈现百花齐放局面，并在互联网应用领域崭露头角，具体情况如下图四所示：

图四

大数据将带来巨大的技术和商业机遇，大数据分析挖掘和利用将为企业带来巨大的商业价值，而随着应用数据规模急剧增加，传统计算面临严重挑战，大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求，传统系统难以提供足够的存储和计算资源进行处理，云计算技术是最理想的解决方案。调查显示：目前，IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说，云计算平台软件、虚拟化软件都不需要自己开发，但行业的大规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现，这些都为大数据处理技术的发展提供了巨大的驱动力。

2

大数据应用

2.1. 大数据应用阐述

大数据能做什么?我们那么多地方探讨大数据，无非总结下来就做三件事：

第一，对信息的理解。你发的每一张图片、每一个新闻、每一个广告，这些都是信息，你对这个信息的理解是大数据重要的领域。

第二，用户的理解，每个人的基本特征，你的潜在的特征，每个用户上网的习惯等等，这些都是对用户的理解。

第三，关系。关系才是我们的核心，信息与信息之间的关系，一条微博和另外一条微博之间的关系，一个广告和另外一个广告的关系。一条微博和一个视频之间的关系，这些在我们肉眼去看的时候是相对简单的。

比如有条微博说这两天朝鲜绑架我们船的事，那条微博也大概是谈这件事的。人眼一眼就能看出来。但是用机器怎么能看出来这是一件事，以及他们之间的因果关 系，这是很有难度的。然后就是用户与用户之间的关系。哪些人你愿意收听，是你的朋友，哪些是你感兴趣的领域，你是一个音乐达人，你是一个吃货，那个用户也 是一个吃货，你愿意收听他。这就是用户与用户之间的关系理解。还有用户与信息之间的理解，就是你对哪一类型的微博感兴趣，你对哪一类型的信息感兴趣，如果 牵扯到商业化，你对哪一类的广告或者商品感兴趣。其实就是用户与信息之间的关系，他无非是做这件事。

大数据说的那么悬，其实主要是做三件事：对用户的理解、对信息的理解、对关系的理解。如果我们在这三件事之间还要提一件事的话，一个叫趋势。 他也是关系的一种变种，只是关系稍微远一点，情感之间的分析，还有我们政府部门做的舆情监控。他可以监控大规模的数据，可以分析出人的动向。在美国的好莱 坞，这两年也是基于FACEBOOK和TIWTTER的数据来预测即将上映的电影的票房。他也是一个趋势的分析，只是我们把这个趋势提前来。核心就是这三件事。

2.2. 大数据应用架构

2.3. 大数据行业应用

2.3.1. 医疗行业

1. Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

2. 在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

3. 它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

2.3.2. 能源行业

1. 智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

2. 维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

2.3.3. 通信行业

1. XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。

2. 电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。

3. 中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

4. NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

2.3.4. 零售业

1. "我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。"Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

2. 零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

3

大数据解决方案

3.1. 大数据技术组成

大数据技术由四种技术构成，它们包括：

3.1.1. 分析技术

分析技术意味着对海量数据进行分析以实时得出答案，由于大数据的特殊性，...

近年来，大数据和人工智能技术正在日渐融入人们的生活，并已成为科技行业最具价值的领域。各行业、企业都在大数据领域投入大量精力与财力，以期望挖掘无形数据资产中蕴藏着的巨大财富。而人工智能技术的发展更是如火如荼，没有人会怀疑，基于机器学习等先进算法的人工智能技术有望在未来承担越来越多的社会分工，进一步使人类个体获得解放。

对于民航领域而言，随着民航业在二十一世纪的迅猛发展和普及，在全球一体化大形势下，如何利用大数据和人工智能等前沿技术，为民航旅客提供一个安全、舒适、高效的航站区环境和飞行旅程，已经成为各大机场、航空公司、民航领域企业、民航研究机构的重要课题。而机场作为整个产业中不可或缺的重要一环，只有不断加深大数据与人工智能技术的运用与实践，改革传统业务与管理模式，才能从根本上提升机场运营的智能化水平，适应整个产业的发展。

大数据应用与人工智能技术的兴起，为机场提升整体运营和安保效率，提升旅客满意度都提供了全新的方法与工具。利用大数据技术，机场可以实现自身数据资产的有效管理。大数据应用的基础是数据的结构化与完整性，对于机场而言，重要的数据资产主要包括以下这个方面：1）旅客数据：人像数据、旅客偏好、旅客乘机记录等；2）航班数据：AODB基础数据，如起飞时间、离岗时间、AIBT/ AOBT等；3）运行管理数据：各航班保障的开始与结算时间、保障市场、排班记录等。

人脸识别技术是大数据、模式识别、机器学习等技术的结合，可以说，用于建立识别模型的数据库越完备，模式比对的算法越先进，人脸识别的准确率就越高。为了适应不同的应用场景，从技术的角度来看，人脸识别需要同时提高一对多、一对一这两个维度的识别率，而从应用上来看，还需要同时处理静态识别、动态识别这两个层面的应用需求。

利用大数据、人脸识别、人工智能等技术，机场可以在典型的业务场景之上提供更多的创新性应用与服务。下面就来具体梳理分析一下大数据与人脸识别技术在机场中的发展应用，并综合介绍其他人工智能技术在机场中的应用前景。

智慧机场

黑白名单

根据民航局的规定，一旦旅客被列入黑名单，将对黑名单旅客乘坐航空器的行为进行限制，甚至采取“禁飞”的措施，以保障其他旅客的飞行安全。更广义的黑名单识别，还包括识别公安系统中的黑名单人员等等。

从安全性的角度考虑，机场安全保障的核心在于识别潜在的可疑人员和可疑行为，而黑名单为可疑人员的识别提供了依据。严格而言，黑白名单并非旅客感知层面的交互功能，但机场通过大数据技术对内外部黑白名单进行维护与更新，将为智能化机场安检系统实现黑名单布控、红名单识别等应用提供基础。

此外，机场还可拓展更多“名单”的维护，比如特殊旅客白名单、常旅客白名单、VIP旅客红名单等，以后续实现更多差异化服务。

身份识别

身份识别是人脸识别技术最核心的应用之一，主要面临一对一和一对多两个识别维度。一对一的身份识别是指，在旅客已提供身份信息的情况下，对后台数据库里的身份信息进行比对与确认。一对一身份识别主要用于人证合一等场景。一对多的身份识别是指，在不知道旅客信息的前提下，根据采集到的旅客人像，利用遍历与检索算法，在后台数据库中查找该旅客的身份，主要用于为各类旅客差异化服务的应用场景提供支持。

身份识别技术

人证合一

人证合一往往是机场面临的一大安全难题，传统的安检手段，是通过安检员的比对来确定持证人和证件的合一性。人为比对难免会存在误差，导致误判、漏判等情况的发生。另一方面，要想在登机口也开展严格的人证合一检查，将会很大程度上提升机场安检成本，而如果放松检查，则无法避免登机口串票等安全隐患。利用身份识别技术实现人证合一的自动监测，则能够很好地解决这方面的安检瓶颈。相比于需要成熟的移动人脸识别技术做支撑的其他应用而言，人证合一应用相对比较容易实现，只要不断提升人像与证件照比对的准确率以达到商用，即可投入生产实践。目前市场接受的商用准确率为95%以上。

差异化服务

从提升旅客体验的角度来看，结合人脸识别技术的机场信息化系统也大有用武之地。对于旅客而言，航空公司和机场越能够基于个体的偏好和需求提供服务，旅客的满意度就会越高。比如，对于高端商务型常旅客往往需要拥有私密的个人空间，高效的值机效率，而对于一般旅客，也有年龄、性别、爱好等方面的差别，提升旅客体验性的重点，就是要针对每一个特定个体提供精准的差异化服务。

为旅客提供精准差异化服务，一方面需要为每个旅客建立起充分的旅客画像，另一方面，恰恰需要能够准确地识别出旅客身份。提升旅客体验度的过程，就是将每个差异个体匹配到差异化服务的过程。机场可以根据旅客特点，开发各种不同的差异化服务。比如定制化的航显系统，机场结合旅客身份识别和旅客画像，让航显系统能够为每一名使用系统的“特殊”旅客提供相关的航班信息。又比如安检引导，除了安检口排队人数之外，还能够结合旅客身份信息来分派安检口等等。

个性化航显系统

举例而言，王总是国内某大型企业的CEO，因为工作原因，他需要经常飞往各地开展业务。王总经常飞行的路线是深圳到北京的往返，此次飞行，他需要从深圳前往北京。数据记录，王总一般往返的间隔在1-2周之间。机场人脸识别系统已在王总到达机场之后自动做了登记并采集动线轨迹。当王总来到航显系统前，希望查询航班到达时间时，航显系统识别出查询人身份，为他提供“零操作”航显信息服务。同时，航显系统还能够根据王总的飞行习惯，自动列出1-2周后北京-深圳的返航航班情况，以便他进行参考。

安检区人流引导

机场安检一般由旅客根据每个安检口的人流情况自行选择排队，当人流量大时，机场需要设置引导通道，并安排额外的安检引导员做人流引导。结合身份识别系统，机场可实现安检环节的自动引导。身份识别系统识别出旅客身份后，根据机场数据后台对旅客的综合分析，为其分配合适的安检口。用于分析的旅客画像数据可包括旅客VIP级别、是否行动不便、是否无陪儿童等等。

比如在上例中，当王总来到安检口时，安检系统基于身份识别系统对他身份的判定，根据他过往安检记录和乘机记录，以及当前机票级别，为王总自动分配了头等舱安检通道，提供高效的安检服务。

航延预测

航延预测是大数据应用的综合体现，需要依赖于航班历史数据统计，并结合所有历史因素和现况，综合考虑天气、排班等情况，才能到准确的预测结果。航延预测除了包括准点预测之外，还可给出不同延误时长的概率预测。一般可结合大数据统计分析和预测模型，给出15分钟以内、15分钟-1个小时、1-2个小时、2-3个小时、3-4个小时这几个延误时长的概率分析，甚至给出航班取消的概率供旅客参考。

基于大数据的航延预测，存在两方面挑战，一方面是如何获取准确、完整的基础数据，这需要整个民航产业建立一个开放、共享的数据环境，能够使各方及时获取航班、空中管制、天气情况等相关数据。另一方面是预测算法，关于航延预测的算法研究也是各研究机构热衷的课题，研究者们已经将很多方法用于航延预测当中，比如免疫算法、马尔科夫过程、贝叶斯网络等。

机位智能分配

利用大数据统计与分析技术，机场还能够进一步提升机位的智能分配水平。随着各大机场的升级与转场，新建机场往往要维护比旧机场多得多的近机位，与远机位相比，近机位对机型的要求更加严格，因此也对机场精细化管理提出了更高的要求。智能化机位分配要面临静态和动态两方面的挑战，从静态来看，机场在得到个航班计划信息之后，要通过大数据分析，综合考虑不同航空公司、机场各部门等内外部单位的使用偏好和期望，合理规划机位的分配和使用。从动态来看，当航班发生延误时，机场又要能够基于航延预测数据，及时调整机位的分配策略，从而避免资源浪费等低效运营的情况发生。

服务机器人

服务型机器人一直是整个人工智能产业发展的热点，一个很重要的原因，就是这类型产品能够极大提升使用者的体验。能够以拟人的方式为客户提供服务，是服务型机器人的一大优势。其他机器或系统，无论功能多么完备，都需要人去理解其运行规则和操作步骤，相对而言，服务型机器人能以自然语言的方式去接收指令，理解问题，对于被服务者来说，无疑是最自然的一种交互方式。

机场可将服务机器人用于旅客导航、常见问题解答等等。经过发展，目前常见的服务型机器人一般具有类人形结构，并配备以下基本功能：配备高精摄像头，可对提问者身份做识别；配备近/远场拾音系统，可在复杂环境下捕捉并处理客户提问；配备语音合成系统，能够语音播报答案；而最核心的技术是NLP，即自然语言处理，服务机器人配备的NLP后台负责将自然语言处理为机器指令，机器指令负责调度整个系统为旅客服务，包括播报答案、提供指引、显示帮助等等。

可以预见，未来的机场在大数据和人工智能技术的引领下，必将朝着更加高效、更准点、更人性的方向发展。那么，在当前大数据和人工智能技术的推动下，如何在机场建设领域探索全球化建设发展新思路？尤其是在国家积极倡导“一带一路”建设，海南作为海上的丝绸之路重要战略要地的大背景下，如何更好地发挥交通设施在“一带一路”先行作用，如何更加快速地与国际民航接轨显得尤为重要。

在此背景之下，一场跨国合作显得更为引人注目。2017年6月20日，海航集团旗下IT核心企业易建科技在智慧机场建设领域引入世界一流服务商德电中国，签定亚太及非洲区域内唯一合作伙伴关系。

易建科技与德电中国正式签订亚太及非洲地区战略合作

据悉，2015年易建科技和德电中国在海口美兰机场系统选型中结缘，2015年底开始生产运营系统合作，2016年再度共同拓展了多个项目。经多次合作后，德电中国核心解决方案机场运行管理系统(AODB/RMS)、信息交换中间件(IMF)与易建科技的无线地服调度系统(EWS)为核心的套装软件绑定后展现出更强大的生命力，因而促成此次战略合作的形成。

预计今后德电中国将利用专业技术优势，引进CDM实施的欧洲标准，与易建科技共同研发适合国内市场的智慧机场信息系统产品。易建科技唐立超董事长在活动上亦透露今后双方在更多领域的合作计划：“下一步易建科技将与德电中国在智慧旅行解决方案上共同开发产品、拓展市场，包括全球VIP行李跟踪服务、VIP贵宾室服务领域以及基于虚拟现实VR和视频分析技术的免打扰贵宾定位和信息服务等领域”。此次合作也形成了以德电中国的机场运行管理系统(AODB/RMS)、信息交换中间件(IMF)及易建科技的无线地服调度系统(EWS)为核心的套装软件，未来将在亚太机场和非洲机场等若干机场项目中投入应用。

海航科技集团运营总裁桂海鸿赠与德国电信大中华区总裁史蒂芬 霍夫迈尔海航机模

此次易建科技与德电中国的强强合作，将进一步强化其在智慧机场领域的业务能力，提升在智慧机场领域的解决能力，实现从单一技术输出向智慧机场全面技术解决商的转变，力争在三年内成为中国民航业机场核心集成系统的主要提供商。

总而言之，未来机场的建设仍就存在着很大的想象空间，大数据环境的形成使得每个航班的各个环节无缝衔接，并能够根据突发情况做精确的动态调整，最大化利用资源。人工智能领域发展出的人脸识别、自然语言理解等技术，将使机场作为服务主体，具备为每个客户提供差异化、个性化服务的能力，并通过拟人化的方式让系统为人服务，极大节省机场运营成本的同时，又能让每个人机交互变得更有温度。

上述提及的关于人工智能的技术如果让你优先选择的话，你最希望实现哪一个？

你最希望实现哪一项技术？ (单选)

0

人

0%

投票

“这是最好的时代，这是最坏的时代。”一百年前狄更斯说过的这句话，似乎在互联网时代的今天依然有极大的现实意义。

尤其是在移动互联网时代，我们出行可以在手机上网约车，吃饭可以在手机上叫外卖，看书可以在手机上下载阅读软件，哪怕单身没对象，也可以花不到一分钟的时间，下载个相亲软件，不到半天就能认识一打异性。

名人明星信息泄露换汤不换药

任何事情发展得过了，都是物极必反，互联网便捷的背后却藏着令人忧心的现实。无论是刚刚过去的希拉里的邮件门，亦或是朴槿惠的闺蜜干政，甚至是更远一点的卡戴珊因为在网上炫耀钻戒，而遭遇盗贼偷窃。

这些事情，人类历史上一定发生过很多次，因为事情的本质无非就是政客丑闻曝光、有钱人露富被盗贼盯上。历史虽然是重复的，但手段往往是翻新的。互联网普及以来，政治名人和明星隐私的暴露大都是乘着互联网的“东风”。

跟全世界网民联系最多的两大互联网公司谷歌和Facebook，都曾因为泄露用户数据惹上过官司。

以谷歌为例，这家全世界很多有志青年都想加入的工作目的地，早在2004年就因为Gmail被指扫描用户信息而遭到起诉。

而后来在谷歌不断扩大规模的过程中，谷歌一直都是法庭上的常见客。

曾经，谷歌给用户带带来了很大的便利，我们免费使用它的地图、网盘，然而这真的是免费的吗？

一方面谷歌是真的想给大众提供有用便捷的科技，另一方面谷歌要靠这些“免费”来吸引用户透露更多的资料信息，最终谷歌可以用更高的价格进行贩卖。

当然，并不是只有谷歌一家公司在这样做，国内外很多互联网公司都是这样做的。

我们的信息全天候24小时在泄露

Facebook这家全球最大的社群网络，毫无疑问他的成功就是因为用户们在Facebook上前所未有地“分享”着自己，大到支持哪个总统，小到今天早餐吃了啥。而今年的美国大选，候选人在拉选票时，就充分运用了这一点，来寻找支持自己的选民，从而“精准”地投广告。

从国外的谷歌和Facebook，到国内的互联网巨头们，很难说我们的信息不曾被他们搜集。

笔者前几天在某旅游网站搜索了北京到南阳的机票，当时看了看并没有下单，而后连续两天，打开浏览器页面，都有关于“北京到南阳机票”的促销信息。

相信大家可能也遇到类似经历，比如，在网店浏览了雪地靴，接下来的几天可能都会有雪地靴的弹框出来。

有时还会收到垃圾邮件、垃圾信息，尽管手机可以设置拦截，可是信息有时还是会储存在手机里。笔者每天最少会收到2条，最多10余条左右的垃圾信息，不是电商购物信息，就是运营商和银行发来的促销信息。

笔者曾经因为求职注册了某招聘网站，后来在都入职新工作一个月后，依然能收到至少3家招聘公司的群发招聘信息，按照短信提示回复“T”都没有用，后来不得不拉黑。那这些招聘公司从哪里知道信息呢？答案不言而喻。

这些年有学者提出生活安宁权，就是作为自然人，有维持安稳宁静的私人生活状态，并排除他人不法侵扰的具体人格权。这么一想，生活中几乎很多人的生活安宁权都或多或少被侵犯过。

总体来讲，大数据时代，网民最容易被侵犯的就是隐私权和生活安宁权。而以隐私权被侵犯占据数量最多。

很早之前就看过一篇文章，题目就是《从下载狂转变为学习者》，我们经常是一味的寻找资料，下载资料。寻找资料好像一匹狼，恨不得把有关的全部资料全部收入自己的硬盘，这个下载的过程，具有无比的快感，下载后，束之高阁，隐藏在硬盘的N层文件夹以下。

为什么会如此呢？

因为我们已经在下载过程中享受过了那种难以形容的快感。快感是一种多么难以重复的物质啊！

今日开始本人将自己下载的大数据相关电子书，视频讲座不断分享出来，谢谢各位持续关注！

在惠普“超越存储 远见未来”2015存储远见者高峰论坛上，惠普就给出了他们的答案。对于如何定义未来存储，惠普也给出了“超越闪存、超越融合、超越架构、超越虚拟化、超越性能、超越扩展”这六大超越理念。在会上，惠普还发布了HP 3PAR StoreServ全闪存阵列，并逐一为大家展示了全新产品在这六大超越中的表现。

“现在传统的网络安全防护的体系已经崩溃，攻防对抗当中防护的模式也已经过时，未知的威胁可以绕过现有部署的一切安全设备切入到我们的系统。360的安全解决之道就是用大数据，用数据来提供安全，这是一个全新的技术安全体系。这里边包括了大数据中心、。”大数据引擎和大数据分析系统

普元资深架构师顾伟指出，”微服务“是一种更灵活、更可靠、更开放的架构，它的特点集中在开放、轻量、松耦合、易迁移、易伸缩、容错性、自监控、语言中性等。”微服务“的“零散”特征使得企业能够快速应对服务扩容、业务开放、业务变化、服务整合等需求。“微服务”通常的解决方案会结合当下比较流行的Docker和OpenStack技术。而支撑“微服务”的就是能够快速迭代“微应用”，在“微应用”之下是一个以各种技术标准、进行兼容和统一为基础、并提供多类型的业务平台。