互联网飞速的发展，使得每天产生的日志可达上T规模，但由于数据稀疏、异构性较强，甚至半结构化导致我们很少有精力关注。日志是重要的非结构化数据，无处不在，技术人员通过数学分析、关联分析、机器学习的挖掘办法，可从日志中获得价值信息，用于运维监控、安全审计、用户数据以及业务数据分析，达到发现企业信息安全短板、安全预警与应急处理的目的。那么，如何最大限度发挥日志的价值成为业内人士研究思考最多的问题之一。

知道创宇高级安全研究员邓金城在2017年全球敏捷运维峰会(Gdevops,GlobalDevopsSummit)上发表《海量运维日志异常挖掘—我们如何从日志中抓黑客》的演讲，从海量日志的异常分析类型、挖掘方法说起，分享了如何针对自己的网站去做相应的分析工具，以及利用分析模型来持续挖掘日志中有价值的异常信息。

日志异常类型：

1.单点异常：单独的数据实例是异常的。

2.上下文异常：

●在一个上下文中单独的或连续几个数据实例是异常的

●需要一个上下文的概念

●比如平衡权限

3.集体异常：相关数据实例的集体是异常的。

在数据实例间需要一个关系，常见的：有序数据、空间数据、图数。在一个集体异常中单独的实例，从它们自己看来并不是异常的。

异常挖掘方法解读：

1.异常挖掘方法1-基于经验特征挖掘

●基于分析人员自身经验，使用特定的与日志相关的特征进行挖掘

●比如特定的字符串，特定的Cookies，特殊的UserAgent等等

●此方法在试探性分析的时候常用

2.异常挖掘方法2-基于数据统计挖掘

●通过统计多维度的数据，根据其频次，分散度等信息，挖掘有价值的异常

●比如统计单个IP24小时内，使用的手机号码数量；短时间内大量登录请求等

3.异常挖掘方法3-基于外部数据关联挖掘

●基于已有的外部数据与日志的关联性进行挖掘

●例如高危IP库的IP的正常访问日志，代理IP库的IP的正常访问日志，某个通用组件或应用漏洞公开后的使用该组件或应用的网站日志等等

4.异常挖掘方法4-基于内部数据关联挖掘

●通过分析Web日志的内部关联性进行异常挖掘

●例如通过分析Referer与URL二元关系组以及IP与URL二元关系组，挖掘低频访问且是孤立节点的页面

5.异常挖掘方法5-基于WAF规则的异常挖掘

●将每条WAF规则转换成多个语句的逻辑条件组合，并给予每个子条件一定的rank，然后对每条日志数据进行评分，根据最后评分以及设定阈值来判定日志是否异常

●常用于WAFBypass未知漏洞挖掘

6.异常挖掘方法6-基于网站画像的异常挖掘

●根据网站的目录结构、动静态页面分布及页面参数类型等信息而抽象出的一个多维度的标签化的描述网站合法访问范围的画像模型。通过判断单条日志数据是否在网站画像中，来判定日志是否为异常

●适用于单个网站的日常持续分析

●每个网站可以根据其应用特性和业务特征构建个性化的网站画像

知道创宇一直致力于通过大数据建立网络安全动态的防御体系，邓金城表示，通过对知道创宇云安全平台海量日志的分析，仅在2016年，就为客户发现了大量的异常，分析和报告了大量安全事件，其中高危近千个，其中服务器入侵35%、数据泄漏39%、账号安全14%、其他12%，为用户补齐网站安全的短板，为完善网站安全机制提供了关键数据，同时我们自身还收获了几十个0day。

“正是利用这一套大数据分析方法，这几年，我们取得了不少成绩，曾帮助某法院网站服务器集群发现潜伏的安全问题、协助公安定位黑客个人信息等等。未来，知道创宇将会朝着可用性监控、应用性能监控、故障根源分析、安全审计、业务分析及用户数据挖掘等方向继续深入发展，挖掘大数据的利用价值，为客户、合作伙伴提供更完善的安全可用服务。”

一、前言

撸Python已经快三年了，

是时候做个阶段性小结。

本主也是知乎专栏作者，

觉得我乎每况日下，

以后不管发文的质量，

第一弹就发在这里了。

二、计划

第1章安装

1.1Python安装

1.2Pycharm安装及虚拟环境配置

1.3Pip安装依赖库

第2章数据采集

2.1数据采集简介

2.2 Request、BeautifulSoup

2.2Re正则

2.3Selenium、PantomJS

2.4多线程及线程池

2.5 Scrapy实战

第3章数据存储与读取

3.1 存储方式简介

3.2 常规存储txt、csv、xls

3.3 存储至数据库MongoDB

3.4 数据库备份及迁移

第4章Pandas数据分析

4.1 Anaconda简介

4.2 Jupyter

4.3 Numpy数据结构

4.4 Pandas

4.4.1 Series

4.4.2 DataFrame

4.4.3 文本统计

4.4.4 时间序列

第5章数据可视化

5.1 可视化图表应用简介

5.2 Bokeh与Pycharm、Jupyter交互生成本地常规图表

5.3 文本类词频统计生成自定义词云

5.4 地理坐标显示生成热力云图

5.5 数据在线动态可视化

4.5.1 Flask Web开发

4.5.2 Flask Web开发在线数据展示页面

4.5.3 Restful API接口开发

4.5.4 微信小程序开发在线数据展示页面

第6章大数据分析

6.1Sklearn简介

6.2 数据预处理

6.3 模型训练

6.4回归分析预测

6.5 时间序列预测

6.6 验证码识别

6.6.1 验证码图片采集

6.6.2 验证码图片二值化

6.6.3 聚类模型训练及测试

三、尾声

上面已经提供了菜单，

自学能力强的可以超前哦，

旨在通过实例进行总结。

系列文章均为原创，

转载请保留出处哈。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

大数据可视化交互设计中，有四种比较典型的交互模式，解决数据的复杂性问题。分别是动态改变视图、多视图关联、视图内容约减、焦点+上下文。

动态改变视图

动态改变视图：导航

动态改变视图：多属性排序

多视图关联

多视图是指将显示区域划分为多个视图或图层，是降低数据复杂性的一种方式。它包括采用同一编码方式编码多个数据子集的小多组图，以及采用不同的编码方式编码同一数据集的多样式图（多视图）。

并列放置：便于对比，但需要更大的显示空间

图层叠加：图层数量有较大的限制

概览图和细节图采用相同的编码方式，解决数据量太大显示不下的问题，解决导航方向迷失问题。

小多组图：关联显示多个数据子集与全集

多样式协调关联

视图内容约减

它有三个优点：减少显示内容、只显示最感兴趣的、用户主动过滤信息或聚合信息。

焦点+上下文（focus+contex）

将选定元素的详细信息——焦点（focus），嵌入到同一视图中的概览信息图，即上下文（contex）中。

它的优点是通过复杂的过滤和聚合组合操作，减少视图中展示的数据量；缓解标准导航技术带来的方向迷失问题；提供上下文标识来支持定位。

生活中的无处不在“大数据”实例应用

大数据技术在近年来一直在飞速的发展，目前大部分市民对于“大数据”的概念还是理解的不是很透彻，其实，在我们的日常生活当中，很多人已经利用“大数据”做了很多事情，这些都是实实在在的“大数据”实例应用。

　　1、租车应用：

　　2013年6月20日，一款由太原公交集团公司和山西移动太原分公司联手打造的便民服务工具“龙城单车”手机客户端软件正式投入使用。通过该软件，市民可实时、直观了解各个服务站点车辆存储情况，快捷、准确地找到目标站点。

　　拥有海量用户、车辆和司机以及交通轨迹，大数据对于滴滴而言，已经远离纸上谈兵，如何将信息推送给更适合区域内的司机、谁优先获得订单，如何给乘客和司机补贴等策略，都是要靠大数据的支持。

　　2、网上挂号：

　　众所周知，以前人们到医院挂号、求诊配药等都要一次次排队，就医难成为现代不少人的无奈。而如今，由于电子医疗时代的到来，很多百姓可以通过网上预约挂号，病人的信息也能够及时地进入信息系统形成各类诊疗数据。百姓病例记录通过医疗机构标准化，就可以形成多方位的大数据。

　　3、地图导航：

　　我们可以利用穿着的装备(如智能手表或者智能手环)收集有关我们走路或慢跑的数据，例如我们走了多少步，每天燃烧了多少卡路里，我们的睡眠模式或者其他数据，然后结合这些数据与健康记录来改善我们的健康状况。很多人的手机中都会安装高德地图、百度地图这样的APP，只要花一点流量，用户就能在地图上查看自己所处的位置，以及周围的建筑，并选择最佳的路线。用户打开手机上的地图软件，屏幕上跳出来的坐标，规划的路线，实际上都是由大数据堆成的。

　　大数据技术的飞速发展，造成了市面上的大数据开发工程师的严重紧缺。千锋大数据开发课程重拳出击，八大授课阶段，全力培养未来高端大数据人才。千锋大数据讲师团队都是拥有多年从业经验的名师，甚至于可以给上市公司BOE做大数据企业内部培训。有道是名师出高徒，老师都这么有名，学生又怎么会差呢?

关注我的人都成为了月薪5w以上的技术大牛

如果你的hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。

项目一：数据整合

称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步;有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成。未来，HBase和Phoenix在大数据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。

销售人员喜欢说“读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么(Hive模式不会看起来与你在企业数据仓库中所做的不一样)。真实的原因是一个数据湖比Teradata和Netezza公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython笔记本作为前端。

项目二：专业分析

许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险/蒙特卡罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭受一个有限的功能集(大部分是因为软件厂商不可能像专业机构那样了解的那么多)。

在Hadoop和Spark的世界，看看这些系统大致相同的数据整合系统，但往往有更多的HBase，定制非SQL代码，和更少的数据来源(如果不是唯一的)。他们越来越多地以Spark为基础。

项目三：Hadoop作为一种服务

在“专业分析”项目的任何大型组织(讽刺的是，一个或两个“数据整理”项目)他们会不可避免地开始感觉“快乐”(即，疼痛)管理几个不同配置的Hadoop集群，有时从不同的供应商。接下来，他们会说，“也许我们应该整合这些资源池，”而不是大部分时间让大部分节点处于资源闲置状态。它们应该组成云计算，但许多公司经常会因为安全的原因(内部政治和工作保护)不能或不会。这通常意味着很多Docker容器包。

我没有使用它，但最近Bluedata(蓝色数据国际中心)似乎有一个解决方案，这也会吸引小企业缺乏足够的资金来部署Hadoop作为一种服务。

项目四：流分析

很多人会把这个“流”，但流分析是不同的，从设备流。通常，流分析是一个组织在批处理中的实时版本。以反洗钱和欺诈检测：为什么不在交易的基础上，抓住它发生而不是在一个周期结束?同样的库存管理或其他任何。

在某些情况下，这是一种新的类型的交易系统，分析数据位的位，因为你将它并联到一个分析系统中。这些系统证明自己如Spark或Storm与Hbase作为常用的数据存储。请注意，流分析并不能取代所有形式的分析，对某些你从未考虑过的事情而言，你仍然希望分析历史趋势或看过去的数据。

项目五：复杂事件处理

在这里，我们谈论的是亚秒级的实时事件处理。虽然还没有足够快的超低延迟(皮秒或纳秒)的应用，如高端的交易系统，你可以期待毫秒响应时间。例子包括对事物或事件的互联网电信运营商处理的呼叫数据记录的实时评价。有时，你会看到这样的系统使用Spark和HBase——但他们一般落在他们的脸上，必须转换成Storm，这是基于由LMAX交易所开发的干扰模式。

在过去，这样的系统已经基于定制的消息或高性能，从货架上，客户端-服务器消息产品-但今天的数据量太多了。我还没有使用它，但Apex项目看起来很有前途，声称要比Storm快。

项目六：ETL流

有时你想捕捉流数据并把它们存储起来。这些项目通常与1号或2号重合，但增加了各自的范围和特点。(有些人认为他们是4号或5号，但他们实际上是在向磁盘倾倒和分析数据。)，这些几乎都是Kafka和Storm项目。Spark也使用，但没有理由，因为你不需要在内存分析。

项目七：更换或增加SAS

SAS是精细，是好的但SAS也很贵，我们不需要为你的数据科学家和分析师买存储你就可以“玩”数据。此外，除SAS可以做或产生漂亮的图形分析外，你还可以做一些不同的事情。这是你的“数据湖”。这里是IPython笔记本(现在)和Zeppelin(以后)。我们用SAS存储结果。

当我每天看到其他不同类型的Hadoop，Spark，或Storm项目，这些都是正常的。如果你使用Hadoop，你可能了解它们。几年前我已经实施了这些项目中的部分案例，使用的是其它技术。

如果你是一个老前辈太害怕“大”或“做”大数据Hadoop，不要担心。事情越变越多，但本质保持不变。你会发现很多相似之处的东西你用来部署和时髦的技术都是围绕Hadooposphere旋转的。

好程序员特训营，致力于移动互联网精英人才培养，开设全栈HTML5+、大数据+人工智能、JavaEE+云数据等多门课程。学员入职阿里、新浪、百度、搜狗等知名企业屡见不鲜，成就学员转行、就业，拿高薪进名企的梦想。大数据+人工智能课程12月18日开班在即，现报名免费试学30天，学费优惠5000元。

“大数据”一词时下的热门程度无需赘言，这一两年来互联网相关的任何活动、会议必不可少“大数据”板块。刚刚结束的第13届“中国互联网大会”也专设了大数据论坛。

对于任何一个大数据的从业者或初接触者，或许都会有个共同的感触：大数据很有用！大数据该怎么用？

关于大数据的著作和文章铺天盖地，似乎也共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都还在起步阶段小步前行。

大数据时代，几个例子告诉你什么是大数据

工具类厂商蓄意炒作大数据，

以达到售卖产品的目的，

但导致的结果是很多人对大数据这一概念云里

雾里。实际上，大数据就发生在你我身边，虽然你看不到它，但它却时时影响着我们的生活。

现阶段，和大数据相关的企业有三种。一种是工具类公司，他们宣传得最卖力，并且把大数据吹

出了泡沫，原因是它们希望把自己的产品卖给企业；一种是依托于大数据从事咨询服务类的企业；还

有一种就是实实在拥有大数据的公司，它们和我们休戚相关，也就是下面的小故事所要阐述的内容。

第一个故事，百货公司知道女孩怀孕

美国的

Target

百货公司上线了一套客户分析工具，

可以对顾客的购买记录进行分析，

并向顾客进

行产品推荐。一次，他们根据一个女孩在

Target

连锁店中的购物记录，推断出这一女孩怀孕，然后开

始通过购物手册的形式向女孩推荐一系列孕妇产品。

这一作法让女孩的家长勃然大怒，

事实真相是女

孩隐瞒了怀孕消息。

点评：看似杂乱无章的购买清单，经过对比发现其中的规律和不符合常规的数据，往往能够得出

一些真实的结论。这就是大数据的应用。

第二个故事，搜狗热词里的商机

王建锋是某综合类网站的编辑，

基于访问量的考核是这个编辑每天都要面对的事情。

但在每年的

评比中，他都号称是

PV

王。原来他的秘密就是只做热点新闻。王建锋养成了看百度搜索风云榜和搜

狗热搜榜的习惯，所以，他会优先挑选热情榜上的新闻事件来编辑整理，关注的人自然多。

点评：搜狗拥有输入法，搜索引擎，那些在输入法和搜索引擎上反复出现的热词，就是搜狗热搜

榜的来源。通过对海量词汇的对比，找出哪些是网民关注的。这就是大数据的应用。

第三个故事，阿里云知道谁需要贷款

这是阿里人讲述的一个故事。每天，海量的交易和数据在阿里的平台上跑着，阿里通过对商户最

近

100

天的数据分析，就能知道哪些商户可能存在资金问题，此时的阿里贷款平台就有可能出马，同

潜在的贷款对象进行沟通。

点评：通常来说，数据比文字更真实，更能反映一个公司的正常运营情况。通过海量的分析得出

企业的经营情况，这就是大数据的应用。

第四个故事，中移动挽留流失客户

iPhone

进入中国后，

铁杆的移动用户王永铭加入了联通合约机大军。

由于合约机承担了大量通话

内容，王永铭将全球通换成了动感地带。三个月之后，王永铭接到了中国移动的

10086

电话，向他介

绍中移动的优惠资费活动。一位移动的工作人员称，运营商会保管用户数据，如果话费锐减，基本上

就是流失先兆。

点评：给数亿用户建立一个数据库，通过跟踪用户的话费消耗情况，运营商就能知道哪些用户在

流失。这就是大数据的应用。

第五个故事：工薪阶层如何省小钱

上汽通用五菱股份有限公司的肖伟，是个不折不扣的网购专家。区别于菜市场的费力砍价，肖伟

的作法简单多了，登陆各种比价网站，然后选择最便宜的正规店下单。

点评：比价网站通过海量的产品信息抓取，比如抓京东、天猫、易购的数据，然后将价格由低到

高进行排列，这也是大数据的应用。

第六个故事：公关公司的舆情监督

这是一个离职公关人的故事。

她参与和间接参与了很多危机公关事件，

比如雷士照明的创始人股

东之争，比如罗永浩砸西门子冰箱事件。她说，她每天的事情都是上网搜索事件的热度，然后决定下

一步的动作。

点评：实际上你的每一下搜索，都是基于海量数据进行的，这实际上也是大数据的一种应用。

第七个故事：商用社交开始决定百事可乐的营销计划

这年头，广告主越来越精，他们希望花的每一分钱都有所回报。面对五花八门的营销活动，到底

哪一种才是最合适的呢？百事可乐的作法很简单，它们购买了社交信息优化推广公司

SocialFlow

的服

务，对数据进行分析，从而知道何种营销活动的传播效果更好。

点评：

广告主越来越喜欢为类似

SocialFlow

的服务付费，

基于海量数据分析然后得出结论的企业

营销行为，也是大数据应用。

第

8

个故事：每天，我们借助大数据完成微信上的互动

田宇是一个

85

后小姑娘，每天她用微信来记录心情，并且和网友分享图片，此外还有各种语音

聊天。全国有数亿像田宇一样的人在使用微信，每天都有大数据在微信这个平台上跑着。

点评：可能你不知道，但你每天都在使用和大数据相关的工具。

第九个故事：大数据解救了每一个

“

地理白痴

”

李小茗是个

“

地理白痴

”

，所以他下载了一个高德地图。没有安装导航的原因，是因为这一产品付

费，且占据了超过

3G

的内存。只要花一点流量，李小茗就能在地图上查看自己所处的位置，以及周

围的建筑。

点评：虽然李小茗不知道什么是大数据，但每个在他地图屏幕上跳出来的坐标，实际上都是由大

数据堆成的。

【IT168 资讯】近些年，深度学习获得越来越多的吸引力和关注。它主要集中在机器学习的一部分：人工神经网络。本文具体解释了为什么深度学习是分析中的游戏改变者、何时使用它，以及Visual Analytics如何让业务分析师利用由(公民)数据科学家构建的分析模型。

什么是深度学习和人工神经网络?

深度学习是人工神经网络的现代流行词，它是机器学习中构建分析模型的许多概念和算法之一。一个神经网络的工作原理类似于我们从人脑中所了解到的：将非线性交互作为输入并将其传输到输出。在这儿，神经网络是利用连续学习和增加输入和输出之间计算节点的知识。

神经网络在大多数情况下是监督算法，它使用历史数据集来学习相关性以预测未来事件的输出，例如，用于交叉销售或欺诈检测。无监督的神经网络可以用来发现新的模式和异常。在某些情况下，结合监督和非监督算法是有意义的。

神经网络被用于研究数十年，包括各种复杂的概念，如递归神经网络(RNN)、卷积神经网络(CNN)和自动编码器。然而，今天的强大且具有弹性的计算基础架构与其他技术(如具有数千个内核的图形处理单元(GPU))相结合，可以用更深层次的层数进行更强大的计算。因此，术语称为“深度学习”。

以下来自TensorFlow Playground的图片展示了一个易于使用的环境，其中包含各种测试数据集、配置选项和可视化，以学习和理解深度学习和神经网络：

如果您想深入了解深度学习和神经网络的细节，我推荐以下资源：

·“深度学习框架解析”——一篇关于神经网络基本概念和组成部分的文章

·TensorFlow游乐场可以亲自动手操作神经网络，无需任何编码，也可在Github上使用，以建立自己的定制离线游乐场

·在Youtube上的“深度学习简化”视频系列中，对基本概念、替代算法和一些框架如H2O.ai或Tensorflow

尽管深度学习越来越受到人们的关注，但它并不是每个场景的灵丹妙药。

何时不使用深度学习?

深度学习实现了几年前在“大规模生产”中不可能实现的许多新的可能性，例如，图像分类、对象识别、语音翻译或自然语言处理(NLP)，而不是深度学习。自动特征工程的一个主要优点是，与大多数其他机器学习方案相比，这花费了大量时间和精力。

您还可以利用深度学习做出更好的决策，增加收入或降低现有(“已解决”)问题的风险，而不是使用其他机器学习算法。例子包括风险计算、欺诈检测、交叉销售和预测性维护。

但是请注意，深度学习有一些重要的缺点：

·非常昂贵，而且缓慢、计算密集，训练深度学习模型通常需要数天或数周，执行时间也比大多数其他算法会花费更多时间

·很难解释：分析模型的结果缺乏可理解性，但它又通常是法律或合规规定的关键要求

·倾向于过度配合，因此需要正规化

深度学习是解决复杂问题的理想方法，它也可以在层级属于中等的问题上超越其他算法。深度学习不应该用于简单的问题。其他算法，如逻辑回归或决策树可以更容易、更快地解决这些问题。

开源深度学习框架

神经网络大多采用各种开源实现之一。各种成熟的深度学习框架可用于不同的编程语言。

下图显示了开源深度学习框架的概述并评估了几个特征：

这些框架的共同之处在于它们是为数据科学家而建立的，即具有编程、统计、数学和机器学习经验的人物角色。请注意，编写源代码并不是一项大任务。通常，构建分析模型只需要几行代码。这与其他开发任务完全不同，例如构建Web应用程序，可能会需要在其中编写数百或数千行代码。在深度学习和一般数据科学中，理解代码背后的概念以建立一个良好的分析模型可能才是最重要的。

一些不错的开源工具，如KNIME或RapidMinerallow视觉编码可以加速开发，并鼓励市民数据科学家(即经验较少的人)学习概念并构建深度网络。这些工具使用自己的深度学习实现或其他开源库，如H2O.ai或DeepLearning4j作为嵌入式框架。

如果您不想构建自己的模型或利用现有的预先训练好的模型进行常见深度学习任务，那么您也可以查看大型云提供商的产品，例如，用于文本到语音翻译的AWS Polly，用于图像内容分析的Google Vision API或微软的 Bot Framework来构建聊天机器人。

这些技术巨头在分析文本、语音、图片和视频方面拥有多年经验，并将他们在复杂分析模型方面的经验作为云服务提供给他们，现收现付。您还可以使用自己的数据改进这些现有模型，例如训练并改善您的具体行业或场景图片的通用图片识别模型。

与视觉分析相结合的深度学习

无论你想用你最喜欢的编程语言还是一个可视化编码工具来“使用”一个框架：你需要能够根据构建的神经网络做出决定。这是视觉分析发挥作用的地方。总之，可视化分析允许任何角色在分析复杂数据集时进行数据驱动的决策，而不是倾听直觉。

业务分析师不了解深度学习的任何内容，只是利用集成分析模型来回答其业务问题。当业务分析师更改某些参数、功能或数据集时，分析模型就会在幕后应用。(公民)数据科学家也可以使用视觉分析来构建神经网络，以更详细地了解技术和非技术人员应该如何使用可视化分析来构建神经网络，从而帮助解决业务问题。甚至一些数据准备工作最好在可视化分析工具中完成。

从技术角度来看，深度学习框架(当然也可以类似于任何其他机器学习框架)以不同方式集成到可视化分析工具中。以下列表包含每种替代方案的TIBCO Spotfire示例：

·嵌入式分析：直接在分析工具中实施(自我实施或“OEM”);可以被业务分析人员使用，而不需要任何有关机器学习的知识(Spotfire：通过输入和输出数据以及群集大小的一些基本简单配置进行群集)

·本地整合：连接器可直接访问外部深度学习群集。 (Spotfire：TERR使用Ras的机器学习库，KNIME连接器直接与外部工具集成)

·框架API：通过Wrapper API以不同编程语言访问。例如，您可以将MXNet通过R或TensorFlow集成到您的可视化分析工具中。如果没有本地集成或连接器可用，则始终可以使用此选项并且是合适的。(Spotfire：通过Spotfire的TERR集成使用任何R库的MXNet?R接口)

通过分析服务器集成为服务：通过分析工具的服务器端组件间接连接外部深度学习群集，分析工具可以以类似的方式访问不同的框架(Spotfire：用于SAS或Matlab等外部分析工具的统计服务器)

云服务：访问预先训练的模型，用于图像识别、语音识别或文本处理等常见深度学习特定任务。不适用于企业的非常具体的个人业务问题。 (Spotfire：通过Spotfire?的TERR / R界面，通过REST服务向AWS，Azure，IBM，Google等公共深度学习服务提供图像识别，语音翻译或Chat Bot等服务)

所有选项的共同之处在于您需要添加一些超参数的配置，即“高级”参数，如问题类型、特征选择或正则化等级。根据集成选项的不同，这可能是非常技术性又低级别的，或者简化、降低灵活性使用业务分析人员所理解的术语。

深度学习示例：TIBCO Spotfire的自动编码器模板

让我们以神经网络的一个特定类别为例：自动编码器寻找异常。自动编码器是一种无监督神经网络，用于通过限制神经网络中隐藏层的数量来复制输入数据集。预测时会产生重建错误。重建误差越高，该数据点成为异常的可能性越高。

自动编码器的使用案例包括打击金融犯罪监控设备传感器、医疗保险索赔欺诈或检测制造缺陷。 TIBCO社区中，免费提供通用的TIBCO Spotfire模板。您可以简单地添加数据集并利用模板来使用自动编码器查找异常情况，而无需任何复杂的配置或编码。引擎盖下，模板使用H2O深度学习实施和它的R API。它在运行Spotfire的计算机上的本地实例中，您也可以查看R代码，但根本不需要使用该模板，因此也是可选的。

真实世界示例：预测性维护的异常检测

让我们列举一个将Autoencoder用于真实世界的例子。在电信公司，你必须不断分析基础设施，以发现网络中的问题。最好在失败之前发生，以便在客户发现问题之前就可以解决问题。看看下面的图片，它显示了电信网络的历史数据：　　

橙色的点是尖峰，这是基础设施技术问题的首要表现。红点显示了一个不断失败的地方，机械师必须更换部分网络，因为它不再工作。

自动编码器可用于在实际发生之前检测网络问题。 TIBCO Spotfire在后台使用H2O自动编码器来查找异常情况。如前所述，源代码相对较少。以下是使用H2O学习深度学习R API构建分析模型并检测异常情况(通过找出Autoencoder的重建错误)：

这个由数据科学家建立的分析模型被集成到TIBCO Spotfire中。业务分析师可以直观地分析历史数据和Autoencoder的见解。这种结合使数据科学家和业务分析师能够流利地合作。实施预测性维护并通过降低风险和成本创造巨大的商业价值从未如此简单。

使用流式分析将分析模型应用于实时处理

本文重点介绍如何使用数据科学框架和可视化分析构建深度学习模型。项目成功的关键在于将构建分析模型实时应用于新事件，以增加业务价值，如增加收入、降低成本或降低风险。

“如何将机器学习应用于事件处理”更详细地描述了如何将分析模型应用于实时处理。或者观看利用TIBCO StreamBase实时应用一些H2O型号的相应视频录像。最后，我们推荐学习各种流式分析框架来应用分析模型。

让我们回到Autoencoder用例来实现电信公司的预测性维护。在TIBCO StreamBase中，您可以轻松应用构建的H2O Autoencoder模型，而无需通过StreamBase进行任何重新开发 H2O连接器。您只需附加由H2O框架生成的Java代码，其中包含分析模型并编译为非常高性能的JVM字节码：

最重要的经验是：在构建分析模型之前考虑执行要求。对于延迟，你需要什么样的性能?您需要每分钟、或者几毫秒能够处理多少事件数量?您是否需要将分析模型分布到具有多个节点的群集?你多久需要改进和重新部署分析模型?您需要在项目开始时回答这些问题，以避免分析模型的双重努力和重新开发!

另一个重要的事实是，分析模型并不总是需要“非常快速或频繁执行模型的实时处理”。在上述电信公司的例子中，这些高峰和失败可能会在随后的几天甚至几周发生。因此，在许多使用案例中，因此，每天或每周应用一次分析模型就好了，而不是每一次新事件。

深度学习+视觉分析+流媒体分析=新一代大数据成功案例

深度学习允许以更高效的方式解决诸如交叉销售、欺诈检测或预测性维护等许多众所周知的问题。另外，您还可以解决其他场景，这些场景之前无法解决，例如准确高效的对象检测或语音到文本的翻译。

可视化分析是深度学习项目成功的关键组件。它简化了(公民)数据科学家对深度神经网络的开发，并允许业务分析师利用这些分析模型来发现新的见解和模式。

今天，(公民)数据科学家使用R或Python等编程语言，Theano，TensorFlow，MXNet或H2O深水等深度学习框架以及像TIBCO Spotfire这样的可视化分析工具来构建深度神经网络。将分析模型嵌入到业务分析师视图中，以便在不知道技术细节的情况下利用它。

未来，可视化分析工具可能会嵌入神经网络功能，就像今天已经嵌入了其他机器学习功能(如聚类或逻辑回归)一样。这将允许业务分析师在没有数据科学家的帮助下利用深度学习，并适用于更简单的用例。

但是，不要忘记，构建分析模型以发现洞察力只是项目的第一部分。事后部署到实时与第二步一样重要。在找到见解和将新见解应用于新事件的工具之间的良好整合可显著提高数据科学项目的上市时间和模型质量。开发生命周期是一个连续的闭环。分析模型需要在特定的序列中进行验证和重建。

大数据真的太神奇了，真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了，你要是不知道大数据这个概念，都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面十三个大数据应用案例来了解下最真实的大数据故事把，并鲜明得了解大数据在生活当中实际应用的情况。

大数据应用案例之电视媒体

　　对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不可能的事情，因为有超过上百个赛事在8000多个电视频道播出。

　　而现在市面上开发了一个可追踪所有运动赛事的应用程序RUWT，它已经可以在iOS和Android设备，以及在Web浏览器上使用，它不断地分析运动数据流来让球迷知道他们应该转换成哪个台看到想看的节目，在电视的哪个频道上找到，并让他们在比赛中进行投票。对于谷歌电视和TiVo用户来说，实际上 RUWT就是让他们改变频道调到一个比赛中。

　　该程序能基于赛事的紧张激烈程度对比赛进行评分排名，用户可通过该应用程序找到值得收看的频道和赛事。

大数据应用案例之社交网络

　　数据基础设施工程部高级主管Ghosh描绘的LinkedIn数据构建图，其中就包括hadoop战略部署。

　　五年前，LinkedIn只是一家普通的科技公司。而现在，其俨然成为一个工程强国。 LinkedIn建成的一个最重要的数据库是Espresso。不像Voldemort，这是继亚马逊Dynamo数据库之后的一个最终一致性关键值存储，用于高速存储某些确定数据，Espresso作为一个事务一致性文件存储，通过对整个公司的网络操作将取代遗留的Oracle数据库。它最初的设计就是为了提供LinkedIn InMail消息服务的可用性，该公司计划今年晚些时候将推出开源Espresso。

大数据应用案例之医疗行业

　　Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

　　在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

　　它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

　　Express Scripts就是这么一家处方药管理服务公司，目前它正在通过一些复杂模型来检测虚假药品，这些模型还能及时提醒人们何时应该停止用药。 Express Scripts能够解决该问题的原因在于所有有关数据。因为它每年管理着1.4亿处方，覆盖了一亿美国人和65,000家药店，虽然该公司是能够识别潜在问题的信号模式，但它也使用数据来尝试解决某些情况下之前曾经发现的问题。

　　同时，Express Scripts还着眼于一些事情，如他们所开处方的药物种类，甚至有人在网上谈论医生。如果一个医生的行为被标记为红色的旗帜，那么他在网络上是个好人的形象，更是你所需要的医生。

大数据应用案例之保险行业

　　保险行业并非技术创新的指示灯，然而MetLife保险公司已经投资3亿美金建立一个新式系统， 其中的第一款产品是一个基于MongoDB的应用程序，它将所有客户信息放在同一个地方。

　　MongoDB汇聚了来自70多个遗留系统的数据，并将它合并成一个单一的记录。它运行在两个数据中心的6个服务器上，目前存储了24TB的数据。这包括MetLife的全部美国客户，尽管它的目标是扩大它的国际客户和多种语言，同时也可能创建一个面向客户的版本。它的更新几乎是实时的，当新客户的数据输入时，就好像Facebook墙一样。

　　大多数疾病可以通过药物来达到治疗效果，但如何让医生和病人能够专注参加一两个可以真正改善病人健康状况的干预项目却极具挑战。安泰保险目前正尝试通过大数据达到此目的。

　　安泰保险为了帮助改善代谢综合征患者的预测，从千名患者中选择102个完成实验。在一个独立的实验室工作内，通过患者的一系列代谢综合症的检测试验结果，在连续三年内，扫描600,000个化验结果和18万索赔事件。将最后的结果组成一个高度个性化的治疗方案，以评估患者的危险因素和重点治疗方案。这样，医生可以通过食用他汀类药物及减重5磅等建议而减少未来10年内50%的发病率。或者通过你目前体内高于20%的含糖量，而建议你降低体内甘油三酯总量。

大数据应用案例之职业篮球赛

　　专业篮球队会通过搜集大量数据来分析赛事情况，然而他们还在为这些数据的整理和实际意义而发愁。通过分析这些数据，可否找到两三个制胜法宝，或者至少能保证球队获得高分? Krossover公司正致力于此。

　　在每场比赛过后，教练只需要上传比赛视频。接下来，来自Krossover团队的大学生将会对其分解。等到第二天教练再看昨晚的比赛时，他只需检查任何他想要的——数据统计、比赛中的个人表现、比赛反应等等。通过分析比赛视频，毫不夸张地分析所有的可量化的数据。

　　大数据应用案例之能源行业

　　智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

　　维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

大数据应用案例之社会生活

　　印度有一档非常受欢迎的电视节目Satyamev jayate，该节目整理并分析社会民众关于争议话题的各种意见，包括女性堕胎、种姓歧视和虐待儿童等社会热点问题，并使用这些数据来推进政治改革。

　　虽然目前只播放了13集，但是来自各方的反馈数据不容小觑。

　　-来自印度电视和世界各地的YouTube上的400万观众;

　　-超过1.2亿人在其网站、Facebook，Twitter，YouTube和移动设备上已连接Satyamev jayate;

　　-超过800万的人通过Facebook，网络注释，文本消息及电话热线等方式发送14万个回应，每周有超过10万个新观众进行回应。

大数据应用案例之公路交通

　　在洛杉矶开过车的人一定都经历过那里噩梦般的交通拥堵情况。目前政府在I-10和I-110州际公路上建立了一条了收费的快速通道。政府可通过大数据引导驾驶人员在该通道上的行驶情况，保证交通畅通。

　　施乐就是参与此次项目的公司，它的抗拥塞项目，包括用ExpressLanes、动态定价，上升的需求等等以维持某种秩序的想法。施乐公司的首席技术执行官Natesh Manikoth表示，如果司机支付给驾驶热车道(高占用收费系统)，他必须保证车速每小时45英里左右。如果交通开始拥堵，私家汽车的支付价格将上升，以减少他们进入，而将车道用于高占用率的车辆，例如公共汽车和大巴车。

　　施乐还有另一个项目在洛杉矶称为ExpressPark， 目标是让人们知道他们何时即将离开房子，在哪能找到停车场和花费金额。不仅要确保定价，同时更要确保数据实时到达用户手中。例如，应当提前40分钟告知用户停车位置。

大数据应用案例之汽车制造

　　当问起汽车的制造过程，大多数人脑子里随即浮现的是各种生产装配流水线和制造机器。然而在福特，在产品的研发设计阶段，大数据就已经对汽车的部件和功能产生了重要影响。

　　比如，福特产品开发团队曾经对SUV是否应该采取掀背式(即手动打开车后行李箱车门)或电动式进行分析。如果选择后者，门会自动打开、便捷智能，但这种方式会影响到车门开启有限的困恼。此前采用定期调查的方式并没有发现这个问题，但后来根据对社交媒体的关注和分析，发现很多人都在谈论这些问题。

大数据应用案例之零售业

　　“我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。”Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

　　零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

大数据应用案例之总统竞选

　　许多人通过Facebook更新个人状态、分享图片以及他们"喜欢"的内容。奥巴马的总统竞选运动也通过使用社交网络的各种数据功能完成了竞选，他们不仅通过社交网络寻找支持者，而且还通过社交网络召集了一批志愿军。

　　早在2006年，Facebook联合创始人，克里斯·休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在Facebook上建立个人主页，以便他们进行形象推广。2006年9月，Facebook全面开放，用户数量爆炸式增长，在年底达到1200万。这一过程恰好有利地推升了奥巴马的知名度。此后，在克里斯的辅佐下，奥巴马掀起了一系列的网络活动，在Facebook、MySpace等社交网站上发表公开演讲、推广施政理念，赢得大量网民支持，募集到5亿多美元的竞选经费。

　　最终，"黑人平民"战胜了实力雄厚的对手，成为美国历史上第一位黑人总统，之后，在第二次的选举中更获得连任。此次选举被认为是美国民主的巨大进步，而互联网则提供了前所未有的实施手段，其中尤以Facebook代表的社交网站最为突出，以至于有人戏称之为"Facebook之选"。

大数据应用案例之电子邮件

　　MailChimp的核心业务是提供电子邮件服务，它在一年内为大约300万用户发送了350亿封邮件。不过真正能体现MailChimp未来价值的则是该公司对这些邮件数据的处理和分析。

　　MailChimp的一个重要任务就是搞清楚如何帮助客户更好地了解他们所发送的信息。考虑到这一点，该公司建立了一个服务叫Wavelength，向客户展示了与他们相似的其他讯息。这个系统使得Wavelength能够储存公司数据库中每个邮件地址发生的互动。这意味着告诉了你,用户打开了什么样的邮件，何时打开，他们点击了什么链接，还有订阅了什么邮件。MailChimp也有一个功能叫做Ecommerce360，能让客户通过转换来跟踪点击。

大数据应用案例之音乐

　　十多年前，音乐元数据公司Gracenote收到来自苹果公司的神秘忠告，建议其购买更多的服务器。Gracenote照做了，而后苹果推出iTunes和iPod，Gracenote从而成为了元数据的帝国。

　　在车内听的歌曲很可能反映你的真实喜好， Gracenote就拥有此种技术。它采用智能手机和平板电脑内置的麦克风识别用户电视或音响中播放的歌曲，并可检测掌声或嘘声等反应，甚至还能检测用户是否调高了音量。这样，Gracenote可以研究用户真正喜欢的歌曲，听歌的时间和地点。

　　Gracenote拥有数百万首歌曲的音频和元数据，因而可以快速识别歌曲信息，并按音乐风格、歌手、地理位置等分类。

文章来自：中国大数据