大数据应用的关键点是数据来源、产品化和价值创造；数据资源分布不均，大数据应用在数据密集领域更易获得突破；须对不当的行业管理模式进行改革,以促进大数据在已有各个行业中应用。

肖庆文 李钰

大数据贵在应用。当前，在国家层面，国务院出台《促进大数据发展行动纲要》；在地方层面，大数据被作为区域发展战略引擎；在企业层面，各类大数据概念公司方兴未艾、蓬勃发展。我们独关注大数据应用，关注数据从哪里来、数据怎么用、成果谁买单，也就是数据来源、产品化和价值创造三个关键点。一个好的大数据应用，从技术上可能很复杂，但从业务模式上应当简单、直白、管用。我们还关注，是否存在若干“数据密集型”行业或领域，大数据应用在这些领域可能更容易开展。在产业政策方面，我们关注作为新兴业态的大数据，过去屡试不爽的做法，如给地、给钱、给项目等，是否还会继续有效？

大数据应用的三个关键点

国务院《促进大数据发展行动纲要》（简称《大数据纲要》）将大数据定位为“新一代信息技术和服务业态”，赋予大数据“推动经济转型发展”“重塑国家竞争优势”“提升政府治理能力”的战略功能，并将数据界定为“国家基础性战略资源”。在应用方面，《大数据纲要》在公共领域提出许多发展方向，如宏观调控科学化、政府治理精准化、商事服务便捷化、安全保障高效化、民生服务普惠化；在产业层面，主要按行业领域划分为工业大数据、新兴产业大数据、农业农村大数据、万众创新大数据，以及大数据产品体系和大数据产业链。这些方向，只是大数据应用的潜力和空间，能不能应用起来，能不能发挥作用，还得看有没有可行模式和实际效果。无论是在公共领域还是在产业层面，大数据应用都离不开数据来源、处理技术和方法、创造价值的模式，这是我们关注的重点。概括来说，需要回答下面三个看似简单、却是关键的问题。

（一）数据从哪里来

关于数据来源，普遍认为互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司，在搜索、社交、媒体、交易等各自核心业务领域，积累并持续产生海量数据。物联网设备每时每刻都在采集数据，设备数量和数据量都与日俱增。这两类数据资源作为大数据金矿，正在不断产生各类应用。国外关于大数据的成功经验介绍，大多是这类数据资源应用的经典案例。还有一些企业，在业务中也积累了许多数据，如房地产交易、大宗商品价格、特定群体消费信息等。从严格意义上讲，这些数据资源还算不上大数据，但对商业应用而言，却是最易获得和比较容易加工处理的数据资源，也是当前在国内比较常见的应用资源。

在国内还有一类是政府部门掌握的数据资源，普遍认为质量好、价值高，但开放程度低。《大数据纲要》把公共数据互联开放共享作为努力方向，认为大数据技术可以实现这个目标。实际上，长期以来政府部门间信息数据相互封闭割裂，是治理问题而不是技术问题。面向社会的公共数据开放愿望十分美好，恐怕一段时间内可望不可及。在数据资源方面，国内“小数据”“中数据”应用并不充分，试图一步跨入大数据时代，借机一并解决前期信息化过程中没能解决的问题，前景并不乐观。另外，由于中国互联网公司业务主要在国内，其大数据资源也不是全球性的。

数据从哪里来是我们评价大数据应用的第一个关注点。一是要看这个应用是否真有数据支撑，数据资源是否可持续，来源渠道是否可控，数据安全和隐私保护方面是否有隐患。二是要看这个应用的数据资源质量如何，是“富矿”还是“贫矿”，能否保障这个应用的实效。对于来自自身业务的数据资源，具有较好的可控性，数据质量一般也有保证，但数据覆盖范围可能有限，需要借助其他资源渠道。对于从互联网抓取的数据，技术能力是关键，既要有能力获得足够大的量，又要有能力筛选出有用的内容。对于从第三方获取的数据，需要特别关注数据交易的稳定性。数据从哪里来是分析大数据应用的起点，如果一个应用没有可靠的数据来源，再好、再高超的数据分析技术都是无本之木。

（二）数据怎么用

数据怎么用是我们评价大数据应用的第二个关注点。大数据只是一种手段，并不能无所不包、无所不用。我们关注大数据能做什么、不能做什么，现在看来，大数据主要有以下几种较为常用的功能。

追踪。互联网和物联网无时无刻都在记录，大数据可以追踪、追溯任何一个记录，形成真实的历史轨迹。追踪是许多大数据应用的起点，包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息，等等。

识别。在对各种因素全面追踪的基础上，通过定位、比对、筛选，可以实现精准识别，尤其是对语音、图像、视频进行识别，使可分析内容大大丰富，得到的结果更为精准。

画像。通过对同一主体不同数据源的追踪、识别、匹配，形成更立体的刻画和更全面的认识。对消费者画像，可以精准推送广告和产品；对企业画像，可以准确判断信用及风险。

提示。在历史轨迹、识别和画像基础上，对未来趋势及重复出现的可能性进行预测，当某些指标出现预期变化或超预期变化时给予提示、预警。以前也有基于统计的预测，大数据大大丰富了预测手段，对建立风险控制模型有深刻意义。

匹配。在海量信息中精准追踪和识别，利用相关性、接近性等进行筛选比对，更有效率地实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式的基础。

优化。按距离最短、成本最低等给定的原则，通过各种算法对路径、资源等进行优化配置。对企业而言，提高服务水平、提升内部效率；对公共部门而言，节约公共资源、提升公共服务能力。

当前许多貌似复杂的应用，大都可以细分成以上几种类型。例如，贵州推行的“大数据精准扶贫项目”，从大数据应用角度，通过识别、画像，可以对贫困户实现精准筛选和界定，找准扶贫对象；通过追踪、提示，可以对扶贫资金、扶贫行为和扶贫效果进行监控和评估；通过配对、优化，可以更好地发挥扶贫资源的作用。这些功能也并不都是大数据所特有的，只是大数据远远超出以前的技术，可以做得更强大、更精准、更快、更好。

（三）成果谁买单

成果谁买单是我们评价大数据应用的第三个也是最后一个关注点。道理很简单，不创造价值的应用不是好应用。我们关注大数据的应用是否实实在在地提升了能力、改善了绩效。如果大数据用于自身的产品设计、营销推广、资源配置，那就看企业竞争力是不是提升了，看企业最终是不是比以前更赚钱了。如果大数据用于为第三方提供服务，那就看是不是有人愿意付费、愿意持续付费。但如果是用于公共领域，还要看政府或公共部门的付费值不值，不仅仅是从出资方的视角看值不值，还要从老百姓的视角看值不值。

当我们面对一项大数据应用时，只要简单问一问上面三个问题——数据从哪里来、数据怎么用、成果谁买单，就能揭开许多“伪装”。当然，如果经得起上述“大数据三问”，也并非一定算得上优秀，却也离优秀的大数据应用不远了。

寻找数据密集型领域

既然大数据被视为一种资源，那就要考虑资源分布的问题。一般而言，资源分布是极不均匀的，如水、矿产、耕地、能源等自然资源；人力资源和知识的分布更是不均。大数据是否也存在分布不均的问题？发展大数据产业是否真的能弯道超车？这些问题值得深入思考。

与可以探测的自然资源不同，数据资源分布难以定位和刻画。不过，可以用大数据人力资源分布状况来间接反映大数据应用在地区、行业间的差异，哪些行业、哪些地区大数据人力资源密集，这些行业和地区就可以看作是数据密集的。

我们对两家主流招聘网站“前程无忧”和“智联招聘”2014年下半年以来发布的招聘信息进行筛选，得到两家网站两年来共发布相关信息涉及企业22.7万家，职位100.7万个，数据量确实足够“大”。通过分地区、分行业进行汇总分析，结果显示大数据人力资源分布极不均匀，各地区、各行业差异极大。不过，确切来说，通过招聘网站反映的是人才需求情况，并不是严格意义上的人力资源存量分布情况，但这两者是紧密相关的。

从大数据相关岗位工作地来看，北京、广东、上海三地高度密集，遥遥领先于其他地区。三地相加，发布招聘信息企业数在两家网站占到52.35%和47.48%，职位数占到61.23%和56.74%。可以推测，大数据人力资源的半壁江山都集中在这三个地方，这与我们平时的直观感受是高度一致的。在这三个地方之外，我们关心是不是地方政府重视大数据产业、将大数据作为区域经济发展引擎，就可能促进人力资源集聚，就可能超越与自己相似经济发展水平的其他地区。从数据反映情况看，至少目前还看不到这样的结果，这揭示出人力资源结构是后发地区发展大数据产业最需要弥补的短板和最难克服的困难。改变一个地方人力资源构成的难度要远远大于改变地面建筑面貌，要么需要一个长期的过程，要么需要一个独特的制度。

即便在同一省份内，大数据人力资源分布也极为不均。例如在广东，单深圳一市就大体占到了全省的一半。再加上广州，竟然能够达到九成。其他地方，即使经济实力不俗，但与深圳、广州相比，在大数据人力资源方面相差甚远。这再次表明，大数据人力资源分布是极不均匀的。显然，大数据人力资源密集地区发展大数据产业的基础要优于人力资源贫瘠的地区。

从城市排名看，北上深广可以视作大数据人力资源需求密集的一线城市，杭州、南京、成都、武汉、西安等可以看作二线城市。大数据人力资源分布与城市经济实力、活力乃至房价水平都是大体一致的。

从行业分布看，对大数据人力资源的需求分布更不均匀，主要集中在互联网、信息技术及计算机相关行业。这充分说明了大数据是互联网或IT产业的一部分，是在原有基础上的新发展。这些行业是典型的“数据密集型”行业，是大数据产业发展的摇篮。

金融是另一个特别重要的“数据密集”领域。金融行业既是产生数据尤其是有价值数据的基地，又是数据分析服务的需求方和应用地。更为重要的是，金融行业具备充足的支付能力，将是大数据产业竞争的重要战场。许多大数据是通过在金融领域的应用辐射到了各个行业。

除此之外，电信、专业服务（如咨询、人力资源、财会）、教育培训、影视媒体、网络游戏等，相对而言也是当前数据较为密集的行业。

《大数据纲要》几乎面面俱到地对所有行业和领域都规划了大数据应用的广阔前景，但数据资源分布极为不均，在“数据密集”领域的大数据应用，取得市场成功的可能性较大。

大数据需要什么样的产业政策

大数据应用需要什么样的产业政策？从应用的角度来看，大数据并非一个全新的产业，而是与已有产业融合，对已有模式的改造、升级和替代。制约大数据发展的往往并不是大数据本身，而是大数据所应用的行业和领域原本存在的问题，如行业管制、行政垄断、要素不能自由流动，等等。因此，促进大数据发展，用给地、贴钱、上项目的方法，并不能解决根本问题。要从大数据应用领域角度，对不当的行业管理模式进行改革，对既有利益格局进行调整，使大数据应用具备必要的条件。即使在企业内部，大数据应用也不仅仅是个技术问题，而是涉及业务流程重组和管理模式变革，是对企业管理能力的一个考验。

金融、电信、教育、影视媒体等“数据密集型”行业，既是大数据应用潜力巨大的领域，也是迫切推进行业改革的重点领域。另一方面，大数据的应用也可以为行业改革提供技术支撑，能以更有效的技术路线实现行业发展目标。

大数据应用需要的产业政策其实就是市场经济下各个行业发展所应有的政策，如放开准入、公平竞争、减轻企业负担、消除企业所有制歧视、消除企业规模歧视，等等。只有在一个开放的产业环境中，大数据才能在这些产业得以有效运用。一个地方若要在金融、医疗、教育等领域大力推动大数据运用，最管用的政策就是对这些行业进行有力的改革。

（本文节选自新近出版的《大数据应用蓝皮书2017》）

（肖庆文：中国发展研究基金会副秘书长；李钰：“龙信数据”创始人）

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

华灯初上的“最互联网城市”深圳。 南方日报记者 鲁力 摄

手机点一点，就能解决上下班通勤难题；眼睛眨一眨，就能办好100项政务服务；鼠标动一动，就能享受快捷的便民服务。在深圳这样一座科技创新之都，大数据、云计算、物联网、移动互联网、人工智能等新兴技术风起云涌，正在给人们的生活带来巨大改变。

深圳市可持续发展规划（2017—2030年）提出，深圳将整合全社会数据资源，提高城市服务效率，打造全程全时服务、具有更高科技含量的智慧便捷之城。智慧便捷之城究竟如何打造？生活在这样一座城市里，深圳人的生活将会发生哪些变化？

公共交通

建设智慧高效交通服务体系

穿梭在近2000平方公里面积的城市里，交通是很多深圳人每天都要面对的苦恼问题。动辄一个小时以上的通勤时间，拥挤的地铁、公交常常让人叫苦不迭。

在南山科技园片区某互联网金融企业工作的陈钰，家住龙岗区坂田，以前往返家与公司都要搭乘1小时20分钟左右的地铁，而且“经常挤不上去”。现在，他选择通过互联网巴士解决上下班通勤问题，单程只需40—50分钟，而且保证有舒适的座位。

“深圳有很多互联网巴士平台，只要提前预约就能乘车，价格比地铁还便宜。”陈钰告诉记者，他经常乘坐的互联网巴士包括深圳e巴士、嘟嘟巴士、搭对巴士等，这其中既有深圳东部公交集团等官方推出的举措，也有互联网企业在充分市场竞争中推出的平台。

深圳市可持续发展规划（2017—2030年）提出，要创新智慧交通管理服务，鼓励交通运输企业与互联网平台深度合作，为市民提供多模式个性化的交通运输服务、多方式全链条的出行信息服务。

通过互联网巴士解决上下班通勤问题，成为很多年轻白领的新潮做法，不过对于大多数人来说，地铁、公交仍是生活的常态。在交通服务体系规划领域，深圳提出要建设智慧高效的交通服务体系。坚持公交优先，构建以轨道交通为主体、多样化公交为补充的多层次一体化公共交通体系，为市民提供高品质服务。

不久前，深圳地铁10号线孖岭站—雅宝站区间隧道双线顺利贯通，为2020年全线建成通车提供重要保障。这一区间隧道下穿鸡公山，连通了原特区内外。线路建成通车后，将连通龙岗、龙华和福田，支撑深圳中部轴线快速发展。

除了10号线之外，深圳目前共有17条线路（项目）在建，建设总里程达到300公里，形成了轨道三期、四期同时推进的建设热潮。按照施工计划，地铁6、8、10号线等三期及三期修编工程土建今年完成80%，12、13、14、16号线等四期工程加快建设。预计到2020年，深圳轨道交通通车里程将超过400公里，届时轨道交通将覆盖全市核心区域，支撑东、中、西三大城市发展轴高效发展。

“建地铁就是建城市。作为城市重大基础设施和民生工程，未来5年深圳城市轨道交通建设将提质提速，以积极主动作为提升深圳城市发展水平。”深圳地铁集团董事长林茂德说。

城市基础设施事关民生福祉，事关城市长远发展竞争力。记者了解到，除轨道交通外，深圳还正加速推进机场三跑道、赣深高铁等对外交通基础设施，加快轨道三期、四期工程以及南坪三期等一批城市道路建设。

　政务服务

科技创新手段推动政务创新

如果说交通问题是“大城市病”的症状之一，那么“办事难”就是不分地域，被各地群众集中“吐槽”的问题了。如何解决群众“办事难”？深圳在深化“放管服”改革的过程中，充分利用科技创新手段推动政务创新，在智慧城市和数字政府建设方面，走在了全国前列。

深圳是全国电子信息产业的重要基地，基本形成智慧城市产业集群，“互联网+”业态不断创新。其中，软件产业产值约占全国10%，电子信息制造业产值占全国的1/7，拥有腾讯、华为、中兴等龙头企业，在物联网、大数据、云计算、人工智能、互联网金融等智慧城市产业领域创新能力强，涌现出一批创新型企业。

良好的智慧产业生态，助力深圳新型智慧城市建设。按照“集约建设，共建共享”的原则，深圳构建起包括党政机关网络平台、政务云平台在内的高效集约的基础设施支撑体系，夯实新型智慧城市建设根基。

深圳连续多年成为“最互联网城市”。截至2017年底，深圳新增光纤接入用户156.6万户，累计达453.46万户，基本实现“百兆到户，千兆到企，百米光接入”，全市信息基础设施建设实现跨越式发展；深圳基本建成覆盖全市的窄带物联网网络，形成智慧城市的感知信息传输网络，由此实现智能水表、智慧燃气的自动抄表。

记者了解到，在政务服务方面，根据有关工作方案，深圳将实现政务服务事项可100%网上申报，行政审批事项平均审批时限在法定时限基础上压缩50%以上，推进至少500个事项实现全城通办。

同时，深圳将实现100项高频服务“眨眼办”，申请人刷脸眨眼后即完成申请；自助终端机提供超过100项政府服务；100项服务主动推送办理；建设全市统一政府移动应用APP，实现政务服务贴身随行，整合超过500项服务内容。

日前，在深圳市政府召开的智慧城市暨数字政府建设工作会议上，制定了新型智慧城市建设2018年实施方案。今年深圳将通过打造一批示范应用项目，推进一批重点工程建设，力争到2018年底实现7个目标，包括政务服务“一号走遍深圳”、建成全市统一的大数据中心、扩大政府数据开放范围等具体措施。

根据正在制订并征求意见的方案，深圳提出到2020年，将实现身份证号+生物识别可办理各类公共服务。届时，深圳人有望实现“一图全面感知”“一号走遍深圳”“一键可知全局”“一体运行联动”“一站创新创业”“一屏智享生活”。

围绕“六个一”目标，深圳将重点推进高速宽带网络工程、全面感知体系工程、城市大数据工程、智慧城市运行管理工程、智慧公共服务提升工程、智慧公共安全体系工程、智慧城市治理优化工程、智慧产业发展工程、网络安全保障工程、标准规范保障工程等十大工程。

“目前国内智慧城市建设缺乏统一标准，缺乏可借鉴的标杆。”中国城市科学研究会智慧城市联合实验室首席科学家万碧玉认为，新型智慧城市首先要做好标准的体系建设，标准由行业的领军企业牵头，组织整个行业专家共同制定行业标准，然后上升为国家标准。国家试点中，深圳是引领的标杆，信息化水平全国领先，深圳作为国内基础条件最好的城市之一，理应在打造智慧城市的标准方面领跑。

　智慧民生

智慧城市建设

看得见摸得着

过去一周，深圳交警在全国率先试点的“刷脸”执法引起许多市民的关注。5月1日，这项主要针对新人及非机动车，快递及外卖等“特殊行业人群”和“失驾”人群的执法“黑科技”正式启动。一名快递小哥因骑着电动车闯红灯行驶，被路口的刷脸电子警察设备抓拍，收到了深圳首宗“刷脸”违法产生的“罚单”。

作为广东省“数字政府”综合改革试点城市之一，深圳此前召开智慧城市暨数字政府建设工作会议，指出要从数字政府、智慧民生服务抓起，从市民群众、企业反映的突出问题抓起，确保智慧城市建设看得见、摸得着。

如今，市民通过多功能警务自助服务平台，仅用5分钟就完成港澳通行证签注事项；打开手机，关注“深圳公安”微信公众号，81项个人业务和41项企业法人业务即刻映入眼帘。据了解，依托深圳公安微信公众号、门户网站等互联网途径，深圳市公安局目前已实现122项公安行政审批服务事项网上申办受理。其中48项户政业务上线，让深圳成为全国公安户政业务网上办理种类最全的城市。

近年来，深圳公共服务应用不断创新，利用大数据成功解决了市民的“小烦恼”。比如，深圳建立1500多万份健康档案，居民健康建档率达90%以上，居民健康档案实现信息共享；“健康深圳”公众号提供预约挂号、诊前咨询、费用支付、结果查看、诊后服务等移动互联网医疗服务。

“深圳在互联网医疗的应用更是比中国其它城市更为普及，并成为国内网络预约挂号量最大的城市。”深圳市政协港澳委员、普华永道中国华南区首席合伙人张展豪说。

深圳市政协委员沈丹认为，作为数字经济与智能制造的前沿城市，新阶段深圳智慧城市建设不仅有“为全国示范”的责任，同时需要“为全球实验”的精神，以数据治理的视角来审视城市管理、产业发展、服务体验和创新，以“来了就是深圳人”的理念吸收全球智慧为每一个深圳人提供独一无二的个性化服务，这是“智慧深圳”的未来方向。

■观点

深圳可建设

智慧城市生活驿站

不久前，腾讯研究院发布了《中国“互联网+”指数报告（2018）》，报告对全国351个城市的数字经济发展情况进行排名。从各省来看，广东“互联网+”指数连续3年排名第一；从城市来看，深圳高居榜首。

随着数字化进程连年向前迈步，深圳这座“最互联网城市”如何通过信息化手段解决大城市问题，又该如何利用自身优势加速智慧城市建设？

在今年的深圳两会期间，深圳市政协委员钟帆飞从日常的网购、快递等生活小事入手，提出了“智慧城市生活驿站”的概念和建议。

“与火热的电子商务、智慧生活对比，目前许多地方网络基础设施、硬件服务规划建设相对滞后。特别是，现有的小区会所、门卫岗亭、物业办公场所等无法适应居民网络生活需求”钟帆飞说道，此外，小区的市政配套服务，如水电气、电视电信、银行柜员机等，有的远离社区，有的条块分割，办事效率不高，给百姓生活带来不便。

“智慧城市生活驿站”即通过对现有小区会所、物管办公、门岗门亭，进行城市更新改造或者重新规划建设，植入快递、邮政、物流、仓储、配送、网络通信、市政服务等功能，为市民创造“一站式网络生活”。

(来源:南方日报)

大数据可以应用得更广泛，最让人津津乐道的是预测未来。比如，可以用大数据预测大气污染什么时候会到达一个危险的水平，我们可以在那之前就采取措施；可以预测犯罪活动最有可能在哪里、在什么时候集中爆发，我们可以提前部署警力；已经有不少银行在使用一种类似大数据分析的系统来决定是否要给顾客贷款。

总的来说，我认为，大数据预测在医药生物领域用途特别广泛。因为这个领域的数据实际上是无穷尽的，可惜的是我们甚至都没能将已有的数据储存下来。人类基因组包含数十亿碱基对，我们目前对这些碱基对到底在人类基因中发挥什么作用，又是如何相互作用导致了疾病实在是所知甚少。

又比如存在于人体内对人体的机能（如消化）发挥着重要作用的细菌微生物，其基因更比人的碱基对多百倍。我们不知道这些碱基对的作用，但是，我们有80亿人生活在这个地球上，这是一个巨大的潜在数据库。

大数据预测可以帮助我们找到哪些基因组合会带来疾病，而哪些组合又会提高强大的免疫力。比如，有些人对疟疾免疫，我们就可以专门研究这些人体内基因组中的碱基对的分布情况，找出其中的奥秘。

内容来源：2017年5月13日，周末去哪儿架构师李锡铭在“Java开发者大会 | Java之美【上海站】”进行《大数据平台快速解决方案中》演讲分享。

阅读字数：1891 | 4分钟阅读

摘要

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。周末去哪儿架构师李锡铭根据自己的成功经验，为我们分享大数据平台快速解决方案。

大咖演讲视频

http://t/R9an7Rr

搭建始末

当时我们确定要做大数据的时候，有两种选型。第一种选型是用用原生的、开源的大数据技术，需要自己搭建；第二种是ODPS。

后来我们选择了利用原生大数据，自己搭建一个大数据平台。因为我们已经有了一定的小积累，并且也想做一个大数据方面的技术沉淀。

在移动互联网时代，用户所有的行为、浏览、记录和收藏等所有的数据，我们都会把它拿下来分析，前段时间阶段性沉淀的东西有多少，是对之前的一个总结。这个数据还能帮助我们进行深度挖掘，之后如何对不同用户分类，做一个精准化的营销定位。

每个公司都会对这些数据进行报表级的展现。我们最开始的数据实现方式是把所有用户的行为数据放到传统的关系型数据库中，利用纯Java应用程序去读这张表。当计算某个指标的时候，还会关联若干张子表。这张主表大概有几千万，其它子表也是百万级甚至千万级的。如果单纯用Java去算的话，还要额外处理多线程。

所以我们用传统的Java纯程序+关系型数据库去处理报表的时候，在存储和计算的性能上会出现问题，以至于报表需求越来越慢。

在这样的大背景下，我们改成了使用大数据去处理这种场景。

技术概览

Hadoop是现在所有大数据计算存储的一个底层概念，后面所有衍生的大数据产品都是在Hadoop的基础上进行衍生的。

这张图是目前大数据平台的架构。

原生的Hadoop应该包含了Hdfs（文件存储）、Yarn（资源调度）和Mapreduce（算法）。

Spark是类似于Mapreduce的一个计算框架，它在很多场景中的性能会比原生的Mapreduce好很多，尤其是迭代计算的时候，会有好几个数量级的提升。

Sqoop是一个数据的迁移工具。

Hive是对底层Hdfs系统的文件抽象出一个类似Mysql的关系型数据库，但大前提是它是在Hadoop这个大的语义下的关系型数据库。

Oozie是一个任务编排和调度的框架。

Hue是大数据的管理后台。

Zookeeper是分布式协调工具。

1.组件分类

基础数据：Mysql，File。基础数据层是游离于大数据之外的概念，它是传统的数据来源。

大数据存储：Hdfs、Hive。大数据存储是最基础的文件存储，在这基础上抽象出一个大数据的关系型数据库。

大数据计算：Mapreduce、Spark、Sqoop。Mapreduce是原生的，Spark是新生的，Sqoop是数据转移的工具。

大数据协调与调度：Yarn、Zookeeper、Oozie。Yarn是原生的，Zookeeper是一个分布式保证文件原子性的工具，Oozie是调度工具。

大数据展现：Hue。Curd的展现层。

2.典型执行流程

最开始说过，我们遇到的问题是，Mysql的表存不下，计算也有问题。在这个场景下要把数据，从Mysql转到大数据，并利用大数据进行计算，最后做一个展现。

它的流程是，首先通过Sqoop把Mysql的数据一次性或是增量的同步到一张Hive表里，用Hive Sql写好查询后，本质上Hive Sql会转化成Mapreduce任务再去执行，最后数据就展现出来了。

很多时候后台的服务Control层会有入口和出口，我们需要把入口和出口的参数都记下来，方便以后排错或做统计方面的应用。

在应用程序里，把这些消息定时写到消息队列中，用Spark定时读消息队列，并把这些读取到的消息按Spark的方式做一个编程。这个任务最终会被丢到Hadoop的底层计算里，然后用Yarn去调度，计算出结果，把这个结果写入Hive，这就完成了一次流式计算。

3.Hue

这里写了一个Hive Sql，与传统Mysql的写法几乎一样。Hive Sql写好以后点执行。它的过程是把Sql首先交给Hive去跑，Hive用自己的Sql解析引擎把这个任务翻译成Mapreduce，Mapreduce再用Yarn跑在Hadoop上，最终把结果跑出来。

4.存储：Hadoop hdfs

HadoopHdfs是基础的存储层。

HadoopHdfs其实只包含了两种类型，一个是Namenode，一个是Datanode。Namenode是一个管理的节点，而datanode只负责数据的存储和冗余。

5.计算：Mapreduce&spark

Hadoop原生的计算框架是Mapreduce，而spark是一个新兴的计算框架，它更快更全面。

6.资源管理器：yarn、Apache、hadoop yarn

资源管理器的架构内包含rescource manager和node manager。Rescource manager是管理节点，node manager是work节点。

把任务丢给rescource manager，它去把任务分发给每个节点，做一些状态的变换，最后把结果通过rescource manager汇总以后，处理完毕交给客户端。

7.hive

hive的架构并不是很复杂，上层是一些用户的API、web页面和命令行。它的核心是执行引擎，把sql翻译成大数据平台可以接受的任务。底层基于存储，它可以存在hdfs上。

8.sqoop

主要用于在hadoop与传统的数据库间进行数据的传递。

9.ooize

大数据任务编排调度。

学习与使用路线

如果想要学习一些大数据相关的东西，我推荐可以先掌握一些基础，然后找一个场景套进技术里，进行快速实践。在快速实践的过程中会发现很多问题需要解决，很多知识需要补充，所以要在实践中前行，在错误中补充。

我的分享到此结束，谢谢大家！

当今，大数据的到来，已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候，大数据就无处不在。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时，大数据也向参与的各方提出了巨大的挑战:

1.众多来源的大数据如何进行采集和整理

2.复杂的大数据存储和计算平台如何搭建

3.海量的数据和相关的元数据如何进行管理

4.如何保证数据安全

5.如何进行数据分析与建模

6.如何进行可视化展现，以辅助业务决策

7.大数据涉及的角色有哪些，又需要建立哪些相关流程

很多大数据业务的建设方法，因为缺乏大数据业务的建设经验与相关的工具，导致大数据业务的效果不佳，使大数据业务沦为数据集成加BI。虽投入巨大，却未能为数据分析与决策提供支撑，与业界领先的智能化业务相距甚远。

大数据解决方案是一个一站式大数据解决方案，不仅提供了采集/存储/计算/分析工具等相关的大数据基础工具。也提供了一整套的建设流程与管理流程，使大数据业务建设真正的聚焦于数据本身。

大数据解决方案提供了一系列的大数据工具，涵盖了大数据业务建设中的各种技术。囊括了各类传统业务场景下的集成/存储/计算/分析/展现等需求。并针对新兴技术内置了数据爬虫、实时计算、机器学习等功能与模块，使用户可以根据自身需要，快速的选择合适的技术，来搭建大数据业务平台。

大数据解决方案将数据管控提升到了一个新的高度，使管控与数据业务进行融合，通过数据标准、元数据、数据质量与数据安全，使数据快速的完成资产化过程，并极大的简化了管理难度。结合国密技术与分保策略，使数据在确保安全的条件下，得到有效的利用。

大数据解决方案，经过多年的开发与验证，积累了一整套的建设方法与管理方法，对大数据业务的规划、设计、建设、使用都有完整的流程与对应管理策略。尤其在数据标准设计、元数据设计、质量管理流程等方面具有多个成功案例，使用户能够借鉴业界领先的方案与经验，快速的建设自己的大数据业务平台和管控体系。

技术创新：内嵌业界领先的大数据技术与业务分析模型

安全可靠：支持国密军密，融合分保模式，保障数据安全

业管融合：基于数据标准与元数据的管理，与业务充分融合

行业借鉴：融合多家成熟客户经验，打造创新业务模式

我们基于大数据解决方案搭建了多个行业级业务平台

1.经济时空大数据平台

基于互联网数据与国家统计数据，对北京市各区的经济发展情况进行分析和对比，并预测各类经济指标的变化，为后续的经济决策提供依据。

2.工业大数据平台

实时采集分析企业生产、销售数据，帮助工业企业更好地洞察市场及客户个性化需求，实现生产过程的全程可视化监控预测，最大限度地减少停机时间，提升产品品质，并对市场变化作出快速反应。

3.运营商大数据预测用户欠费案例

利用机器学习的方法，从用户的历史账户数据中学习用户的欠费行为习惯建立模型，准确预测用户即将发生的欠费行为。

4.智慧监所管理大数据应用

监所全局数据一屏掌控，人脸识别，被监管人员画像

我们帮你跨过数据和增长之间的鸿沟，对全渠道海量数据进行多重维度的分析、挖掘、展现，使数据驱动营销成为可能从“人”的角度进行多维度客户分析，包括客户属性、会员属性特征分析，客户画像及历史变化趋势可视化一目了然。客户分析轻松一步搞定。行为数据全捕获，多渠道行为关联打通，更加真实完整地分析客户动态特征全面掌握客户状态，意向和兴趣。关注业务及活动中转化路径的每一步转化及流失，精准聚焦核心流程，轻松定位流程中可优化的短板，提升转化率。

算法无处不在。 他们把成功者和失败者区分开来。 成功者得到工作 或是一个很好的信用卡优惠计划。 失败者甚至连面试机会都没有， 或者要为保险付更多的钱。 我们被不理解的秘密公式打分， 却并没有上诉的渠道。 这引出了一个问题： 如果算法是错误的怎么办

构建一个算法需要两个要素： 需要数据，如过去发生的事情， 和成功的定义， 你正在寻找的，通常希望得到的东西。 你可以通过观察，理解来训练算法。 这种算法能找出与成功相关的因素。 什么情况意味着成功？

其实，每个人都使用算法。 他们只是没有把它们写成书面代码。 举个例子。 我每天都用一种算法来 为我的家人做饭。 我使用的数据 就是我厨房里的原料， 我拥有的时间， 我的热情， 然后我整理了这些数据。 我不把那种小包拉面算作食物。

我对成功的定义是： 如果我的孩子们肯吃蔬菜， 这顿饭就是成功的。 这和我最小的儿子 负责做饭时的情况有所不同。 他说，如果他能吃很多 Nutella巧克力榛子酱就是成功。 但我可以选择成功。 我负责。我的意见就很重要。 这就是算法的第一个规则。

算法是嵌入在代码中的观点。 这和你认为大多数人对 算法的看法是不同的。 他们认为算法是客观、真实和科学的。 那是一种营销技巧。 这也是一种用算法来 恐吓你的营销手段， 为了让你信任和恐惧算法 因为你信任并害怕数学。 当我们盲目信任大数据时， 很多人都可能犯错。

这是凯丽·索尔斯。 她是布鲁克林的一名高中校长。 2011年，她告诉我， 她学校的老师们正在被一个复杂 并且隐秘的算法进行打分， 这个算法被称为“增值模型"。 我告诉她，“先弄清楚这个 公式是什么，然后给我看看。 我来给你解释一下。” 她说，“我寻求过这个公式， 但是教育部的负责人告诉我这是数学， 给我我也看不懂。”

更糟的还在后面。 纽约邮报提出了“信息自由法”的要求， 来得到所有老师的名字与他们的分数， 并且他们以羞辱教师的方式 发表了这些数据。 当我试图用同样的方法来获取公式， 源代码的时候， 我被告知我没有权力这么做。 我被拒绝了。 后来我发现， 纽约市压根儿没有人能接触到这个公式。 没有人能看懂。 然后，一个非常聪明的人参与了， 加里·鲁宾斯坦。 他从纽约邮报的数据中 找到了665名教师， 实际上他们有两个分数。 如果他们同时教七年级与八年级的数学， 就会得到两个评分。 他决定把这些数据绘成图表。 每个点代表一个教师。

它永远不应该被用于个人评估。 它几乎是一个随机数生成器。

但它确实被使用了。 这是莎拉·维索斯基。 她连同另外205名教师被解雇了， 都是来自华盛顿特区的学区， 尽管她的校长还有学生的父母都非常推荐她。

我知道你们很多人在想什么， 尤其是这里的数据科学家， 人工智能专家。 你在想，“我可永远不会做出 这样前后矛盾的算法。” 但是算法可能会出错， 即使有良好的意图， 也会产生毁灭性的影响。 每个人都能看到一架设计的 很糟糕的飞机会坠毁在地， 而一个设计糟糕的算法 可以持续很长一段时间， 并无声地造成破坏。

这是罗杰·艾尔斯。他在1996年创办了福克斯新闻。 公司有超过20多名女性曾抱怨过性骚扰。 她们说她们不被允许在 福克斯新闻有所成就。 他去年被赶下台，但我们最近看到 问题依然存在。 这引出了一个问题： 福克斯新闻应该做些什么改变？

如果他们用机器学习算法 取代传统的招聘流程呢？ 听起来不错，对吧？ 想想看。 数据，这些数据到底是什么？ 福克斯新闻在过去21年的申请函 是一个合理的选择。 很合理。 那么成功的定义呢？ 合理的选择将是， 谁在福克斯新闻取得了成功？ 我猜的是，比如在那里呆了四年， 至少得到过一次晋升的人。 听起来很合理。 然后这个算法将会被训练。 它会被训练去向人们 学习是什么造就了成功， 什么样的申请函在过去拥有 这种成功的定义。 现在想想如果我们把它 应用到目前的申请者中会发生什么。 它会过滤掉女性， 因为她们看起来不像 在过去取得成功的人。

算法不会让事情变得公平， 如果你只是轻率地， 盲目地应用算法。 它们不会让事情变得公平。 它们只是重复我们过去的做法， 我们的规律。 现状自动化。 如果我们有一个 完美的世界那就太好了， 但是我们没有。 我还要补充一点， 大多数公司都没有令人尴尬的诉讼， 但是这些公司的数据科学家 被告知要跟随数据， 关注它的准确性。 想想这意味着什么。 因为我们都有偏见， 这意味着他们可以编纂性别歧视 或者任何其他的偏见。

思维实验， 因为我喜欢它们： 一个完全隔离的社会—— 种族隔离存在于所有的城镇， 所有的社区， 我们把警察只送到少数族裔的社区 去寻找犯罪。 逮捕数据将会是十分有偏见的。 除此之外，我们还会寻找数据科学家 并付钱给他们来预测 下一起犯罪会发生在哪里？ 少数族裔的社区。 或者预测下一个罪犯会是谁？ 少数族裔。 这些数据科学家们 会吹嘘他们的模型有多好， 多精确， 当然他们是对的。

不过现实并没有那么极端， 但我们确实在许多城市里 有严重的种族隔离， 并且我们有大量的证据表明 警察和司法系统的数据存有偏见。 而且我们确实预测过热点， 那些犯罪会发生的地方。 我们确实会预测个人犯罪， 个人的犯罪行为。 新闻机构“人民 (ProPublica)”最近调查了， 其中一个称为 “累犯风险”的算法。 并在佛罗里达州的 宣判期间被法官采用。 伯纳德，左边的那个黑人， 10分钟得了满分。 在右边的迪伦， 10分钟得了3分。 10分代表高风险。 3分代表低风险。 他们都因为持有毒品 而被带进了监狱。 他们都有犯罪记录， 但是迪伦有一个重罪 但伯纳德没有。 这很重要，因为你的分数越高， 你被判长期服刑的可能性就越大。到底发生了什么？ 数据洗钱。 这是一个技术人员 把丑陋真相隐藏在 算法黑盒子中的过程， 并称之为客观； 称之为精英模式。 当它们是秘密的， 重要的并具有破坏性的， 我为这些算法创造了一个术语： “杀伤性数学武器”。

它们无处不在，也不是一个错误。 这些是私有公司为了私人目的 建立的私有算法。 甚至是我谈到的老师 与公共警察使用的（算法）， 也都是由私人公司所打造的， 然后卖给政府机构。 他们称之为“秘密配方（来源）”—— 这就是他们不能告诉我们的原因。 这也是私人权力。 他们利用神秘莫测的权威来获利。 你可能会想，既然所有这些都是私有的 而且会有竞争， 也许自由市场会解决这个问题。 然而并不会。 在不公平的情况下， 有很多钱可以赚。

而且，我们不是经济理性的代理人。 我们都是有偏见的。 我们都是固执的种族主义者， 虽然我们希望我们不是， 虽然我们甚至没有意识到。 总的来说，我们知道这一点， 因为社会学家会一直通过这些实验 来证明这一点， 他们发送了大量的工作申请， 都是有同样资格的候选人， 有些用白人人名， 有些用黑人人名， 然而结果总是令人失望的。

所以我们是有偏见的， 我们还通过选择收集到的数据 来把偏见注入到算法中， 就像我不选择去想拉面一样—— 我自认为这无关紧要。 但是，通过信任那些 在过去的实践中获得的数据 以及通过选择成功的定义， 我们怎么能指望算法 会是毫无瑕疵的呢？ 我们不能。我们必须检查。 我们必须检查它们是否公平。

好消息是，我们可以做到这一点。 算法是可以被审问的， 而且每次都能告诉我们真相。 然后我们可以修复它们。 我们可以让他们变得更好。 我把它叫做算法审计， 接下来我会为你们解释。

首先，数据的完整性检查。 对于刚才提到过的累犯风险算法， 数据的完整性检查将意味着 我们不得不接受这个事实， 在美国，白人和黑人 吸毒的比例是一样的， 但是黑人更有可能被逮捕—— 取决于区域，可能性是白人的4到5倍。 这种偏见在其他犯罪类别中 是什么样子的， 我们又该如何解释呢？

其次，我们应该考虑成功的定义， 审计它。 还记得我们谈论的雇佣算法吗？ 那个呆了四年的人， 然后被提升了一次？ 这的确是一个成功的员工， 但这也是一名受到公司文化支持的员工。 也就是说， 这可能会有很大的偏差。 我们需要把这两件事分开。 我们应该去看一下乐团盲选试奏， 举个例子。 这就是人们在幕后选拔乐手的地方。 我想要考虑的是 倾听的人已经 决定了什么是重要的，同时他们已经决定了 什么是不重要的， 他们也不会因此而分心。 当乐团盲选开始时， 在管弦乐队中， 女性的数量上升了5倍。

其次，我们必须考虑准确性。 这就是针对教师的增值模型 立刻失效的地方。 当然，没有一个算法是完美的， 所以我们要考虑每一个算法的误差。 出现错误的频率有多高， 让这个模型失败的对象是谁？ 失败的代价是什么？

最后，我们必须考虑 这个算法的长期效果， 与正在产生的反馈循环。 这听起来很抽象， 但是想象一下 如果脸书的工程师们之前考虑过， 并决定只向我们展示 我们朋友所发布的东西。

我还有两条建议， 一条是给数据科学家的。 数据科学家们：我们不应该 成为真相的仲裁者。 我们应该成为大社会中 所发生的道德讨论的 翻译者。

然后剩下的人， 非数据科学家们： 这不是一个数学测试。 这是一场政治斗争。 我们应该要求我们的 算法霸主承担问责。

盲目信仰大数据的时代必须结束

现在大数据和智能服务的发展已经渗透到了各行各业，这些新兴技术给社会带来巨大的变革。然而因为地域的问题，我国的贫富差距依旧很大，很多学者声称新技术的发展，会使这个问题得到解决。

发展至今，大数据已经经历了十年的风雨历程，目前最火的人工智能，也要依托这项技术。这项技术也已经渗透到了各行各业，并且在每个行业内部，都有一个良好的发展。

如今发展不发达的地区在接受云计算之后，可能会渐渐数字化，在一定程度上将会追上发展较快地区的脚步，随着网络技术的发展，很多地方也会越来越均衡，越来越健康。

大数据一开始是由元数据发展而来的概念，元数据就是通过对信息本身的描述，使得信息可以结构化，信息化。对于一些非结构化，可不可量化的对象，结构化的数据可以将信息做出快速的计算和判断。

一开始的时候，这项技术是用在辅助市场人员做出判断，过去的调研人员比较辛苦，所以这项技术的产生，大大节省了时间。现在的调查方式，只要通过用户的数据，和行为，就可以对用户的喜好分析出来。

对于产品设计来说，这些数据非常重要，如果是完整的数据，可以更好的让产品制造者做出用户更加满意的产品。在数据的质量数量达到一定的程度时，这项技术就不仅仅是辅助作用，而是成为了有价值的信息。

这项技术本身成为了一个产品，可以给你最有价值的内容。这些数据可以对各领域的市场，做出最精确的报告。作为数据的持有者，可以通过消费者的一些信息对消费者的行为产生推断。

未来我们的每一步都将会被信息记录下来，我们的行为将会变成一些数字，然后成为可以量化的数据。这个技术将会被用来，更加合理的资源配置。基于数据分析，然后进行配置优化，才是这项技术的真正价值。

这项技术也不会只停留在分析的阶段，而是落实到各个行业，发挥着重要的价值。海量的数据分析，给我们提供了一套更为可靠的决策依据。这项技术还可以使得网站的变现效率提高，节约消费者的购物精力。比如在网站中寻找自己喜欢的书籍，就是一个很好的例子，在你点击去之后，会发现，网站已经将你感兴趣的东西，放在你的眼前了。

对许多行业来说,大数据不再是“大忽悠”,其应用意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。

未来几年,全球数据量将呈指数级增长。据国际数据公司(IDC)统 计,全球数据总量预计2020年达到44ZB,中国数据量将达到8060EB,占全球 数据总量的18%。

如今,大数据已成为一项业务上优先考虑的工作任务,因为它能够对全 球整合经济时代的商务产生深远的影响。除了为应对长期存在的业务挑战提 供解决方案之外,大数据还为流程、组织、整个行业、甚至社会本身的转型 激发了许多新的方式。研究表明,72%的企业首选大数据应用需求是基于客 户行为分析的大数据营销,其次产品创新、风险预测、供应链管理、客户服 务等也是企业优先考虑的大数据应用。

传统的拍脑袋的决策方式和营销手段,对大数据时代消费模式的战略决策 已经不再那么适用,尤其是越到后来,市场、媒体、渠道成本就越高,企业所 换取的收益越来越少。那么,如何才能在新时代里,寻找到投资和回报的平衡 点,就需要利用大数据去预测消费者的行为,提高其购买力,从而获得利益。

大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是 要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测 事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一 样,没有本质变化,所以商家会比消费者更了消费者的行为。

沃尔玛是数据挖掘分析领域的先行者,建立了全新超大数据中心,利用 大数据技术和方法使得自己可以更好地优化物流、商品陈列和价格,还能够 对客户行为做出预测,巧妙利用顾客数据实现盈利增长的有效经验,推出有 前瞻性的促销。相类似的是,银行业、航空业、汽车业而今也在使用大数据 技术和方法来推进营销预测,这些行业中也不存在所谓线上渠道和线下渠道 之争,企业可以根据规划需要灵活投入,并捕捉实时数据进行动态调整。

《大数据变革:让客户数据驱动利润奔跑》一书的作者指出,包括已知行 为动机和必要的实际客户行为数据的细粒化市场图景,可以为企业提供更广泛 且有数据支持的客户价值理解,企业将可能因此实现恰当的、有针对性的向上 和交叉销售,促成替代效应,缩短客户数据反馈至研发和制造等环节的周期。 客户数据带来更多的客户价值,指的是数据能够帮助企业较为精准地找到单个 客户层级所处的市场,留住客户,促进客户的推荐,降低营销成本。

Automercados Plaza’s是委内瑞拉的一个家族式食品连锁店,拥有超过6TB 产品和客户数据,分布在不同系统和数据库中。因此,公司难以轻松地评估每个商店的运行情况,而且高管 知道他们需要从数据中获得 宝贵的洞察力。

Automercados Plaza’s公 司CIO Jesus Romero说:“在 定价、库存、销售、配送和 销售方面,我们面临着严重 的混乱。我们拥有近2000万美 元的库存,而且我们追踪不 同系统中的相关信息,并且 手动进行编辑。我们需要一 个整合的视图,以确切地了 解我们拥有什么。”

通过整合企业内的信息,这家食品连锁店的收入增加了近30%,年利 润提高了700万美元。Romero先生将这些成绩归功于更好的库存管理以及更 快适应不断变化的市场形势的能力。例如,公司避免了大约35%的产品的损 失,因为公司能够提前安排降价,在食物变质前将其销售出去。

一些成熟的企业可能会发现他们很难摆脱根深蒂固的做事方式,而初创 企业却有能力创造新的商业模式。

——免费数据收集器和聚合器:社交数据流服务提供商Gnip公司,通过 各种渠道收集数据,大部分都是免费的,然后对数据进行过滤和完善,并根 据客户需要的格式向他们提供数据。

——数据分析服务:这些公司通常为客户提供分析数据的服务,这些数 据通常是由客户提供的。例如Sendify公司,为企业提供实时的调用者情报, 所以当有电话打进时他们看到打电话的人的很多相关的附加信息,这会帮助 企业增加他们的销售机会。

——数据生成和分析:公司通过众包、智能手机或其他传感器生成自己的数 据,他们也提供分析服务。这个例子包括GoSquared Mixpanel和Spinnakr公司, 他们通过使用一个跟踪代码在他们客户的网站上收集数据,分析数据并使用web界面提供报告。

——免费数据知识发现:这个模式是免费提供数据和分析。例如,Gild公司通过自动评估应聘者发布的代码并进行打分,来帮助企业招聘开发人员。

——数据集成服务:这些公司从多个内部源获取数据并对数据进行汇总, 然后通过一系列用户友好、通常是可视化界面,将结果反馈给用户。在教育领域,从多个教育项目和网站汇总的数据时刻帮助教师监控学生的表现。

——多源数据混聚和分析:这些公司将客户提供的数据进行汇总,大多是 免费的数据源,并对客户数据进行分析,以丰富或基准数据。例如welovroi是 一个基于网络的数字营销公司,监控和分析工具能够使企业跟踪大量不同指标。它还能集成外部数据,并保证营销活动的成功的基准测试数据。

好产品是运营出来的,互联网产品需要不断运营、持续打磨。产品运营 的目的是为了扩大用户群、提高用户活跃度、寻找合适的商业模式并增加收 入。成功的互联网运营要做到精细化运营,成功的精细化运营需要大数据支 撑。大数据和互联网思维在此方面关联度最高。所以,企业在大数据的应用 场景上,一定是要优先考虑如何通过大数据进行精细化运营,以驱动更好的 运营效率和效果的提升。

欺诈是全球各地的保险公司面临的一个切实挑战。无论是大规模欺诈, 例如纵火,或者涉及到较小金额的索赔,例如虚报价格的汽车修理账单,欺 诈索赔每年可使企业支付数百万美元的费用,而且成本会以更高保费的形式转嫁给客户。保险公司不断应对欺诈,但法律诉讼和私人调查等传统方法不 仅费时,而且要支付高昂的费用。

作为南非最大的短期保险提供商,Santam切实感到保险欺诈的严重性。 欺诈损失占Santam客户每年保费的6%至10%。欺诈还有另外一个后果——运 行效率低下。由于代理必须处理并调查高风险和低风险索赔,所有索赔至少 需要三天才能解决,而且Santam开始感觉到,公司在客户服务方面的良好声 誉在客户希望快速获得结果的时代受到了损害。

通过采用先进的分析解决方案从收到的索赔中获取数据,Santam有能力 及早发现欺诈,根据已经确定的风险因素评估每个索赔,并且将索赔划分为 五个风险类别,并将可能的欺诈索赔和更高风险与低风险案例区分开。借助 新系统,公司不仅节省了数百万元的保险欺诈损失,而且显著缩短了低风险 索赔的处理时间,最终使某些客户的处理在不到一个小时内即可完成。在实 施后的前几个月内,Santam还发现了一个著名的汽车保险欺诈团伙。大数 据、预测分析和风险划分帮助公司识别出了导致欺诈监测的模式。

受应对业务挑战这一需求的推动,并且根据不断进步的技术和数据不断变化的特点,企业已经开始更深入地考察大数据的潜在收益。为了从大数据中获取更多价值,IBM商业价值研究院为企业实施大数据举措提供了如下的建议。

以客户为中心推动初始举措

最初的大数据举措必须注重能够为企业提供最大价值的领域,这一点势 在必行。对许多行业来说,这意味着从客户分析开始,通过真正了解客户需 求,并预测未来行为,从而为客户提供更好的服务。

全面数字化是有助于带来大数据迅猛发展的一个推动力,已经改变了个 人和组织之间的力量平衡。如果企业希望了解并向有能力的客户和市民提供 价值,他们必须集中精力将客户作为个体进行了解。企业还需要向新技术和 高级分析能力投资,以更好地了解各个客户的交互和偏好。

但是,当今的客户 ——包括最终消费者或者企业对企业客户,需要的不 仅仅是了解。要想有效地培养与客户之间有意义的关系,企业必须以客户认 为有价值的方式与客户联系。

价值可能来自更及时、更明智或者更相关的交互;也可能来自于企业通 过改进底层运作而增强交互的整体体验。无论来自何处,分析都有助于从大 数据中获得洞察力,这对于在这些关系中达到这一深度日益重要。

制定整个企业的大数蓝图

蓝图包含企业内的大数据愿景、战略和要求,对于在业务用户的需求与 IT实施路线图之间做到协调非常关键。它实现了关于企业如何利用数据改进 业务目标的一致理解。

有效的蓝图通过确定大数据适用的关键业务挑战、规定如何使用大数据 的业务流程要求,以及包含实现该蓝图所需数据、工具和硬件的架构,从而 定义了企业内大数据的范围。这是为指导企业以实用的方式,并以创造可持 续的商业价值为出发点,开发并实施大数据解决方案而制定蓝图的基础。

从现有数据开始,实现近期目标

要实现近期目标,同时为持续开展大数据项目创造发展动力和专业知 识,企业必须采取实用的方法。我们的调研表明,要开始寻求新的洞察力, 最具逻辑性和性价比的地点就是企业内部。

从内部着眼允许企业利用现有数据、软件和技能,提供近期业务价值, 并且在考虑提升现有的能力而处理更复杂的数据来源和类型之前积累重要的 经验。大多数企业希望通过这样做而充分利用现有存储库中的信息,同时扩 展其数据仓库,以处理更大数量和更多类型的数据。

根据业务优先级逐步建立分析能力

在世界范围内,越来越多的分析工具使企业目不暇接,同时企业也面临着分析技能的严重缺乏。大数据效率取决于消除这一巨大差距。简言之,企 业必须获取工具和技能。在这个过程中,随着分析、功能和IT技能的完美平 衡,预计新角色和事业模式将会出现。

关注内部分析人员的专业发展和事业进步,他们已经熟悉企业独特的业 务流程和挑战,这应是业务高管的首要任务。同时,大学和个人自身(无论什 么背景或专业)都有义务培养强大的分析技能。

基于可衡量的指标制定投资回报分析

制定综合且可行的大数据战略以及后续的路线图需要可靠且可量化的投 资回报分析。因此,一位或多位业务高管积极参与并支持这一流程非常重 要。要实现长期的成功,强大、持续的业务和IT的协作同样重要。

许多企业的投资回报分析基于以下可从大数据获得的益处:

更聪明的决策-利用新的数据源提高决策质量;

创造奇迹的决策-使大数据举措注重于那些能够提供真正差异化的领域。

这些建议中有一个基本原则:业务和IT专业人员必须在整个大数据实施过程中通力合作。最有效的大数据解决方案首先确定业务要求,然后定制基 础设施、数据源和量化分析,以支持该业务机会。

　　过去几年内，我们见证了互联网从“数据”到“大数据”的量的转变。作为拥有数据生产者和使用者双重身份的企业，正面临着时代变革所带来的各方面的挑战，无论是大公司还是小公司，或所处什么行业领域，企业所面临的困境越来越相似。

　　企业对于自己的信息知之多少？

　　这些数据来自何方？

　　如何应对爆炸式增长的数据量？

　　这些数据是否安全可靠？

　　如何使庞大繁杂的数据变得易于管理？

　　……

　　可见随着 “数字化转型”进程的推进，企业对数据的要求也随之提升，从“量”变逐渐往“质”变的方向发展。“可信任数据”（Trusted Data）将成为企业竞相争取的下一座金矿。

　　其实数据就如原油，只有经过提炼才能发挥无尽的潜能，“可信任的数据”即经过提炼后的石油，那么究竟何为“可信任数据”？从字面上理解，它主要有两层意思：

　　其一，数据完整、准确。大数据并非只是指其数据量之大，更体现在其所蕴含的价值之大。通过保证数据的完整和准确，使数据的价值得到体现，数据完整、准确是“可信任”的根基。

　　其二，可值得信赖。数据质量是确定决策所使用的数据是否可靠的一个基本考量因素。“可信任的数据”整合来自任何来源的可信数据，将其组合成有意义、有价值的信息，这样的数据是值得依赖的。

　　高质量的数据是大数据发挥效能的前提和基础，企业获取“可信任数据”，势如夺金。而通过强大的大数据分析技术是获取“可信任数据”发挥大数据价值的重要手段。想必这时候你就会问，如何获得“可信赖数据”呢？作为数据管理和分析领域的强手，IBM给出了数据收集，集成到管理整个生命周期的解决方案，帮助企业从海量数据中获得洞察，助力科学决策。

　　数据提质必经站——Information Analyzer

　　企业经常碰到几个数据质量问题，如：数据不完整，数据不一致，数据逻辑错误，数据有错误等。要想获得高质量的“可信任数据”，则必须规避这些问题。IBM Information Analyzer就很好的解决了这些问题，它就像是一个提质站，提供了数据质量评估、数据质量监控和数据规则设计与分析功能，帮助企业降低错误信息所带来的风险，保证“可信任数据”顺利交付。

　　通过 IBM InfoSphere InformationAnalyzer 软件工具实现对数据进行全面分析，包括技术层面和业务层面，体现如下：

　　标准评估：为企业数据源的结构、内容和质量建立一个全面、整体的认知。

　　数据规则：通过定制并不断地调整自定义数据质量规则来对数据进行更深入的质量验证，趋势预测和模式分析。

　　报告指标：通过对分析结果的鉴别、评估以及异常管理来限制数据质量的恶化，从而降低风险。

　　数据集成利器——DataStage +CDC

　　相信很多企业都有这么一个感觉，虽然大数据为企业机构在做商业决策等方面提供了强大的支持，但与此同时，错综复杂的数据本身对企业来讲就是一个挑战。如何将大量的结构化和非结构化数据转化成“可信任数据”是企业所急需的，IBM拥有DataStage和ChangeDataCapture（CDC）等多种数据集成解决方案正是为解决这些问题而生。通过将不同来源的数据组合成有意义、有价值的信息，帮助企业理解、清理、监视、转换和提供数据，确保信息的可信度和一致性，并对数据进行实时监管。

　　作为数据集成的两大利器，DataStage和CDC相辅相成，却又各有所长。IBM CDC是一种准确而高效的数据复制工具，可以帮助企业轻松地获取业务生产系统的增量数据；而DataStage 则是企业数据集成领域另一个专业而强大的ETL工具，拥有多处理器硬件平台的并行处理能力和可扩展的功能，可以高效批量处理海量数据。当CDC与DataStage“双剑合璧”时，就能实现快速地把业务增量数据，实时地按业务规则进行数据转换和集成处理，把最终处理结果更新到目标的分析系统中。

　　IBM DataStage 和CDC等数据集成方案适用于各个领域，尤其是银行、保险、大型制造业等行业领域。例如，华为借助DataStage ETL解决方案打通了各个业务之间的“信息孤岛”的问题；中国建设银行在建设海外开发中心的过程中，通过CDC使海外分行和北京中心建立了实时双向数据同步功能。

　　我的数据我做主——InfoSphere MDM

　　科学的决策一定是基于准确可靠的数据得出的，而想要获得“可信赖数据”，企业就需要拥有一套适合自己的数据监管方案。无论是银行、制造业、零售商或政府机构，都拥有自己的核心数据，即我们常说的主数据，一套强大的主数据管理可帮助企业创造出巨大的商业价值。IBM MDM为企业提供基于SOA 开放标准的主数据管理，可扩展的功能架构，和灵活地进行客户化定制主数据的管理方案，为所有业务部门提供及时、准确的主数据业务视图。MDM主要有三种部署方式：协作型、操作型和关联数据管理，企业可根据自身属性选择使用。

　　由于缺乏全局意识，很多企业所采用的应用程序只是为支持某个业务领域的运营过程而设计的，它们拥有自己的信息技术设施，包括与应用相关的数据存储和定义，其结果就是导致同步数据变得十分复杂，维护难度不减反增，数据质量很难确保。通过集信息集成、管理和共享于一身的IBM MDM，可很好的解决这些问题，5个步骤就能达到简化结构，降低成本，改进数据监管等目标：

　　1. 建模：用灵活的数据模型定义任意类型的主数据

　　2. 识别：快速匹配和准确识别重复项目

　　3. 解决：合并以创建可靠、唯一的真实来源

　　4. 联系：揭示各类主数据之间的关系

　　5. 治理：创建、使用、管理和监控主数据

　　大数据时代，企业的战略一定是从“业务驱动”转向“数据驱动”。未来有价值的公司，一定是数据驱动的公司。在这样的时代背景下，参差不齐的数据时刻困扰着企业业务发展之路，唯有从数据的源头到管理全过程确保数据的准确可靠，才能保障企业有效地挖掘隐藏在大数据中的信息，为“我”所用。

　　大数据处理信息服务商金盛网聚WJFabric认为，大企业对于新兴领域的布局往往是超前的，但鉴于其体量及需求等原因，布局的方向更多在于对新兴行业基础设施的搭建，因此，对于行业细分领域的研究仍然是创业的重要方向。以大数据为例，IBM的布局意在为行业提供发展基础，即数据的获得及精准性的提升，本质上是一种工具式的研发，而在大数据的应用方面，如何更好地将新技术与传统行业相结合，创造出更多的价值，这是留给创业公司的发展机会。