大数据应用的关键点是数据来源、产品化和价值创造；数据资源分布不均，大数据应用在数据密集领域更易获得突破；须对不当的行业管理模式进行改革,以促进大数据在已有各个行业中应用。

肖庆文 李钰

大数据贵在应用。当前，在国家层面，国务院出台《促进大数据发展行动纲要》；在地方层面，大数据被作为区域发展战略引擎；在企业层面，各类大数据概念公司方兴未艾、蓬勃发展。我们独关注大数据应用，关注数据从哪里来、数据怎么用、成果谁买单，也就是数据来源、产品化和价值创造三个关键点。一个好的大数据应用，从技术上可能很复杂，但从业务模式上应当简单、直白、管用。我们还关注，是否存在若干“数据密集型”行业或领域，大数据应用在这些领域可能更容易开展。在产业政策方面，我们关注作为新兴业态的大数据，过去屡试不爽的做法，如给地、给钱、给项目等，是否还会继续有效？

大数据应用的三个关键点

国务院《促进大数据发展行动纲要》（简称《大数据纲要》）将大数据定位为“新一代信息技术和服务业态”，赋予大数据“推动经济转型发展”“重塑国家竞争优势”“提升政府治理能力”的战略功能，并将数据界定为“国家基础性战略资源”。在应用方面，《大数据纲要》在公共领域提出许多发展方向，如宏观调控科学化、政府治理精准化、商事服务便捷化、安全保障高效化、民生服务普惠化；在产业层面，主要按行业领域划分为工业大数据、新兴产业大数据、农业农村大数据、万众创新大数据，以及大数据产品体系和大数据产业链。这些方向，只是大数据应用的潜力和空间，能不能应用起来，能不能发挥作用，还得看有没有可行模式和实际效果。无论是在公共领域还是在产业层面，大数据应用都离不开数据来源、处理技术和方法、创造价值的模式，这是我们关注的重点。概括来说，需要回答下面三个看似简单、却是关键的问题。

（一）数据从哪里来

关于数据来源，普遍认为互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司，在搜索、社交、媒体、交易等各自核心业务领域，积累并持续产生海量数据。物联网设备每时每刻都在采集数据，设备数量和数据量都与日俱增。这两类数据资源作为大数据金矿，正在不断产生各类应用。国外关于大数据的成功经验介绍，大多是这类数据资源应用的经典案例。还有一些企业，在业务中也积累了许多数据，如房地产交易、大宗商品价格、特定群体消费信息等。从严格意义上讲，这些数据资源还算不上大数据，但对商业应用而言，却是最易获得和比较容易加工处理的数据资源，也是当前在国内比较常见的应用资源。

在国内还有一类是政府部门掌握的数据资源，普遍认为质量好、价值高，但开放程度低。《大数据纲要》把公共数据互联开放共享作为努力方向，认为大数据技术可以实现这个目标。实际上，长期以来政府部门间信息数据相互封闭割裂，是治理问题而不是技术问题。面向社会的公共数据开放愿望十分美好，恐怕一段时间内可望不可及。在数据资源方面，国内“小数据”“中数据”应用并不充分，试图一步跨入大数据时代，借机一并解决前期信息化过程中没能解决的问题，前景并不乐观。另外，由于中国互联网公司业务主要在国内，其大数据资源也不是全球性的。

数据从哪里来是我们评价大数据应用的第一个关注点。一是要看这个应用是否真有数据支撑，数据资源是否可持续，来源渠道是否可控，数据安全和隐私保护方面是否有隐患。二是要看这个应用的数据资源质量如何，是“富矿”还是“贫矿”，能否保障这个应用的实效。对于来自自身业务的数据资源，具有较好的可控性，数据质量一般也有保证，但数据覆盖范围可能有限，需要借助其他资源渠道。对于从互联网抓取的数据，技术能力是关键，既要有能力获得足够大的量，又要有能力筛选出有用的内容。对于从第三方获取的数据，需要特别关注数据交易的稳定性。数据从哪里来是分析大数据应用的起点，如果一个应用没有可靠的数据来源，再好、再高超的数据分析技术都是无本之木。

（二）数据怎么用

数据怎么用是我们评价大数据应用的第二个关注点。大数据只是一种手段，并不能无所不包、无所不用。我们关注大数据能做什么、不能做什么，现在看来，大数据主要有以下几种较为常用的功能。

追踪。互联网和物联网无时无刻都在记录，大数据可以追踪、追溯任何一个记录，形成真实的历史轨迹。追踪是许多大数据应用的起点，包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息，等等。

识别。在对各种因素全面追踪的基础上，通过定位、比对、筛选，可以实现精准识别，尤其是对语音、图像、视频进行识别，使可分析内容大大丰富，得到的结果更为精准。

画像。通过对同一主体不同数据源的追踪、识别、匹配，形成更立体的刻画和更全面的认识。对消费者画像，可以精准推送广告和产品；对企业画像，可以准确判断信用及风险。

提示。在历史轨迹、识别和画像基础上，对未来趋势及重复出现的可能性进行预测，当某些指标出现预期变化或超预期变化时给予提示、预警。以前也有基于统计的预测，大数据大大丰富了预测手段，对建立风险控制模型有深刻意义。

匹配。在海量信息中精准追踪和识别，利用相关性、接近性等进行筛选比对，更有效率地实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式的基础。

优化。按距离最短、成本最低等给定的原则，通过各种算法对路径、资源等进行优化配置。对企业而言，提高服务水平、提升内部效率；对公共部门而言，节约公共资源、提升公共服务能力。

当前许多貌似复杂的应用，大都可以细分成以上几种类型。例如，贵州推行的“大数据精准扶贫项目”，从大数据应用角度，通过识别、画像，可以对贫困户实现精准筛选和界定，找准扶贫对象；通过追踪、提示，可以对扶贫资金、扶贫行为和扶贫效果进行监控和评估；通过配对、优化，可以更好地发挥扶贫资源的作用。这些功能也并不都是大数据所特有的，只是大数据远远超出以前的技术，可以做得更强大、更精准、更快、更好。

（三）成果谁买单

成果谁买单是我们评价大数据应用的第三个也是最后一个关注点。道理很简单，不创造价值的应用不是好应用。我们关注大数据的应用是否实实在在地提升了能力、改善了绩效。如果大数据用于自身的产品设计、营销推广、资源配置，那就看企业竞争力是不是提升了，看企业最终是不是比以前更赚钱了。如果大数据用于为第三方提供服务，那就看是不是有人愿意付费、愿意持续付费。但如果是用于公共领域，还要看政府或公共部门的付费值不值，不仅仅是从出资方的视角看值不值，还要从老百姓的视角看值不值。

当我们面对一项大数据应用时，只要简单问一问上面三个问题——数据从哪里来、数据怎么用、成果谁买单，就能揭开许多“伪装”。当然，如果经得起上述“大数据三问”，也并非一定算得上优秀，却也离优秀的大数据应用不远了。

寻找数据密集型领域

既然大数据被视为一种资源，那就要考虑资源分布的问题。一般而言，资源分布是极不均匀的，如水、矿产、耕地、能源等自然资源；人力资源和知识的分布更是不均。大数据是否也存在分布不均的问题？发展大数据产业是否真的能弯道超车？这些问题值得深入思考。

与可以探测的自然资源不同，数据资源分布难以定位和刻画。不过，可以用大数据人力资源分布状况来间接反映大数据应用在地区、行业间的差异，哪些行业、哪些地区大数据人力资源密集，这些行业和地区就可以看作是数据密集的。

我们对两家主流招聘网站“前程无忧”和“智联招聘”2014年下半年以来发布的招聘信息进行筛选，得到两家网站两年来共发布相关信息涉及企业22.7万家，职位100.7万个，数据量确实足够“大”。通过分地区、分行业进行汇总分析，结果显示大数据人力资源分布极不均匀，各地区、各行业差异极大。不过，确切来说，通过招聘网站反映的是人才需求情况，并不是严格意义上的人力资源存量分布情况，但这两者是紧密相关的。

从大数据相关岗位工作地来看，北京、广东、上海三地高度密集，遥遥领先于其他地区。三地相加，发布招聘信息企业数在两家网站占到52.35%和47.48%，职位数占到61.23%和56.74%。可以推测，大数据人力资源的半壁江山都集中在这三个地方，这与我们平时的直观感受是高度一致的。在这三个地方之外，我们关心是不是地方政府重视大数据产业、将大数据作为区域经济发展引擎，就可能促进人力资源集聚，就可能超越与自己相似经济发展水平的其他地区。从数据反映情况看，至少目前还看不到这样的结果，这揭示出人力资源结构是后发地区发展大数据产业最需要弥补的短板和最难克服的困难。改变一个地方人力资源构成的难度要远远大于改变地面建筑面貌，要么需要一个长期的过程，要么需要一个独特的制度。

即便在同一省份内，大数据人力资源分布也极为不均。例如在广东，单深圳一市就大体占到了全省的一半。再加上广州，竟然能够达到九成。其他地方，即使经济实力不俗，但与深圳、广州相比，在大数据人力资源方面相差甚远。这再次表明，大数据人力资源分布是极不均匀的。显然，大数据人力资源密集地区发展大数据产业的基础要优于人力资源贫瘠的地区。

从城市排名看，北上深广可以视作大数据人力资源需求密集的一线城市，杭州、南京、成都、武汉、西安等可以看作二线城市。大数据人力资源分布与城市经济实力、活力乃至房价水平都是大体一致的。

从行业分布看，对大数据人力资源的需求分布更不均匀，主要集中在互联网、信息技术及计算机相关行业。这充分说明了大数据是互联网或IT产业的一部分，是在原有基础上的新发展。这些行业是典型的“数据密集型”行业，是大数据产业发展的摇篮。

金融是另一个特别重要的“数据密集”领域。金融行业既是产生数据尤其是有价值数据的基地，又是数据分析服务的需求方和应用地。更为重要的是，金融行业具备充足的支付能力，将是大数据产业竞争的重要战场。许多大数据是通过在金融领域的应用辐射到了各个行业。

除此之外，电信、专业服务（如咨询、人力资源、财会）、教育培训、影视媒体、网络游戏等，相对而言也是当前数据较为密集的行业。

《大数据纲要》几乎面面俱到地对所有行业和领域都规划了大数据应用的广阔前景，但数据资源分布极为不均，在“数据密集”领域的大数据应用，取得市场成功的可能性较大。

大数据需要什么样的产业政策

大数据应用需要什么样的产业政策？从应用的角度来看，大数据并非一个全新的产业，而是与已有产业融合，对已有模式的改造、升级和替代。制约大数据发展的往往并不是大数据本身，而是大数据所应用的行业和领域原本存在的问题，如行业管制、行政垄断、要素不能自由流动，等等。因此，促进大数据发展，用给地、贴钱、上项目的方法，并不能解决根本问题。要从大数据应用领域角度，对不当的行业管理模式进行改革，对既有利益格局进行调整，使大数据应用具备必要的条件。即使在企业内部，大数据应用也不仅仅是个技术问题，而是涉及业务流程重组和管理模式变革，是对企业管理能力的一个考验。

金融、电信、教育、影视媒体等“数据密集型”行业，既是大数据应用潜力巨大的领域，也是迫切推进行业改革的重点领域。另一方面，大数据的应用也可以为行业改革提供技术支撑，能以更有效的技术路线实现行业发展目标。

大数据应用需要的产业政策其实就是市场经济下各个行业发展所应有的政策，如放开准入、公平竞争、减轻企业负担、消除企业所有制歧视、消除企业规模歧视，等等。只有在一个开放的产业环境中，大数据才能在这些产业得以有效运用。一个地方若要在金融、医疗、教育等领域大力推动大数据运用，最管用的政策就是对这些行业进行有力的改革。

（本文节选自新近出版的《大数据应用蓝皮书2017》）

（肖庆文：中国发展研究基金会副秘书长；李钰：“龙信数据”创始人）

现在大数据和智能服务的发展已经渗透到了各行各业，这些新兴技术给社会带来巨大的变革。然而因为地域的问题，我国的贫富差距依旧很大，很多学者声称新技术的发展，会使这个问题得到解决。

发展至今，大数据已经经历了十年的风雨历程，目前最火的人工智能，也要依托这项技术。这项技术也已经渗透到了各行各业，并且在每个行业内部，都有一个良好的发展。

如今发展不发达的地区在接受云计算之后，可能会渐渐数字化，在一定程度上将会追上发展较快地区的脚步，随着网络技术的发展，很多地方也会越来越均衡，越来越健康。

大数据一开始是由元数据发展而来的概念，元数据就是通过对信息本身的描述，使得信息可以结构化，信息化。对于一些非结构化，可不可量化的对象，结构化的数据可以将信息做出快速的计算和判断。

一开始的时候，这项技术是用在辅助市场人员做出判断，过去的调研人员比较辛苦，所以这项技术的产生，大大节省了时间。现在的调查方式，只要通过用户的数据，和行为，就可以对用户的喜好分析出来。

对于产品设计来说，这些数据非常重要，如果是完整的数据，可以更好的让产品制造者做出用户更加满意的产品。在数据的质量数量达到一定的程度时，这项技术就不仅仅是辅助作用，而是成为了有价值的信息。

这项技术本身成为了一个产品，可以给你最有价值的内容。这些数据可以对各领域的市场，做出最精确的报告。作为数据的持有者，可以通过消费者的一些信息对消费者的行为产生推断。

未来我们的每一步都将会被信息记录下来，我们的行为将会变成一些数字，然后成为可以量化的数据。这个技术将会被用来，更加合理的资源配置。基于数据分析，然后进行配置优化，才是这项技术的真正价值。

这项技术也不会只停留在分析的阶段，而是落实到各个行业，发挥着重要的价值。海量的数据分析，给我们提供了一套更为可靠的决策依据。这项技术还可以使得网站的变现效率提高，节约消费者的购物精力。比如在网站中寻找自己喜欢的书籍，就是一个很好的例子，在你点击去之后，会发现，网站已经将你感兴趣的东西，放在你的眼前了。

内容来源：2017年5月13日，周末去哪儿架构师李锡铭在“Java开发者大会 | Java之美【上海站】”进行《大数据平台快速解决方案中》演讲分享。

阅读字数：1891 | 4分钟阅读

摘要

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。周末去哪儿架构师李锡铭根据自己的成功经验，为我们分享大数据平台快速解决方案。

大咖演讲视频

http://t/R9an7Rr

搭建始末

当时我们确定要做大数据的时候，有两种选型。第一种选型是用用原生的、开源的大数据技术，需要自己搭建；第二种是ODPS。

后来我们选择了利用原生大数据，自己搭建一个大数据平台。因为我们已经有了一定的小积累，并且也想做一个大数据方面的技术沉淀。

在移动互联网时代，用户所有的行为、浏览、记录和收藏等所有的数据，我们都会把它拿下来分析，前段时间阶段性沉淀的东西有多少，是对之前的一个总结。这个数据还能帮助我们进行深度挖掘，之后如何对不同用户分类，做一个精准化的营销定位。

每个公司都会对这些数据进行报表级的展现。我们最开始的数据实现方式是把所有用户的行为数据放到传统的关系型数据库中，利用纯Java应用程序去读这张表。当计算某个指标的时候，还会关联若干张子表。这张主表大概有几千万，其它子表也是百万级甚至千万级的。如果单纯用Java去算的话，还要额外处理多线程。

所以我们用传统的Java纯程序+关系型数据库去处理报表的时候，在存储和计算的性能上会出现问题，以至于报表需求越来越慢。

在这样的大背景下，我们改成了使用大数据去处理这种场景。

技术概览

Hadoop是现在所有大数据计算存储的一个底层概念，后面所有衍生的大数据产品都是在Hadoop的基础上进行衍生的。

这张图是目前大数据平台的架构。

原生的Hadoop应该包含了Hdfs（文件存储）、Yarn（资源调度）和Mapreduce（算法）。

Spark是类似于Mapreduce的一个计算框架，它在很多场景中的性能会比原生的Mapreduce好很多，尤其是迭代计算的时候，会有好几个数量级的提升。

Sqoop是一个数据的迁移工具。

Hive是对底层Hdfs系统的文件抽象出一个类似Mysql的关系型数据库，但大前提是它是在Hadoop这个大的语义下的关系型数据库。

Oozie是一个任务编排和调度的框架。

Hue是大数据的管理后台。

Zookeeper是分布式协调工具。

1.组件分类

基础数据：Mysql，File。基础数据层是游离于大数据之外的概念，它是传统的数据来源。

大数据存储：Hdfs、Hive。大数据存储是最基础的文件存储，在这基础上抽象出一个大数据的关系型数据库。

大数据计算：Mapreduce、Spark、Sqoop。Mapreduce是原生的，Spark是新生的，Sqoop是数据转移的工具。

大数据协调与调度：Yarn、Zookeeper、Oozie。Yarn是原生的，Zookeeper是一个分布式保证文件原子性的工具，Oozie是调度工具。

大数据展现：Hue。Curd的展现层。

2.典型执行流程

最开始说过，我们遇到的问题是，Mysql的表存不下，计算也有问题。在这个场景下要把数据，从Mysql转到大数据，并利用大数据进行计算，最后做一个展现。

它的流程是，首先通过Sqoop把Mysql的数据一次性或是增量的同步到一张Hive表里，用Hive Sql写好查询后，本质上Hive Sql会转化成Mapreduce任务再去执行，最后数据就展现出来了。

很多时候后台的服务Control层会有入口和出口，我们需要把入口和出口的参数都记下来，方便以后排错或做统计方面的应用。

在应用程序里，把这些消息定时写到消息队列中，用Spark定时读消息队列，并把这些读取到的消息按Spark的方式做一个编程。这个任务最终会被丢到Hadoop的底层计算里，然后用Yarn去调度，计算出结果，把这个结果写入Hive，这就完成了一次流式计算。

3.Hue

这里写了一个Hive Sql，与传统Mysql的写法几乎一样。Hive Sql写好以后点执行。它的过程是把Sql首先交给Hive去跑，Hive用自己的Sql解析引擎把这个任务翻译成Mapreduce，Mapreduce再用Yarn跑在Hadoop上，最终把结果跑出来。

4.存储：Hadoop hdfs

HadoopHdfs是基础的存储层。

HadoopHdfs其实只包含了两种类型，一个是Namenode，一个是Datanode。Namenode是一个管理的节点，而datanode只负责数据的存储和冗余。

5.计算：Mapreduce&spark

Hadoop原生的计算框架是Mapreduce，而spark是一个新兴的计算框架，它更快更全面。

6.资源管理器：yarn、Apache、hadoop yarn

资源管理器的架构内包含rescource manager和node manager。Rescource manager是管理节点，node manager是work节点。

把任务丢给rescource manager，它去把任务分发给每个节点，做一些状态的变换，最后把结果通过rescource manager汇总以后，处理完毕交给客户端。

7.hive

hive的架构并不是很复杂，上层是一些用户的API、web页面和命令行。它的核心是执行引擎，把sql翻译成大数据平台可以接受的任务。底层基于存储，它可以存在hdfs上。

8.sqoop

主要用于在hadoop与传统的数据库间进行数据的传递。

9.ooize

大数据任务编排调度。

学习与使用路线

如果想要学习一些大数据相关的东西，我推荐可以先掌握一些基础，然后找一个场景套进技术里，进行快速实践。在快速实践的过程中会发现很多问题需要解决，很多知识需要补充，所以要在实践中前行，在错误中补充。

我的分享到此结束，谢谢大家！

算法无处不在。 他们把成功者和失败者区分开来。 成功者得到工作 或是一个很好的信用卡优惠计划。 失败者甚至连面试机会都没有， 或者要为保险付更多的钱。 我们被不理解的秘密公式打分， 却并没有上诉的渠道。 这引出了一个问题： 如果算法是错误的怎么办

构建一个算法需要两个要素： 需要数据，如过去发生的事情， 和成功的定义， 你正在寻找的，通常希望得到的东西。 你可以通过观察，理解来训练算法。 这种算法能找出与成功相关的因素。 什么情况意味着成功？

其实，每个人都使用算法。 他们只是没有把它们写成书面代码。 举个例子。 我每天都用一种算法来 为我的家人做饭。 我使用的数据 就是我厨房里的原料， 我拥有的时间， 我的热情， 然后我整理了这些数据。 我不把那种小包拉面算作食物。

我对成功的定义是： 如果我的孩子们肯吃蔬菜， 这顿饭就是成功的。 这和我最小的儿子 负责做饭时的情况有所不同。 他说，如果他能吃很多 Nutella巧克力榛子酱就是成功。 但我可以选择成功。 我负责。我的意见就很重要。 这就是算法的第一个规则。

算法是嵌入在代码中的观点。 这和你认为大多数人对 算法的看法是不同的。 他们认为算法是客观、真实和科学的。 那是一种营销技巧。 这也是一种用算法来 恐吓你的营销手段， 为了让你信任和恐惧算法 因为你信任并害怕数学。 当我们盲目信任大数据时， 很多人都可能犯错。

这是凯丽·索尔斯。 她是布鲁克林的一名高中校长。 2011年，她告诉我， 她学校的老师们正在被一个复杂 并且隐秘的算法进行打分， 这个算法被称为“增值模型"。 我告诉她，“先弄清楚这个 公式是什么，然后给我看看。 我来给你解释一下。” 她说，“我寻求过这个公式， 但是教育部的负责人告诉我这是数学， 给我我也看不懂。”

更糟的还在后面。 纽约邮报提出了“信息自由法”的要求， 来得到所有老师的名字与他们的分数， 并且他们以羞辱教师的方式 发表了这些数据。 当我试图用同样的方法来获取公式， 源代码的时候， 我被告知我没有权力这么做。 我被拒绝了。 后来我发现， 纽约市压根儿没有人能接触到这个公式。 没有人能看懂。 然后，一个非常聪明的人参与了， 加里·鲁宾斯坦。 他从纽约邮报的数据中 找到了665名教师， 实际上他们有两个分数。 如果他们同时教七年级与八年级的数学， 就会得到两个评分。 他决定把这些数据绘成图表。 每个点代表一个教师。

它永远不应该被用于个人评估。 它几乎是一个随机数生成器。

但它确实被使用了。 这是莎拉·维索斯基。 她连同另外205名教师被解雇了， 都是来自华盛顿特区的学区， 尽管她的校长还有学生的父母都非常推荐她。

我知道你们很多人在想什么， 尤其是这里的数据科学家， 人工智能专家。 你在想，“我可永远不会做出 这样前后矛盾的算法。” 但是算法可能会出错， 即使有良好的意图， 也会产生毁灭性的影响。 每个人都能看到一架设计的 很糟糕的飞机会坠毁在地， 而一个设计糟糕的算法 可以持续很长一段时间， 并无声地造成破坏。

这是罗杰·艾尔斯。他在1996年创办了福克斯新闻。 公司有超过20多名女性曾抱怨过性骚扰。 她们说她们不被允许在 福克斯新闻有所成就。 他去年被赶下台，但我们最近看到 问题依然存在。 这引出了一个问题： 福克斯新闻应该做些什么改变？

如果他们用机器学习算法 取代传统的招聘流程呢？ 听起来不错，对吧？ 想想看。 数据，这些数据到底是什么？ 福克斯新闻在过去21年的申请函 是一个合理的选择。 很合理。 那么成功的定义呢？ 合理的选择将是， 谁在福克斯新闻取得了成功？ 我猜的是，比如在那里呆了四年， 至少得到过一次晋升的人。 听起来很合理。 然后这个算法将会被训练。 它会被训练去向人们 学习是什么造就了成功， 什么样的申请函在过去拥有 这种成功的定义。 现在想想如果我们把它 应用到目前的申请者中会发生什么。 它会过滤掉女性， 因为她们看起来不像 在过去取得成功的人。

算法不会让事情变得公平， 如果你只是轻率地， 盲目地应用算法。 它们不会让事情变得公平。 它们只是重复我们过去的做法， 我们的规律。 现状自动化。 如果我们有一个 完美的世界那就太好了， 但是我们没有。 我还要补充一点， 大多数公司都没有令人尴尬的诉讼， 但是这些公司的数据科学家 被告知要跟随数据， 关注它的准确性。 想想这意味着什么。 因为我们都有偏见， 这意味着他们可以编纂性别歧视 或者任何其他的偏见。

思维实验， 因为我喜欢它们： 一个完全隔离的社会—— 种族隔离存在于所有的城镇， 所有的社区， 我们把警察只送到少数族裔的社区 去寻找犯罪。 逮捕数据将会是十分有偏见的。 除此之外，我们还会寻找数据科学家 并付钱给他们来预测 下一起犯罪会发生在哪里？ 少数族裔的社区。 或者预测下一个罪犯会是谁？ 少数族裔。 这些数据科学家们 会吹嘘他们的模型有多好， 多精确， 当然他们是对的。

不过现实并没有那么极端， 但我们确实在许多城市里 有严重的种族隔离， 并且我们有大量的证据表明 警察和司法系统的数据存有偏见。 而且我们确实预测过热点， 那些犯罪会发生的地方。 我们确实会预测个人犯罪， 个人的犯罪行为。 新闻机构“人民 (ProPublica)”最近调查了， 其中一个称为 “累犯风险”的算法。 并在佛罗里达州的 宣判期间被法官采用。 伯纳德，左边的那个黑人， 10分钟得了满分。 在右边的迪伦， 10分钟得了3分。 10分代表高风险。 3分代表低风险。 他们都因为持有毒品 而被带进了监狱。 他们都有犯罪记录， 但是迪伦有一个重罪 但伯纳德没有。 这很重要，因为你的分数越高， 你被判长期服刑的可能性就越大。到底发生了什么？ 数据洗钱。 这是一个技术人员 把丑陋真相隐藏在 算法黑盒子中的过程， 并称之为客观； 称之为精英模式。 当它们是秘密的， 重要的并具有破坏性的， 我为这些算法创造了一个术语： “杀伤性数学武器”。

它们无处不在，也不是一个错误。 这些是私有公司为了私人目的 建立的私有算法。 甚至是我谈到的老师 与公共警察使用的（算法）， 也都是由私人公司所打造的， 然后卖给政府机构。 他们称之为“秘密配方（来源）”—— 这就是他们不能告诉我们的原因。 这也是私人权力。 他们利用神秘莫测的权威来获利。 你可能会想，既然所有这些都是私有的 而且会有竞争， 也许自由市场会解决这个问题。 然而并不会。 在不公平的情况下， 有很多钱可以赚。

而且，我们不是经济理性的代理人。 我们都是有偏见的。 我们都是固执的种族主义者， 虽然我们希望我们不是， 虽然我们甚至没有意识到。 总的来说，我们知道这一点， 因为社会学家会一直通过这些实验 来证明这一点， 他们发送了大量的工作申请， 都是有同样资格的候选人， 有些用白人人名， 有些用黑人人名， 然而结果总是令人失望的。

所以我们是有偏见的， 我们还通过选择收集到的数据 来把偏见注入到算法中， 就像我不选择去想拉面一样—— 我自认为这无关紧要。 但是，通过信任那些 在过去的实践中获得的数据 以及通过选择成功的定义， 我们怎么能指望算法 会是毫无瑕疵的呢？ 我们不能。我们必须检查。 我们必须检查它们是否公平。

好消息是，我们可以做到这一点。 算法是可以被审问的， 而且每次都能告诉我们真相。 然后我们可以修复它们。 我们可以让他们变得更好。 我把它叫做算法审计， 接下来我会为你们解释。

首先，数据的完整性检查。 对于刚才提到过的累犯风险算法， 数据的完整性检查将意味着 我们不得不接受这个事实， 在美国，白人和黑人 吸毒的比例是一样的， 但是黑人更有可能被逮捕—— 取决于区域，可能性是白人的4到5倍。 这种偏见在其他犯罪类别中 是什么样子的， 我们又该如何解释呢？

其次，我们应该考虑成功的定义， 审计它。 还记得我们谈论的雇佣算法吗？ 那个呆了四年的人， 然后被提升了一次？ 这的确是一个成功的员工， 但这也是一名受到公司文化支持的员工。 也就是说， 这可能会有很大的偏差。 我们需要把这两件事分开。 我们应该去看一下乐团盲选试奏， 举个例子。 这就是人们在幕后选拔乐手的地方。 我想要考虑的是 倾听的人已经 决定了什么是重要的，同时他们已经决定了 什么是不重要的， 他们也不会因此而分心。 当乐团盲选开始时， 在管弦乐队中， 女性的数量上升了5倍。

其次，我们必须考虑准确性。 这就是针对教师的增值模型 立刻失效的地方。 当然，没有一个算法是完美的， 所以我们要考虑每一个算法的误差。 出现错误的频率有多高， 让这个模型失败的对象是谁？ 失败的代价是什么？

最后，我们必须考虑 这个算法的长期效果， 与正在产生的反馈循环。 这听起来很抽象， 但是想象一下 如果脸书的工程师们之前考虑过， 并决定只向我们展示 我们朋友所发布的东西。

我还有两条建议， 一条是给数据科学家的。 数据科学家们：我们不应该 成为真相的仲裁者。 我们应该成为大社会中 所发生的道德讨论的 翻译者。

然后剩下的人， 非数据科学家们： 这不是一个数学测试。 这是一场政治斗争。 我们应该要求我们的 算法霸主承担问责。

盲目信仰大数据的时代必须结束

当今，大数据的到来，已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候，大数据就无处不在。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时，大数据也向参与的各方提出了巨大的挑战:

1.众多来源的大数据如何进行采集和整理

2.复杂的大数据存储和计算平台如何搭建

3.海量的数据和相关的元数据如何进行管理

4.如何保证数据安全

5.如何进行数据分析与建模

6.如何进行可视化展现，以辅助业务决策

7.大数据涉及的角色有哪些，又需要建立哪些相关流程

很多大数据业务的建设方法，因为缺乏大数据业务的建设经验与相关的工具，导致大数据业务的效果不佳，使大数据业务沦为数据集成加BI。虽投入巨大，却未能为数据分析与决策提供支撑，与业界领先的智能化业务相距甚远。

大数据解决方案是一个一站式大数据解决方案，不仅提供了采集/存储/计算/分析工具等相关的大数据基础工具。也提供了一整套的建设流程与管理流程，使大数据业务建设真正的聚焦于数据本身。

大数据解决方案提供了一系列的大数据工具，涵盖了大数据业务建设中的各种技术。囊括了各类传统业务场景下的集成/存储/计算/分析/展现等需求。并针对新兴技术内置了数据爬虫、实时计算、机器学习等功能与模块，使用户可以根据自身需要，快速的选择合适的技术，来搭建大数据业务平台。

大数据解决方案将数据管控提升到了一个新的高度，使管控与数据业务进行融合，通过数据标准、元数据、数据质量与数据安全，使数据快速的完成资产化过程，并极大的简化了管理难度。结合国密技术与分保策略，使数据在确保安全的条件下，得到有效的利用。

大数据解决方案，经过多年的开发与验证，积累了一整套的建设方法与管理方法，对大数据业务的规划、设计、建设、使用都有完整的流程与对应管理策略。尤其在数据标准设计、元数据设计、质量管理流程等方面具有多个成功案例，使用户能够借鉴业界领先的方案与经验，快速的建设自己的大数据业务平台和管控体系。

技术创新：内嵌业界领先的大数据技术与业务分析模型

安全可靠：支持国密军密，融合分保模式，保障数据安全

业管融合：基于数据标准与元数据的管理，与业务充分融合

行业借鉴：融合多家成熟客户经验，打造创新业务模式

我们基于大数据解决方案搭建了多个行业级业务平台

1.经济时空大数据平台

基于互联网数据与国家统计数据，对北京市各区的经济发展情况进行分析和对比，并预测各类经济指标的变化，为后续的经济决策提供依据。

2.工业大数据平台

实时采集分析企业生产、销售数据，帮助工业企业更好地洞察市场及客户个性化需求，实现生产过程的全程可视化监控预测，最大限度地减少停机时间，提升产品品质，并对市场变化作出快速反应。

3.运营商大数据预测用户欠费案例

利用机器学习的方法，从用户的历史账户数据中学习用户的欠费行为习惯建立模型，准确预测用户即将发生的欠费行为。

4.智慧监所管理大数据应用

监所全局数据一屏掌控，人脸识别，被监管人员画像

我们帮你跨过数据和增长之间的鸿沟，对全渠道海量数据进行多重维度的分析、挖掘、展现，使数据驱动营销成为可能从“人”的角度进行多维度客户分析，包括客户属性、会员属性特征分析，客户画像及历史变化趋势可视化一目了然。客户分析轻松一步搞定。行为数据全捕获，多渠道行为关联打通，更加真实完整地分析客户动态特征全面掌握客户状态，意向和兴趣。关注业务及活动中转化路径的每一步转化及流失，精准聚焦核心流程，轻松定位流程中可优化的短板，提升转化率。

本文选自中信书院阅读时差栏目。阅读时差动态实时同步全球前沿新知，为你打破知识的国界。

本期阅读时差为你分享的这本书是《大数据的真相》。

透过书名不难看出，本书的目的就是让读者看清楚大数据的暗黑面，从而对大数据保持清醒、客观的认识。在今天，大数据已经不再是陌生的事物，从上网购物的广告精准投放，再到驾车出行的路线规划，都可以看到大数据的身影。在大数据的支持下，人们的生活越来越便捷，越来越智能。

但是大数据的背后同样也隐藏着不为人知的阴暗面。因为大数据是依靠算法模型得来的，而算法模型是由人来设计的。所以，只要有人的参与，就势必会掺杂个人情感或认知偏见，导致得出的结论也难免会有失公允甚至还可能会带来歧视、扭曲事实、失去正义，造成不公平泛滥。

所以，如果不能对大数据加以正确的引导，则可能会带来歧视、扭曲事实、失去正义，造成不公平泛滥。只有明确地将更好的价值观加入到大数据的算法中，我们才能创造出符合道德准则的大数据模型，从而更好地为人类服务。

全文提纲

围绕算法模型中存在的阴暗面，我们来分享一下大数据滥用的“四宗罪”：

首先是偏见，看看大数据是怎样用技术包装偏见的；

第二是逐利，看看掠夺式广告是怎样兜售虚假或高价承诺的；

第三是剥削，分析大数据对底层人民的压榨式调度；

最后一个是歧视，揭露大数据是如何给民众带来不公平待遇的。

1

偏见，大数据用技术包装偏见

首先来看第一个重点内容：偏见，看看大数据是怎样用技术包装偏见的。

我们知道，大数据的基础在于数据和模型，其中模型处于主导地位，能够从海量的数据中抽离出相对有用的部分，对外部环境进行抽象概括，从而得出结论指导现实。值得注意的是，模型的本性就是简单化，不可能囊括现实世界的复杂性或者人类交流的细微差别。在人的设置和干预下，有些信息不可避免地会被遗漏或突出，从而体现为偏见。这种偏见在大数据出现之前，是体现在过程之中，而大数据出现之后，偏见就提前埋伏在算法模型里了。因此，冰冷的计算机和数据化风险模型得出的结论，虽然看起来就是一副公正无私的样子，其实是把偏见隐藏在了更深的地方。

来看一个带有种族偏见的数据模型。长期以来，种族是美国审判的一个主要因素。研究表明，在休斯顿市，对于同样罪行的犯人，检察官判非裔美国人死刑的几率比白人高三倍，判西班牙裔美国人死刑的几率比白人高四倍。为改变这种情况，美国有24个州的法院采用了一种再犯模型，帮助法官评估每一个罪犯构成的危险，减少法官的情绪和偏见所带来的影响。其中，一个叫做LSI–R的普及模型应用最为广泛。这个模型要求罪犯填写冗长的问卷调查。比如“你之前犯罪次数是多少？”“其他人对这次犯罪起了多大的作用？毒品和酒精对于你犯罪起了多大作用？”等等。

这些问题看起来很正常，没毛病，但在实际操作中却存在问题。来自有特权背景的罪犯和来自治安差的平民街区的罪犯，答案肯定不一样。

比如，同样问“你第一次遭遇警察”的原因，在舒适郊区长大的罪犯也许会告诉你这是第一次入狱，而来自平民街区的年轻的黑人男性很可能已经被警察多次拦截，即使他们什么错事也没做。

研究报告显示，14-24岁的黑人男性和拉丁美洲男性仅占该市总人口的4.7%，但他们占被警察拦截盘查总人数的40.6%。而且，那些被盘查的人中90%多都是无辜的。然而根据模型统计，经常被拦截的嫌犯判分更高，更容易被模型分类为高风险等级，从而误导法官量刑。

更严重的是，罪犯还会被问到出生和成长的环境，他们的朋友和亲戚是否有过犯罪记录等等。事实上，法官应该对所做的事情进行审判，而不是对嫌犯的身份进行审判。这些细节不应该和刑事案件或者量刑相关。

然而，在LSI-R这样的数据模型下，原本身处底层社会的有色人种受到了更加严重的种族问题。“高风险”得分等级的人很可能是失业人员，而他的许多朋友和家人都触犯过法律。而且多年和一群罪犯关在一起，又增加了他再次犯罪的可能性。等他出狱时会回到同样的贫穷社区，有了犯罪记录，找工作就更难。如果他再犯罪，再犯模型又一次成功验证。事实上，正是这一模型导致了恶性循环，且一再地自行巩固。

面对真实现状，作者禁不住提出疑问，我们是利用大数据彻底根除了人类偏见，还是只是用技术包装了人类偏见？答案其实就在眼前。

2

逐利，掠夺式广告通过大数据兜售虚假承诺

说完偏见的问题，再来看看大数据的第二宗罪，逐利，来看看掠夺式广告，怎样通过大数据精确找出弱势群体，兜售虚假或高价承诺的。

经常网上购物的朋友会发现，互联网会利用我们点击、阅读的习惯，确定偏好和模式，为我们在数百种模型中进行排名、分类以及评分。这为合法的广告奠定了强大的基础，但同时也助长了掠夺式广告的泛滥。

掠夺式广告是什么呢？

打个比方，如果人们缺钱，就提供大量高息发薪日贷款；如果他们的电脑运转缓慢，那它可能中了一个掠夺式广告携带的病毒，然后广告商提供修理服务。总的来说，在人们既有需求又很无知的任何地方，你都能看到掠夺式广告。

掠夺式广告发现不平等，并大肆利用，最终的结果是巩固了现存的社会分层，加速对穷人的掠夺。

作者认为，美国的营利性大学之所以如此繁荣，就是掠夺式广告的功劳。这些营利性大学就像江湖骗子一样，倾向于锁定最贫困地区的人，尤其是特别关注那些点击过贷款广告的人，然后利用他们的私密信息攻击他们。他们是怎样找到这些私密信息的呢？很多人在Google上搜索答案或者在填写问卷时，不知不觉中就暴露了自己的隐私。

2010年，一条引人注目的广告刊登了奥巴马总统的照片，广告词为：“奥巴马呼吁妈妈们回到学校：完成你的学位，把助学金给有资格的人。”这则广告暗示，总统签署了一项旨在让母亲重返校园的新法案。但这是一个谎言。当消费者点击这个广告时，会被问到几个问题，包括年龄和电话号码，然后就会接到一所营利性学校的电话，主动提出帮她借钱申请入学。据报道，营利性大学20%-30%的广告预算都用于开发潜在客户。大学每收到一个最有希望的学生，就支付给提供者高达150美元的费用。

美国底层40%的人口没有财富，普通家庭的负债平均为14800美元，其中大部分是利率过高的信用卡账户。而他们一直被灌输“赚钱的关键是接受教育”这样的理念。这些以盈利为目的的大学就通过大数据的模型，筛选出这些弱势群体，然后向他们承诺，只要接受教育就能够给他们一个美好未来。然而当学生入校之后，就会告知要通过各种贷款来解决学费问题，从而增加更多的债务。贫穷学生因此变得无望、绝望，怀疑教育的价值，加剧美国的贫富差距。

不幸的是，除了营利性大学，还有很多利用掠夺式广告的公司。你只需要想一下人们的痛点在哪里，就会发现广告商在哪里使用掠夺性模型。数据支持的模型在不断地筛选我们的数据，搜寻我们的习惯、意愿、忧虑和渴望，推送的每一条广告都能够锁定最有效的信息，在对的时间出现在潜在客户眼前。

精准信息触发顾客决定，从而成功地拖住又一个付费客户，使得掠夺者所花的每一分钱都能产生最大的效益。所以，站在掠夺式广告商的角度来看，穷人在搜索引擎上的查询和点过的优惠券，实际上是在呼叫特别关注。

3

剥削，大数据对底层人民的压榨式调度

大数据模型不但干预生活，还能够给工作带来重大影响，有些负面影响甚至比周扒皮的半夜鸡叫有过之而无不及。这就是大数据的第三宗罪：剥削，来看看大数据对底层人民的压榨式调度。

这主要体现在人力调度软件上。这种软件可以利用大数据分析顾客流量，精确计算出每一天、每小时他们需要多少人力，从而降低人力资源成本。比如，某天中午下雨，公园里的人可能会跑进咖啡店；每周五晚上大街上将出现更多的行人等等。软件能够根据这些情况变化合理配置人力，来匹配不断波动的需求。乍看之下，你会觉得这套机制很先进，但事实上却是一种赤裸裸的压榨。

在低效率的经营模式下，职员有可预测的工作时间和固定的闲暇时间。有些人可以在工作时间读书，甚至做研究。现在，由电脑程序进行人力配置，职员每一分钟都很忙，几乎连个人时间也都被压榨一空。2014年，《纽约时报》报道过一个单亲妈妈简奈特·纳薇欧的遭遇，她的生活被大数据监控并影响。她一边努力读大学，一边在星巴克担任咖啡师，同时还得照顾她四岁的孩子。大数据指导下的工作调整，让纳薇欧的生活陷入混乱，无法安排固定的托儿服务，只好暂停学业。

《纽约时报》这篇文章报道后几周内，遭到点名的大公司宣布将调整这种调度方式。但追踪报道显示，这些公司压根就没有信守承诺。归根结底，还是利润在作怪，像星巴克这种上市公司的商业模型，都是以提高盈利为目的的。

人力调度软件对社会同样造成了极大的影响。像纳薇欧这样的群体，因为工作时间非常不稳定，不可能回学校念书，而这又损害了她的就业前途，只能当一名供大于求的低薪劳工。于是他们会格外焦虑，睡眠不足，继而产生剧烈的情绪波动。据统计，美国死在公路上的人估计有13%是因为睡眠不足。更糟糕的是，因为这种软件是来替企业省钱的，它们往往会将员工每周工作时间限制在30小时之内，这样公司就不必为他们提供医疗保险。在这种情况下，低薪劳工永无出头之日。

4

歧视，大数据给民众带来不公平待遇

大数据不但成为资本家为虎作伥的帮凶，甚至还会加剧社会的不公。这就是大数据的第四宗罪：歧视，我们来看看大数据是如何给民众带来不公平待遇的。

现在，大多数人都相信，数据越多越好。对于大数据来说确实如此。如果只关注很少的数据，那么只能呈现出相互独立、毫无关联的点；而将更多的数据纳入模型，就能够构建出事物的整体面貌。但同时，这些大量的数据来源于规模巨大的群体，忽略了相对较少的个体。而且，这种模型使用频率越高、数据量越大，越能够增加这种不公平的待遇。

我们来看暴力犯罪的大数据模型案例。有一款软件叫做“预防政策”，原本这是一个地震预测软件，但应用到犯罪预测领域，不但能够定位犯罪最有可能发生的地方，还能预测连续犯罪。这主要是源于警察局把“轻微犯罪”的数据纳入“预防政策”这个软件中。这些数据包括天天发生的商店行窃、小额欺诈，甚至是违规停车。

英国肯特郡警察局在2013年尝试使用“预防政策”软件，确实奏效了。根据“预防政策”的指引，在指定广场巡逻的效率是随机巡逻的十倍，精确度是警方情报分析的两倍。那么，模型最擅长预测的是什么类型的犯罪呢？答案是包括随意大小便的醉汉、小偷小摸的偷车贼等等的轻微犯罪。

但最令人可悲的是，大数据勾勒出的犯罪地图证实，大部分罪行都是穷人干的。为什么会得出这样的结论呢？这里面固然有穷人的比例远高于富人的原因，同时也有数据模型和警察的原因。为了支撑大量的数据，警察就会把各种轻微犯罪录入模型，而模型又反馈出穷人犯罪的高概率。

反过来看，那些富人实施的犯罪行为都哪去了？是他们奉公守法吗？当然不是。作者写道，在本世纪头十年，金融大亨通过撒谎、欺诈几乎摧毁了全球经济，使得数以百万计的人失去了家园、工作和医疗保障，犯下了滔天罪行。但是，联邦调查局和证券交易委员会的调查人员却拿他们没有任何办法。富人们在政治家身上投入了大量资金，而且他们经营的银行直接影响到国家经济，因此受到了保护。除了一些像庞氏骗局操作者伯纳德·马多夫这样的极端犯罪，金融家不会被逮捕。更何况这个群体在2008年的市场崩盘中几乎毫发无损，现在依然逍遥法外，享受特权。

在这种情况下，尽管“预防政策”是一个非常有益、甚至高尚的软件工具，但它也成为了数学毁灭武器。“预防政策”软件授权警察局锁定穷人，拦截更多穷人，逮捕一部分穷人，把一些穷人罪犯关进监狱。现在，有了大数据的支持，警方更加捍卫了他们在这一行为的合法性，与此同时增加了办案的精确性和“科学性”。结果是，我们把贫困看作是犯罪，相信我们的工具既科学又公平。

这突出了数学毁灭武器的另一个常见特征，即往往惩罚穷人。部分原因是数学模型是用来评估数量多的人群。相反...

大数据可以应用得更广泛，最让人津津乐道的是预测未来。比如，可以用大数据预测大气污染什么时候会到达一个危险的水平，我们可以在那之前就采取措施；可以预测犯罪活动最有可能在哪里、在什么时候集中爆发，我们可以提前部署警力；已经有不少银行在使用一种类似大数据分析的系统来决定是否要给顾客贷款。

总的来说，我认为，大数据预测在医药生物领域用途特别广泛。因为这个领域的数据实际上是无穷尽的，可惜的是我们甚至都没能将已有的数据储存下来。人类基因组包含数十亿碱基对，我们目前对这些碱基对到底在人类基因中发挥什么作用，又是如何相互作用导致了疾病实在是所知甚少。

又比如存在于人体内对人体的机能（如消化）发挥着重要作用的细菌微生物，其基因更比人的碱基对多百倍。我们不知道这些碱基对的作用，但是，我们有80亿人生活在这个地球上，这是一个巨大的潜在数据库。

大数据预测可以帮助我们找到哪些基因组合会带来疾病，而哪些组合又会提高强大的免疫力。比如，有些人对疟疾免疫，我们就可以专门研究这些人体内基因组中的碱基对的分布情况，找出其中的奥秘。

对许多行业来说,大数据不再是“大忽悠”,其应用意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。

未来几年,全球数据量将呈指数级增长。据国际数据公司(IDC)统 计,全球数据总量预计2020年达到44ZB,中国数据量将达到8060EB,占全球 数据总量的18%。

如今,大数据已成为一项业务上优先考虑的工作任务,因为它能够对全 球整合经济时代的商务产生深远的影响。除了为应对长期存在的业务挑战提 供解决方案之外,大数据还为流程、组织、整个行业、甚至社会本身的转型 激发了许多新的方式。研究表明,72%的企业首选大数据应用需求是基于客 户行为分析的大数据营销,其次产品创新、风险预测、供应链管理、客户服 务等也是企业优先考虑的大数据应用。

传统的拍脑袋的决策方式和营销手段,对大数据时代消费模式的战略决策 已经不再那么适用,尤其是越到后来,市场、媒体、渠道成本就越高,企业所 换取的收益越来越少。那么,如何才能在新时代里,寻找到投资和回报的平衡 点,就需要利用大数据去预测消费者的行为,提高其购买力,从而获得利益。

大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是 要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测 事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一 样,没有本质变化,所以商家会比消费者更了消费者的行为。

沃尔玛是数据挖掘分析领域的先行者,建立了全新超大数据中心,利用 大数据技术和方法使得自己可以更好地优化物流、商品陈列和价格,还能够 对客户行为做出预测,巧妙利用顾客数据实现盈利增长的有效经验,推出有 前瞻性的促销。相类似的是,银行业、航空业、汽车业而今也在使用大数据 技术和方法来推进营销预测,这些行业中也不存在所谓线上渠道和线下渠道 之争,企业可以根据规划需要灵活投入,并捕捉实时数据进行动态调整。

《大数据变革:让客户数据驱动利润奔跑》一书的作者指出,包括已知行 为动机和必要的实际客户行为数据的细粒化市场图景,可以为企业提供更广泛 且有数据支持的客户价值理解,企业将可能因此实现恰当的、有针对性的向上 和交叉销售,促成替代效应,缩短客户数据反馈至研发和制造等环节的周期。 客户数据带来更多的客户价值,指的是数据能够帮助企业较为精准地找到单个 客户层级所处的市场,留住客户,促进客户的推荐,降低营销成本。

Automercados Plaza’s是委内瑞拉的一个家族式食品连锁店,拥有超过6TB 产品和客户数据,分布在不同系统和数据库中。因此,公司难以轻松地评估每个商店的运行情况,而且高管 知道他们需要从数据中获得 宝贵的洞察力。

Automercados Plaza’s公 司CIO Jesus Romero说:“在 定价、库存、销售、配送和 销售方面,我们面临着严重 的混乱。我们拥有近2000万美 元的库存,而且我们追踪不 同系统中的相关信息,并且 手动进行编辑。我们需要一 个整合的视图,以确切地了 解我们拥有什么。”

通过整合企业内的信息,这家食品连锁店的收入增加了近30%,年利 润提高了700万美元。Romero先生将这些成绩归功于更好的库存管理以及更 快适应不断变化的市场形势的能力。例如,公司避免了大约35%的产品的损 失,因为公司能够提前安排降价,在食物变质前将其销售出去。

一些成熟的企业可能会发现他们很难摆脱根深蒂固的做事方式,而初创 企业却有能力创造新的商业模式。

——免费数据收集器和聚合器:社交数据流服务提供商Gnip公司,通过 各种渠道收集数据,大部分都是免费的,然后对数据进行过滤和完善,并根 据客户需要的格式向他们提供数据。

——数据分析服务:这些公司通常为客户提供分析数据的服务,这些数 据通常是由客户提供的。例如Sendify公司,为企业提供实时的调用者情报, 所以当有电话打进时他们看到打电话的人的很多相关的附加信息,这会帮助 企业增加他们的销售机会。

——数据生成和分析:公司通过众包、智能手机或其他传感器生成自己的数 据,他们也提供分析服务。这个例子包括GoSquared Mixpanel和Spinnakr公司, 他们通过使用一个跟踪代码在他们客户的网站上收集数据,分析数据并使用web界面提供报告。

——免费数据知识发现:这个模式是免费提供数据和分析。例如,Gild公司通过自动评估应聘者发布的代码并进行打分,来帮助企业招聘开发人员。

——数据集成服务:这些公司从多个内部源获取数据并对数据进行汇总, 然后通过一系列用户友好、通常是可视化界面,将结果反馈给用户。在教育领域,从多个教育项目和网站汇总的数据时刻帮助教师监控学生的表现。

——多源数据混聚和分析:这些公司将客户提供的数据进行汇总,大多是 免费的数据源,并对客户数据进行分析,以丰富或基准数据。例如welovroi是 一个基于网络的数字营销公司,监控和分析工具能够使企业跟踪大量不同指标。它还能集成外部数据,并保证营销活动的成功的基准测试数据。

好产品是运营出来的,互联网产品需要不断运营、持续打磨。产品运营 的目的是为了扩大用户群、提高用户活跃度、寻找合适的商业模式并增加收 入。成功的互联网运营要做到精细化运营,成功的精细化运营需要大数据支 撑。大数据和互联网思维在此方面关联度最高。所以,企业在大数据的应用 场景上,一定是要优先考虑如何通过大数据进行精细化运营,以驱动更好的 运营效率和效果的提升。

欺诈是全球各地的保险公司面临的一个切实挑战。无论是大规模欺诈, 例如纵火,或者涉及到较小金额的索赔,例如虚报价格的汽车修理账单,欺 诈索赔每年可使企业支付数百万美元的费用,而且成本会以更高保费的形式转嫁给客户。保险公司不断应对欺诈,但法律诉讼和私人调查等传统方法不 仅费时,而且要支付高昂的费用。

作为南非最大的短期保险提供商,Santam切实感到保险欺诈的严重性。 欺诈损失占Santam客户每年保费的6%至10%。欺诈还有另外一个后果——运 行效率低下。由于代理必须处理并调查高风险和低风险索赔,所有索赔至少 需要三天才能解决,而且Santam开始感觉到,公司在客户服务方面的良好声 誉在客户希望快速获得结果的时代受到了损害。

通过采用先进的分析解决方案从收到的索赔中获取数据,Santam有能力 及早发现欺诈,根据已经确定的风险因素评估每个索赔,并且将索赔划分为 五个风险类别,并将可能的欺诈索赔和更高风险与低风险案例区分开。借助 新系统,公司不仅节省了数百万元的保险欺诈损失,而且显著缩短了低风险 索赔的处理时间,最终使某些客户的处理在不到一个小时内即可完成。在实 施后的前几个月内,Santam还发现了一个著名的汽车保险欺诈团伙。大数 据、预测分析和风险划分帮助公司识别出了导致欺诈监测的模式。

受应对业务挑战这一需求的推动,并且根据不断进步的技术和数据不断变化的特点,企业已经开始更深入地考察大数据的潜在收益。为了从大数据中获取更多价值,IBM商业价值研究院为企业实施大数据举措提供了如下的建议。

以客户为中心推动初始举措

最初的大数据举措必须注重能够为企业提供最大价值的领域,这一点势 在必行。对许多行业来说,这意味着从客户分析开始,通过真正了解客户需 求,并预测未来行为,从而为客户提供更好的服务。

全面数字化是有助于带来大数据迅猛发展的一个推动力,已经改变了个 人和组织之间的力量平衡。如果企业希望了解并向有能力的客户和市民提供 价值,他们必须集中精力将客户作为个体进行了解。企业还需要向新技术和 高级分析能力投资,以更好地了解各个客户的交互和偏好。

但是,当今的客户 ——包括最终消费者或者企业对企业客户,需要的不 仅仅是了解。要想有效地培养与客户之间有意义的关系,企业必须以客户认 为有价值的方式与客户联系。

价值可能来自更及时、更明智或者更相关的交互;也可能来自于企业通 过改进底层运作而增强交互的整体体验。无论来自何处,分析都有助于从大 数据中获得洞察力,这对于在这些关系中达到这一深度日益重要。

制定整个企业的大数蓝图

蓝图包含企业内的大数据愿景、战略和要求,对于在业务用户的需求与 IT实施路线图之间做到协调非常关键。它实现了关于企业如何利用数据改进 业务目标的一致理解。

有效的蓝图通过确定大数据适用的关键业务挑战、规定如何使用大数据 的业务流程要求,以及包含实现该蓝图所需数据、工具和硬件的架构,从而 定义了企业内大数据的范围。这是为指导企业以实用的方式,并以创造可持 续的商业价值为出发点,开发并实施大数据解决方案而制定蓝图的基础。

从现有数据开始,实现近期目标

要实现近期目标,同时为持续开展大数据项目创造发展动力和专业知 识,企业必须采取实用的方法。我们的调研表明,要开始寻求新的洞察力, 最具逻辑性和性价比的地点就是企业内部。

从内部着眼允许企业利用现有数据、软件和技能,提供近期业务价值, 并且在考虑提升现有的能力而处理更复杂的数据来源和类型之前积累重要的 经验。大多数企业希望通过这样做而充分利用现有存储库中的信息,同时扩 展其数据仓库,以处理更大数量和更多类型的数据。

根据业务优先级逐步建立分析能力

在世界范围内,越来越多的分析工具使企业目不暇接,同时企业也面临着分析技能的严重缺乏。大数据效率取决于消除这一巨大差距。简言之,企 业必须获取工具和技能。在这个过程中,随着分析、功能和IT技能的完美平 衡,预计新角色和事业模式将会出现。

关注内部分析人员的专业发展和事业进步,他们已经熟悉企业独特的业 务流程和挑战,这应是业务高管的首要任务。同时,大学和个人自身(无论什 么背景或专业)都有义务培养强大的分析技能。

基于可衡量的指标制定投资回报分析

制定综合且可行的大数据战略以及后续的路线图需要可靠且可量化的投 资回报分析。因此,一位或多位业务高管积极参与并支持这一流程非常重 要。要实现长期的成功,强大、持续的业务和IT的协作同样重要。

许多企业的投资回报分析基于以下可从大数据获得的益处:

更聪明的决策-利用新的数据源提高决策质量;

创造奇迹的决策-使大数据举措注重于那些能够提供真正差异化的领域。

这些建议中有一个基本原则:业务和IT专业人员必须在整个大数据实施过程中通力合作。最有效的大数据解决方案首先确定业务要求,然后定制基 础设施、数据源和量化分析,以支持该业务机会。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...