长城网9月20日讯(记者 郑佳洵 闫思宇)9月20日上午，“大数据之父”维克托·迈尔·舍恩伯格现身我国首个以数字经济为主题的综合性博览会——2018国际数字经济博览会主峰会现场，并发表演讲，与世界各界分享他的最新研究成果与理论观点。

维克托·迈尔·舍恩伯格与世界各界分享他的最新研究成果与理论观点。记者 闫思宇 摄

维克托·迈尔·舍恩伯格认为，数据是我们实现更大目标的一种手段，这是更好的决策。在这个意义上。数据驱动决策，数据是良好决策的原料。做好决定意味着必须从数据中学习，必须收集数据，收集和分析数据，这样才能做出更好的决定。

维克托·迈尔·舍恩伯格举了这样的一个例子，“当汉莎航空公司的飞机通过空气收集自动驾驶仪的数据时，这些数据不只用一次。但是再次使用后，他们将这些数据发送到德国的气象部门，以改善天气预报系统。他们从这些数据中学到了内容。”

据悉，作为世界数据学大牛的奥地利籍数据科学家维克托·迈尔·舍恩伯格(Viktor Mayer-Sch nberger)，有“大数据之父”、“大数据时代的预言家”、“大数据商业应用第一人”之称。维克托·迈尔·舍恩伯格曾提出,大数据的核心是让我们洞察世界,其关键则是信任,“大数据取决于数据的可得性,也取决于数据的信任。如果信任遭到破坏,或许大数据也将因此终结”。

维克托·迈尔·舍恩伯格是《科学》、《自然》等著名学术期刊最推崇的互联网研究者之一，他潜心研究数据科学十余年，最早洞见了大数据时代发展趋势，是最受人尊敬的权威发言人之一。他曾先后任教于世界最著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授，曾任哈佛大学肯尼迪学院信息监管科研项目负责人，哈佛国家电子商务研究中心网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。

一

鸟兽不至的天坑，深不可测的地下河，荒山深处的秘洞……有些人就喜欢到这些地方，千方百计、乐此不疲，去领略造物主不示于人的鬼斧神工，探求常人无从见识的神秘诡谲。

我们称之为“洞穴探险”，英文即Spelunking。

于是，有了“Splunk”——几位致力于大数据研究的年轻人，于2003年在美国旧金山成立了Splunk公司。

要知道，2003年的大数据行业基本上还是蛮荒一片，所以他们要在这个领域“探险”。

十年后的2014年，Splunk进入中国，带来了无与伦比的大数据研究技术和产品。

二

严立忠，Splunk公司中国区总经理。

这位IT老兵，称得上是一部活字典。自1994年进入惠普，二十多年一路走来，见证着中国IT行业的阴晴圆缺、风风雨雨。先后在惠普、英特尔、CheckPoint、甲骨文、SAP等公司就职，特别是在后三家企业的高管经历，给他身上打上了两个标签——软件及渠道，他是软件圈的资深行家，特别在渠道建设上经验丰厚。在加入Splunk前，还成功地创立了国内第一家在新三板挂牌的移动信息安全公司。

2017年5月，严立忠加入Splunk，开启职场新篇章。

三

我们经常谈论三个近乎哲学的话题：我是谁、要干嘛、如何干。了解Splunk，同样需要回答这些问题。

Splunk给出的官方定义，简洁生动——Splunk将机器数据转换为答案（商业价值）。

其实，所谓大数据是一个很宽泛的概念，不同的维度有不同的解读。

对于结构化数据，比如传统数据库中这些企业的数字资产，按照既定的规则和逻辑处理即可。而对于非结构化数据，来源不同、类型迥异、杂乱无章，并且数量惊人，占据整个大数据总量的80%以上。严立忠介绍，包括各类软硬件、操作系统、交换机、路由器、防火墙等产生的数据，以及各类日志、配置文件及目录等，“可以说几乎所有设备产生的所有数据，我们称之为机器数据，Splunk做的事情，就是将这些浩瀚无垠的非结构数据收集、挖掘出来，同时结合现有的结构化数据，进行分析，并转换成商业价值。”

机器数据是企业非常宝贵的资源，更需要着重指出的是，针对这些机器数据，直到目前也很少有企业能够从中挖掘出价值，“并非他们不重视，而是没有足够的能力去挖掘”，而Splunk的非凡意义就在于此。

四

那么，Splunk到底解决哪些实际问题呢？也就是说，其商业价值体现在哪些方面？

严立忠对以下五点，给予了详尽介绍，并举出了实际的应用案例。限于篇幅，简略呈现——

一是智能运维，“IT系统越来越庞大，复杂程度也越来越高，传统依赖人工或者某些运维工具及软件的方式，远远不能适应形势，必须依靠如Splunk这样智能化的平台，用大数据分析来进行”；

二是安全，“Splunk指的是广义的安全，既包含传统的IT安全，也有企业业务合规性的问题，甚至还有如今正在推行的GDPR（欧盟《通用数据保护条例》），以及个人隐私保护等方方面面”；

三是应用交付，“企业基于IT系统开发的多种类应用，如何快速迭代，是否适应市场所需，用户的使用体验是否良好，是否会影响内部其他的应用，等等，都需要有应用交付来保障”；

四是商业分析，“包括业务流程分析、产品生命周期管理等诸多环节，最典型的应用就是精准营销”；

五是物联网和工业控制，“未来是万物互联的世界，所有的生产线、设备、各类智能终端，包括市场上的各种商品，都是物联网的组成，当物联网标准统一之后，这个领域带来的市场规模和商机是无法估量的。物联网会带来巨大的数据量，如何从中找出价值并为企业所用，这是关键”。

五

就以上的应用场景，市场上有不少厂商长于其中某一领域，能够做到涵盖五个方面这样全面、完整，唯有Splunk独一家。

事实上，这些还远不能展现Splunk的过人之处。

从达到的效果来看，Splunk有三点是其他厂商难以做到的：一是实时，二是跨平台数据，三是在同一个平台下实现。”

如果需要花费较长时间才得到结果，那很难说得上有意义。“而通过Splunk软件，能够实时得出结论，这是Splunk竞争力的体现。”

大数据的特点，就是只有把所有的数据放在一起进行分析，才能发挥价值。很多厂商是因为在技术上没法实现，才分开处理。而Splunk是在自己的同一个平台下，接受、处理不同种类（跨平台）的数据，尤其是Splunk擅长的机器数据。所以Splunk的定位是，将所有类型的数据置于同一平台进行处理，实时地服务于不同的商业领域。”

简而言之——在Splunk的一套系统上，不管是来自何方的何种数据，都可以实现智能运维、安全、应用交付、商业分析、物联网和工业控制等这些功效，同时能够实时获得分析结果，并且服务于不同的商业领域——这不是“万金油”吗？

对于记者使用的这个略显调侃的字眼，严立忠并没拒绝，单从字面理解也的确如此。“可以说是无所不能”，也正如他所言，“目前市场上，Splunk没有竞争对手”。

如今，全球110个国家超过14000家企业在云端和本地部署了Splunk解决方案，财富100强中有超过85家企业，都在使用Splunk软件。

六

曲高难免和寡，在大数据领域，Splunk并不希望“独行”。

所以，加入Splunk还未到一年的严立忠，其最重要的工作之一就是继续拓展渠道合作，建设生态圈。而这项工作，正是他的强项，过往的积累和经验使得他驾轻就熟。

“Splunk是一个平台，而非应用或工具。”他对此特别强调。

厂商、渠道伙伴都可以在Splunk这个平台之上进行应用开发，比如做安全管理、安全分析、监控设备、监控运营等。

对此，严立忠也举出很多已有的案例，比如与微软、思科、AWS等合作，“这类属于战略合作”。在渠道建设上，Splunk也有着完备的体系，总代、二代、OEM、SI/ISV等各级伙伴构成良好的生态系统。

“还有一种伙伴，我们称之为顾问厂商，比如帮助甲骨文或SAP规划和实施ERP之类应用的公司，如埃森哲、安永等，他们在帮用户做整体项目规划时，其中涉及到大数据分析的部分，就会向用户推荐使用Splunk，因为Splunk与他们的战略是很符合的，技术及产品更没有问题。一直以来，我们和不少顾问厂商都合作密切，这也是渠道的一部分。”

渠道建设，更多的工作在于执行。策略制定好，之后就是日复一日地推进，不断加强深度和广度，“没有最好，只有更好”。

“现阶段，重要的工作是进一步培养我们的渠道伙伴，使他们的能力得到提升，更加注重用户体验。”他谈到，Splunk很看重认证工程师，“如果没有达到水平，做不了Splunk项目，我们也不会让他去做。Splunk很重视用户体验，用户用得不好肯定会说Splunk的产品不好，这是我们很在意的。我们宁可少做一单，也要将用户服务好。”

“目前Splunk在中国的发展现状，与其全球市场上的地位还是有点距离。”对于公司的发展，严立忠并不回避。从外部来看，中国的大数据市场成熟程度还不高，“我个人认为与欧美发达国家相比，至少有三五年的差距”；就内部而言，还需要进一步加大投入，“我们从2017年开始就在加大投入，最直接的是人员，客户端、渠道端、市场开发、技术支持，都在大规模丰富人员，2018年会更多”。

七

采访过程中，严立忠还提到一些有趣的话题。

并非数据量大，就是大数据，国内市场上有不少商家混淆了这些概念和内容。

还有很多商家，仍旧按照传统的思维和逻辑去理解大数据，寻求数据之间的关联性，所以他们研究时首要的工作就是“建模”，事实上，大数据本质的特点就是无序，一旦一开始就按照既有的经验性思维和逻辑建模，而不是根据实时需求建模，就走回原有的套路，更可怕的是屏蔽掉大量看似无用的数据。

而这些所谓“无用数据”，Splunk视为珍宝。Splunk不会在一开始接受数据时就建模，其五个业务方向研究的都是同一数据源——之所以在大数据领域鹤立鸡群，是因为Splunk能力超群、独树一帜。

由此，他特别推荐阅读剑桥大学出版的《大数据时代》这本书，作者是美国学者维克多迈尔舍恩伯格。“有很多真理，人类并未掌握。人类的知识体系，多是基于既有的逻辑而来。但是有大量的事实，用已有的知识和逻辑很难解释。而大数据领域，正在寻找一种人类逻辑之外的逻辑。”他还用机器学习、机器翻译等案例来说明，“要根据事实而非逻辑得出结论”。

对此，记者想起风靡一时的AlphaGo，其工作原理是通过计算，在棋盘上361个点何处落子才能保证胜率最大化，“其实这条狗，真的不懂什么是围棋”。结果更加惊悚——这门传承千年的技艺，其早已视为圭臬的理论竟然在一夜之间被完全颠覆。

听严立忠侃侃而谈，你必须大脑飞转，还不一定跟得上他的节奏，太多的内容确实有些烧脑，尽管他还有意地放慢速度，尽量用大白话来说明。

八

与严立忠这样的前辈面对面，真是有幸。

讨论完工作，还和他聊了很多“从前的故事”，那些大名鼎鼎的企业如何撬动市场，软件渠道建设并不如记者想象的那样简单，某些厂商不为外界知晓的发展基因，光鲜背后的痛苦，坠落之时的挣扎……，诸多过来人的过来事。

每次采访这些业内精英，都受益良多。这次亦是如此……

—END—

答|百度派 @陈幸运

一、 维克托·迈尔—舍恩伯格——开大数据系统研究之先河

《经济学人》说，在大数据领域，他是最受人尊敬的权威发言人之一；《科学》说，若要发起一场关于这个问题的深入探讨，没有比他更好的发起者了。他是欧盟互联网官方政策背后的重要制定者与参与者；他是最早洞见大数据时代发展趋势的数据科学家之一；他就是维克托·迈尔—舍恩伯格。

他说，世界的本质就是数据，大数据将开启一次重大的时代转型；

他说，大数据发展的核心动力来源于人类测量、记录和分析世界的渴望；

他说，从因果关系到相关关系的思维变革才是大数据的关键，建立在相关关系分析法基础上的预测才是大数据的核心。

二、颠覆商业传统——海量数据后的相关关系

维克托·迈尔—恩伯格与时俱进地提出了在大数据时代的诸多变革，首先是分析思维的变革，而伴随这种变革会带来行动变革，而这种变革会发生在社会的方方面面，诸如商业领域、公共卫生、咨询决策以及国家政策等各个领域。最终会影响我们的生活方式与社会产业结构。

‍

 大数据时代的变革，其动力来自于技术的进步与获取数据的方便性与低廉性。而这恰恰为颠覆传统时代由于各种限制而采取抽样技术而获取有用信息的途径提供了可能。现在技术成熟了，人们在获取信息时考虑的是尽可能多的样本数据，且可以是样本等于全体。同时在分析数据时更多的关注的是相关关系而非因果关系，知道是什么就已经足够了，没有必要去探究为什么。在商业领域是什么比为什么更加重要，而我觉得根据相关关系也可以去推论因果关系，这对于学术领域应该是极具有价值的。相关关系是大数据时代最重要的思维变革，而通过计算机对诸多数据的云计算与处理可以帮助我们发现这些相关关系，而这也广泛地应用于商业领域，世界上最大的零售商沃尔玛在飓风来临时把蛋挞和飓风用品摆放在一起，能获得大卖。蛋挞和飓风之间有什么因果关系吗？没有，因果在此刻没有任何意义，相关才是重要的。

 更有趣的是零售商们通过获取和分析女人们的消费数据，可以发现哪些消费者是即将要怀孕的。因为许多女人在怀孕后的三个月会在消费习惯上发生变化，（例如她会使用无香化妆品）而且是夫妻生活的分水岭，在此之后他们会关注他们以前没有关注过的品牌，并且建立对品牌的忠诚。之后公司会不定期向她们发放和赠送一些商品优惠券，比如婴儿床、奶粉等。这样地就有助于提高商家的销售额，带来很大的经济利益。

三、大数据时代——人类社会变革的双刃剑

大数据时代也有其宽容的一面，它允许误差的存在，不要求数据有多精确，因为海量数据会削弱误差的影响，但是更加追求效率。以上就是我们在大数据时代最重要的三项变革，而这种变革蕴藏着巨大的机会，我们的经济模式会发生巨大的变化，市场导向更加明显，重点消费对象一览无余，而这就是所谓的“反馈经济”。

在大数据时代我们每一个人都有机会去施展才华，但大数据也会让我们变得“透明”。因为我们本身就是一个数据库，我们的位置信息、消费方式、人际交往以及许多数据，都在被他者有意无意的搜集，而且我们自身却一无所知。我们的行为可以被预测，我们没有隐私。这是大数据所带来的道德问题与社会困扰。我们的世界被赤裸裸的数字包围，而或许更需要灵魂的滋润与丰满。人类的自由意志与诸神之下的尊严是否会在这条道路上异化，我不得而知，而我只想在这个时代做一个麦田里的守望者与思考者，幸福地生活才不会辜负时代与生命。

国际数据公司定义了大数据的四大特征：海量的数据规模（vast）、快速的数据流转和动态的数据体系（velocity）、多样的数据类型（variety）和巨大的数据价值（value）。仅从海量的数据规模来看，全球IP流量达到1EB所需的时间，在2001年需要1年，在2013年仅需1天，到2016年则仅需半天。全球新产生的数据年增40%，全球信息总量每两年就可翻番。

而根据2012年互联网络数据中心发布的《数字宇宙2020》报告，2011年全球数据总量已达到1.87ZB（1ZB=10万亿亿字节），如果把这些数据刻成DVD，排起来的长度相当于从地球到月亮之间一个来回的距离，并且数据以每两年翻一番的速度飞快增长。预计到2020年，全球数据总量将达到35～40ZB，10年间将增长20倍以上。

需要强调的是：所谓大数据并不仅仅是指海量数据，而更多的是指这些数据都是非结构化的、残缺的、无法用传统的方法进行处理的数据。也正是因为应用了大数据技术，美国谷歌公司才能比政府的公共卫生部门早两周时间预告2009年甲型H1N1流感的暴发。

简而言之，“大数据”并不能生产出新的物质产品，也不能创造出新的市场需求，但能够让生产力大幅提升。正如，《大数据时代：生活、工作与思维的大变革》作者肯尼思·库克耶和维克托·迈尔-舍恩伯格指出：数据的方式出现了3个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度，而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。

影响

大数据

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。

“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。

大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……

截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。

大数据的精髓

大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。[6]

A.不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样(随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制);

B.不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;

C.不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。

特征

数据量大（Volume）

第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

类型繁多（Variety）

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低（Value）

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

速度快、时效高（Velocity）

第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

产业崛起

越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。具体有以下三大案例：

1、2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。

2、联合国也在2012年发布了大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。

3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出，“对于企业来说，海量数据的运用将成为未来竞争和增长的基础”，该报告在业界引起广泛反响。

IBM则提出，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”

在国内，百度已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。

事实上，自2009年以来，有关“大数据” 主题的并购案层出不穷，且并购数量和规模呈逐步上升的态势。其中，Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元，大数据的产业价值由此可见一斑。

提供依据

大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。

事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。

最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱） IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。

这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。

“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。

如何应对大数据带来的挑战

第一，大数据将成为各类机构和组织，乃至国家层面重要的战略资源。

在未来一段时间内，大数据将成为提升机构和公司竞争力的有力武器。从某一层面来讲，企业与企业的竞争已经演变为数据的竞争，工业时代引以自豪的厂房与流水线，变成信息时代的服务器。阿里巴巴集团的服务器多达上万台，而谷歌的服务器超过了50万台。重视数据资源的搜集、挖掘、分享与利用，成为当务之急。

第二，大数据的公开与分享成为大势所趋，政府部门必须身先士卒。

2013年6月在英国北爱尔兰召开G8会议，签署了《开放数据宪章》，要求各国政府对数据分类，并且公开14类核心数据，包括：公司、犯罪与司法、地球观测、教育、能源与环境、财政与合同、地理空间、全球发展、治理问责与民主、保健、科学与研究、统计、社会流动性与福利和交通运输与基础设施。同年7月，我国国务院就要求推进9个重点领域信息公开工作。正如李克强总理所强调的，社会信用体系建设包括政务诚信、商务诚信、社会诚信的建设，而政务诚信是“三大诚信”体系建设的核心，政府言而有信，才能为企业经营作出良好示范。作为市场监督和管理者，政府应首当其冲推进政务公开，建设诚信政府。为此，国务院通过《社会信用体系建设规划纲要（2014～2020年）》，要求依法公开在行政管理中掌握的信用信息，提高决策透明度，以政务诚信示范引领全社会诚信建设。

第三，机构组织的变革与全球治理成为必然的选择。

在工业时代，以高度的专业分工形成的韦伯式官僚制组织形态，确实具有较高的效率。然而，这种专业化分工一旦走向极致，就容易出现分工过细、庞大臃肿、条块分割等弊端，无法有效应对新的挑战。大数据技术提供了一种解困之道：在管理的流程中，管理对象和事务产生的数据流只遵循数据本身性质和管理的要求，而不考虑专业分工上的区隔，顺应了全球治理的需要。

1990年，时任国际发展委员会主席勃兰特，首次提出“全球治理”的概念。所谓全球治理，指的是通过具有约束力的国际规制（regimes）和有效的国际合作，解决全球性的政治�...

卫生机构使用传统方法预测流感的传播，很多时候存在滞后性。而作为一家互联网公司，谷歌通过分析用户在搜索引擎上的搜索记录来预测流感传播，其准确率比卫生机构还高，而且预测输出时间比机构提前了2周！这就是大数据给人类带来的惊喜。

现在我们经常听到别人在谈论“大数据”，但是当大家在侃侃而谈的时候，究竟有多少人理解“什么是大数据”？

今天喵叔结合《大数据时代》这本书的内容，跟大家聊聊大数据那些事。

一、什么是大数据？

我的理解的大数据是一种状态。在这种状态中，我们面对的数据是海量的。因为现代科技的发展，我们有了对海量数据存储和处理的技术，而且这些技术还会不断发展完善。更重要的是我们对各种数据的处理方法和态度都发生了转变，我们开始积极地发掘并利用各种数据。在这个时代，数据已经成为一种非常重要的资源。

二、大数据时代下的3个思维变革

1、不是随机样本，而是全体数据

以前我们开展研究时，习惯采取抽样调查的方式。因为之前人类对于数据的收集、储存和处理的能力有限。那时采取随机抽样是让我们最大限度了解真实情况的可行方案。

但是随着科技的发展，我们已经有了解所有样本的能力。这时对全部的样本进行研究，将让我们输出接近100%的真相。

例如：古代人如果要了解全国人均寿命，可行的方法是：随机调查全国几个城市的部分人员寿命，以此推出全国大概的人均寿命。但是现在我们每一个人从出生到死亡的信息都会被记录。这样我们就可以从全体数据的角度来看问题了。

理解这一点，并不是要求我们每个研究都选择全体数据，这只是为我们的研究拓宽一条渠道而已。毕竟目前我们还需要考虑处理海量数据的经济成本。

2、不是精确性，而是混杂性

大数据时代我们要学会拥抱混杂性。传统的语言翻译系统，会输入大量复杂的算法逻辑，结合大量例句、单词、短语、和语法习惯，来进行翻译活动。但这样的结果是：翻译范围有限、翻译对象仅限于2种语言之间。

而谷歌抛弃了精确算法这条路子，选择大量收集和处理全球能找到的所有翻译，掌握用不同语言翻译的、质量参差不齐的数十亿页文档，用此来搭配组合出质量最好的结果。这种混杂性下，谷歌的翻译系统就像一个成长中的孩子，不断学习和积累。即使它会吸收部分错误的信息，但这并不会影响它整体的成才。

所以说，大数据的简单算法比小数据的复杂算法更有效。

3、不是因果关系，而是相关关系

经济学中有一个“啤酒尿布”现象——将尿布和啤酒放在一起，这两样产品的销量会同时增加。

对此经济学家尝试给出了各种解释，希望从中找出因果关系。例如：家庭主妇采购尿布时，看到啤酒就会顺便为丈夫准备一点。

而在这本书中，作者强调：知道“是什么”就够了，没必要知道“为什么”。即关注相关关系即可。

现在我们已经有了收集和存储海量数据的设备，我们也有了进行数据挖掘的工具，那么就只管去寻找数据之间的相关关系就可以了，至于他们为什么会有这个相关关系我们可以不管，只要懂得应用就好。

以上便是《大数据时代》的部分内容分享，接下来是这本书的整体介绍：

【今日好书】：《大数据时代》，豆瓣评分7.5分。

【作者】：维克托.迈尔-舍恩伯格（Viktor Mayer-Sch·nberger），被誉为“大数据商业应用一人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。

【内容简介】：《大数据时代》一书中展示了谷歌、微软、IBM、苹果、facebook、twitter、VISA等大数据先锋们具价值的应用案例，向我们阐述了什么是大数据。同时为我们揭示了大数据时代下的3种思维变革、3种商业变革和2种管理变革。

【喵叔简评】：本书的逻辑结构清晰，可读性很强，阅读起来也很流畅。内容方面，通过大量的案例，让我们轻松了解哪些表面看来很晦涩的概念。对于想了解大数据以及大数据在商业时代如何应用的朋友来说，这是一本很不错的书籍。

如果你已经阅读过此书或者正在阅读，欢迎在评论去分享你对这本书的看法。

舍恩伯格潜心大数据、网络经济研究，至今已出版11本专著。其代表作《大数据时代》是全球第一本关于大数据的专著，《删除》则启发了关于大数据时代“被遗忘的权利”的探讨。

9月20日，有“大数据之父”、“大数据时代的预言家”之称的奥地利数据科学家维克多·迈尔·舍恩伯格（Viktor Mayer-Sch·nberger）将现身数博会，分享其关于大数据的最新研究成果与理论观点。

舍恩伯格多年来潜心数据科学技术的研究，在今年年初发布《大数据时代资本主义的重塑》一书中，舍恩伯格提出，数据正在取代资本成为配置经济资源的核心要素，资本主义正在经历自工业革命以来最深刻的一次变革。

信任、共享是大数据时代核心

舍恩伯格曾提出，大数据的核心是让我们洞察世界，其关键则是信任，“大数据取决于数据的可得性，也取决于数据的信任。如果信任遭到破坏，或许大数据也将因此终结”。

在2016年的上海国际电子商务博览会暨互联网+科创应用展“智享生态联接未来”高峰论坛上，舍恩伯格表示，分享、开放、透明是大数据的核心要义，建立互信、协同合作才能让整个世界受益于大数据。

舍恩伯格在大数据理论研究方面也一直引领全球。在其获得“麦克卢汉奖”的著作《删除：大数据取舍之道》中，舍恩伯格诠释了数字时代“被遗忘的权利”，提出，面对海量信息应学会取舍，从而构建一个积极安全的未来。

未来教育变革将从中国开始

9月21日，在博览会期间，将同期召开“京津冀教育协同创新发展大会——大数据与区块链助力教育均衡发展论坛”。大数据如何助力教育变革？

舍恩伯格2014年即出版了一本关于大数据与教育关系的书籍《与大数据同行——学习与教育的未来》。舍恩伯格在书中提出，大数据正逐渐影响到教育体系的每个层面，对全世界的学习和教育产生深远影响。

舍恩伯格认为，在大数据时代，教育可以基于学生的需求实现“私人订制”，同时也能帮助教师确定最高效的教学方式。舍恩伯格表示，大数据将对教育的反馈、个性化以及概率预测产生巨大影响，一个全新的教育时代正在到来。

2017年，在“大数据驱动的教育变革”国际学术研讨会暨首届中国教育大数据发展论坛中，舍恩伯格提出，大数据时代，教育变革是必然的，而将来的教育变革将会从中国开始。

新京报记者 谢莲

黑发不知勤学早

白首方悔读书迟

在今天的这个社会你一定听过的时髦词语有：人工智能、大数据、互联网思维…，而本书《大数据时代》是2012年出版的，忆往昔，2012的时候小米手机1第一次正式网络售卖，那时的我刚踏入大学的校门，那时的你也绝不可能想象到几年后社会发展的如此之快，各种数据、各种共享经济席卷而来。虽然已经6年多过去了，但今天读这本书会发现，书中的思维依然值得我们学习。

另，这本书不是一本IT行业的技术书，并没有涉及到具体处理大数据的技术，而是一本开拓思维的、帮我们认识和了解大数据的指导性书籍。

本书作者是维克托·迈尔-舍恩伯格，为了说明这个作者牛X，简单贴一些他的成就：

学术成果有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。 众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问。

此书目录的结构清晰明了，第一部分主要是讲大数据时代的思维，第二部分讲了很多大数据在商业中的具体应用案例。体现作者水平的是第三部分，作者考虑到了大数据也是有两面性的，数据不可能主宰一切，故在第三部分讨论了大数据发展中带给人们的问题以及人们的应对措施。

了解大数据之前先要明白两个概念——数字化与数据化。

数字化：把模拟数据转换为0,1表示的二进制码。

一个例子就是，电脑、手机处理的数据都是数字化的0,1数据，而现实世界的温度、压力的实际存在形式是连续变化的模拟数据。数模转换是通过传感器、数/模、模/数转换器实现两者之间的相互转化。

数据化：将现象转变为可制表分析的量化形式的过程。所谓的数据挖掘、数据分析就是对数据化后的数据处理。

其中，数字化是数据化的前提。

对我来说，此书的帮助就是拓展了新的思维方式，认识到大数据时代的3个特点：

1.不是随机样本，而是群体数据

小样本时代： 样本远小于总体

大数据时代： 样本等于总体

正因为，样本数据量的增多，才挖掘到了数据间新的关系。对这么多样本数据的采集得益于今天技术的发展，电子化驱动的世界中，手机的信息、汽车上的传感器、微博空间的消息…都可以被记录并保存下来用于分析。

2.不是精确性，而是混杂性

因为小样本时代，最基本的要求就是保持收集数据的准确性，以利于分析并得出正确结论。而大数据时代，数据量的巨大和数据格式的不统一，必然会夹杂混乱或错误的数据，但为了利用大数据的优点必然要接受错误数据的存在。

这让我想起了一句话“模糊的精确比精确的模糊更好”。大数据让我们不再期待精确性，也无法实现精确性。

3.不是因果关系，而是相关关系

两个不同的逻辑方式对数据处理的过程也不一样：

因果关系： 为什么。

相关关系： 是什么。

例子：沃尔玛是世界上最大的零售商。2004年沃尔玛分析它的商品数据发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此当季节性风暴来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，方便顾客购买。

上面这个例子说明，对于大数据分析得到的结论，我们往往暂时发现不了或者找不到数据间的因果关系。但大数据的现实结论又摆在眼前，所以在大数据的时代，除了我们潜意识里常用的因果关系外，我们要重视相关关系这一逻辑。

大数据的核心是什么？——预测。

我们处理大数据就是为了预测，预测城市里哪条道路现在不堵车、预测汽车零件是否该维修替换了、预测人们网上购物的个性化需求以推荐合适的商品…

虽然大数据的预测通常被视为人工智能的一部分，或一种机器学习，但这种定义有误导性。我们是通过用大量过往数据蕴藏的关系来对未来同类型事情进行预测，并不是教机器像人一样思考，更不是指望大数据像“神”一样预测未来的一切。所以，大数据的预测是一定条件下、有限的预测。

大数据的更好的发展需要三个方面的提升：思维、技术、数据。

数据本身并无价值，只有使用才会体现其价值。对于三者的关系，我认为技术是外在的实现手段，而数据是所有的基础。但在早期阶段，技术和思维是最有提高价值的，也是我们现在可以抓住的机会。

大数据发展的弊端：

1.隐私问题

2.预测判断以及惩罚人类的潜在行为，与伦理相悖

隐私问题随着商业公司和我们对数据的重视必然会有一定冲突。但这个问题远不如第二个问题严重。试想一下，大数据通过收集你以往做的事和说过的话，判断出80%的概率你将会有违法行为，故警察到家里把你逮捕。这是多么可怕！大数据预测和惩罚人们，并不是因为“所作的事情”，而是因为“将要做的事情”，而将要做的事情是机器判断出来的，我们并没有发生的行为。

对于这一个问题，我们必然要思考人与数据的关系。我的思考是，人是高度复杂的，数据是由人产生的，我们可以借助大数据的力量优化我们的社会，提高我们的工作生活效率，但应避免对数据的过度依赖，成为数据的“奴隶”。数据没有思维能力，更没有创新能力，数据造不出改变世界苹果，而人可以。

人的未来必须保留部分空间，否则大数据会扭曲人类最本质的东西——理性思维和自由选择。书中的一句话很好“人类最伟大之处正是算法和硅片没有揭示也无法揭示的东西，因为数据无法捕捉到这些”。

最后问你一个问题，你认为“日久见人心”是一种大数据思维吗？

END

诗词赏析 | 读书感悟 |

—不悔书堂—

点滴印记之一百《大数据时代 》维克托.迈尔.舍恩伯格，肯尼思.库克耶/著 盛杨燕，周涛/译

A:在上世纪末，互联网初期，年轻幼稚不知天高地厚的我，曾经应某个偶遇的同样思想新潮的学生会头头的邀请去烟台大学做过一个讲座，题目是当时很新潮的尼葛洛庞帝的《数字化生存》。多年过去了，回望过去，当年的这些观点不仅没有过时，光阴冉转，这种趋势反而日渐清晰明朗，泛滥的信息时代，大数据馅饼的诱惑，连小米的雷布斯也未能免俗，因为纳入的数据几何级数增长，投入巨大，赌博成本惊人，雷军受访时曾坦言：“几年后大数据没价值的话 那我就破产了”

B:本书源于十几个知名大学校长推荐书目中唯一重复的一本书，所以在一个连续阅读对自己有纪念意义的第100天的日子来阅读，算是对作者，译者以及推荐者的感谢，以及由于认同这种生活方式改变必然的到来，并对于这不可阻挡的趋势在心中产生共鸣同时带来的一点隐忧，寻求多一些信息资源支持吧。

C:尤其值得一提的是，本书的译者，是中国最年轻的教授，大数据领域专家，年方27的周涛先生。尽管这样的人才多数有过海外学术成长的背景，但是如果逐渐归国效力的人才总量不断增多，对我们国家无疑应该是一大幸事，就算不回来，对人类的贡献也还是一件幸事。他在序言中与作者某观点的不同似乎印证了我心中的隐忧，尽管还没有阅读，但是感觉到似乎年轻的译者对所谓“人类凌驾于计算机之上的智力优势”过于乐观了。或许，源于爱，作者就像是《三体》面壁计划中的人类最后的希望女子程心：“她一生都以爱为标准，却一生都以恶为结局。她的爱，是宇宙中最深的深渊、最黑的黑暗，因为她的爱，云天明牺牲了自己，人类阉割了自己，三体放弃了自己，太阳系毁灭了自己。从来没有一个女人能够像她这样得到这么多的爱，连智子都说：“全人类都有责任，就你是无辜的。””，所以，序言最后译者也有难言的隐喻：“大数据的道路上没有戈多，我们已经在路上，晃晃悠悠。人类的自由意志和诸神之下的尊严，会在这条道路上异化甚至消逝吗？极目远眺，不知道世界的尽头，是否是一个冷酷的仙境！诸位为之奋斗吧，而我只想，做一个，麦田里的守望者。”，仔细想想看，马化腾不小心说他已经有了十亿多国人的照片变化样本，大致可以勾画出每个人将来的面貌变化：当你每一次敲击键盘和操作浏览都被数据记录着，如此看起来，其实数据早已经比你更加了解你的未来了。

D:一个苹果砸了无数人，只有打到牛顿时候，才有了特殊意义。同样，因为提前购买了一张比邻座更贵的预订机票的是一位美国最有名的计算机专家，情况就有所不同了，他回去后搞了一个研究题目，“买还是不买”的预测工具，就是何时买机票最便宜的研究计划，项目取名“哈姆雷特”，该项目使得每个订机票买票的人平均节省50美金，当然，在他准备开始拓展应用的时候，微软主动上门，1.1亿美金鲸吞了他的公司。

E:说来惭愧，计算机专业竟然只知道存储的TB的概念，原来还有拍PB，艾EB，泽ZB。。。可怕啊，好在我们制造数字财富和垃圾的速度比世界经济发展速度快了四倍，好在计算机处理数据的能力增长速度比世界经济的增长速度快了九倍，看到这里，想起来日前收音机听到的一个有趣故事：“在一百五十多年前，纽约召集了当时各界牛人一百多位，共同讨论预测百年后的纽约会是如何？结论惊人：百年后，纽约将不复存在，原因是因为人口增长，导致百年后使用的马匹会达到惊人的600万匹，届时仅处理马粪就已经人力所不逮。。。。”还有一个旧事是学生年代，参观学校后边的52所（中国磁记录研究所），有幸见到当时国内最早的光存储设备，当时科研人员苦恼的是，全世界可以搜罗到的数据，也塞不满那一张闪闪的碟片，不过估计那个碟片的存储容量现在看来，就算比起早就已经淘汰若干年前的手机存储，应该也是小的难以启齿了。。。

F:预测，大数据的核心。关于预测，希望可以重温比尔盖茨的第一本书末尾的记者访谈关于技术改变生活的预测，正在一步步走进生活常态，有时候，不是谁聪明或者先知，有些科技力量和逻辑是不以人的意志可以扭曲转变滴。。。有时候一些科幻作品特别是好莱坞科幻片算是稍微超前的预演给大家而已。。。

G:这场数据制造和处理的赛跑中，因为后者的遥遥领先使得抽样的的策略变得不必要，数据分析即是全部。所以只能允许不精确避免混乱。结构化数据，才是比较好的有效率的数据。更好，并非因果，而是相关，所以沃尔玛会把飓风用品如手电筒和蛋挞摆在一起，源于两者相关的数据分析。预测的意义远非节省机票预订款那么简单，“我们将会知道你明天做什么”保险，汽修。。。甚至怀孕。了解是什么，而非为什么，令我们更加接近幸福的感觉。从而也改变了我们探索世界的方法。

H:数据化而非数字化，一切皆可量化。文字，位置地图，沟通，世间万物被数据化：潜在价值，创新，以及数据的再利用，重组，扩展，折旧，数据废气，开放数据及估值

I:数据，技术，思维三足鼎立时代来临。专家的消亡和数据科学家的崛起。终于提到了《点球成金》，一个经济学硕士运用数据分析，打败众多棒球球探、专家、教练，成就了一个烂队最终决赛超级碗。甚至球队通过数据科学家的数据分析来敲定球员和战术，并最终赢下超级碗。这不是电影《点球成金》里的情节，而是美国第一大职业体育联盟——NFL的真实故事。

J:最后的部分，难以避免，果然还是来了。那就是风险：让数据主宰一切的隐忧。无怪乎欧盟要执意杯葛谷歌，防止它数据独大，从而数据独裁疯狂攫取利益。《少数派报告》因为即将发生的犯罪将会被逮埔。。。不是杜绝，而是预防。隐私的滥用，斯诺登可能知道的更多。

K:凡是过去，皆为序曲。最终点到为止的意犹未尽，我忍不住要明确我的担心：既然数据有如此价值和可怕，人类依赖的机器处理能力技术几何级数的增长，会最终可能终有一日，机器智能失控，导致灾难性后果，这就是乔布斯死后目前最火的人，特斯拉老板马斯克买来一个人工智能公司仅仅只为研究和跟踪这种技术革命最终的可怕和威胁的原因，并屡屡发声警告世界。前几日西班牙和保加利亚《机器纪元》简单低成本的科幻曾被网友影评为好莱坞山寨科幻，那仅仅是因为根本没有意识到里边隐藏的寓意，表象特效神马都是不甚重要的啊，毕竟这个有别于穿越或者伏地魔之类胡扯的特效大制作。。。只是，电影中，突破人类限制进化了的机器，平静的告诉人类有些知识已经不可能令人的大脑理解和了解，那种可怕，脊背发凉，尽管最后也没有很悲惨或是雄壮的结局，但是我想临别机器那句总结，可能已经能说明一切：“其实人类，已经不太适合居住在这个星球上了”，想一下这一切并不遥远，大家有何感想呢？

“大数据之父”维克托·迈尔·舍恩伯格在进行演讲 记者 刘潇 摄

长城新媒体记者雨松全程英文与“大数据之父”进行交流 记者 郑白 摄

长城网9月20日讯(记者 陈雨松刘潇郑白)9月20日，大数据之父”、国际知名大数据专家、牛津大学教授维克托·迈尔·舍恩伯格在2018中国国际数字经济峰会上接受了长城新媒体记者专访。

长城新媒体记者就信息时代如何平衡数据共享与个人隐私关系、中国在大数据时代的独特优势、大数据是决策辅助和大数据是重塑经济体系有何必然联系等热点问题采访了维克托·迈尔·舍恩伯格。

维克托·迈尔·舍恩伯格表示，出卖客户信息给第三方的无德公司会失去客户的信任，进而失去在大数据时代中竞争的优势。中国在大数据时代的优势不仅在于广大的市场与众多的用户，更在于中国人对事物的敏锐的洞察力与把握力，这是中国的独特优势。大数据帮助人们更好的做决策也是其给社会经济带来的良性影响，小型公司从大数据中可以得到更多的决策辅助，得到更多对他们本身有所助益的信息，所以在大数据时代，一些小公司反而更有可能成为“黑马”。