最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为这个信息时代的产物，我们可能无法掌握这些数据的算法，但是可以了解一下大数据都有哪些算法！

今天，来为大家详细介绍大数据十大经典算法！

一、C4.5算法

C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。

C4.5相比于ID3改进的地方有：

1、用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵(entropy，熵是一种不纯度度量准则),也就是熵的变化值.而C4.5用的是信息增益率。对，区别就在于一个是信息增益，一个是信息增益率。

一般来说率就是用来取平衡用的，就像方差起的作用差不多，比如有两个跑步的人，一个起点是10m/s的人、其10s后为20m/s；另一个人起速是1m/s、其1s后为2m/s。如果紧紧算差值那么两个差距就很大了，如果使用速度增加率(加速度，即都是为1m/s^2)来衡量，2个人就是一样的加速度。因此，C4.5克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足。

2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。

3、对非离散数据也能处理。

4、能够对不完整数据进行处理。

二、The k-means algorithm 即K-Means算法

k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割(k

三、 Support vector machines

支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。

它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。

在分开数据的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。

四、The Apriori algorithm

Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。

五、最大期望(EM)算法

在统计计算中，最大期望 （EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。

六、 PageRank

PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。PageRank根据网站的外部链接和内部链接的数量和质量，衡量网站的价值。

PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。

七、AdaBoost

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器融合起来，作为最后的决策分类器。

八、KNN: k-nearest neighbor classification

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

九、 Naive Bayes

在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。

理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。

十、 CART: 分类与回归树

CART, Classification and Regression Trees。在分类树下面有两个关键的思想：第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

看完之后，哪位小伙伴会其中的1-2个算法的，说出来让小编崇拜一下。

注：算法来源于网络,本文不作为商业价值，仅供学习参考，如侵犯著作权，请联系作者删除。

华夏时报（chinatimes）记者张智 北京报道

8月23日的深圳，天气仍然炎热，纳凉成了深圳的关键词之一。但一个眨着大眼睛、说着流利普通话的智能机器人却让气氛持续火热。

这是2018中国智慧城市国际博览会里的一角。在本届智博会上，有2秒钟即可测出身体数据、智能生成体型报告的机器人，还能为你量体裁衣的3D测量间有用VR了解商品实物外形，网购也可以放心入手的无感支付体验区；也有通过手机实时上报身边的城市问题，系统同步对接城市职能部门，精准高效地解决城市问题的“城市智慧中心”平台。

在中国工程院副院长何华武看来，这正是构建智慧城市、智慧社会的重要组成部分。繁荣的数字经济、建设中的数字中国，均是是城市建设与发展的高级阶段。

“中国智慧城市建设已经取得了瞩目的成就，各地的建设热情日益高涨。截止到目前，全国100%的副省级以上城市，包括76%以上的地级城市和32%的县级市，总计大约500座城市已经明确提出正在建设新型智慧城市。”十二届全国人大财经委员会副主任委员、国家发展和改革委员会原副主任彭森介绍。

然而，智慧城市究竟怎么走，各地仍处在探索阶段。

深圳样本

自IBM 2008年提出智慧城市的概念后，各个国家均对智慧城市有了自己的畅想。

据深圳市经贸信息委主任刘胜介绍，深圳正在建成全市统一的信息资源共享体系，其中，分为基础库、主题库、业务库、基础库、电子证照、信用6个主题库，每天政府内部交换的数据平均超过两千万条。

“比如人口库的情况，深圳就算不是全国唯一，也是极少数把人口情况说清楚的城市，用10个城市的布局进行对碰、清洗，出生人口和死亡人口实时更新，深圳市每天的人口情况都在变化。每个人都可以具体到姓名，甚至住在什么地方、在什么地方上班，这为我们的交通、教育等提供大数据支持。”刘胜对《华夏时报》记者表示。

一个优势是，华为、腾讯等一批具有国际竞争力的骨干企业均聚集深圳，这为深圳的智慧城市建设带来新的活力。

事实上，今年两会上，国家主席习近平在参加今年两会广东代表团讲话时，充分肯定深圳高新技术产业是全国的一面旗帜。

“深圳市委市政府把智慧城市建设作为一项重点工作来部署、来推进，进一步加快完善互联网、物联网、云计算等信息网络服务基础设施，全面推广掌上政府、指尖服务、刷脸办事。我们计划用3年时间基本建设地图全面感知、一号走遍深圳、一键知全局、一体运行联动、一站创新创业、一平自选生活，努力实现科技让生活更美好。我们希望通过新型智慧城市的建设进一步带动电子信息产业转型升级，带动城市发展的技术创新、业态创新、管理创新、服务创新，提高城市管理服务的精细化、品质化和智能化水平。”深圳市长陈如桂表示。

数据显示，2017年，深圳地区的生产总值超过2.24万亿元，位居亚洲城市前五位。今年上半年经济实现了8.1%的增长，去年全社会研发投入占GDP的比重达到4.13%，接近全球排名第一、第二的以色列和韩国的水平。深圳甚至有国家级高新技术企业达到1.12万家，特别是深圳是全球重要的电子信息技术产业的制造和研发基地。电子信息产业规模达到2.5万亿，占全国的1/7。增加值占全市经济总量比重超过1/3。

“中国城镇化率由1978年的17.92%提高2017年58.5%，城镇常住人口由1978年1.7亿增长到8.1亿，这种发展与人民群众的需求和向往总体上是契合的。然而，城市发展在取得骄人成绩的同时，也伴生一系列世界性难题。随着城市化进程的加快，大城市病呈现愈演愈烈之势，环境污染、交通堵塞、资源浪费等等问题，正制约着城市的运行和管理。此外，市场化催生社会需求井喷式增长，城市公共政策、公共管理服务供给相对滞后。这些难题，传统技术和管理方法已经难以维系，城市信息化发展向更高阶段的智慧化发展已成为必然的趋势。”何华武表示。

在何华武看来，智慧城市正是解答这一难题的关键所在。

“智慧城市是已知的现代信息技术，科技、互联网、物联网、大数据等各种智慧的要素在一个空间内系统化的整合。智慧城市需要技术支撑。现在科技革命已经打好了智慧城市的基础，我们的网络，网络的数据、移动的数据甚至人工智能都给我们应用上带来很大的方便，城市居民和农村居民已经离不开智慧了。中国的信息革命互联网已经实现了跨越式的超车，中国更多利用网络数据和移动端数据源解决数据问题，解决整个智慧城市系统化管理问题。我们要更多解决城市如何更方便，怎么为市民提供更好的服务，全方位的服务。”国家发展和改革委员会城市和小城镇改革发展中心首席经济学家李铁表示。

碎片化发展

不过，彭森也提醒，取得成绩的同时，智慧城市建设过程中存在的体制机制不到位，碎片化发展等问题仍然比较突出。

“新型智慧城市建设要从城乡居民实际需求出发，重点解决便民、惠民的公共服务和社会服务问题。要正确处理政府和市场的关系。使市场在推进新型智慧城市配置建设过程中发挥决定性作用。建立用数据说话、用数据决策、用数据管理、用数据创新的管理机制和智慧化的城市管理体系。推进国际合作，在更加开放包容的环境下，推动智慧城市建设。”彭森表示。

在李铁看来，市场化的发展也为城市的治理和城市的社会化服务创造了新的空间，比如共享单车就达到节能减排和提高交通效率的作用，这是市场化推动的，不是政府来推动的。

“智慧城市的任务首先要做好顶层规划，要做好政策研究和资讯，怎么进行顶层设计，要形成国家政策的出台，搭建合作平台，在一个空间内实现合作。”李铁表示。

这在高层也已经开始有了布局。就了解，近年新组建的自然资源部我其重要资源之一就是建立空间规划体系并监督实施，包括城市化在内的空间规划都纳入了自然资源部的职能，这也标志着我国的空间规划进入到以智能生态为基础的生态文明新时代。

“智慧城市建设要自下而上，由点到面的推进，智慧城市的内在逻辑决定了它很难先有一张施工总图，然后照图推进，智慧建设只能自下而上，各个领域成熟一个发展一个，积少成多，也就是说我们要按照现实需求，区分轻重缓急，构建各个领域各条战线的智慧子系统，如智慧教育、智慧社区等各领域各条线都可以分别地来推。”十二届全国人大财经委副主任委员黄奇帆在中国智慧城市国际博览会上表示。

责任编辑：徐芸茜 主编：陈岩鹏

火遍全球的AI challenger又派发数据集福利啦！

去年，由创新工场、搜狗、头条联合主办的AI Challenger（以下简称AIC）全球AI挑战赛吸引了来自65个国家近万团队参赛。今年，AIC预热赛零样本学习（zero-shot learning）竞赛即日起开始比赛。

零样本学习竞赛同样发布大规模图像属性数据集，包含78017张图片、230个类别、359种属性。与目前主流的用于zero-shot learning的数据集相比，图片量更大、属性更丰富、类别与ImageNet重合度更低。

创新工场AI工程院运营副总裁吴卓浩表示，因为在很多情况下人们难以获得足够的有标注的数据来训练识别或预测模型。受人类学习能力的启发，零样本学习（zero-shot learning）希望借助辅助知识（如属性、词向量、文本描述等），在没有任何训练样本的情况下学会从未见过的新概念。这具有重要的研究意义和广泛的应用场景，被认为是实现大规模物体识别的一个重要方式。瞄准这个国际前沿课题，AI Challenger带来了目前世界最大的零样本学习数据集、以及国内首次零样本学习竞赛。

最具挑战的AI识别方法

零样本学习是当前最具挑战的AI识别方法之一。简单来说就是识别从未见过的数据类别，即训练的分类器不仅仅能够识别出训练集中已有的数据类别，还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能，使得计算机能够具有知识迁移的能力，并无需任何训练数据，很符合现实生活中海量类别的存在形式。

传统的“零样本学习”方法首先是让智能体（Agent）对类别进行语义理解。将类别标签利用辅助知识（如属性）嵌入到语义空间中，再利用训练集中的数据学习这种从图像到语义的映射关系。此后，即使遇到新的类别，只要提供了该类别的语义知识，模型即可识别该类别，这就是零样本学习。

例如识别一张斑马的图片，但在训练时没有训练过斑马的图片。那么我们可以通过比较这张斑马图片中包含的属性和各个类别的属性定义，进而在属性空间中找到与该测试图片相近标签，即为该图片的标签。

而零样本学习的意义也显而易见：在传统图像识别任务中，训练阶段和测试阶段的类别是相同的，但每次为了识别新类别的样本需要在训练集中加入这种类别的数据。一些类别的样本收集代价大，即使收集到足够的训练样本，也需要对整个模型进行重新训练。这都会加大识别系统的成本，零样本学习方法便能很好的解决这个问题。

将来未知语言也能翻译

早期的零样本学习研究可以追溯到2008 年，Larochelle 等人针对字符分类问题提出了零样本学习（zero shot learning）方法，并且识别准确率达到了60%。2009年Lampert 等人提出了Animals with Attributes数据集和经典的基于属性学习的算法，才真正打开零样本学习的关注度。

北大硕士赵波表示，在一些场景下，如细粒度物体识别、任意语言之间的翻译等，难以获得足够的有标注的数据来训练识别或预测模型。因此，零样本学习具有重要的研究意义和广泛的应用场景。受人类学习能力的启发，零样本学习希望借助辅助知识（如属性、词向量、文本描述等）学习从未见过的新概念。目前零样本学习被认为是实现大规模物体识别的一个重要方式。

以下是零样本学习的几个潜在应用场景。

1.未知物体识别 —— 例如，模型在“马”、“牛”等类别上训练过，因此模型能够准确地识别“马”、“牛”的图片。当模型遇到“象”这个新类别，由于从未见过，模型无法作出判断。传统解决方案是收集大量“象”的图片，与原数据集一起重新训练。这种解决方案的代价高、速度慢。然而，人类能够从描述性知识中快速学习一个新概念。例如，一个儿童即使没有见过“象”，当提供他文本描述“象是一种的大型食草类动物，有长鼻和长牙”。儿童能够根据描述快速学会“象”这一新类别，并能在第一次见到“象”时识别出来。零样本学习与之类似，在没有任何训练样本的情况下，借助辅助知识（如属性、词向量、文本描述等）学习一些从未见过的新概念（类别）。

2.未知语言翻译 —— 比如说要进行三种语言之间的翻译，按照传统的方法需要分别训练六个网络，在日语和韩语之间没有那么多样本的情况下，训练英语→特征空间→日语，韩语→特征空间→英语这两个网络，那么就可以自动学会韩语→特征空间→日语这个翻译过程。

3.未知类别图像合成 —— 近年来，对抗网络GAN被用于图像合成，取得了以假乱真的效果。但传统图像合成仅能合成见过的类别的图像。零样本图像合成希望模型能够合成从未见过的类别的图像。目前已有一些算法通过条件GAN网络实现了零样本图像合成。

4.图像哈希 —— 传统图像哈希算法利用一些训练样本来学习针对某些类别的哈希算法。但这些学习到的哈希算法无法用于新类别。零样本图像哈希，希望在已知类别上学到哈希算法能够运用到新的未知类别上。一些基于属性的零样本哈希算法已经被提出。

AI Challenger的“野心”

“数据是AI的燃料，开放数据集，才会更好地推动AI产业的进步。去年底，创新工场董事长兼CEO、人工智能工程院院长李开复在北京举办的AI Challenger颁奖典礼上如此描述举办“AI Challenger全球AI挑战赛”的初心。

按照最初设定的目标，“AI Challenger全球AI挑战赛”首先要建设紧贴前沿科研任务需要的数据集，再者是要建立超大规模的高质量数据，第三个目标是要打造开放的世界级平台。

“人工智能发展的必经之路之一是“教会”机器认识我们的世界，这也是为什么有了互联网发展过程中所积累下来的海量标注数据，才促成了最近这一波人工智能技术和应用的突破。但是，让机器认识世界的挑战仍然非常大，因为在很多情况下人们难以获得足够的有标注的数据来训练识别或预测模型。“创新工场AI工程院运营副总裁吴卓浩表示，受人类学习能力的启发，零样本学习（zero-shot learning）希望借助辅助知识（如属性、词向量、文本描述等），在没有任何训练样本的情况下学会从未见过的新概念。这具有重要的研究意义和广泛的应用场景，被认为是实现大规模物体识别的一个重要方式。瞄准这个国际前沿课题，AI Challenger带来了目前世界最大的零样本学习数据集、以及国内首次零样本学习竞赛。

在初步打开影响力的基础上，大赛执委、创新工场人工智能工程院副院长王咏刚表示，希望在2018年，AI Challenger能吸引更多国际、国内的高水平参赛团队，并建立算法、代码、论文、数据、比赛的分享和交流平台。此次零样本学习算法大赛，正是将赛事常规化，技术分享平台化的一个有力尝试。据主办方透露，除了AIC大赛，类似的零样本学习竞赛的小型赛事将按季度举办，贯穿全年，用更高水准、更多样化的比赛形式，打造出成为一个真正连接人才、AI、数据的优质平台。

附：

竞赛奖励：

以下提及金额为税前金额，详细规则请参考《竞赛选手报名协议》

冠军：30,000人民币，颁发获奖证书

亚军：10,000人民币，颁发获奖证书

季军：3,000人民币，颁发获奖证书

双周冠军：3,000人民币

双周亚军：2,000人民币

双周季军：1,000人民币

数据集下载地址：https://challenger.ai/datasets

此次数据集和竞赛，由北京大学博雅特聘教授、博导、国家杰青王亦洲教授，复旦大学付彦伟教授，创新工场AI工程院，在AI Challenger平台联合推出。

背景知识：

经典零样本学习方法介绍

最经典的零样本学习方法是Lampert 提出的直接属性预测模型(DAP)。如下图所示，模型中属性训练是在传统特征提取的基础上的进行的，首先使用颜色直方图、局部自相似直方图、SIFT 和PHOG 等6 种方法来提取样本图像的底层特征，这几种特征包含了图像的颜色、形状和纹理等方面，所以通过这种特征提取方法得到的特征可以良好的表达图像中的信息。这几种图像特征不仅适用与线性分类器，而且在非线性分类器中也能达到良好的表现。在DAP方法中，通过上述的特征提取方法得到样本的图像特征后，将特征用于属性分类器的训练，然后将训练得出的模型用于属性的预测，最后采用贝叶斯方法推算测试样本的类别。近年来深度特征的使用大幅提高了零样本识别的准确率。

来源：证券时报网作者：陈冬生

近年来，保险营销员数量呈现爆发式增长，目前，国内保险代理人数已经突破800万人，这些一线营销员的工作和生活状态影响着国内保险事业的发展。日前，北京大学汇丰商学院风险管理与保险研究中心（RMIRC）与保险行销集团保险资讯研究发展中心（IRDC）首度联手调研的国内第一本基于线下大样本数据调查的《2018中国保险中介市场生态白皮书暨保险营销员调查报告》新闻发布会在北京大学汇丰商学院举行。

北大汇丰商学院院长海闻教授认为，本次白皮书发布具有两重特殊意义，一方面为中国保险中介行业的发展提供了重要的学术指引，另一方面促进了校企合作与校企融合。

保险行销集团董事长梁天龙介绍，此次调研项目历时近一年，是一次具有历史意义的创新合作。此次合作的成果将以白皮书的形式免费提供给社会各界人士，对保险从业者具有重要的参考价值。

随后，北大汇丰商学院风险管理与保险研究中心主任雎岚教授对白皮书的研究背景、意义及目的做了简要的解读，剖析了中国保险中介市场的发展概况、营销人员的调查结果和行业遇到的热点问题。她通过对绩优营销员群体进行了全面画像，发现绩优营销员群体普遍呈现出工作年资久、工作时长与强度高且客户关系经营能力强等主要特征，并为保险营销员的个人成长总结了口碑塑造和专业提升两点建议。此外，雎教授就人工智能和保险经代公司对保险营销工作的影响做了详细的解说。

据悉，《报告》历时半年的调研分析，首次使用了中国保险营销员大样本线下调查，从全国18个省、4个直辖市、3个自治区的35家保险机构营销团队收回有效问卷10399份，对中国保险中介市场的生态进行了全面梳理和量化分析。通过呈现保险营销员群体的个人特征、心理特点、工作方式与工作绩效等，以期揭示营销员成功的经验。调研双方期望通过这份报告，能帮助广大民众增进对中国保险中介市场的了解、认知与肯定，也帮助营销员做理性的自我参照，了解成功的模式，并最终为中国保险业的健康持续发展尽绵薄之力。（陈冬生）

人们预期数据可视化过程会继续发展，也许更多的是艺术和科学的混合，而不是数字计算技术。

显示结果

数据可视化是指以图形或图表格式通过人工或以其他方式组织和显示数据，以使受众能够：

更清楚地查看分析结果简化正在使用的数据中的复杂性了解并掌握正在使用的数据制作方法

可视化并不是一个新的概念

这种使用图片(排版、色彩、对比度和形状)来传达或理解数据的概念并不是新鲜事物，从17世纪的手工描绘地图和图形到十九世纪初发明的饼图都是这种形式。

如今，计算机可以用来快速处理大量的数据，使可视化更具价值。展望未来，人们可以预期数据可视化过程将会继续发展，也许更多的是一种艺术和科学的混合，而不是数字计算技术。

即时满足

数据可视化演进过程的一个令人兴奋的例子是，业界如何将数据可视化过程转移到生成和发布图表和图形的过程中，供观众进行审查和仔细考虑，从而设定了交互式可视化的期望。

通过交互式的可视化，人们可以更多地使用数据可视化的概念，进一步利用技术让观众与数据交互，为用户提供自助服务能力，以实时(或接近实时)交互式地深入到生成的图片、图表、图形(访问更多或特定的细节)来改变显示的数据(可能是不同的时间框架或事件)以及如何处理和/或呈现(可能选择条形图而不是饼图)。这使可视化更加有效和个性化。

人们可以通过使用数据驱动文档(D3)的典型网络浏览器在各种示例中介绍显示大数据分析结果的主题。D3允许将预先构建的数据可视化应用于数据集。

数据驱动的文件

数据驱动的文档在开放社区中被称为D3。D3是一个采用JavaScript编写的开源库。其目标是允许使用标准网页浏览技术(如HTML或CSS)轻松地处理基于数据的文档。它的附加值是为用户提供全面的功能，而无需自己构建或绑定到某个专用的框架中。

这些库组件为用户提供了优秀的大数据可视化工具和DOM操作的数据驱动方法。 D3的功能风格允许用户重新使用已经构建的库代码模块(或者其他已经构建的代码模块))来添加用户需要或想要(或不想要)的任何特定功能。这就创建了一种可以变得像用户想要的那样强大(或者有时间去做)的手段，为其数据可视化提供一个独特的风格，操纵并使之互动，这正是用户想要或需要的。

仪表板

正如前面所讨论的，事实上人们每天都在收集和积累大量数据，而组织出于各种原因依赖这些信息。

这些数据使用各种报告格式，包括数据仪表板。就像所有的事情一样，人们对于数据仪表板的定义有各种各样的担心。

例如，A.Chiang写道：“仪表板是实现一个或多个目标所需的最重要信息的直观展示。在一个屏幕上合并和排列，以便一目了然地监视信息。”

无论其定义如何，如果设计和建造得当的话，任何仪表板都有能力为受众提供及时而重要的信息，供决策者使用。

仪表盘以相关的、简明的、深思熟虑的方式(不仅仅是工作簿或电子表格中的可视表示的集合)呈现数据是至关重要的。而仪表盘上的数据显示过时和错误，那么由此做出决定可能会导致灾难。

通过仪表板可以演示解决方案的工作示例，而这样的示例基于使用Tableau的实时仪表盘格式，基于大数据分析有效呈现出结果。

Tableau是一种商业智能软件，旨在帮助人们查看和理解数据。Tableau不仅仅是一个代码库，也被认为是一组或一系列交互式数据可视化产品。

Tableau的结构可以使人们能够将来自多个来源的多个数据视图组合到一个高效的仪表板中，从而为数据消费者提供更丰富的见解。Tableau还可以处理各种格式(包括结构化和非结构化)的数据，并且可以处理大数据量(可能是TB字节或PB字节，或数百万或数十亿行代码)，从而将大数据转化为针对目标受众的有价值的可视化结果。

为了解决当今大数据世界的速度问题，人们可以使用Tableau直接连接到本地数据中心和云端的数据源，或者将数据导入快速内存性能。

Tableau的另一个目标是自助服务分析，用户可以通过对话选择数据来提问(实时模式而不是批处理模式)使用简单的点击分析直观地挖掘大数据，并有效地发现数据集或数据集中可能存在的理解和机会。

Tableau提供的一些令人兴奋的功能包括：

实时拖放聚类分析交叉数据源加入强大的数据连接器移动启用实时的地区或区域数据探索

异常值

异常点是一个与数据中其他观测数据点相距甚远或极大不同的观测点。尽管异常值通常只表示大约1%到5%的数据，但当企业处理大数据时，调查甚至只是查看数据的1%到5%是相当困难的。

调查和决定

人们可以看到，异常值可以被确定为非影响力的或者对数据可视化所要处理的点非常有影响力。

做出这一决定的行为或过程对于企业的分析非常重要，但处理大数据的大容量、多样性和速度也是非常困难的。例如，帮助做出这个决定的一个基本步骤是测定样品的大小，这是一个计算异常值与数据样本大小的主要数学过程，当数据量十分庞大时，这不是一个简单的任务。

人们可以使用Python高效地识别和处理大数据异常值(以及其他一些数据集异常)。Python是一种脚本语言，它非常容易学习，因为它的编码语法非常类似于英语。

Python是2016年9种最受欢迎??的编程语言之一，由Bouwkamp公司提供，Python被列在顶级的按需编程语言中。

Python诞生于1989年，由Guido van Rossum创建，实际上Python的使用非常简单，但业界也认为其功能非常强大，速度快，可以在任何环境中运行。

根据定义描述，“开放源代码Python是世界各地许多公司和机构的生产力，软件质量和可维护性成功公式的一部分。”

业界对利用Python语言进行数据分析和大数据分析的兴趣日益浓厚，而且它是数据科学家日常工作的选择，因为它提供了一个库，实际上是一个标准库(甚至有些专注于大数据，如Pydoop和SciPy)来完成几乎所有人需要或想要处理的数据，包括：

自动化建立网站和网页访问和操作数据计算统计创建可视化报告建立预测和解释模型评估额外数据的模型将模型整合到生产系统中

最后要说明的是，Python的标准库非常广泛，提供了一系列内置模块来提供对系统功能的访问，以及标准化的解决方案来解决日常编程中出现的许多问题，这是探索处理大数据离群值和相关处理的一个明显选择。

操作智能

操作智能(OI)是一种分析方法，试图通过(通常是机器生成的)操作或事件数据来提供可视性和洞察力，实时运行针对数据流馈送的查询，产生作为操作指令的分析结果，可以通过人工或自动操作(将数据集转化为价值的明确例子)让组织立即执行。

复杂的操作智能(OI)系统还提供了将元数据与数据中发现的某些度量、流程步骤、渠道等相关联的能力。有了这个能力，就很容易获得额外的相关信息，例如，机器生成的操作数据通常都具有唯一的标识符和结果或状态代码。这些代码或标识符对于处理和存储可能是有效的，但是并不总是易于理解。为了使这些数据更具可读性(因此更有价值)，可以将更多用户友好的附加信息与数据结果相关联 – 可能是以状态或事件描述的形式，或者可能是产品名称或机器名称。

一旦了解将基本分析和可视化技术应用于操作大数据的挑战，数据的价值可以更好或更快地实现。人们将运用Splunk智能化操作来展示操作或大数据评估解决方案的工作示例。

那么，什么是Splunk?Splunk开始是一种“Google for Log”文件。它还有更多的功能…它存储所有的日志，并提供非常快速的搜索功能，大致就像Google为互联网做的一样…

Splunk软件是帮助实现隐藏的价值在机器生成的一个很好的工具，使用Splunk，企业可以在一个地方收集、索引、搜索、分析，以及可视化所有数据，从几乎任何地方提供一种整合方法，可以从大量机器数据中组织和提取实时信息。

Splunk将数据存储在文件中，为文件分配索引。 Splunk不需要在后台运行任何数据库软件来实现此目的。Splunk调用这些文件索引器。Splunk可以对任何类型的时间序列数据(具有时间戳的数据)进行索引，使其成为大数据操作智能(OI)解决方案的最佳选择。在数据索引期间，Splunk会根据其标识的时间戳将数据分解为事件。

尽管使用简单的搜索术语(例如机器ID)，Splunk也提供了自己的搜索处理语言(SPL)。 Splunk SPL(将其视为SQL类型)是一种非常强大的工具，用于搜索大数据并对特定场景中的相关内容执行统计操作。

“大数据”全在于发现和理解信息内容及信息与信息之间的关系，然而直到最近，我们对此似乎还是难以把握。ibm的资深“大数据”专家杰夫·乔纳斯（jeff jonas）提出要让数据“说话”。从某种层面上来说，这听起来很平常。人们使用数据已经有相当长一段时间了，无论是日常进行的大量非正式观察，还是过去几个世纪里在专业层面上用高级算法进行的量化研究，都与数据有关。

在数字化时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的数据。但当我们谈论能“说话”的数据时，我们指的远远不止这些。

实际上，大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作用的。

首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。

其次，我们乐于接受数据的纷繁复杂，而不再追求精确『性』。

最后，我们的思想发生了转变，不再探求难以捉『摸』的因果关系，转而关注事物的相关关系。

本章就将介绍第一个转变：利用所有的数据，而不再仅仅依靠一小部分数据。

很长一段时间以来，准确分析大量数据对我们而言都是一种挑战。过去，因为记录、储存和分析数据的工具不够好，我们只能收集少量数据进行分析，这让我们一度很苦恼。为了让分析变得简单，我们会把数据量缩减到最少。这是一种无意识的自省：我们把与数据交流的困难看成是自然的，而没有意识到这只是当时技术条件下的一种人为的限制。如今，技术条件已经有了非常大的提高，虽然人类可以处理的数据依然是有限的，也永远是有限的，但是我们可以处理的数据量已经大大地增加，而且未来会越来越多。

在某些方面，我们依然没有完全意识到自己拥有了能够收集和处理更大规模数据的能力。我们还是在信息匮乏的假设下做很多事情，建立很多机构组织。我们假定自己只能收集到少量信息，结果就真的如此了。这是一个自我实现的过程。我们甚至发展了一些使用尽可能少的信息的技术。别忘了，统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。事实上，我们形成了一种习惯，那就是在我们的制度、处理过程和激励机制中尽可能地减少数据的使用。为了理解大数据时代的转变意味着什么，我们需要首先回顾一下过去。

小数据时代的随机采样，最少的数据获得最多的信息

直到最近，私人企业和个人才拥有了大规模收集和分类数据的能力。在过去，这是只有教会或者『政府』才能做到的。当然，在很多国家，教会和『政府』是等同的。有记载的、最早的计数发生在公元前8000年，当时苏美尔的商人用黏土珠来记录出售的商品。大规模的计数则是『政府』的事情。数千年来，『政府』都试图通过收集信息来管理国民。

以人口普查为例。据说古代埃及曾进行过人口普查，《旧约》和《新约》中对此都有所提及。那次由奥古斯都凯撒主导实施的人口普查，提出了“每个人都必须纳税”，这使得约瑟夫和玛丽搬到了耶稣的出生地伯利恒。1086年的《末日审判书》（the doomsday book）对当时英国的人口、土地和财产做了一个前所未有的全面记载。皇家委员穿越整个国家对每个人、每件事都做了记载，后来这本书用《圣经》中的《末日审判书》命名，因为每个人的生活都被赤『裸』『裸』地记载下来的过程就像接受“最后的审判”一样。

然而，人口普查是一项耗资且费时的事情。国王威廉一世（king william i）在他发起的《末日审判书》完成之前就去世了。但是，除非放弃收集信息，否则在当时没有其他办法。尽管如此，当时收集的信息也只是一个大概情况，实施人口普查的人也知道他们不可能准确记录下每个人的信息。实际上，“人口普查”这个词来源于拉丁语的“censere”，意思就是推测、估算。

三百多年前，一个名叫约翰·格朗特（john graunt）的英国缝纫用品商提出了一个很有新意的方法。他采用了一个新方法推算出鼠疫时期伦敦的人口数，这种方法就是后来的统计学。这个方法不需要一个人一个人地计算。虽然这个方法比较粗糙，但采用这个方法，人们可以利用少量有用的样本信息来获取人口的整体情况。

虽然后来证实他能够得出正确的数据仅仅是因为运气好，但在当时他的方法大受欢迎。样本分析法一直都有较大的漏洞，因此无论是进行人口普查还是其他大数据类的任务，人们还是一直使用具体计数这种“野蛮”的方法。

考虑到人口普查的复杂『性』以及耗时耗费的特点，『政府』极少进行普查。古罗马人在人口以万计数的时候每5年普查一次。美国宪法规定每10年进行一次人口普查，因为随着国家人口越来越多，只能以百万计数了。但是到19世纪为止，即使这样不频繁的人口普查依然很困难，因为数据变化的速度超过了人口普查局统计分析的能力。

穿孔卡片的美国人口普查

美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。即使不考虑这种情况违反了宪法规定，它也是很荒谬的。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，所以必须要得到正确的数据，而且必须是及时的数据。

美国人口普查局面临的问题与当代商人和科学家遇到的问题很相似。很明显，当他们被数据淹没的时候，已有的数据处理工具已经难以应付了，所以就需要有更多的新技术。

后来，美国人口普查局就和当时的美国发明家赫尔曼·霍尔瑞斯（herman hollerith)签订了一个协议，用他的穿孔卡片制表机来完成1890年的人口普查。

经过大量的努力，霍尔瑞斯成功地在1年时间内完成了人口普查的数据汇总工作。这简直就是一个奇迹，它标志着自动处理数据的开端，也为后来ibm公司的成立奠定了基础。但是，将其作为收集处理大数据的方法依然过于昂贵。毕竟，每个美国人都必须填一张可制成穿孔卡片的表格，然后再进行统计。这么麻烦的情况下，很难想象如果不足十年就要进行一次人口普查应该怎么办。但是，对于一个跨越式发展的国家而言，十年一次的人口普查的滞后『性』已经让普查失去了大部分意义。

这就是问题所在，是利用所有的数据还是仅仅采用一部分呢？最明智的自然是得到有关被分析事物的所有数据，但是当数量无比庞大时，这又不太现实。那如何选择样本呢？有人提出有目的地选择最具代表『性』的样本是最恰当的方法。1934年，波兰统计学家耶日·奈曼（jerzy neyman）指出，这只会导致更多更大的漏洞。事实证明，问题的关键是选择样本时的随机『性』。

统计学家们证明：采样分析的精确『性』随着采样随机『性』的增加而大幅提高，但与样本数量的增加关系不大。虽然听起来很不可思议，但事实上，一个对1100人进行的关于“是否”问题的抽样调查有着很高的精确『性』，精确度甚至超过了对所有人进行调查时的97%。这是真的，不管是调查10万人还是1亿人，20次调查里有19都是这样。为什么会这样？原因很复杂，但是有一个比较简单的解释就是，当样本数量达到了某个值之后，我们从新个体身上得到的信息会越来越少，就如同经济学中的边际效应递减一样。

认为样本选择的随机『性』比样本数量更重要，这种观点是非常有见地的。这种观点为我们开辟了一条收集信息的新道路。通过收集随机样本，我们可以用较少的花费做出高精准度的推断。因此，『政府』每年都可以用随机采样的方法进行小规模的人口普查，而不是只能每十年进行一次。事实上，『政府』也这样做了。例如，除了十年一次的人口大普查，美国人口普查局每年都会用随机采样的方法对经济和人口进行200多次小规模的调查。当收集和分析数据都不容易时，随机采样就成为应对信息过量的办法。

很快，随机采样就不仅应用于公共部门和人口普查了。在商业领域，随机采样被用来监管商品质量。这使得监管商品质量和提升商品品质变得更容易，花费也更少。以前，全面的质量监管要求对生产出来的每个产品进行检查，而现在只需从一批商品中随机抽取部分样品进行检查就可以了。本质上来说，随机采样让大数据问题变得更加切实可行。同理，它将客户调查引进了零售行业，将焦点讨论引进了政治界，也将许多人文问题变成了社会科学问题。

随机采样取得了巨大的成功，成为现代社会、现代测量领域的主心骨。但这只是一条捷径，是在不可收集和分析全部数据的情况下的选择，它本身存在许多固有的缺陷。它的成功依赖于采样的绝对随机『性』，但是实现采样的随机『性』非常困难。一旦采样过程中存在任何偏见，分析结果就会相去甚远。

最近，以固定电话用户为基础进行投票民调就面临了这样的问题，采样缺乏随机『性』，因为没有考虑到只使用移动电话的用户——这些用户一般更年轻和更热爱自由。没有考虑到这些用户，自然就得不到正确的预测。2008年在奥巴马与麦凯恩之间进行的美国总统大选中，盖洛普咨询公司、皮尤研究中心（pew）、美国广播公司和《华盛顿邮报》这些主要的民调组织都发现，如果他们不把移动用户考虑进来，民意测试结果就会出现三个点的偏差，而一旦考虑进来，偏差就只有一个点。鉴于这次大选的票数差距极其微弱，这已经是非常大的偏差了。

更糟糕的是，随机采样不适合考察子类别的情况。因为一旦继续细分，随机采样结果的错误率会大大增加。这很容易理解。倘若你有一份随机采样的调查结果，是关于1000个人在下一次竞选中的投票意向。如果采样时足够随机，这份调查的结果就有可能在3%的误差范围内显示全民的意向。但是如果这个3%左右的误差本来就是不确定的，却又把这个调查结果根据『性』别、地域和收入进行细分，结果是不是越来越不准确呢？用这些细分过后的结果来表现全民的意愿，是否合适呢？

你设想一下，一个对1000个人进行的调查，如果要细分到“东北部的富裕女『性』”，调查的人数就远远少于1000人了。即使是完全随机的调查，倘若只用了几十个人来预测整个东北部富裕女『性』选民的意愿，还是不可能得到精确结果啊！而且，一旦采样过程中存在任何偏见，在细分领域所做的预测就会大错特错。

因此，当人们想了解更深层次的细分领域的情况时，随机采样的方法就不可取了。在宏观领域起作用的方法在微观领域失去了作用。随机采样就像是模拟照片打印，远看很不错，但是一旦聚焦某个点，就会变得模糊不清。

随机采样也需要严密的安排和执行。人们只能从采样数据中得出事先设计好的问题的结果——千万不要奢求采样的数据还能回答你突然意识到的问题。所以虽说随机采样是一条捷径，但它也只是一条捷径。随机采样方法并不适用于一切情况，因为这种调查结果缺乏延展『性』，即调查得出的数据不可以重新分析以实现计划之外的目的。

我们来看一下dna分析。由于技术成本大幅下跌以及在医学方面的广阔前景，个人基因排序成为了一门新兴产业。2012年，基因组解码的价格跌破1000美元，这也是非正式的行业平均水平。从2007年起，硅谷的新兴科技公司23andme就开始分析人类基因，价格仅为几百美元。这可以揭示出人类遗传密码中一些会导致其对某些疾病抵抗力差的特征，如『乳』腺癌和心脏病。23andme希望能通过整合顾客的dna和健康信息，了解到用其他方式不能获取的新信息。

公司对某人的一小部分dna进行排序，标注出几十个特定的基因缺陷。这只是此人整个基因密码的样本，还有几十亿个基因碱基对未排序。最后，23andme只能回答它们标注过的基因组表现出来的问题。发现新标注时，此人的dna必须重新排序，更准确地说，是相关的部分必须重新排列。只研究样本而不是整体，有利有弊：能更快更容易地发现问题，但不能回答事先未考虑到的问题。

大数据与乔布斯的癌症治疗

苹果公司的传奇总裁史蒂夫·乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有dna和肿瘤dna进行排序的人。为此，他支付了高达几十万美元的费用，这是23andme报价的几百倍之多。所以，他得到的不是一个只有一系列标记的样本，他得到了包括整个基因密码的数据文档。

对于一个普通的癌症患者，医生只能期望她的dna排列同试验中使用的样本足够相似。但是，史蒂夫·乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用『药』。如果癌症病变导致『药』物失效，医生可以及时更换另一种『药』，也就是乔布斯所说的，“从一片睡莲叶跳到另一片上。”乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”虽然他的愿望都没有实现，但是这种获得所有数据而不仅是样本的方法还是将他的生命延长了好几年。

全数据模式，样本=总体

在信息处理能力受限的时代，世界需要数据分析，却缺少用来分析所收集数据的工具，因此随机采样应运而生，...

图片来自网络

科技日报北京6月29日电（记者房琳琳）《新科学家》29日报道，根据一项6.5万人参与的调查研究表明，智商较高的人在79岁以前死亡的可能性较低。

英国爱丁堡大学爱恩·戴尔瑞团队对这批人展开健康数据调查，他们都是于1936年在苏格兰出生，每个人在11岁时进行了智力测试，他们的健康数据一支持续了68年，即到2015年底。

研究发现，儿童期考试成绩的高低，与疾病死亡风险大小有关，成绩越高的人，呼吸系统疾病死亡风险降低28%、冠心病死亡风险降低25%，中风死亡风险降低24%。

即便同时考虑了社会经济地位等影响因素，取得较高成绩的人也不太可能受到消化系统和脑部神经系统疾病的侵害而死亡。

戴尔瑞团队说，有几个原因可以解释为什么更聪明的人会活的更长久。比如，智商高的人更有可能关爱自己的健康，他们吸烟的可能性较小，在生病时主动求医，倾向于多做运动等。

“我们希望找出聪明人长寿的原因，并让更多的人‘复制’这些做法，让大家都有机会更健康、更长久地生活。”戴尔瑞说。

报道称，有证据表明，遗传学因素也不能忽视。最近的一项研究证实，非常罕见的遗传变异在降低智力方面发挥着重要作用，而且，这些变异也可能损害健康。

数据是死的，

可人是活的呀！

大数据的大指的是全，即“总体=样本”。因此，在使用大数据时看到大就想到了海量是不对的，即便很多情况下大数据的确意味着海量数据。这种样本方式从根本上解决了抽样的随机性带来的数据偏差，但也增加了数据的混乱程度。在分析时，我们必须建立多个数据模型而非简单的一个。

现在很多管理者都清楚大数据的重要性，却没有完整明白大数据的真正意义，从而导致很多人认为大数据是个伪概念。曾鸣教授在得到APP里的《智能商业20讲》里提出了一个很有意思的新词叫做：活数据。我以为这个提法要比大数据更精准，活数据首先可以理解为全体样本数据，其次可以理解为动态数据，还可以理解为多种模型数据。

大数据的全体样本性势必可以提高分析的精准度，但其导致的数据分析复杂度也为数据模型的创建提出了新的要求。如今，很多公司已经可以做到数据秒级响应了。这种动态数据为企业决策者提供了更为准确的判断依据，也成了活数据的最佳案例。

成熟企业对数据的依赖也与日俱增，毕竟在传统的管理中我们要以客户至上，客户的需求往往是通往高增长的正确路径。然而，大数据也有失灵的时候，比如面对破坏性创新的时候。数据更多的是为过去服务，即便秒级数据响应也是如此。这些数据准确的提供了用户需求指数及走向，但这种分析得到的只是成为客户的这波人，那些非用户群体往往被忽略了。

当然，企业关注自身客户本来就没有错，因为所有管理者都明白只有客户才能为自己提供更高的增长率。每个企业都势必走向更高级别市场，从而产生新的低端市场真空区。这个真空区往往成为那些新的破坏性创新者的入口，从而根据延续性创新逐步占领主流市场成为精英新贵。

这样的例子在整个商业史上数不胜数。那为什么会产生这样的情况呢？管理者往往在搭建数据模型时忽略了那些短暂性存在过的用户，他们在数据海中快速流失，在数据分析时往往被列为混乱数据从而过滤掉。这个过滤对于企业当下是有利的，但从长久来说却十分不明智。毕竟他们悄然而至悄然而去都是有原因的。这个原因很可能就是破坏性创新的缘起。

因此，企业除了成立适应破坏性创新的小团队外，还应在数据分析时搭建小数据分析模型，并且去追踪这些数据。这些数据背后隐匿的或许与你当下的价值观不同，却包含了未来的巨大增长路径。这也从另一个方面说明了，大数据的本质不是相关性，而是更为细碎的的彻底因果关系，我们必须意识到这是一个多因多果的世界。

提到大数据，就得说这个数据信息量。

字节(Byte)是计算机信息技术用于计量存储容量和传输容量的一种计量单位，一个字节等于8位二进制数，在UTF-8编码中，一个英文字符等于一个字节。

通常我们接触比较多的就是U盘，手机和电脑，这些一般到TB级别就足够用了，大部分是GB。

而大数据时代，数据的量级要提高很多。Google搜索引擎似乎在不顾一切的吞食来自互联网的数据，仅2007年1年它就吞下了约100 Exabytes（1 Exabyte=1000000000 Gigabyte）的数据。1T（太）=1000G，1P（拍）=1000T，1E（艾）=1000P

单纯数据量上看，很大，无法想象。

大数据时代，大数据，多大都不算大。

如果你有工具。你丢给工具一份数据，工具告诉你：

1.这份数据的效果有多好？

2.样本大小与数据效果的关系？

3.什么样本最有用？

4.什么特征最有用？

如此，你便可以继续收集和重要样本类似的样本，继续提取和重要变量相关的变量。

如果我们可以轻而易举地知道什么数据有用，那么，这个大数据就是比较合适的，大数据，多大都不算大。

黑发不知勤学早

白首方悔读书迟

在今天的这个社会你一定听过的时髦词语有：人工智能、大数据、互联网思维…，而本书《大数据时代》是2012年出版的，忆往昔，2012的时候小米手机1第一次正式网络售卖，那时的我刚踏入大学的校门，那时的你也绝不可能想象到几年后社会发展的如此之快，各种数据、各种共享经济席卷而来。虽然已经6年多过去了，但今天读这本书会发现，书中的思维依然值得我们学习。

另，这本书不是一本IT行业的技术书，并没有涉及到具体处理大数据的技术，而是一本开拓思维的、帮我们认识和了解大数据的指导性书籍。

本书作者是维克托·迈尔-舍恩伯格，为了说明这个作者牛X，简单贴一些他的成就：

学术成果有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。 众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问。

此书目录的结构清晰明了，第一部分主要是讲大数据时代的思维，第二部分讲了很多大数据在商业中的具体应用案例。体现作者水平的是第三部分，作者考虑到了大数据也是有两面性的，数据不可能主宰一切，故在第三部分讨论了大数据发展中带给人们的问题以及人们的应对措施。

了解大数据之前先要明白两个概念——数字化与数据化。

数字化：把模拟数据转换为0,1表示的二进制码。

一个例子就是，电脑、手机处理的数据都是数字化的0,1数据，而现实世界的温度、压力的实际存在形式是连续变化的模拟数据。数模转换是通过传感器、数/模、模/数转换器实现两者之间的相互转化。

数据化：将现象转变为可制表分析的量化形式的过程。所谓的数据挖掘、数据分析就是对数据化后的数据处理。

其中，数字化是数据化的前提。

对我来说，此书的帮助就是拓展了新的思维方式，认识到大数据时代的3个特点：

1.不是随机样本，而是群体数据

小样本时代： 样本远小于总体

大数据时代： 样本等于总体

正因为，样本数据量的增多，才挖掘到了数据间新的关系。对这么多样本数据的采集得益于今天技术的发展，电子化驱动的世界中，手机的信息、汽车上的传感器、微博空间的消息…都可以被记录并保存下来用于分析。

2.不是精确性，而是混杂性

因为小样本时代，最基本的要求就是保持收集数据的准确性，以利于分析并得出正确结论。而大数据时代，数据量的巨大和数据格式的不统一，必然会夹杂混乱或错误的数据，但为了利用大数据的优点必然要接受错误数据的存在。

这让我想起了一句话“模糊的精确比精确的模糊更好”。大数据让我们不再期待精确性，也无法实现精确性。

3.不是因果关系，而是相关关系

两个不同的逻辑方式对数据处理的过程也不一样：

因果关系： 为什么。

相关关系： 是什么。

例子：沃尔玛是世界上最大的零售商。2004年沃尔玛分析它的商品数据发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此当季节性风暴来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，方便顾客购买。

上面这个例子说明，对于大数据分析得到的结论，我们往往暂时发现不了或者找不到数据间的因果关系。但大数据的现实结论又摆在眼前，所以在大数据的时代，除了我们潜意识里常用的因果关系外，我们要重视相关关系这一逻辑。

大数据的核心是什么？——预测。

我们处理大数据就是为了预测，预测城市里哪条道路现在不堵车、预测汽车零件是否该维修替换了、预测人们网上购物的个性化需求以推荐合适的商品…

虽然大数据的预测通常被视为人工智能的一部分，或一种机器学习，但这种定义有误导性。我们是通过用大量过往数据蕴藏的关系来对未来同类型事情进行预测，并不是教机器像人一样思考，更不是指望大数据像“神”一样预测未来的一切。所以，大数据的预测是一定条件下、有限的预测。

大数据的更好的发展需要三个方面的提升：思维、技术、数据。

数据本身并无价值，只有使用才会体现其价值。对于三者的关系，我认为技术是外在的实现手段，而数据是所有的基础。但在早期阶段，技术和思维是最有提高价值的，也是我们现在可以抓住的机会。

大数据发展的弊端：

1.隐私问题

2.预测判断以及惩罚人类的潜在行为，与伦理相悖

隐私问题随着商业公司和我们对数据的重视必然会有一定冲突。但这个问题远不如第二个问题严重。试想一下，大数据通过收集你以往做的事和说过的话，判断出80%的概率你将会有违法行为，故警察到家里把你逮捕。这是多么可怕！大数据预测和惩罚人们，并不是因为“所作的事情”，而是因为“将要做的事情”，而将要做的事情是机器判断出来的，我们并没有发生的行为。

对于这一个问题，我们必然要思考人与数据的关系。我的思考是，人是高度复杂的，数据是由人产生的，我们可以借助大数据的力量优化我们的社会，提高我们的工作生活效率，但应避免对数据的过度依赖，成为数据的“奴隶”。数据没有思维能力，更没有创新能力，数据造不出改变世界苹果，而人可以。

人的未来必须保留部分空间，否则大数据会扭曲人类最本质的东西——理性思维和自由选择。书中的一句话很好“人类最伟大之处正是算法和硅片没有揭示也无法揭示的东西，因为数据无法捕捉到这些”。

最后问你一个问题，你认为“日久见人心”是一种大数据思维吗？

END

诗词赏析 | 读书感悟 |

—不悔书堂—