作者：创业达仁

摘要： 你愿意你的终身大事被算法安排吗？如果有一天算法将比你更加了解你自己，你准备好相应的心智模块了吗？本期数据侠将比较机器学习和传统数据建模的区别，并用最优停止理论教你：下次再遇到逼婚的，就可以告诉父母，数学家已经证明了，33岁之后再选择遇到最好的那个也不迟。

算法将比你更加了解你自己？

听过了很多道理，却依然过不好这一生。

这是很多人的困惑。这篇小文想讲的是，任何一场科技中的浪潮，都会带来方法论上的变革。关于人生中的抉择，人们总是用当前最热门科技中的概念去类比。正如Carl Sagan(美国天文学家、天体物理学家、宇宙学家、科幻作家)所说：Science is a way of thinking much more than it is a body of knowledge（与其说科学是一套知识体系倒不如说是一种思维方式）。授人以鱼不如授人以渔，了解了方法论的变革，才会带来元认知上的升级换代。

在过去，当我们站在人生选择的十字路口，我们会从古代先哲的话中去寻找启迪，会听从当地宗教领袖的话，到了启蒙运动之后，社会的主流意见变成了听从你内心的声音。然而，随着数据在我们的生活中占据了越来越重要的位置，我们做决策时也需要拿出数据和图表，用量化的数据以及算法来指导我们的决策，而不只是做你自己喜欢的事。

为什么我们不应该只追随自己的inner voice了？这是因为当代心理学及其衍生出来的行为经济学已积累了足够的证据，说明人类会系统性的犯错误。关于这个话题，最著名的论述就是《思考，快与慢》这本书，另一本值得看的书是《进化的“乱乱脑”是怎么让你不完美的》。

另一方面，在《A brief history of tomorrow》这本书中，作者指出，做出明智的决策，自我意识的存在不是必要条件，很多Non-conscious but highly intelligent（不自觉的高度智能化）的算法即将在未来变得比我们更加了解自己。但我们有些时候却不愿相信算法帮我们做出的决策，尤其在面对人生的关键选择时。

最优停止理论：33岁后再选择遇到最好的那个不迟

例如，你愿意你的终身大事被算法安排吗？

当一个程序告诉你，你应该和A结婚，尽管你觉得B更有魅力时，你会听程序的安排吗？要回答这个问题，最好我们先了解程序背后的算法逻辑，否则在对算法一无所知的情况下做出的选择，不会是一个明智的选择。在不久的将来，算法将会或显或隐的影响你的选择，你准备好相应的心智模块了吗？

举一个具体的例子，假如一个非常优秀的人参加选秀节目，已知追求的他的人有有限个，例如10位，选秀节目规定，他不能脚踏两只船，即不能同时和两个人交往，如果在交往之后他没有接受这个人，那么，以后也没有机会再选择这个人作为对象。然后接着和下一个人交往。他该怎么办？

对这个问题的回答，有两种思考方式，先说机器学习的方式。一个做机器学习的人拿到这个问题，首先会做的是收集数据，假设上面提到的选秀节目进行了100期，那么要收集的数据包括这一百期节目中每位男嘉宾的年龄，学历，身高，职业等结构化的数据，还会收集台上发生的对话这样非结构化的数据，最后在通过对每位女嘉宾的事后访谈，确定各位女嘉宾是否后悔自己的选择，是否和男嘉宾有更多的发展。之后将所有的这些数据放入多个模型中，目标是找出一套规律来，来指导未来参加这个节目的女嘉宾，让她们能做出让她们最不后悔的选择。不同的模型给出的规律会各有不同，有的模型很简单，会告诉女嘉宾找和自己年龄相差最小的，有些规则会很复杂，会告诉女嘉宾去找又高又年轻的程序员但是却要比自己大1岁到3岁。

另一种方法是传统的数学模型。关于上文提到的问题，有一个现成的数学理论可以去对这个问题给出最优解。Optimal Stop Theory (最优停止理论)是一个在金融衍生品定价中应用很广泛的理论，假设每个女嘉宾可以对男嘉宾给出一个唯一的打分，但女嘉宾不清楚这届男嘉宾的整体水平怎么样，需要拿前几个去摸索一下自己应该把标准定的多高，又担心久久不选择，错过了最好的那个，那么Optimal Stop Theory 给出的答案是37%，在37%之后，女嘉宾应该不要犹豫，只要遇到一个比之前的选择都得分高的男嘉宾，该将就就将就吧。

对于这个问题的数学建模，感兴趣的童鞋可以自己去推算出上文提到的37%来。

在男嘉宾的数目不同时，女嘉宾按最优停止理论应该采取的最优策略，以及对应的有多少比例找到这一组中男嘉宾中最好的那个，有63%的概率遇不到最好的那个这不是一个好消息，但从另一方面来看，最优停止理论保证了不管男嘉宾有多少个，女嘉宾总能有差不多的几率找到最好的那个。

将选秀节目中的场景反射到生活的时间之流中。我们每个人也都会遇到或多或少几个追求者，也会在到底是该等待唯一的那个人，还是就这么嫁了中彷徨。假设我们的平均寿命是90岁，那么最优停止理论告诉你可以在33岁前去扩大你的选择，过了33岁之后，再选择遇到最好的那个不迟。下次再遇到逼婚的，就可以给父母亲戚推一推公式，告诉他们数学家已经证明了，再等几年是最优的选择。

（萌主补充：最优停止理论 Optimal Stopping Theory， 在经济学、金融领域使用非常广泛，例如美式期权在股票交易中看涨看跌，执行期权，基本都使用停止理论来求解。但是实际上，除了相亲问题，这一理论同样适用于买房问题、经典的秘书问题等等）

机器学习和传统数学建模

比较一下机器学习和传统数学建模的方式，机器学习处理多维的、复杂的数据，其模型相比数学模型，需要更少的假设条件，其得出的结论，不会保证其一定是最优的。而数学建模，首先假设了男嘉宾出现的次序和其质量是独立的，更重要的是，其要求女嘉宾对每一个男嘉宾有一个唯一的打分。如果真的能这样，生活中的选择就简单多了。所以说，尽管机器学习有时会给出一些不那么靠谱的选择，在面对现实的问题时，不过度的简化问题，是给出的解答有用的一个必要条件。

不过，不管是什么方法得出的答案，数据指导的思考方式要求你去做验证，要求你去质疑假设，并看看将某些假设做了修改后，答案又会变成怎样。比如上文提到的问题，如果假设在女嘉宾拒绝了男嘉宾后一次，男嘉宾还会接受女嘉宾，那么女嘉宾的最优选择应该是什么了？又比如女嘉宾能给男嘉宾一个0到100之间的评分，而不是不清楚这届男嘉宾的分数上下限的时候，又应该采取什么样的策略了。

数据时代，首先要说的是：质疑你的假设。

关于验证你的结论，最弱的证据是个人的经验，稍微强一些的是案例分析，即名人的传记访谈，因为第三方的视角会去除掉自我记忆的和认知中的偏见。更好的证据是统计分析，比如查一查结婚的年龄和离婚率是否相关，如果在20到40岁之间，排除其他因素，结婚年龄太早或者太晚的离婚率很高，再通过问卷调查，得出对婚姻的满意程度，结果发现按照当时的预期寿命，相应年龄结婚的伙伴满意度最高，那么说明最优停止理论还是有一定道理的。

比统计更高级的验证是机器学习中最常用的Cross Validation（交叉验证：是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力）。举个例子，5 fold Cross Validation 将已知的数据分成10份，选8份作为训练数据集，将这些数据丢给模型，然后在剩下的两份数据上去检测模型的效果。然后重复这个过程5次，直到每份数据都做了一次测试数据了。交叉验证是为了保证训练出的模型不会把数据中噪音放大，然而其背后的思想则是我们对现实的认识的不完全的，因此训练时数据少一些，是必然的。模型不能要求麦克斯韦妖(Maxwell's demon,是在物理学中，假想的能探测并控制单个分子运动的“类人妖”或功能相同的机制，是1871年由19世纪英国物理学家麦克斯韦为了说明违反热力学第二定律的可能性而设想的。)那样的全知全能，而要在部分可见的情况下给出相对靠谱的对整体的预测。这种对自己的未知谦卑的态度，让人想起了“认识你自己”这句古希腊的格言。如果将机器学习的算法看成是一个认知策略，那么认识你自己说的就是meta-learning(元学习），即是将不同的算法结合起来，取长补短，从而更快得到更好的结果。

机器学习的方法框架和循环，实现模型，验证模型，分析模型的效果和优缺点，在一轮轮的迭代中持续改进模型。

Explore和Exploit的不同

之后，想谈一谈上文案例反映的一个更深层次的权衡（tradeoff），也就是Explore（探究）和Exploit(致用）的不同。我们年轻的时候，总是忍不住想去看一看世界，所谓的没有看过世界，哪来的世界观，而当年纪渐长，就应有所立足，在某一个领域有所专注，从而exploit自己之前积累的见识，这固然会让你觉得生活不在像之前那样丰富多彩，新的刺激会减少，然而这是生命的常态，如同熵增一样不可避免。要想生命之树常青，除了认识到时间箭头不可逆带来的新朋友新经历越来越少，就是要在自己横向的处理问题时把握好这个权衡，做到既不过度explore，也不过度Exploit。

过度exploit带来的问题是overfitting(过度拟合），这个机器学习中的概念对应是生活中的阴谋论或者对文本的过度解读。比如用一条线连接下图的五个点。overfiting的答案是这样一条包含五个参数的弯弯曲曲的曲线，这条曲线虽然在这五个点上误差极小，但当加入一个新的点之后，结果就不那么好了。这里更好的解答应该是一条包含两个参数的直线。

阴谋论将几个看似不相关的事件用一个不那么简单直接的故事连接起来，在笔者《阴谋论为何总是错的》这篇文章中，已经对阴谋论有更深入的分析，感兴趣的小伙伴可以进一步了解。

犯了过度exploit这种错误的小伙伴，总想着找出一个一招鲜吃遍天的法子来，在数据收集的还不够充分的时候，机器学习的方法既可以放大数据中的规律，也可以放大其噪音，只有更多的数据才能解决这个问题。比如下图中的下一个图形该是哪一个，有两种可能的解答，这两种规律哪一个才是我们真正关心的了？只有更多的数据才能回答。

过度Explore的问题也许更多人更加熟悉，信息过载这个词很多人会觉得陌生，然而当看到那数不清的朋友圈，每日头条的诸多推送，你就会明白什么叫信息过载了，关于这个问题，可以参考《如果用刷朋友圈的时间读一本书，能读多少本？》和《我应该删掉多少好友，屏蔽多少朋友圈》两篇文章。过度explore让人成为只会读兵书的赵括马谡，让人们以为知道了很多碎片化的知识，却无法形成体系。

过度explore的一个解毒良药是机器学习中No free lunch （没有免费的午餐）定理，我们在机器学习中衡量两个算法，到底孰优孰劣，该怎么考虑？“没有免费的午餐定理”仿佛给了一个很令人失望的答案：针对某一域的所有问题，所有算法的期望性能是相同的。注意，这里有两个关键词，某一域的“所有”，和“期望”性能。所以它并没有否认两个算法有优劣之分，并且事实上还提供了一个视角让我们理解为什么在机器学习中，我们可以选择算法的优劣性。 

No free lunch定理告诉我们，没有一个适用于所有问题的通用方法。机器学习的诸多方法各有各的适用场景，需要使用者因地制宜的去选择。这个定理还告诉我们，即使收集到了全部的数据，我们也无法一锤定音的找到一个一成不变的最优方案。这对从事机器学习人来说是个好消息，说明其工作要被计算机取代，还需要一段时间，任何机器学习算法成功的背后，都是很多人持续的选择和分析一点一滴堆出来的胜利。

数据思维带给我们的启示，除了用数据去支持你人生的决策外，另一点是去关注explore 和exploit自己的平衡，不要犯上面提到的两类错误。知道何时该停止试水的最优停止理论，无疑可以在这方面给予读者启迪。而另一方，我们可以通过制度的设计来帮助大家去做出更好的选择。

预测市场：当为言论买单时，你会更注重发言质量

纳西姆·尼古拉斯·塔勒布的《反脆弱》一书中（参考《杀不死我的东西，使我变得更强大｜BetterRead》）中提到Have an skin in the game，说的是当你需要为你的言论买单时，你会更注重你发言的质量，更加深思熟虑。而通过市场机制去将众多人的观点综合起来的制度，就是《Superforcast》这本书中提到的预测市场。

比如你想知道美国大选谁的胜率高，民调的结果不靠谱，因为很多选民会在投票时变卦，专家的意见更加不靠谱，专家都有自己的偏见，那该听谁的？有这么一个市场，你可以针对各种事情下注，从NBA得冠军到石油价格的涨跌，这个市场上你可以自由的交易自己的赌注。通过对这个市场的观察，那么就可以得出最靠谱准确的预测来。这就是通过市场的扩展秩序来发掘人群中的私人的隐形知识，同时避免噪音的干扰。

如果能综合利用到更多人的观点，预测的准确度会不会提高了，脑补这样一种未来，人们不止是为了接受信息付费，还能为了传播观点承担风险。具体的举个例子，如果你写了一...

我们使用kknn()函数来实现有权重的K最近邻算法，虽然与knn()函数一样，都是同时将训练集与测试集一起放入函数，但格式上略有不同，需注意kknn()函数时formula格式的函数，在此之前，我们需要安装并加载所需的kknn包。

我们将规则建立公式Species~.，以及训练集与测试集分别放入函数，设置K为5。

>library(kknn)

>set.seed(1234)

>ind<- sample(2, nrow(iris), replace = TRUE, prob = c(0.7,0.3))

>data_train<- iris[ind==1,]

>data_test<- iris[ind==2,]

>#建立有权重的K最近邻判别规则，并对测试集样本进行预测

>fit_pre_kknn<- kknn(Species~., data_train,data_test[,-5], k=5)

>#输出在K最近邻判别规则下的判别结果

>summary(fit_pre_kknn)

Call:

kknn(formula = Species ~ ., train = data_train, test = data_test[, -5], k = 5)

Response: "nominal"

fit prob.setosa prob.versicolor prob.virginica

1 setosa 1 0.0000000 0.00000000

2 setosa 1 0.0000000 0.00000000

3 setosa 1 0.0000000 0.00000000

4 setosa 1 0.0000000 0.00000000

5 setosa 1 0.0000000 0.00000000

6 setosa 1 0.0000000 0.00000000

7 setosa 1 0.0000000 0.00000000

8 setosa 1 0.0000000 0.00000000

9 setosa 1 0.0000000 0.00000000

10 setosa 1 0.0000000 0.00000000

11 versicolor 0 1.0000000 0.00000000

12 versicolor 0 1.0000000 0.00000000

13 versicolor 0 1.0000000 0.00000000

14 versicolor 0 1.0000000 0.00000000

15 versicolor 0 1.0000000 0.00000000

16 versicolor 0 1.0000000 0.00000000

17 versicolor 0 1.0000000 0.00000000

18 versicolor 0 1.0000000 0.00000000

19 versicolor 0 0.9689165 0.03108351

20 versicolor 0 1.0000000 0.00000000

21 versicolor 0 1.0000000 0.00000000

22 versicolor 0 1.0000000 0.00000000

23 virginica 0 0.0984325 0.90156750

24 virginica 0 0.0000000 1.00000000

25 virginica 0 0.0000000 1.00000000

26 virginica 0 0.0984325 0.90156750

27 versicolor 0 1.0000000 0.00000000

28 virginica 0 0.0000000 1.00000000

29 virginica 0 0.0000000 1.00000000

30 virginica 0 0.0000000 1.00000000

31 virginica 0 0.2075319 0.79246807

32 virginica 0 0.0000000 1.00000000

33 versicolor 0 0.6940356 0.30596443

34 virginica 0 0.0000000 1.00000000

35 virginica 0 0.0000000 1.00000000

36 virginica 0 0.0000000 1.00000000

37 virginica 0 0.3713535 0.62864649

38 virginica 0 0.0000000 1.00000000

从上面的结果中，我们可以看到测试集中每一个样本归属于各类别的概率，依次记为prob.setosa、prob.versicolor 、prob.virginica，其中，fit记录了该样本最终判定的类别。

下面我们使用fitted()函数来得到预测结果：

>#输出有权重的K最近邻预测结果

>fit<- fitted(fit_pre_kknn)

>fit

[1] setosa setosa setosa setosa setosa setosa setosa setosa setosa setosa versicolor

[12] versicolor versicolor versicolor versicolor versicolor versicolor versicolor versicolor versicolor versicolor versicolor

[23] virginica virginica virginica virginica versicolor virginica virginica virginica virginica virginica versicolor

[34] virginica virginica virginica virginica virginica

Levels: setosa versicolor virginica

同样地，我们进而以混淆矩阵和错误率两种方式评价本次判别的预测效果。

> table(data_test$Species, fit)

fit

setosa versicolor virginica

setosa 10 0 0

versicolor 0 12 0

virginica 0 2 14

>error_kknn<- sum(as.numeric(as.numeric(fit)!=as.numeric(data_test$Species)))/nrow(data_test)

>error_kknn

[1] 0.05263158

我们再尝试调整K的取值，选择出最适合于该数据集的K值，将寻找范围控制在1~20，代码如下：

>error_kknn<- rep(0,20)

> for(i in 1:20) {

+ fit_pre_kknn <- kknn(Species~., data_train,data_test[,-5],k=i)

+ fit <- fitted(fit_pre_kknn)

+ error_kknn[i] <- sum(as.numeric(as.numeric(fit)!=as.numeric(data_test$Species)))/nrow(data_test)

+ }

[1] 0.05263158 0.05263158 0.05263158 0.05263158 0.05263158 0.05263158 0.05263158 0.05263158 0.02631579 0.02631579 0.02631579 0.02631579

[13] 0.02631579 0.02631579 0.02631579 0.02631579 0.02631579 0.02631579 0.02631579 0.05263158

>plot(error_kknn,pch=16)

由上图可以得知，当K取值范围在9~19时，错误率最小。

1数据星河大数据平台

全球首款大数据产业链生态平台，大数据界的App store。

实现数据模型、可视化引擎工具、应用场景、采集爬虫工具、清洗脱敏工具、数据分析平台、数据开发平台、数据管理平台、数据安全组件等大数据资产的分类展示、检索和使用。

一站式服务，快速实现大数据应用设计，同时可在平台进行应用产品交易。

2大数据可视化平台

标准的、友好易用、具备丰富展示形式、与底层数据分析实现解耦。

提供丰富的专业级可视化图表组件，在线进行图表配置、导出，提供使用指导。

提供可视化产品工厂，以及Dashboard自定义布局。

具备可视化编程能力，供用户快速开发可视化图表应用。

3企信宝APP

拥有约9000万海量企业信息数据。

提供失信企业及失信人查询及公布失信榜单，全国各企业查询，股东高管数据挖掘，企业网站地址查询，企业风险信息监测。

4农业大数据平台

涵盖农业监测预警大数据平台、农产品全产业链追溯预警大数据平台和农业产业链企业信用大数据平台。

覆盖农林牧副渔各行业，贯穿农业生产经营管理服务全过程。

目标群体包括部级农业部门、地方农业部门、涉农企业、农业金融机构等。

5金融大数据——54个九宫格小场景

九宫格应用场景包含四大类别，分别是基础数据库类、决策类、预测类、预警类，基础数据库类场景满足客户对基本数据的查询，决策类场景助理用户根基数据分析得到的价值信息进行有效决策，预测类场景便于用户对于潜在的风险及时规避。同时，用户可以根据自身需求进行场景化自定义组合，以满足个性需求。

6工商大数据平台

包括工商大数据分析展示、企业信用信息大数据监管和市场主体全景谱图大数据分析服务。

一网、一库、一中心、一平台、一门户，提升工商公共服务能力、市场监管能力、辅助决策能力和助推发展能力

7食药监大数据平台

对食品、药品、餐饮、中药材的生产、仓储、分销、物流运输、市场巡检及消费者等信息，以及产品名称、执行标准、配料、生产工艺、标签标识等数据，进行采集、跟踪、分析。

使监管部分实现产品种养、生产、销售、流通、公众服务、物流等环节的整个生命周期的监管

通过互联网等途径，实时呈现给消费者，实现食品药品全过程的全知晓。

8旅游大数据平台

显示最直观的客源、客流、经济收入数据、履约企业运营趋势、市场景气指数等指标。

管理部门可以从宏观角度了解地区旅游产业的整体发展水平和竞争力，辅助管理者制定基于大数据的行业发展决策。

所有数据来源于近五年累计数据（2011-2017），每周更新。

9民意云大数据平台

从海量的数据中分析民意诉求，精准分析民意热点——这是大数据在服务民意诉求中的重要作用。九次方民意云大数据平台，通过提供大数据操作台，方便用户实时全面了解区域内民意变化，根据推送消息进行应急反应。

10传播力监测大数据

根据全网采集的文章标题、作者、来源、时间等信息，计算文章的规范被转载量、非规范被转载量、以及文章的影响地域分析，并将各指标进行加权算法，帮助没提了解具体文章的全网传播详情。

协助监管部门加强没提传播监管和提升媒体机构的传播咯、公信力、影响力和引导力。

本文介绍了拓扑数据分析（TDA）的基本原理，给出了案例展示，并指出该方法可以高效地进行可视化分析，有望为人工智能黑箱提供可解释性。近日，中科大潘建伟团队在光量子处理器上成功运行了 TDA 方法，量子版本的 TDA 能够实现对经典最优 TDA 算法的指数级加速。

机器学习和人工智能都是「黑箱」技术——这是使用机器学习、人工智能进行数据研究遭受的批评之一。虽然它们能自动提供有用的答案，但是却不能给人类提供可解读的输出。因此，我们往往不能了解它们在做什么，又是如何做到的。

Ayasdi 对这个问题提出了解决方法，其中利用了该公司的核心技术——拓扑数据分析（TDA）。该方法能够提供强有力的、具有详细解释的输出。然而，在这篇文章中，我们将把工作扩展到目前 TDA 的「比较」方法之外。当前的方法使用的拓扑网络由数据集的数据点（行）构建。在这项新的工作中，Ayasdi 将特征（列）也融合在网络当中，据此展示了一个改进的、易解释的结果。

首先介绍一下该解释方法的工作原理。

假设我们有一个数据集，并且在其中已经辨别出了一些子组。这些子组可能是数据的一个组成部分（例如，某种疾病有许多不同的形式，比如炎症性肠病，或该数据含有一个幸存者/非幸存者的信息），或者说，这些子组是由行集合的某拓扑模型通过分割或热点分析创建的。

如果选择其中的两个子组，Ayasdi 技术允许研究者根据他们的 Kolmogorov-Smirnov 分数（KS 分数）生成特征列表。每个特征有两个分布——每个子组各有一个分布。KS 分数衡量两个子组之间的差异。与本结构相关的也就是标准统计意义上的 P 值。

其解释是，排列在第一位的变量是最能区分两个子组的变量，而其余的特征是按其区分能力排列的。因此，解释机制的输出是一个有序的特征表。通常，通过查看列表能获得有用的解释，即，是何因素导致了不同子组之间的区别。

该列表解释起来往往很复杂。就像 Google 搜索后会得到一长串回复一样，人们很可能会发现列表顶部分布不成比例，较低的响应又不为人们所关注。我们怎样才能进一步提高这些「比较列表」的透明度和可理解性呢？

重要的是，要记住，Ayasdi 构造的拓扑模型假定给出了一个数据矩阵，以及数据集行的差异性或距离函数。通常，该距离函数是欧几里得距离，但是也可以选择其他距离函数，例如相关距离、各种角度距离等。获得数据矩阵 M 后，人们可以将它转置为一个新的矩阵 M^T。其中，初始矩阵的列是转置矩阵的行，反之亦然，如下图所示。

在完成这个操作之后，可以为 M^T 矩阵的行集合（即原始矩阵 M 的列）构建拓扑模型。在集合中，人们可以选择不同的距离函数。我们不会深入讨论这一点，但总而言之，对任何数据矩阵行的通用可选项对于这个新矩阵也适用。

现在，假设我们有一个数据矩阵 M，以及在上述数据集中的一个子组 G。该子组可能通过先验信息得来，也可能通过在 M 矩阵中行的拓扑模型分割得来。对于矩阵 M 中的每一列 c_i（即转置矩阵 M^T 的每一行），我们现在可以计算子组 G 中每一行的均值，即 c_i 的平均值

我们将把它记为 fi,G。当这个数字包含 i 时，我们在 M^T 的行集合上获得一个函数。因此，再次重申，M 矩阵中的行的一个子组将在 M^T 的行集合上产生一个函数。Ayasdi 拓扑模型的功能之一是，通过对应于节点的行，能够利用数据矩阵的行函数的平均值对拓扑模型的节点进行着色。这对于了解数据属性而言是一个非常有用的方法。尤其地，我们现在可以利用 M^T 矩阵的行集合中子组 G 的着色情况，查看该组的特征。

请看下例。

荷兰癌症研究所（NKI）构建了一个数据集，其中包括来自 272 名乳腺癌患者采样的微阵列分析。本案例中的微阵列分析提供了为研究筛选的一组基因中每个基因的 mRNA 表达水平。从这些基因中，我们选择了 1500 个表达水平最高的基因。我们得到一个 272 x 1500 的矩阵，其中 1500 列对应于数据集中具有最大方差的 1500 个基因，272 行对应于样本总量。对于这个数据集，数据矩阵中行集合的拓扑分析已经在 [1] 和 [2] 中进行了。

我们的拓扑模型展示如下。

上图表明，拓扑模型包括一个很长的「树干」部分，然后分裂成两个「小枝」。在数据集中，存在一个名为 eventdeath 的二进制变量。如果患者在研究期间存活，则 eventdeath = 0；如果患者死亡则 eventdeath = 1。令人感兴趣的是，患者存活情况与图的结构相对应。一种方法是通过变量 eventdeath 的平均值进行着色。其结果如下所示。

我们可以看到，上面的「小枝」呈深蓝色。这表明 eventdeath 变量值低，实际上其值为零——这意味着每个患者都存活了下来。然而，下面「小枝」的存活率差得多，尖端节点几乎完全由无法存活的患者组成。我们希望理解这种现象，看看数据中的哪些特征与「小枝」的产生有关，从而了解变量 eventdeath 的迥异行为。为此，我们可以从拓扑模型中选择多种不同的子组。

在上图中，A 组为高生存率组，B 组为低生存率组，C 组可以表征为与其他两组差异最大的组（根据组间距离进行确定）。如上所述，基于这三个组，我们可以在 1500 个特征上创建 3 个函数。

如果我们建立一组特征的拓扑模型，我们可以用每个函数的平均值来给它着色。下面的三张图片展示了其结果。

在比较 A 组和 B 组着色情况时，我们发现其差异十分显著。A 组着色后，某个区域呈亮红色，而 B 组着色后相应区域呈亮蓝色。结果可见下图。左侧的模型是 A 组着色，右侧模型是 B 组着色。

组 I 和组 II 的颜色明显不同。组 I 在 A 组中主要为红色，而在 B 组中主要为蓝色（小固相区域除外）。组 II 恰好相反，在 A 组中为蓝色，在 B 组中为红色。这些组可能与高雌激素受体表达有关，其中在组 I 中呈正相关，在组 II 中呈负相关。众所周知，雌激素受体表达是乳腺癌存活与否的「强信号」。如果我们比较所有三组（如下图）：

我们也可以看到，C 组似乎是 B 组的一个「较弱」形式，其中右上角的蓝色区域面积较小，下面区域的红色较弱。在左侧的「岛」上，C 组也显示出比 A 、B 组更强的红色着色。理解哪些基因参与了 A、B、C 三组右上角的强红色块将是非常有意思的。此外，研究哪些基因参与了左侧「岛」的表达也很有趣。了解这些基因组需要使用各种基于网络的生物学通路分析的工具。

总而言之，我们已经展示了如何对数据集中的特征空间使用拓扑建模，而不是利用行集合直接从数据集寻找洞察。具有超过 4 个特征的数据集不能直接使用标准图形技术直观地理解，但是具有成百上千个特征的数据集通过这种方式理解起来却很容易。该方法能直接识别行为一致的特征组，这通常在基因组和更普遍的生物学数据的分析中存在。

参考文献

[1] M. Nicolau, A. Levine, and G. Carlsson, Topology based data analysis identifies a subgroup of breast cancers with a unique mutational profile and excellent survival, Proc. Natl. Acad. Sci., vol. 108, no. 17, 7265-7270, (2011).

[2] P. Lum, G. Singh, A. Lehman, T. Ishkhanov, M. Vejdemo-Johansson, M. Alagappan, and G. Carlsson, Extracting insights from the shape of complex data using topology, Scientific Reports 3, Article number 1236, (2013)

大数据在今天造成的影响力绝对是一石激起千层浪。热度正在以指数级速度扩展，影响深远。随着日益增加的、复杂的数据生成，将改变所有行业运作方式。金融业也不例外。目前每天都有新的2.5万亿字节的金融数据产生，这代表了以大数据的方式处理分析和利用信息的独特机会。深度学习和ai算法越来越多地被用于金融交易，以计算大量的结果，并做出普通人无法做到的预测和决策。现在金融和交易更多依赖于精准数据应用到商业决策模型中。传统根据从计算出的风险和趋势中得出的推论作出决定。今天这个功能被大数据改写。他可以大规模计算，并从众多的资源中得出更准确的结论。

算法建模

金融分析不再仅仅是价格和行为的考察，更重要的是结合影响价格因素，社会和政治趋势等原则。大数据分析可用于预测模型，以估计投资回报率和可能的结果。增加对大数据的访问可以使数据更精确的预测，从而更有效地减轻与金融交易相关的固有风险。到目前为止，高频交易已经相当成功地被使用，大数据通常意味着增加处理时间。已经认识到利用大数据分析实现准确推断的价值和优势。

实时分析

算法交易是目前金融界的热门词汇。机器学习使计算机能够做出类似于人类的决定，以人们无法做到的速度和频率执行交易。商业原型包含了在特定时间交易的最佳价格，并减少了由于行为影响而产生的人为错误。实时分析有潜力提高高频交易公司和个人的投资能力，因为通过算法分析收集到的见解使竞争环境提供了所有人都可以访问的强大信息。算法交易的力量在于几乎无限的能力。你可以使用结构化和非结构化的数据，因此可以使用社交媒体，股市信息和新闻分析做出直观的判断。这种情景分析是非常有价值的，因为股市是一个容易受到影响的原型。

深度学习

深度学习的潜力还没完全发挥出来，创新应用的前景是不可估量的。深度学习使计算机能够通过从过去的错误中学习和使用逻辑，来基于新的信息来多次学习和做出决定。这样，这些技术可以提供超准确的认知。技术仍在发展，这种研究的特殊途径是从模型中消除人的情绪反应，并根据信息作出决定而没有情绪化。

大数据在金融交易中扮演着越来越重要的角色

在不久的将来大数据很有可能接管金融领域。大数据可以将更多的信息输入一个系统，大数据分析革命使得交易更加准确和透明; 随着大数据不断改革各行业的框架，金融行业正在采用大数据分析来保持交易的竞争优势。

本文参考

Gary EastwoodIDG

对于这一问题，答案是多种多样的，此文分别从实践者，观察者和预言者三种角度来分析，看完会对您有所启发。

观点1，实践者的角度来看：

大数据- 表示数据的几个维度 - 可用数据的多样性，速度，体积和可信度。此外，大数据相关技术使我们能够处理和存储4V的一个或所有特性。

数据分析- 通常意味着探索性数据分析，可视化和报告。我们可以使用大数据或典型数据来了解和探索数据，并更好地了解上下文。或回答几个商业问题。

数据科学或更早的业务分析- 让我们建立统计学，数学和机器学习模型，以获得更好的业务成果。我们可以使用大数据来做到这一点。

观点2，实践者的角度来看：

大数据只不过是非结构化数据的收集。这些数据不是特定的格式，因为它的数据集大小通常是巨大的 - 测量数十TB，有时跨越PB的门槛。大数据术语之前是使用数据库管理系统（DBMS）进行管理的非常大的数据库（VLDB）。

大数据分析是检查大量和多样化数据集（即大数据）的过程，以发现隐藏模式，未知相关性，市场趋势，客户偏好和其他有用信息，可帮助组织做出更明智的业务决策。由专业分析系统和软件驱动，大数据分析可以指出各种业务收益，包括新的收入机会，更有效的营销，更好的客户服务，提高运营效率以及竞争对手的竞争优势。

虽然这些定义可能听起来很简单，但它们是相当复杂的领域。大数据和分析涉及很多步骤和技术。其中一些是数据采集，出生的数字数据，出生的模拟数据，非关系数据库，内存数据库系统，混合数据存储和处理系统 - Apache Hadoop和数据挖掘。

此外，使用弹性搜索，变得更加容易理解大数据。它用于网页搜索，日志分析和大数据分析。还有许多其他工具，但Elasticsearch更受欢迎，因为它易于安装，扩展到数百个节点，没有额外的软件，并且由于其内置的REST API而易于使用。

Google的AlphaGo计算机在Go游戏中击败了世界冠军Lee Se-dol，Data已经成为新的货币，全球政府已经开始大力投资智慧城市。围绕大数据的炒作终于结束了，在2017年的今年，我们可以预期数据在数量和种类上都会大幅增长。

观点3，预言者角度分析：

HADOOP将成为WIDESPREAD

今年，我们将看到Hadoop采用的激增以及组织的其他相关解决方案。随着Hadoop的采用，任何规模的组织都可以使用高级分析来处理大量和多种数据。采用更高级的数据库，如MemSQL，Exasol等，已经成为组织成功的关键。

IOT，云和大数据的收敛

随着几个互联网连接的IoT设备的出现，大量的结构化和非结构化数据的涌入。这些数据中的大部分部署在云服务中。该数据将驻留在包括Hadoop集群到NoSQL数据库的几个关系和非关系系统中。云迁移十大注意事项

混合现实

混合现实将改善数据可视化AR和VR在过去几年中赢得了客户的极大的关注。随着神奇宝贝的推出，增强现实在几个星期内就已经获得了大约1亿用户。虽然AR或VR可能对大公司来说可能不是很有用，但混合现实的概念可能非常好。混合现实将虚拟世界与现实世界结合起来，像微软全能组织这样的设备已经在吸引人。混合现实将为组织提供更好的执行任务以及更好地了解数据的巨大机会。chatbots上升的前五大平台

深度学习

深度学习是基于神经网络的高级机器学习形式。深度学习有助于从大量非结构化数据中识别特定的兴趣项目。从大量的结构化和非结构化数据中学习是非常有用的。因此，企业和组织应该更多地关注深度学习算法来应对数据的大量涌入。数据虚拟

化今年数据虚拟化将呈现强劲势头。数据虚拟化能够从大量数据中解锁隐藏的概念和结论。它还允许企业和组织随时检索和操纵数据。

结论

如前所述，今年将是一个令人兴奋的一年，大数据和分析系统将成为组织的首要任务。这些系统预计运作良好，履行对企业价值的承诺。

想了解更多关于大数据分析的精辟观点，加大数据学习交流8群640193172，或者去看BAT大数据专家私人圈TBanna521。

先附上前几期文章的链接（小编推荐按照数字由小到大的顺序去阅读）：

「一」机器学习与数据分析的区别（只涉及概念上，不讲数学算法）

「二」机器学习与数据分析的区别（只涉及概念上，不讲数学算法）

本篇文章，小编打算简要介绍一下机器学习的2个典型应用。当然肯定不会和市面上《机器学习》教科书一样，原封不动的讲解摘录。我会加上自己的理解，可以辅助读者更容易的理解，居高临下地看待机器学习这门学科。其实称机器学习为一门学科是不怎么严禁的，这个问题在此不做赘述，我会在讲解SVM算法的时候，具体去阐述这个问题。

1

首先要介绍的就是“啤酒+纸尿裤”的故事，这个故事是所有要从事数据类职业的人员，必须要知道的案例。

沃尔玛百货将他们的纸尿裤和啤酒并排摆在一起销售，结果纸尿裤和啤酒的销量双双增长！为什么看起来风马牛不相及的两件商品这样一搭配，能取到惊人的效果呢？因为沃尔玛很好地运用了大数据技术，成功地发现了“纸尿裤”和“啤酒”的潜在联系！

下面，小编来解释问什么会出现这样的现象。

因为在欧美国家，他们的超市并不像中国，会在市中心建立大型超市。欧美国家的大型超市，一般都会建立在远郊。很多有孩子的家庭，都会在具体的某一天，驱车到远郊的大超市进行一次性采购。而如果这个家庭有婴儿的话，且是丈夫驱车去采购的话，他们会在买婴儿所用的纸尿裤的同时，也会顺便买一些啤酒作为自己的奖励。

所以，沃尔玛超市发现了这一个现象之后，他们通过将纸尿裤与啤酒的架子放在一起，或者把啤酒与纸尿裤进行套餐销售，给消费者一定的优惠。经过这样的一个举动，发现这样会很明显增加这两个物品的销售量。

对于这个经典的案例，就有了一个经典的算法出现：

名称：购物篮分析

算法：关联规则

2

中国移动会把电话卡区分为四种类型：神州大众卡、全球通、动感地带、神州行。这个划分，其实也蕴含着机器学习的一个经典的应用，下面小编会对它进行详细的阐述。

事情的经过是这样的：中国移动发现有一批用户，他们不在乎打电话的费用是多少，只在乎在消费的过程中的服务质量，希望自己在消费过程中可以提供更加优质的服务，凸显自己的身份地位。基于这样的考虑，中国移动发行了全球通。比如说全球通的用户可以在机场享受全球通VIP候机室等等服务，在此不做赘述。

同时中国移动也发现，在校园内，学生更加注重流量和短信（这个原因我就不解释了），于是中国移动把这个群体整理出来，归结为动感地带。

而神州行和神舟大众卡，小编就在此不做详细的说明，否则长篇大论讲解这个团体划分的原因过程，就违背了小编写这个系列文章的本意。因为我就是每天大家通过5分钟阅读一篇文章，可以知道一些机器学习的概念，最终逐渐知道整个机器学习的整体轮廓，然后再通过书本和项目进行真正深入的学习。

对于这个的案例，就可以体现一个经典的算法：

名称：用户细分精准营销

算法：聚类

好啦，本篇文章就到此结束。后面会介绍更多的机器学习的应用，用零门槛的语言向大家阐述。

当然也为了部分相对来说有些基础的读者，小编已经在筹备写一篇SVM算法的文章。至于为什么小编一直强调SVM算法，我只会说一句，如果你面试机器学习相关的职业，99.999%会以SVM算法为核心进行考核。至于具体原因，在此不做赘述。

我们都知道当前最前沿的科学是量子科学，当科学家在研究量子科学的时候，肯定少不了使用计算机，而且研究的数据越多，需要的计算性能就要越好。这里面就要涉及到算法问题，那么你知道有10种主导世界的算法吗？

什么是算法

简而言之，任何定义明确的计算步骤都可称为算法，接受一个或一组值为输入，然后输出一个或一组值。

可以这样理解，算法是用来解决特定问题的一系列步骤(不仅计算机需要算法，我们在日常生活中也在使用算法)。算法必须具备如下3个重要特性：

[1] 有穷性。执行有限步骤后，算法必须中止。[2] 确切性。算法的每个步骤都必须确切定义。[3] 可行性。特定算法须可以在特定的时间内解决特定问题。

其实，算法虽然广泛应用在计算机领域，但却完全源自数学。实际上，最早的数学算法可追溯到公元前1600年-Babylonians有关求因式分解和平方根的算法。

那么又是哪10个计算机算法造就了我们今天的生活呢？请往下看

一、归并排序(MERGE SORT)，快速排序(QUICK SORT)和堆积排序(HEAP SORT)

根据不同的情况，算法的效率也不一样。所以把这3种算法放在一起讲，每种算法都各有千秋。

归并排序算法，是目前为止最重要的算法之一，是分治法的一个典型应用，由数学家John von Neumann于1945年发明。

快速排序算法，结合了集合划分算法和分治算法，不是很稳定，但在处理随机列阵(AM-based arrays)时效率相当高。

堆积排序，采用优先伫列机制，减少排序时的搜索时间，同样不是很稳定。

与早期的排序算法相比(如冒泡算法)，这些算法将排序算法在效率上提上了一个大台阶。多亏有了这些算法，才有今天的数据发掘，人工智能，链接分析，以及大部分网页计算工具。

二、傅立叶变换和快速傅立叶变换

这两种算法简单，但却相当强大，整个数字世界都离不开它们，其功能是实现时间域函数与频率域函数之间的相互转化。

因特网，WIFI，智能机，座机，电脑，路由器，卫星等几乎所有与计算机相关的设备都或多或少与它们有关。没有学会这两种算法，你根本不可能拿到电子，计算机或者通信工程学位。

三、Dijkstra算法 (Dijkstra's Algorithm)

可以这样说，如果没有这种算法，因特网肯定没有现在的高效率。只要能以“图”模型表示的问题，都能用这个算法找到“图”中两个节点间的最短距离。

虽然如今有很多更好的方法来解决最短路径问题，但Dijkstra算法的稳定性仍无法取代。

四、 RSA非对称加密算法

毫不夸张地说，如果没有这个算法对密钥学和网络安全的贡献，如今因特网的地位可能就不会如此之高。现在的网络毫无安全感，但遇到钱相关的问题时我们必需要保证有足够的安全感，如果你觉得网络不安全，肯定不会傻乎乎地在网页上输入自己的银行卡信息。

RSA算法，密钥学领域最牛叉的算法之一，由RSA公司的三位创始人提出，奠定了当今的密钥研究领域。用这个算法解决的问题简单又复杂：保证安全的情况下，如何在独立平台和用户之间分享密钥。

五、哈希安全算法(Secure Hash Algorithm)

确切地说，这不是一种算法，而是一组加密哈希函数，由美国国家标准技术研究所首先提出。无论是你的应用商店，电子邮件和杀毒软件，还是浏览器等等，都使用这种算法来保证你正常下载，以及是否被“中间人攻击”，或者“网络钓鱼”。

六、整数质因子分解算法(Integer Factorization)

这其实是一个数学算法，不过已经广泛应用与计算机领域。如果没有这个算法，加密信息也不会如此安全。通过一系列步骤将，它可以将一个合成数分解成不可再分的数因子。

很多加密协议都采用了这个算法，就比如刚提到的RSA算法。

七、链接分析算法(Link Analysis)

在因特网时代，不同入口间关系的分析至关重要。从搜索引擎和社交网站，到市场分析工具，都在不遗余力地寻找因特网的正真构造。

链接分析算法一直是这个领域最让人费解的算法之一，实现方式不一，而且其本身的特性让每个实现方式的算法发生异化，不过基本原理却很相似。

链接分析算法的机制其实很简单：你可以用矩阵表示一幅“图“，形成本征值问题。本征值问题可以帮助你分析这个“图”的结构，以及每个节点的权重。这个算法于1976年由Gabriel Pinski和Francis Narin提出。

Google的网页排名，Facebook向你发送信息流时，Google+和Facebook的好友推荐功能，LinkedIn的工作推荐，Youtube的视频推荐，等等,都使用了这个算法

普遍认为Google是首先使用这类算法的机构，不过其实早在1996年(Google问世2年前)李彦宏就创建的“RankDex”小型搜索引擎就使用了这个思路。而Hyper Search搜索算法建立者马西莫·马奇奥里也曾使用过类似的算法。这两个人都后来都成为了Google历史上的传奇人物。

八、比例微积分算法(Proportional Integral Derivative Algorithm)

飞机，汽车，电视，手机，卫星，工厂和机器人等等事物中都有这个算法的身影。

简单来讲，这个算法主要是通过“控制回路反馈机制”，减小预设输出信号与真实输出信号间的误差。只要需要信号处理，或电子系统来控制自动化机械，液压和加热系统，都需要用到这个算个法。没有它，就没有现代文明。

九、数据压缩算法

数据压缩算法有很多种，哪种最好？这要取决于应用方向，压缩mp3，JPEG和MPEG-2文件都不一样。

哪里能见到它们？不仅仅是文件夹中的压缩文件。你正在看的这个网页就是使用数据压缩算法将信息下载到你的电脑上。除文字外，游戏，视频，音乐，数据储存，云计算等等都是。它让各种系统更轻松，效率更高。

十、随机数生成算法

到如今，计算机还没有办法生成“正真的”随机数，但伪随机数生成算法就足够了。这些算法在许多领域都有应用，如网络连接，加密技术，安全哈希算法，网络游戏，人工智能，以及问题分析中的条件初始化。

后记：当然除了上面的算法之外，还有经典机器学习算法，例如决策树、随机森林算法、逻辑回归、SVM、朴素贝叶斯、K最近邻算法、K均值算法、Adaboost 算法、神经网络、马尔可夫等等，这些算法在人工智能领域是必修的知识。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。究竟大数据技术的核心原理是哪几方面呢？

数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据，数据分析越来越热门，资本也对贴有大数据标签的公司趋之若鹜。如同流动的数字货币一样被一再的评估、追崇。数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。

数据核心原理：从“流程”核心转变为“数据”核心

大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。

数据价值原理：有功能是价值转变为数据是价值

大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。

数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。

全样本原理：从抽样转变为需要全部数据样本

需要全部数据样本而不是抽样，你不知道的事情比你知道的事情更重要，但如果现在数据足够多，它会让人能够看得见、摸得着规律。

数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。

关注效率原理：由关注精确度转变为关注效率

关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要，人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。

竞争是企业的动力，而效率是企业的生命，效率低与效率高是衡量企来成败的关键。一般来讲，投入与产出比是效率，追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的，智能机器效率更高，已能代替人的思维劳动。智能机器核心是大数据制动，而大数据制动的速度更快。在快速变化的市场，快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则，也就是说，速度就是价值，效率就是价值，而这一切离不开大数据思维。

关注相关性原理：由因果关系转变为关注相关性

关注相关性而不是因果关系，社会需要放弃它对因果关系的渴求，而仅需关注相关关系，也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。

在这个不确定的时代里面，等我们去找到准确的因果关系，再去办事的时候，这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说按那个按钮，一定会出现相应的结果，是这样状态。而农业社会往前推，不需要找到中间非常紧密的、明确的因果关系，而只需要找到相关关系，只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好，开始挖掘相关关系的好处。

非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员，市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉，诸如此类。

接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%——效率大大提高了。

全世界的商界人士都在高呼大数据时代来临的优势：一家超市如何从一个17岁女孩的购物清单中，发现了她已怀孕的事实；或者将啤酒与尿不湿放在一起销售，神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。比如，腾讯一项针对社交网络的统计显示，爱看家庭剧的男人是女性的两倍还多；最关心金价的是中国大妈，但紧随其后的却是90后。而在过去一年，支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。

预测原理：从不能预测转变为可以预测

大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。

此外，随着系统接收到的数据越来越多，通过记录找到的最好的预测与模式，可以对系统进行改进。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据。一旦把统计学和现在大规模的数据融合在一起，将会颠覆很多我们原来的思维。所以现在能够变成数据的东西越来越多，计算和处理数据的能力越来越强，所以大家突然发现这个东西很有意思。所以，大数据能干啥？能干很多很有意思的事情。

互联网、移动互联网和云计算机保证了大数据实时预测的可能性，也为企业和用户提供了实时预测的信息，相关性预测的信息，让企业和用户抢占先机。由于大数据的全样本性，人和人都是一样的，所以云计算机软件预测的效率和准确性大大提高，有这种迹象，就有这种结果。

信息找人原理：从人找信息，转变为信息找人

互联网和大数据的发展，是一个从人找信息，到信息找人的过程。先是人找信息，人找人，信息找信息，现在是信息找人的这样一个时代。信息找人的时代，就是说一方面我们回到了一种最初的，广播模式是信息找人，我们听收音机，我们看电视，它是信息推给我们的，但是有一个缺陷，不知道我们是谁，后来互联网反其道而行，提供搜索引擎技术,让我知道如何找到我所需要的信息，所以搜索引擎是一个很关键的技术。

大数据还改变了信息优势。按照循证医学，现在治病的第一件事情不是去研究病理学，而是拿过去的数据去研究，相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生，因为医生知道的多，但现在我可以到谷歌上查一下，知道自己得了什么病。

谷歌有一个机器翻译的团队，最开始的时候翻译之后的文字根本看不懂，但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话，说从团队每离开一个语言学家，翻译质量就会提高。越是专家越搞不明白，但打破常规让数据说话，得到真理的速度反而更快。

机器懂人原理：由人懂机器转变为机器更懂人

不是让人更懂机器，而是让机器更懂人，或者说是能够在使用者很笨的情况下，仍然可以使用机器。甚至不是让人懂环境，而是让我们的环境来懂我们，环境来适应人，某种程度上自然环境不能这样讲，但是在数字化环境中已经是这样的一个趋势，就是我们所在的生活世界，越来越趋向于它更适应于我们，更懂我们。哪个企业能够真正做到让机器更懂人，让环境更懂人，让我们随身携带的整个的生活世界更懂得我们的话，那他一定是具有竞争力的了，而“大数据”技术能够助我们一臂之力。

大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律，从而使数据发挥最大化的价值。由计算机代替人去挖掘信息，获取知识。从各种各样的数据（包括结构化、半结构化和非结构化数据）中快速获取有价值信息的能力，就是大数据技术。大数据机器分析中，半监督学习、集成学习、概率模型等技术尤为重要。

电子商务智能原理：大数据改变了电子商务模式，让电子商务更智能

商务智能，在今天大数据时代它获得的重新的定义。例如：传统企业进入互联网，在掌握了“大数据”技术应用途径之后，会发现有一种豁然开朗的感觉，就像在黑屋子里面找东西，找不着，突然碰到了一个开关，发现那么费力的找东西，原来很容易找得到。大数据思维，事实上它不是一个全称的判断，只是对我们所处的时代某一个纬度的描述。

大数据时代不是说我们这个时代除了大数据什么都没有，哪怕是在互联网和IT领域，它也不是一切，只是说在我们的时代特征里面加上这么一道很明显的光，从而导致我们对以前的生存状态，以及我们个人的生活状态的一个差异化的一种表达。

当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。或者说，在你还不知道的情况下，体检公司、医院提醒你赶紧去做检查，可能会得某些病，商家比你更了解你自己，以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。

定制产品原理：由企业生产产品转变为由客户定制产品

下一波的改革是大规模定制，为大量客户定制产品和服务，成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色，厂商有能力满足要求，但价格又不至于像手工制作那般让人无法承担。因此，在厂家可以负担得起大规模定制带去的高成本的前提下，要真正做到个性化产品和服务，就必须对客户需求有很好的了解，这背后就需要依靠大数据技术。

在互联网大数据的时代，商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的，航空公司会给我们里程卡，根据飞行公里数来累计里程，但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信，“恭喜先生，您已经被我们选为幸运顾客，我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您，您的额度又被提高了，”就说明钱花得已经太多了。

正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想，工作了一年很辛苦，要不要去哪里度假？打开e-Mail，就有航空公司、旅行社的邮件。

企业产品直接销售给用户，省去了中间商流通环节，使产品的价格可以以出厂价销售，让销费者获得了好处，网上产品便宜成为用户的信念，网购市场形成了。要让用户成为你的产品粉丝，就必须了解用户需要，定制产品成为用户的心愿，也就成为企业发展的新方向。

“

本账号提供最新物联网展会活动资讯，和多家物联网企业形成战略合作伙伴，带领用户与物联网行业大咖、各地物联网俱乐部共同来玩转物联网，为行业创造最酷的物联网线下体验和思想交流的平台。

IOTCOFFEE

一个成功的预测分析项目不仅仅涉及软件部署，使用软件分析数据。了解下面这些步骤可以帮助你为分析项目打下坚实基础。

越来越多的企业开始使用预测分析算法。描述性分析一般提供一种视角，让你了解已经发生了什么，而与之相比，预测分析则试图发现未来事件，例如，识别那些潜在的客户。

但为了充分利用预测模型，在使用先进的分析工具，建立新的或改进业务流程和其他企业变动之间，分析团队需要找到一个平衡点。简而言之，如果分析结果不能高效地对决策和企业行为产生积极的影响，那这个分析就是完全无意义的。

一个有效的预测分析程序需要数据分析生命周期中商业用户的参与和支持。考虑以下10个步骤，有助于发现促进分析活动成功的基本元素。

1. 找到一个带头人。获得公司高层领导的支持，是很重要的，只有公司高管愿意在分析领域投资，才能确保预测分析过程和运营的顺利。例如，首席营销官可能是一个推动客户分析程序的不错候选人，因为CMO可以提供必要的资金，他还可以推动营销团队使用预测分析算法的结果，来规划营销和促销活动。

2. 了解公司的主要业务目标。最好的预测模型都具备两个重要特点：业务预测准确性和相关性。数据科学家和分析师进行分析工作时，如果他们非常清楚组织的业务目标，专注于相应的建筑模型来满足这些业务目标，那么其分析结果的准确性和相关性往往很高。

3. 评估业务流程可能会受到何种影响。预测模型帮助识别商业机会，但如果分析应用程序的结果没有被用来指导业务经理和其员工的行为，即使是最好分析也会变得毫无意义。 基于分析预测分析算法的结果来识别那些可以被改进的业务流程，随后取得部门主管的支持，促使员工把这些研究结果转化为行动。

4. 定义性能指标。你的预测模型不应该仅仅影响业务流程的改变，他们也应该具备一个衡量其业务影响的指标。你应该制定一个计划来创建指标，可以用来量化模型的实际价值。

5. 拥有一个能干的团队。分析团队应由具备各种技能的人员组成，这些人员一般包括统计师、数据科学家、数据分析师、工程师和业务分析师、数据变更管理专业人士等。

6. 定义模型的开发方法。阻碍分析成功的原因之一是开发预测模型时所花费的时间超过了商业机会的窗口。一些企业采取敏捷开发技术加速模型创建过程，随后在部署后，迭代改进该模型。这种增量开发模式更适合开发预测模型，你不再担心无休止的交付延迟。

7. 确保正确的数据是可用的和可访问的。大数据是一件好坏参半的事。虽然你的企业可能有能力收集和存储大量的数据，分析师仍然需要知道哪些数据是可用的，以及如何访问相关的数据。除了创建数据集的详细目录,，在数据目录保持足够的技术和业务元数据, 以确保特定的预测分析应用程序得到正确的数据。

8. 构建一个坚实的数据治理项目。企业数据环境是不断变化的, 新的数据集不断被捕获，这些数据来自于内部和外部的数据源。实现数据治理实践，有助于将分析系统数据的质量和一致性保持在一个可接受的水平，与相关数据使用政策一起，防止不同的解释导致分析结果互相冲突。

9. 当情况有变时，要快速推倒重来。建立分析模型并不困难，但并不是所有分析都能提供有用的信息。迅速建立失败的原则：如果一个预测模型对业务不产生任何有价值的东西，就立刻推倒重来。

10. 选择正确的工具。市场预测分析工具的市场十分健全，它能为你提供开源和商业两种选择。寻找工具，提供一组核心功能来匹配您的应用程序需求。你要考虑因素包括特定预测分析算法的所需支持，与各种传统大数据平台的互操作性，是否能够处理结构化和非结构化数，,与数据可视化工具的集成以及用于演示的前端工具等。

熟悉了这十个步骤，并不意味着你就可以轻松构建一个成功的预测分析程序。但它们为分析程序获得持续支持提供了基础，有助于在业务价值基础上构建预测模型，吸引业务用户，管理变更，并让分析师获得高可用性和高置信度的数据。如果这些步骤被正确实施，它们将有助于为开发、测试和部署预测模型流程提供可重复的过程，这些模型能够让业务受益匪浅。