奥地利符号计算研究所(Research Institute for Symbolic Computation，简称RISC)的Christoph Koutschan博士在自己的页面上发布了一篇文章，提到他做了一个调查，参与者大多数是计算机科学家，他请这些科学家投票选出最重要的算法，以下是这次调查的结果，按照英文名称字母顺序排序。

1、A* 搜索算法——图形搜索算法，从给定起点到给定终点计算出路径。其中使用了一种启发式的估算，为每个节点估算通过该节点的最佳路径，并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此，A*搜索算法是最佳优先搜索的范例。

2、集束搜索(又名定向搜索，Beam Search)——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过，集束搜索只能在每个深度中发现最前面的m个最符合条件的节点，m是固定数字——集束的宽度。

3、二分查找(Binary Search)——在线性数组中找特定值的算法，每个步骤去掉一半不符合要求的数据。

4、分支界定算法(Branch and Bound)——在多种最优化问题中寻找特定最优化解决方案的算法，特别是针对离散、组合的最优化。

5、Buchberger算法——一种数学算法，可将其视为针对单变量最大公约数求解的欧几里得算法和线性系统中高斯消元法的泛化。

6、数据压缩——采取特定编码方案，使用更少的字节数(或是其他信息承载单元)对信息编码的过程，又叫来源编码。

7、Diffie-Hellman密钥交换算法——一种加密协议，允许双方在事先不了解对方的情况下，在不安全的通信信道中，共同建立共享密钥。该密钥以后可与一个对称密码一起，加密后续通讯。

8、Dijkstra算法——针对没有负值权重边的有向图，计算其中的单一起点最短算法。

9、离散微分算法(Discrete differentiation)。

10、动态规划算法(Dynamic Programming)——展示互相覆盖的子问题和最优子架构算法

11、欧几里得算法(Euclidean algorithm)——计算两个整数的最大公约数。最古老的算法之一，出现在公元前300前欧几里得的《几何原本》。

12、期望-最大算法(Expectation-maximization algorithm，又名EM-Training)——在统计计算中，期望-最大算法在概率模型中寻找可能性最大的参数估算值，其中模型依赖于未发现的潜在变量。EM在两个步骤中交替计算，第一步是计算期望，利用对隐藏变量的现有估计值，计算其最大可能估计值;第二步是最大化，最大化在第一步上求得的最大可能值来计算参数的值。

13、快速傅里叶变换(Fast Fourier transform，FFT)——计算离散的傅里叶变换(DFT)及其反转。该算法应用范围很广，从数字信号处理到解决偏微分方程，到快速计算大整数乘积。

14、梯度下降(Gradient descent)——一种数学上的最优化算法。

15、哈希算法(Hashing)。

16、堆排序(Heaps)。

17、Karatsuba乘法——需要完成上千位整数的乘法的系统中使用，比如计算机代数系统和大数程序库，如果使用长乘法，速度太慢。该算法发现于1962年。

18、LLL算法(Lenstra-Lenstra-Lovasz lattice reduction)——以格规约(lattice)基数为输入，输出短正交向量基数。LLL算法在以下公共密钥加密方法中有大量使用：背包加密系统(knapsack)、有特定设置的RSA加密等等。

19、最大流量算法(Maximum flow)——该算法试图从一个流量网络中找到最大的流。它优势被定义为找到这样一个流的值。最大流问题可以看作更复杂的网络流问题的特定情况。最大流与网络中的界面有关，这就是最大流-最小截定理(Max-flow min-cut theorem)。Ford-Fulkerson 能找到一个流网络中的最大流。

20、合并排序(Merge Sort)。

21、牛顿法(Newton's method)——求非线性方程(组)零点的一种重要的迭代法。

22、Q-learning学习算法——这是一种通过学习动作值函数(action-value function)完成的强化学习算法，函数采取在给定状态的给定动作，并计算出期望的效用价值，在此后遵循固定的策略。Q-leanring的优势是，在不需要环境模型的情况下，可以对比可采纳行动的期望效用。

23、两次筛法(Quadratic Sieve)——现代整数因子分解算法，在实践中，是目前已知第二快的此类算法(仅次于数域筛法Number Field Sieve)。对于110位以下的十位整数，它仍是最快的，而且都认为它比数域筛法更简单。

24、RANSAC——是“RANdom SAmple Consensus”的缩写。该算法根据一系列观察得到的数据，数据中包含异常值，估算一个数学模型的参数值。其基本假设是：数据包含非异化值，也就是能够通过某些模型参数解释的值，异化值就是那些不符合模型的数据点。

25、RSA——公钥加密算法。首个适用于以签名作为加密的算法。RSA在电商行业中仍大规模使用，大家也相信它有足够安全长度的公钥。

26、Schnhage-Strassen算法——在数学中，Schnhage-Strassen算法是用来完成大整数的乘法的快速渐近算法。其算法复杂度为：O(N log(N) log(log(N)))，该算法使用了傅里叶变换。

27、单纯型算法(Simplex Algorithm)——在数学的优化理论中，单纯型算法是常用的技术，用来找到线性规划问题的数值解。线性规划问题包括在一组实变量上的一系列线性不等式组，以及一个等待最大化(或最小化)的固定线性函数。

28、奇异值分解(Singular value decomposition，简称SVD)——在线性代数中，SVD是重要的实数或复数矩阵的分解方法，在信号处理和统计中有多种应用，比如计算矩阵的伪逆矩阵(以求解最小二乘法问题)、解决超定线性系统(overdetermined linear systems)、矩阵逼近、数值天气预报等等。

29、求解线性方程组(Solving a system of linear equations)——线性方程组是数学中最古老的问题，它们有很多应用，比如在数字信号处理、线性规划中的估算和预测、数值分析中的非线性问题逼近等等。求解线性方程组，可以使用高斯—约当消去法(Gauss-Jordan elimination)，或是柯列斯基分解( Cholesky decomposition)。

30、Strukturtensor算法——应用于模式识别领域，为所有像素找出一种计算方法，看看该像素是否处于同质区域( homogenous region)，看看它是否属于边缘，还是是一个顶点。

31、合并查找算法(Union-find)——给定一组元素，该算法常常用来把这些元素分为多个分离的、彼此不重合的组。不相交集(disjoint-set)的数据结构可以跟踪这样的切分方法。合并查找算法可以在此种数据结构上完成两个有用的操作：

查找：判断某特定元素属于哪个组。

合并：联合或合并两个组为一个组。

32、维特比算法(Viterbi algorithm)——寻找隐藏状态最有可能序列的动态规划算法，这种序列被称为维特比路径，其结果是一系列可以观察到的事件，特别是在隐藏的Markov模型中。

以上就是Christoph博士对于最重要的算法的调查结果。你们熟悉哪些算法?又有哪些算法是你们经常使用的?

从搜索结果到个性化广告，算法在不知不觉中渗透进生活的方方面面。它既带来的信息和方便也造成了很多隐性的不平等，甚至是偏见。然而算法造成的偏见该如何消除，它虽不像人类偏见那样固执，但消除起来也没那么容易，涉及到公开算法使用的数据，以及算法本身的设计，然而这些又牵涉到设计算法的公司的隐私。幸运的是学界和业界已经意识到这一问题，并开始「问责算法」。

关于科学平等的呼吁一次次出现在媒体中，不是声称要追求最完美的平等就是呼吁找出不平等的根源。无害的废话？之所以说这些是废话，依据的并不是批评家在社交媒体和博客上抱怨的那些伪科学和其中牵扯的商业利益。

一些审查应该有一个更重要的目标。在很短的时间内，大数据算法的平等已经渗透到我们生活的每一个方面。一个巨大的产业已经成长起来，它们梳理并融合多个海量的数据集——文档，例如，上网习惯——来生成个人的档案。它们常常以广告为目的，但也传递了关于信用保险等的决策，它们帮助控制我们看到的新闻或广告，而且不论我们是否启用了它们。他们能决定是否让监控和法律执法机构像社会活动家和持不同政见者鞭策我们——或潜在的安全或刑事威胁。

不仅仅是缺少受欢迎的审查。而是在很大程度上缺少能够广泛使用的算法，比如管理民主生活方方面面的规则和保障的算法：充分监督、制衡、上诉、法定诉讼程序，以及过了法定时间后，将过去的罪行从记录中删除的权利。

算法，从最简单的到最复杂的，都是遵从几组指令或者学习完成一个目标。原则上说，它们可以通过减少人类的偏见和成见来做出公正的分析和决策。但是另一个风险是，它们也有可能增加偏见或成见，并且会复制或者加剧人类犯错。在一个强大的计算机、机器学习和大数据时代，这些平等问题自然就出现了。

产生偏见，消除偏见

在美国的部分地区，司法部门使用的服务一般由商业公司提供，这些服务通常使用算法来预测某人再次犯罪的可能性。但事实上这些算法用来进行量刑决策，比如某人是否得到缓刑或假释。然而结果是有争议的，批评家们强调了该算法有造成对黑人偏见的风险。国家监督和执法机构正在采用类似的技术。

算法中存在很多偏见产生的根源。一个是规则的硬编码和数据集的使用，这已经反映在共同的社会自旋中，产生偏见，去除偏见。虚假或可疑的相关性是另一个陷阱。一个广泛引用的例子是使用算法会给那些需要较长通勤时间的人打负分，因为数据显示，长距离通勤与员工流失有关。

这有歧视贫困人口的风险，这些人往往是那些倾向于住的离中央商务区更远的少数群体。这反过来又加剧了这些地区的失业，并形成一个恶性循环。很多算法在使用犯罪或者其他数据时也容易陷入自我实现预言（self-fulfilling prophecies），造成对贫困人口和少数群体地区的偏见。还一个大问题是人们通常无从知晓他们的档案是基于什么来源建立起来的——或者它们根本就不存在。

「对算法简单过度的依赖存在严重缺陷」

立法者应该纠正算法的权力和责任中的不对称。最起码，应该对个人数据属于个人这个原则进行更广泛的讨论。人们有权知晓自己的数据，以及他们的数据档案是怎么建立起来的，同时也有权质疑这些数据。一些研究者强调尽管网络和社交媒体已经表现出有益于民主，但推荐算法还是会破坏社会结构——例如，给于极端观点生存空间，以及赋予那些煽情肤浅的虚假新闻或产生误导的谣言以特权。

今年 7 月，卫报总编辑 Katharine Viner 曾说，需要加入一些个性化算法以实现让算法可以按个人所想计算。但是这会可能会导致增强预先存在的观点，同时催生出一个让谎言和非理性繁荣的共鸣空间。

幸运的是，目前学术界正在推进更好的「算法责任（algorithmic accountability）」，，值得赞扬的是，像谷歌和微软这样的技术产业公司也参与进来。不断加快的速度和机器学习以及其他人工智能（AI）技术的采纳大大刺激了「算法责任」的推进。一个明智的做法是增加透明度，让算法设计者公开他们训练和使用的数据集源头。披露算法的设计本身就会向审查开放，但几乎可以肯定的是这将会与公司的保密措施产生碰撞。研究者希望找到一种在不透露算法的情况下纠正偏见的方式。

提出的补救措施中有一些是技术性的，比如开发出新的计算技术，能更好的处理和纠正训练数据集和算法中的偏见——一种对算法持肯定态度的措施。深入研究的目标是如何监控高度自主化的人工智能系统，对于这种系统，即便连设计者也不知道这个机器是如何做决定，或者达成结论的。这种深入研究有望开发出监控算法的算法。关于这项研究还需要很多讨论和工作。

由于在研究评估中使用了科学指标，所以过分依赖算法能存在严重缺陷。很明显，（更为复杂的）算法会导致世界上的一部分人落后于其他人。确实如此，无处不在甚至更复杂的人工智能算法已经存在。社会需要认真讨论如何摆脱会犯人类错误的软件和机器。

原文链接：http://nature/news/more-accountability-for-big-data-algorithms-1.20653

选自：Nature，机器之心编译；

36氪专门为读书设立了【36氪领读】栏目，筛选一些值得读的书，并提供一些书摘。希望你手边有一本称心的书，让读书这场运动继续下去。未来20年，算法和大数据将席卷世界，接管我们的生活、社会和经济。我们生活中的很多方面都将落入自动化的数据分析之下。确保算法和大数据的公平性将是一项重大的任务，数据伦理的价值和意义将不断凸显出来。在作者看来，大数据犹如一个黑盒，规模、伤害和隐秘共存，她在书中引用了大量发生在美国当下的、基于大数据和算法的、改变个人生活的案例，并对影响这些城市生活经验的算法做了特别的观察和研究。

小时候，我常常盯着车窗外的车流，研究车牌号。我会把每个车牌号分解成素数，如：45=3*3*5。这叫做因式分解，是我最喜欢的研究消遣。我这个小数学迷对素数问题特别感兴趣。

我对数学的爱好最终发展成热爱。14岁时我参加数学大本营，带回来一个心爱的魔方。数学使我彻底逃脱现实世界的混乱。经过一步步证明，数学不断发展，知识领域不断扩大。我也加入到数学领域中，上大学时主修数学，后来取得博士学位。我的论文研究代数理论，这一领域根源于我小时候爱做的因式分解。最后，我成为巴纳德学院的终身教授，该学院与哥伦比亚大学联合培养数学系。

后来，我做了一个重大的改变。我从大学离职，到顶尖对冲基金D.E.Shaw担任数学分析专家。我离开学术界进入到金融领域，把抽象的数学理论应用到实践中。我们所做的数据分析为一个又一个账户变现数万亿美元。起初，在这新研究室研究全球经济我感到兴奋又震撼。但是，我在那儿工作一年多以后，2008年的秋天，全球金融危机爆发。

很明显，金融危机使得我曾经的庇护所数学不仅卷入了世界问题中，还助推了其中的许多问题。房地产危机，重大金融机构倒闭，失业率上升，数学家通过运用神奇的公式成为这些问题的帮凶。而且，数学的功能特别强大，这一点我非常喜欢，一旦数学与科技结合，系统的效率会提高，规模扩大，混乱和不幸就会倍增，我现在意识到这是一种缺陷。

要是我们当时头脑清醒的话，就会后退一步思考，数学是怎么被我们误用的，我们该如何防止未来发生同样的灾祸？但是，金融危机以后，数学新技术比以往更热门，甚至延伸到更多领域，每时每刻都在搅动着海量信息，大多数数据都是由社交媒体或者电子商务网站搜刮而来。而且，数学逐渐不再关注全球金融市场动态，而是关注我们人类。数学家和统计学家一直在研究我们的欲望、行动和消能费力。他们一直在预测我们的信用，评估学生、职员、情人以及罪犯的潜力。

这是大数据经济，收益前景非常可观。一个电脑程序可以在1-2秒内快速扫描成千上万份简历或是贷款申请，然后整理成清晰的列表，最有潜力的求职者位居前列。这不仅节约时间，而且还公平客观。毕竟，电脑程序不像人类带有个人偏见，而只是一种处理无情数字的机器。到2010年左右，数学破天荒地介入人类事物，公众热烈欢迎数学这一工具。

但是，我看到了麻烦。数学应用助推数据经济，但这些应用的建立是基于不可靠的人类所做的选择。有些选择无疑是出于好意。但是，其中有许多模型把人类偏见、误解和偏爱编入软件系统，这些系统日益操控我们的生活。这些数学模型像上帝一样模糊不清，只有该领域的最高牧师即数学家和计算机科学家才能明白模型是如何运作的。人们对模型得出的结论毫无争议，从不上诉，即使结论是错误的或是有害的。而且模型往往会惩罚社会中的穷人和受压迫的人，而富人因此更加富有。

我为这些有害模型提出了一个名称：数学毁灭武器，或者简写成WMD。接下来我将用一个例子向你们阐明这种模型的破坏特点。

这个案例和很多案例一样，出发点是好的。2007年，华盛顿特区新上任市长艾德里安·芬提（Adrian Fenty）下定决心改善本市教学质量不佳的学校。当时，几乎每两个中学生中就有一个九年级学生勉强才能毕业，只有8%的八年级学生在数学上的表现达标。市长芬提聘用教育改革者李阳熙（Michelle Rhee）担任华盛顿市教育总督。

当时流行的理论是学生学得不够好是因为老师教得不好。所以，在2009年，教育总督李阳熙落实开除教学表现差的教师的计划。这是全美教学质量差的地区的一种趋势，而且从系统工程的角度看，这种想法非常有意义：评估教师。开除最差的教师，把最好的老师调到最有用武之地的地方发挥他们的才干。用数据专家的话来说就是，“优化”学校系统，尽可能保证提供给孩子好的教育。除了“差”教师，谁还能与此争论？教育总督李阳熙开发了一个叫作IMPACT的教师评估工具，在2009-2010学年底，华盛顿特区开除了得分垫底的2%的教师。第二年年底，又开除5%，也就是206名教师。

华盛顿特区五年级教师萨拉·韦索基（Sarah Wysocki）似乎没有任何理由担心。她在麦克法兰中学仅任教两年就得到校长和学生家长的好评。校长表扬她对孩子专心，学生家长称她是“我接触过的老师中最好的一个”。

但是在2010-2011年年底，韦索基得到IMPACT的评分很惨。她的问题来自一个叫作增值模型的新评分系统，该系统用于评估数学和语言技能教学的效果。这个系统算法得出的分数占她总评分的一半，并且重要性超过学校领导和社区的好评。华盛顿特区别无选择只好开除她，以及IMPACT得分在最低限度之下的另外205名教师。

这看起来不像是政治破坏或者分数定论。该学区的这一评估办法确实有点逻辑。毕竟学校领导有可能是糟糕教师的朋友。他们可能喜欢他们的个性或是表面上的尽心尽力。糟糕教师看起来“挺好”。所以，像许多其他学校系统一样，华盛顿特区愿意减少人为偏差，更加注重分数，因为分数是根据实实在在的结果即数学和阅读成绩得出的。华盛顿特区官员承诺，分数可以清楚说明问题。分数更能体现公平。

韦索基当然觉得这些数字极其不公平，她想知道这些分数怎么得来的。她后来告诉我说：“我认为没有人能理解这些分数。”一个优秀的教师怎么会得到如此低的分数呢？增值模型评估的到底是什么？

她熟知，评估模型很复杂。华盛顿特区聘用麦斯迈提卡政策研究机构（Mathematica Policy Research），该机构提出这套评估体系。该机构遇到的难题是测量特区学生的进步，然后计算学生的进步或退步多少能够归因于他们的老师。这当然不容易。研究人员知道，许多变量包括学生的社会经济背景、学习障碍影响等，都能影响学生学习成绩。评估算法必须要考虑到这些差异，这就是复杂的一个原因。

企图减少人类行为、表现以及在算法方面的潜力确实不是一件容易的事情。如果你想要理解麦斯迈提卡政策研究机构处理的是什么问题，你想象一个住在华盛顿特区东南部贫民区里的10岁小女孩。一学期以后，她要参加五年级标准化测试。然后她的生活继续。她可能有家庭矛盾或是家庭经济困难。也许她正在搬家或是在担心触犯了法律的哥哥。也许她不满意自己的体重或是在学校被欺辱。无论她的生活经历了什么，下一学年她要参加六年级学生的标准化测试。

如果你比较这两次测试的结果，分数应该会持平，或者希望是提高了。但是如果分数下降，很容易计算她和那些优秀学生之间的分数差距。

但是，老师该为这一差距负多大责任呢？这很难知道，而且麦斯迈提卡政策研究机构的教学评估模型只有少许数字可以比较。相反，像谷歌这样的大数据公司，研究人员不断测试，监测成千上万个变量。他们可以把任一广告的字体从蓝色改为红色，每版都投放给一千万观众，然后追踪哪一版本获得的点击率更高。他们根据受众的反馈微调算法和操作。虽然我对谷歌公司有许多意见，接下来我们将会在本书中探讨，但谷歌的这种不断测试是对数据的有效利用。

想要计算一个人在一个学年内对另一个人的影响更加复杂。韦索基表示：“学习和教学中有太多的因素，很难一一评估。”而且，试图通过分析二三十个学生的考试成绩去评估一名教师的教学水平，从统计学上来说是不可靠的，甚至很可笑。一切皆会出错，数字太渺小。如果我们要用搜索引擎的严格数据分析教师的话，必须随机挑选几千个甚至数百万个学生参加考试。统计师需要大量的数据平衡例外和反常情况。（我们将会看到，数学毁灭武器惩罚的个体往往是多数人中的例外。）

同样重要的是，数据系统需要反馈，保证系统出差错时能意识到。统计师不断试错训练模型，使之更加智能。若亚马逊的推荐模型相关性出错，给十几岁女孩推荐草坪修剪的工具书，网站的点击量必定骤降，亚马逊公司就会不断调整模型，直到用户相关性推荐正常为止。但是，如果没有错误反馈，大数据模型就会持续输出错误结果，无法改进。

我将要在本书中探讨的许多数学毁灭武器都是这样运作的，包括华盛顿学区的增值模型。许多数学毁灭武器定义自己的功能然后证明其输出结果的合理性。这种模型自我巩固，极具破坏力，生活中很常见。

麦斯迈提卡政策研究机构的评分系统给予韦索基和其他205名教师差评之后，华盛顿特区开除了这些教师。但是该评分系统如何知道自己是否正确呢？无从知道。评分系统确定这些教师是失败者，那么别人就会认为他们是失败者。206名“差”教师走了。这一事实仅仅能表明该增值模型的效果。该模型正在清理华盛顿特区不合格的教师。

这是数学毁灭武器反馈回路的一个例子。我们将会在本书中看到许多这样的例子。比如说，雇主逐渐开始使用信用评分系统来评估求职者。雇主的想法是，及时支付账单的人更可能准时到岗和遵守规则。但其实，信用评分低的人中也有很多有责任感的人和优秀的雇员。但是，雇主认为信用低和工作表现差正相关，导致信用评分低的人很难找到工作。失业导致他们贫穷，而这又进一步降低了他们的得分，因此他们找工作难上加难。这是一个恶性循环。而雇主永远也不会知道，他们因为只关注信用评分而错过了多少优秀的雇员。在数学毁灭武器中存在许多有害的假设，这些模型包裹着数学的外衣，流行于市场，未经检测，人们对此却毫无争议。

这突出了数学毁灭武器的另一个常见特征，即往往惩罚穷人。部分原因是数学模型是用来评估数量多的人群。数学毁灭武器擅长巨量，成本低，这也是它们的吸引力所在。相反，富人通常受益于个人投入。高档律所或者专享预科学校会比快餐连锁店或者资金短缺的城市学区更依赖推荐和当面交流。我们以后会经常看到，特权阶 级更多与人打交道，而群众则由机器操控。

没有人能给韦索基解释为什么她得了这么低的分数，这已经可以说明问题了。算法就像上帝，数学毁灭武器的裁决就是他的指令。数学毁灭武器像是一个黑盒子，里面的东西是严格保护的公司机密，Mathematica这样的顾问因此可以收取更多的费用，但它也有另一个目的：如果被评估的人被蒙在鼓里，他们将不太可能找到系统的漏洞。他们反而只是会努力工作，遵守规则，祈祷模型记录和感激他们的努力。但是，如果人们不能了解模型具体运作方式，就很难对分数提出质疑或者抗议。

多年来，华盛顿教师抱怨他们得到系统武断的评分，强烈要求知道分数的由来。他们被告知这是算法的结果，很难解释。很多教师因此望而却步不再追究。不幸的是，很多教师被数学吓到了。但有一个叫作莎拉·拜克丝（Sarah Bax）的数学老师不停地向学区领导、以前的同事詹森·卡姆拉斯问个究竟。反复几个月之后，卡姆拉斯让她等一份即将发表的技术报告。拜克丝说：“如果一种标准你自己都无法解释，你怎么能保证用它评估人的正当性呢？”但是这就是数学毁灭武器的本质。分析外包给程序员和统计师。通常来说，机器说了算。

即便如此，萨拉·韦索基深知她的学生标准化测试分数主要是根据公式计算的。她对此有一些疑问。她在麦克法兰中学任教最后一年开学之前，她看到五年级新生在四年级期末考试中取得惊人的好成绩。巴纳德小学29%的学生位列“高级阅读水平”，这一数字是该学区平均数的5倍。萨拉的很多学生都来自这个小学。

但是，开学后，她发现很多学生连简单的句子都读不好。很久之后，《华盛顿邮报》和《今日美国》调查揭示，该学区41所学校标准化测试有大量涂擦痕迹，包括巴纳德小学。大范围纠正答案表明作弊的可能性很大。有些学校多达70%的考场被怀疑。

这和数学毁灭武器有什么关系？有多方面关系。第一，教师评估算法是一种改善教学的强大工具，这是算法的目的，华盛顿学校都施行“胡萝卜加大棒”政策。教师知道如果他们的学生考试不好，他们也会面临失业风险。教师因此想方设法确保学生通过考试，尤其是在大萧条期间劳动力市场需求疲软的时候。与此同时，如果他们的学生表现好于其他学校学生的话，教师和校领导可以得到高达8000美元的奖金。如果你认为这些强有力的激励政策可以证明试卷被大量涂改和反常高分，就有理由怀疑四...

一全排序

Hadoop自带的Partitioner的实现有两种，一种为HashPartitioner, 默认的分区方式，计算公式\nhash(key)%reducernum，另一种为TotalOrderPartitioner,\n为排序作业创建分区，分区中数据的范围需要通过分区文件来指定。

分区文件可以人为创建，如采用等距区间，如果数据分布不均匀导致作业完成时间受限于个别reduce任务完成时间的影响。

也可以通过抽样器，先对数据进行抽样，根据数据分布生成分区文件，避免数据倾斜。

注意，key可以是数字型，也可以是BinaryComparable（字符串），当是BinaryComparable时，则以key构造Trie Tree；否则以二分查找来确定key的所属区间。

二单词共现矩阵算法

其目的是在海量语料库中发现在固定窗口内单词a和单词b共同出现的频率，从而构建单词共现矩阵，这样的矩阵可以是对称的，也可以是不对称的，这要看具体的应用。

这种抽象化的任务的有效解决在实际生活中有着很多的应用。例如电子商家希望发现不同物品被同时购买的情况以便有效安排货物的摆放位置；同时对信息检索领域同义词词典的构建以及文本挖掘等都有着重要的实际应用价值。

根据同现关系的不同，可能需要实现和定制不同的FileInputFormat和RecordReader，如同现关系为一个英文句子，则需要实现以一个英文句子为单位的FileInputFormat和RecordReader，如同现关系为一个段落，则需要实现以一个段落为单位的FileInputFormat和RecordReader

三倒排索引

Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents)，没什么可说的，必须掌握。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。究竟大数据技术的核心原理是哪几方面呢？

数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据，数据分析越来越热门，资本也对贴有大数据标签的公司趋之若鹜。如同流动的数字货币一样被一再的评估、追崇。数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。

数据核心原理：从“流程”核心转变为“数据”核心

大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。

数据价值原理：有功能是价值转变为数据是价值

大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。

数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。

全样本原理：从抽样转变为需要全部数据样本

需要全部数据样本而不是抽样，你不知道的事情比你知道的事情更重要，但如果现在数据足够多，它会让人能够看得见、摸得着规律。

数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。

关注效率原理：由关注精确度转变为关注效率

关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要，人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。

竞争是企业的动力，而效率是企业的生命，效率低与效率高是衡量企来成败的关键。一般来讲，投入与产出比是效率，追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的，智能机器效率更高，已能代替人的思维劳动。智能机器核心是大数据制动，而大数据制动的速度更快。在快速变化的市场，快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则，也就是说，速度就是价值，效率就是价值，而这一切离不开大数据思维。

关注相关性原理：由因果关系转变为关注相关性

关注相关性而不是因果关系，社会需要放弃它对因果关系的渴求，而仅需关注相关关系，也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。

在这个不确定的时代里面，等我们去找到准确的因果关系，再去办事的时候，这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说按那个按钮，一定会出现相应的结果，是这样状态。而农业社会往前推，不需要找到中间非常紧密的、明确的因果关系，而只需要找到相关关系，只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好，开始挖掘相关关系的好处。

非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员，市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉，诸如此类。

接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%——效率大大提高了。

全世界的商界人士都在高呼大数据时代来临的优势：一家超市如何从一个17岁女孩的购物清单中，发现了她已怀孕的事实；或者将啤酒与尿不湿放在一起销售，神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。比如，腾讯一项针对社交网络的统计显示，爱看家庭剧的男人是女性的两倍还多；最关心金价的是中国大妈，但紧随其后的却是90后。而在过去一年，支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。

预测原理：从不能预测转变为可以预测

大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。

此外，随着系统接收到的数据越来越多，通过记录找到的最好的预测与模式，可以对系统进行改进。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据。一旦把统计学和现在大规模的数据融合在一起，将会颠覆很多我们原来的思维。所以现在能够变成数据的东西越来越多，计算和处理数据的能力越来越强，所以大家突然发现这个东西很有意思。所以，大数据能干啥？能干很多很有意思的事情。

互联网、移动互联网和云计算机保证了大数据实时预测的可能性，也为企业和用户提供了实时预测的信息，相关性预测的信息，让企业和用户抢占先机。由于大数据的全样本性，人和人都是一样的，所以云计算机软件预测的效率和准确性大大提高，有这种迹象，就有这种结果。

信息找人原理：从人找信息，转变为信息找人

互联网和大数据的发展，是一个从人找信息，到信息找人的过程。先是人找信息，人找人，信息找信息，现在是信息找人的这样一个时代。信息找人的时代，就是说一方面我们回到了一种最初的，广播模式是信息找人，我们听收音机，我们看电视，它是信息推给我们的，但是有一个缺陷，不知道我们是谁，后来互联网反其道而行，提供搜索引擎技术,让我知道如何找到我所需要的信息，所以搜索引擎是一个很关键的技术。

大数据还改变了信息优势。按照循证医学，现在治病的第一件事情不是去研究病理学，而是拿过去的数据去研究，相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生，因为医生知道的多，但现在我可以到谷歌上查一下，知道自己得了什么病。

谷歌有一个机器翻译的团队，最开始的时候翻译之后的文字根本看不懂，但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话，说从团队每离开一个语言学家，翻译质量就会提高。越是专家越搞不明白，但打破常规让数据说话，得到真理的速度反而更快。

机器懂人原理：由人懂机器转变为机器更懂人

不是让人更懂机器，而是让机器更懂人，或者说是能够在使用者很笨的情况下，仍然可以使用机器。甚至不是让人懂环境，而是让我们的环境来懂我们，环境来适应人，某种程度上自然环境不能这样讲，但是在数字化环境中已经是这样的一个趋势，就是我们所在的生活世界，越来越趋向于它更适应于我们，更懂我们。哪个企业能够真正做到让机器更懂人，让环境更懂人，让我们随身携带的整个的生活世界更懂得我们的话，那他一定是具有竞争力的了，而“大数据”技术能够助我们一臂之力。

大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律，从而使数据发挥最大化的价值。由计算机代替人去挖掘信息，获取知识。从各种各样的数据（包括结构化、半结构化和非结构化数据）中快速获取有价值信息的能力，就是大数据技术。大数据机器分析中，半监督学习、集成学习、概率模型等技术尤为重要。

电子商务智能原理：大数据改变了电子商务模式，让电子商务更智能

商务智能，在今天大数据时代它获得的重新的定义。例如：传统企业进入互联网，在掌握了“大数据”技术应用途径之后，会发现有一种豁然开朗的感觉，就像在黑屋子里面找东西，找不着，突然碰到了一个开关，发现那么费力的找东西，原来很容易找得到。大数据思维，事实上它不是一个全称的判断，只是对我们所处的时代某一个纬度的描述。

大数据时代不是说我们这个时代除了大数据什么都没有，哪怕是在互联网和IT领域，它也不是一切，只是说在我们的时代特征里面加上这么一道很明显的光，从而导致我们对以前的生存状态，以及我们个人的生活状态的一个差异化的一种表达。

当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。或者说，在你还不知道的情况下，体检公司、医院提醒你赶紧去做检查，可能会得某些病，商家比你更了解你自己，以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。

定制产品原理：由企业生产产品转变为由客户定制产品

下一波的改革是大规模定制，为大量客户定制产品和服务，成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色，厂商有能力满足要求，但价格又不至于像手工制作那般让人无法承担。因此，在厂家可以负担得起大规模定制带去的高成本的前提下，要真正做到个性化产品和服务，就必须对客户需求有很好的了解，这背后就需要依靠大数据技术。

在互联网大数据的时代，商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的，航空公司会给我们里程卡，根据飞行公里数来累计里程，但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信，“恭喜先生，您已经被我们选为幸运顾客，我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您，您的额度又被提高了，”就说明钱花得已经太多了。

正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想，工作了一年很辛苦，要不要去哪里度假？打开e-Mail，就有航空公司、旅行社的邮件。

企业产品直接销售给用户，省去了中间商流通环节，使产品的价格可以以出厂价销售，让销费者获得了好处，网上产品便宜成为用户的信念，网购市场形成了。要让用户成为你的产品粉丝，就必须了解用户需要，定制产品成为用户的心愿，也就成为企业发展的新方向。

“

本账号提供最新物联网展会活动资讯，和多家物联网企业形成战略合作伙伴，带领用户与物联网行业大咖、各地物联网俱乐部共同来玩转物联网，为行业创造最酷的物联网线下体验和思想交流的平台。

IOTCOFFEE

大数据挖掘与大数据分析一样吗？随着大数据越来越火，与大数据相关的职位也开始粉墨登场，引人关注。作为大数据行业最为重要的两种职位，大数据挖掘和大数据分析更是受到了与众不同的待遇。现在有许多的朋友都会问：大数据挖掘和大数据分析有什么区别，不是都是搞数据的吗？在这里，魔据小编认为：尽管大数据挖掘和大数据分析同属于大户数据行业，但是依然有着很大的区别。

一．什么是数据

不谈数据，就无以谈大数据挖掘和大数据分析，因此，我们先说一下什么是数据。

其实很简单，数据就是观测值。例如测量数据。大家可能有个误区，认为客户填写的表单就是数据，对编程序而言，是的，但是不是常规的数据。当然填写的内容，一旦落入到观测空间，自然就成了数据。

二．什么是大数据挖掘和大数据分析

大数据挖掘指对大数据数据分析手段后的信息，进行价值化的分析。

大数据分析指对大数据的一种操作手段，或者算法。目标是针对先验的约束，对数据进行整理、筛选、加工，由此得到信息。

三．大数据挖掘和大数据分析有什么区别

大数据挖掘是对信息的价值化的获取。价值化自然不会考虑数据本身，而是考虑数据是否有价值。由此，一批数据，你尝试对它做不同的价值评估，这是大数据挖掘。

大数据分析是以输入的数据为基础，通过先验的约束，对数据进行处理，但是不以结论何如为调整。例如你需要图像识别，这个属于大数据分析。你要分析人脸，数据就是通过先验的 方法，就是出来个猫脸。你的数据分析也没有问题，你需要默默承受结果，并且尊重事实。因此大数据分析的重点在于数据的有效性、真实性和先验约束的正确性。

此时对比大数据分析，最大的特点就是你需要调整你不同的先验约束，再次对数据进行分析。而先验的约束已经不是针对数据来源自身的特点，例如信噪比处理算法。你期望得到的一个有价值的内容，做先验的约束，以观测，数据根据这个约束，是否有正确的反馈。

不管大数据挖掘和大数据分析有什么不同，这两个职位的前景都是十分好的，现在入行，正是最好的时机。

虽然你并没有见到过买彩票中奖的算命先生，但几乎每个中奖的人都会吹嘘自己拥有了算命先生的能力。有些中奖者，就像赵本山的小品中的人物那样，会声称自己是从梦中获得的灵感来选择号码，还有一些中奖者则会声称自己拥有某种超级预测的能力。

但不管这些人如何声称自己拥有超能力，但我们可以相信，还是很少有正常的企业会高薪聘请这类人来帮助企业做市场预测分析。

随着互联网和计算机的普及，人们做决策时越来越注重“数据驱动”，也就是说更加依赖于客观的统计数据而不是某些人的所谓“判断”。在这个以事实为基础的领域中，常见的词汇都是“分析学”、“大数据”、“商业情报”以及“数据科学”等。

统计科学的任务就是在大量微观个体的相互作用中发现可以被辨识的宏观模式，这些模式可以是数学公式，可以是图标，也可以是若干个更为直观的指标或指数，如均值，方差，CPI和PPI等。

在传统的统计学中，数据是“混合的”（mixed），就像容器内的分子。因此，我们关心的是大量数据中呈现出的宏观量，就像容器内气体的温度。

但是大数据预测分析则更近了一步，它不仅仅是要搞清楚宏观统计规律，更要弄清宏观数据中的精细结构，例如，大数据分析既关心某款手机的销售量，更关心是哪个群体的人会更有可能购买该款手机。

因此，在大数据分析的视野中，数据不再是混合的，而是“聚块的”（assorted）。表面上看是混杂的，但放大了看，则有精细的结构：华为手机用户产生的数据；鹿晗粉丝留下的数据；克罗地亚球迷留下的数据；等等。

所谓的大数据，我将其定义为与人的行为相关的所有数据。人们几乎所有的行为都会留下痕迹，这些痕迹就是所谓的数据。这就意味着，在大数据的视野里，所有的数据就像道路上的脚印，虽然看上去杂乱却是“有迹可循”的。

数据的“前后相随”形成了“足迹”，大数据分析技术可以帮助我们辨识出无数不同的“足迹”。但是我们一定要注意，这些“足迹”不是相互独立的而是相互影响相互关联的。有些足迹会“殊途同归”而有些足迹则会“分道扬镳”。

由于人是有限理性的，因此对于问题类型的兴趣各不相同，即使对于同一个问题也会形成不同的看法。不同类型的数据虽然都被埋在了网络中海量的数据库里，但是具有不同兴趣不同知识背景的人们总是能够在其中“嗅出”自己所需要的特殊“信息素”，并进而引发五花八门的聚集行为。

以维基百科为例。在维基百科的发展过程中，万维网构成了信息聚集和信息流的物理环境。如果有某位作者在维基百科中新增了一个词条，则该词条就会成为一个标识，它所包含的特殊的“信息素”会引导着那些对这个词条感兴趣的读者或编辑的聚集行为。在聚集过程中，他们以网页为媒介间接地进行交往，或增加内容，或修改内容，或激烈争论，持续不断地进行着信息和知识的交流。有时候他们会很快就达成共识，有时候则会在交流和反馈中产生“无中生有”的涌现，形成新的观念和新的词条，从而留下新的“信息素”而引发新的聚集。有时则会因为意见不合或者兴趣衰减而一哄而散。

人们在由维基百科提供的工作环境基于stigmergic机制的间接交往，使得维基百科涌现出了巨大的“智慧”，其内容的广泛性、专业性、包容性、多样性和时代性都超过了任何一本由少数专家“精心编撰”的百科全书。然而，尽管维基百科呈现出多样性、不断变化、缺乏中央指挥，但无论是从短期看还是从长期看，它都始终保持了协调性。

不过，实际上我们面对的绝大多数数据并不像维基百科那样有清晰的结构。如何才能在表面杂乱的数据中发现隐藏的结构和秩序，需要的是合适的算法。

互联网和计算机的普遍使用每天都为我们留下海量的数据。数据仿佛只是无数事实和数字的堆砌，每条数据都显得无聊，有的人看到数据就头疼。然而正如库瓦尼先生所说的“数据是一种新型石油”那样，数据中蕴含着巨大的财富。

不过数据本身还不是财富，作为原材料的数据只是一个枯燥无味的代码组合。只有通过合理有效的方法提炼出来的规律和知识才是如黄金般珍贵的财富。

人的能力有限，不可能同时处理如此海量的数据，幸好现在有了计算机。但是，再强的计算机面对着每天都在指数式增长的海量数据也会感到“内存”有限，再强的CPU都会担心在某一时刻是否会因为温度太高而“自焚”。

写到这里，想到了人的免疫系统。由于病毒或者细菌具有超强的变异能力，这使得新的病毒和细菌层出不穷，从理论上会趋于无限。很显然人的免疫系统中不可能储存如此多的病毒或细菌信息。面对这样的一种情况，密执根大学的John H. Holland教授产生了这样的想法：大自然一定有自己的算法。

这个想法的伟大之处在于，只要拥有了好的算法（软件），有限的硬件就可以做无限的事情。

Holland教授指出：“正是由于适应行为而导致的复杂性，阻碍了当今世界许多重大问题的解决。”

事实上，免疫系统遵循着大自然的“节约”原则，任何一个时刻储存的信息都是有限。那些长期没有出现的细菌和病毒将会被淡忘甚至遗忘，而那些最近出现在身体的疾病信息则会被储存。因此，大多数人在感冒痊愈后的一段时间不再感冒，这是因为免疫系统记住了这些细菌或病毒的特征，只要出现就坚决消灭。而过了一段时间以后，这些病毒或细菌变异后将以陌生的面孔出现在免疫系统面前，从而蒙混过关，让人的病。

Holland教授根据新达尔文主义的基本观点，抽象地分析了自然系统的自适应过程，提出了遗传算法(Genetic algorithm,简称GA)，并以此来实现系统结构的演化过程。

继遗传算法之后，很快有了进化算法、蚁群算法、鱼群算法、涌现算法和stigmergy算法等等自适应的算法。中国古代先哲老子的“道法自然”的理念在各种适应性算法中得到了完美的实现。

适应性算法的出现，为一个新的学科——机器学习的诞生奠定了基础。

机器学习，就是让电脑自动获取新知识和新能力，持续不断地输入现代社会最重要的非自然资源：数据。

输入数据→机器学习→预测→通过经验数据的反馈再学习，通过这样的一个过程将会不断提高机器的预测能力。

例如，好莱坞的影视公司会预测，如果某剧本被制作成影片，它是否会受欢迎。如果受欢迎，主要是什么年龄阶层或社会阶层的人会更加欢迎。

对于足球队教练来说，他要知道哪些运动员会在关键比赛的关键时刻更容易“掉链子”，从而做出有效的换人安排。

对于美国总统候选人来说，那些摇摆不定的选民更容易接受什么样宣传媒体和宣传口号，从而提高获胜的机会。

机器学习会从这些发现中尝试建立预测能力，通过对数字的挖掘和试错，运用统计学方法和计算机科学方法实现这种预测。

接下来，需要讨论的问题是，机器学习能否替代人们的自主学习？机器预测能否替代人的判断？还有一个更大的问题是，在强大的人工智能面前，人怎么实现真正的自由？

本文作者 龚小庆

大数据分析师是指基于各种分析手段对大数据进行科学分析、挖掘、展现并用于决策支持的人员，在国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。现在魔据教育大数据培训专家就来和大家说一说，一个大数据分析师需要掌握的知识技能。

大数据分析师的能力体系　　

如下图：

1.数学知识

数学知识是大数据分析师的基础知识。对于初级大的数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分项。对于高级数据分析师，统计模型相关知识是必备能力，线性代数（主要是矩阵计算相关知识）最好也有一定的了解。而对于大数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。

2.分析工具

对于初级大数据分析师，玩转Excel是必须的，数据透视表和公式使用必须熟练，VBA是加分。另外，还要学会一个统计分析工具，SPSS作为入门是比较好的。对于高级大数据分析师，使用分析工具是核心能力，VBA基本必备，SPSS/SAS/R至少要熟练使用其中之一，其他分析工具（如Matlab）视情况而定。对于大数据挖掘工程师……嗯，会用用Excel就行了，主要工作要靠写代码来解决呢。

3.编程语言

对于初级大数据分析师，会写SQL查询，有需要的话写写Hadoop和Hive查询，基本就OK了。对于高级大数据分析师，除了SQL以外，学习Python是很有必要的，用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。对于大数据挖掘工程师，Hadoop得熟悉，Python/Java/C++至少得熟悉一门，Shell得会用……总之编程语言绝对是大数据挖掘工程师的最核心能力了。

4.业务理解

业务理解说是大数据分析师所有工作的基础，大数据的获取方案、指标的选取、乃至最终结论的洞察，都依赖于大数据分析师对业务本身的理解。对于初级大数据分析师，主要工作是提取大数据和做一些简单图表，以及少量的洞察结论，拥有对业务的基本了解就可以。对于高级大数据分析师，需要对业务有较为深入的了解，能够基于大数据，提炼出有效观点，对实际业务能有所帮助。对于大数据挖掘工程师，对业务有基本了解就可以，重点还是需要放在发挥自己的技术能力上。

5.快速学习

无论做大数据分析的哪个方向，初级还是高级，都需要有快速学习的能力，学业务逻辑、学行业知识、学技术工具、学分析框架……

魔据教育大数据培训专家告诉大家：大数据分析领域中有学不完的内容，需要大家有一颗时刻不忘学习的心。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为这个信息时代的产物，我们可能无法掌握这些数据的算法，但是可以了解一下大数据都有哪些算法！

今天，来为大家详细介绍大数据十大经典算法！

一、C4.5算法

C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。

C4.5相比于ID3改进的地方有：

1、用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵(entropy，熵是一种不纯度度量准则),也就是熵的变化值.而C4.5用的是信息增益率。对，区别就在于一个是信息增益，一个是信息增益率。

一般来说率就是用来取平衡用的，就像方差起的作用差不多，比如有两个跑步的人，一个起点是10m/s的人、其10s后为20m/s；另一个人起速是1m/s、其1s后为2m/s。如果紧紧算差值那么两个差距就很大了，如果使用速度增加率(加速度，即都是为1m/s^2)来衡量，2个人就是一样的加速度。因此，C4.5克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足。

2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。

3、对非离散数据也能处理。

4、能够对不完整数据进行处理。

二、The k-means algorithm 即K-Means算法

k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割(k

三、 Support vector machines

支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。

它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。

在分开数据的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。

四、The Apriori algorithm

Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。

五、最大期望(EM)算法

在统计计算中，最大期望 （EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。

六、 PageRank

PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。PageRank根据网站的外部链接和内部链接的数量和质量，衡量网站的价值。

PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。

七、AdaBoost

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器融合起来，作为最后的决策分类器。

八、KNN: k-nearest neighbor classification

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

九、 Naive Bayes

在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。

理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。

十、 CART: 分类与回归树

CART, Classification and Regression Trees。在分类树下面有两个关键的思想：第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

看完之后，哪位小伙伴会其中的1-2个算法的，说出来让小编崇拜一下。

注：算法来源于网络,本文不作为商业价值，仅供学习参考，如侵犯著作权，请联系作者删除。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。