大数据挖掘与大数据分析一样吗？随着大数据越来越火，与大数据相关的职位也开始粉墨登场，引人关注。作为大数据行业最为重要的两种职位，大数据挖掘和大数据分析更是受到了与众不同的待遇。现在有许多的朋友都会问：大数据挖掘和大数据分析有什么区别，不是都是搞数据的吗？在这里，魔据小编认为：尽管大数据挖掘和大数据分析同属于大户数据行业，但是依然有着很大的区别。

一．什么是数据

不谈数据，就无以谈大数据挖掘和大数据分析，因此，我们先说一下什么是数据。

其实很简单，数据就是观测值。例如测量数据。大家可能有个误区，认为客户填写的表单就是数据，对编程序而言，是的，但是不是常规的数据。当然填写的内容，一旦落入到观测空间，自然就成了数据。

二．什么是大数据挖掘和大数据分析

大数据挖掘指对大数据数据分析手段后的信息，进行价值化的分析。

大数据分析指对大数据的一种操作手段，或者算法。目标是针对先验的约束，对数据进行整理、筛选、加工，由此得到信息。

三．大数据挖掘和大数据分析有什么区别

大数据挖掘是对信息的价值化的获取。价值化自然不会考虑数据本身，而是考虑数据是否有价值。由此，一批数据，你尝试对它做不同的价值评估，这是大数据挖掘。

大数据分析是以输入的数据为基础，通过先验的约束，对数据进行处理，但是不以结论何如为调整。例如你需要图像识别，这个属于大数据分析。你要分析人脸，数据就是通过先验的 方法，就是出来个猫脸。你的数据分析也没有问题，你需要默默承受结果，并且尊重事实。因此大数据分析的重点在于数据的有效性、真实性和先验约束的正确性。

此时对比大数据分析，最大的特点就是你需要调整你不同的先验约束，再次对数据进行分析。而先验的约束已经不是针对数据来源自身的特点，例如信噪比处理算法。你期望得到的一个有价值的内容，做先验的约束，以观测，数据根据这个约束，是否有正确的反馈。

不管大数据挖掘和大数据分析有什么不同，这两个职位的前景都是十分好的，现在入行，正是最好的时机。

大数据时代，机器学习已经成为热词之一，学习机器学习的也越来越多，下面我们来盘点一下机器学习有哪些算法，以及这些算法的优缺点都是什么？

489034603

朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法 。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。

优点：朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。对小规模的数据表现很好，能个处理多分类任务，适合增量式训练；对缺失数据不太敏感，算法也比较简单，常用于文本分类。

缺点：需要计算先验概率；分类决策存在错误率；对输入数据的表达形式很敏感。

Logistic Regression（逻辑回归）

逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。

Sigmoid函数：

优点：实现简单，广泛的应用于工业问题上；分类时计算量非常小，速度很快，存储资源低；便利的观测样本概率分数；对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题。

缺点：当特征空间很大时，逻辑回归的性能不是很好；容易欠拟合，一般准确度不太高不能很好地处理大量多类特征或变量；只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；对于非线性特征，需要进行转换。

线性回归

线性回归是用于回归的，而不像Logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用normal equation直接求得参数的解，结果为：

而在LWLR（局部加权线性回归）中，参数的计算表达式为:

由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。

优点： 实现简单，计算简单；

缺点： 不能拟合非线性数据。

最近领算法——KNN

K最近邻(k-Nearest Neighbor，KNN)分类算法，主要应用领域是对未知事物的识别，即判断未知事物属于哪一类，即如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

kNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成正比（组合函数）。

优点：理论成熟，思想简单，既可以用来做分类也可以用来做回归；可用于非线性分类；训练时间复杂度为O(n)；对数据没有假设，准确度高，对outlier不敏感；

缺点：计算量大；样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；需要大量的内存；

决策树

决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。

一个决策树包含三种类型的节点：

决策节点：通常用矩形框来表示

机会节点：通常用圆圈来表示

终结点：通常用三角形来表示

优点：计算简单，易于理解，可解释性强；比较适合处理有缺失属性的样本；能够处理不相关的特征；在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

缺点：容易发生过拟合（随机森林可以很大程度上减少过拟合）；忽略了数据之间的相关性；对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征（只要是使用了信息增益，都有这个缺点，如RF）。

SVM支持向量机

支持向量机（SVM，还支持矢量网络）是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。给定一组训练样本，每个标记为属于两类，一个SVM训练算法建立了一个模型，分配新的实例为一类或其他类，使其成为非概率二元线性分类。一个SVM模型的例子，如在空间中的点，映射，使得所述不同的类别的例子是由一个明显的差距是尽可能宽划分的表示。新的实施例则映射到相同的空间中，并预测基于它们落在所述间隙侧上属于一个类别。除了进行线性分类，支持向量机可以使用所谓的核技巧，它们的输入隐含映射成高维特征空间中有效地进行非线性分类。

优点：可以解决高维问题，即大型特征空间；能够处理非线性特征的相互作用；无需依赖整个数据；可以提高泛化能力；

缺点：当观测样本很多时，效率并不是很高；对非线性问题没有通用解决方案，有时候很难找到一个合适的核函数；对缺失数据敏感；

对于核的选择也是有技巧的（libsvm中自带了四种核函数：线性核、多项式核、RBF以及sigmoid核）：

第一，如果样本数量小于特征数，那么就没必要选择非线性核，简单的使用线性核就可以了；

第二，如果样本数量大于特征数目，这时可以使用非线性核，将样本映射到更高维度，一般可以得到更好的结果；

第三，如果样本数目和特征数目相等，该情况可以使用非线性核，原理和第二种一样。

对于第一种情况，也可以先对数据进行降维，然后使用非线性核，这也是一种方法。

人工神经网络

优点：分类的准确度高；并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。

缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。

K-Means聚类

优点：算法简单，容易实现 ；对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt)，其中n是所有对象的数目，k是簇的数目,t是迭代的次数。通常k<

缺点：对数据类型要求较高，适合数值型数据；可能收敛到局部最小值，在大规模数据上收敛较慢K值比较难以选取；对初值的簇心值敏感，对于不同的初始值，可能会导致不同的聚类结果；不适合于发现非凸面形状的簇，或者大小差别很大的簇。对于”噪声”和孤立点数据敏感，少量的该类数据能够对平均值产生极大影响。

如果小伙伴想要学习大数据架构师的技术，可以加下图片下面的交流群，群里有很多学习视频都可以下载，而且每天大数据架构师马士兵老师都会在群里分享大数据的技术。。

大数据时代的到来，越来越多的人选择学习大数据，那关于大数据分析的六大基本方面是哪些，一起来了解一下

可视化分析

不管是对数据分析专家还是普通用户

数据可视化是数据分析工具最基本的要求

可视化可以直观的展示数据

让数据自己说话，让观众听到结果

数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的

集群、分割、孤立点分析还有其他的算法

让我们深入数据内部，挖掘价值

这些算法不仅要处理大数据的量

也要处理大数据的速度

预测性分析能力

数据挖掘可以让分析员更好的理解数据

而预测性分析可以让分析员根据可视化分析和数据挖掘的结果

做出一些预测性的判断

语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息

数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践

通过标准化的流程和工具对数据进行处理

可以保证一个预先定义好的高质量的分析结果

数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台

成都加米谷大数据科技有限公司

个人培训 丨 企业内训

成都市高新区天府二街蜀都中心1栋705

总结一下自己对大数据算法认知的过程。正文包含两部分：对算法的认知过程和最终笔者对大数据算法的理解。

写这篇博客的原因有很多，总的来讲有下面几点：

自己在算法的路上一直懵懵懂懂，现在刚刚有了一点点头绪，赶快做个记录。

梳理清楚自己的思路，后续会有一个算法学习的一到两年的计划，这算是个引子。

谈起算法大家都只会想到经典算法和机器算法，除此之外还有很多有意思的算法，特别是为了解决大数据量问题的算法，这些很容易被忽略掉，但是我认为这才算是大数据算法。

0x01 认知过程

1. 算法没什么用

刚入坑的时候，一直以为大数据工程师就是安装一下Hadoop，写写MR程序，运维一下集群就够了，虽说算法很重要，但是工作中没有什么感觉。

我在很长一段时间也抱着一种算法只是起到在面试中起到区分度作用的知识点而已。（现在想来，其实这个观点也没什么错，大部分的开发工作的确用不到什么算法。）

2. 经典算法的魅力

做了一段时间大数据运维后，接到了一个优化调度系统的任务，就和gim老司机在一起设计重构调度系统的方案，在这个过程中复习了很多图论相关的知识点，从此开始对算法产生了极大的兴趣并一发不可收拾，随后重新学习了一遍树相关的内容，自己动手实现了什么2-3树、avl树、红黑树这些数据结构。

其实，感兴趣的一个主要原因就是发现，这些东西基本构建了我们整个的计算机体系。比如文件系统、数据库的索引，学会这些总感觉以后就不会丢饭碗了。

3. 机器学习代表了一切

再接着，机器学习一下子就火了起来，世界上只剩下了两种算法：机器学习算法和非机器学习算法。身边的朋友和同学，凡是和数据开发相关的，都称自己想转做机器学习。笔者也不能免俗，开始准备跟着浪潮走一波。但是一没场景，二是兴趣不大，当有一天我突然意识到自己在学机器学习累的时候居然想玩玩linux放松心情的时候，就暂时放弃了转向机器学习的这个想法。以后我会用到它，可能还会用的很深，但是现在不会全身心地转向它。

机器学习过后，17年又迎来了深度学习的浪潮。

4. 深度学习又是一波浪潮

感触最深的是在17年5月份，看到了一份招聘要求，招的title是人工智能平台架构师，具体的要求是除了数据平台要求的东西外加了一些深度学习平台的东西。

这时候就感到，当浪潮到来的时候，你可以不转向它，但是要包容它。所以，顺便学了一波深度的东西，入了个门，大概知道我以后需要做些什么。（三个月后的今天基本已经忘完了）

5. 还有很多有趣的算法

随着工作的深入，系统在性能上遇到了很多了瓶颈，我们要做一系列的调整来应对，比如敏感信息的加密、集群文件的压缩、负载均衡策略的选择，这时候就不得不深入学习一下加密算法、压缩算法、负载均衡算法的原理。

这些算法一直都在，但是仍然可以在现在的大数据场景下发挥极大的作用。

6. 分布式算法

在这之前，我对自己从事的工作一直有一点心虚，感觉除了写写mr，管一下集群貌似没什么技术含量太深的东西，能拿得出手的也就是各个系统的架构和对他们的熟悉程度。 后来无意间在mooc发现了一门云计算原理的课，然后就对这一块产生了极大的兴趣。

随着学习的深入，发现这块的水还是相当深的，我们称这些为分布式算法，它包含了这么一大堆内容：

2PC、Gossip这一大堆协议；DHT、Paxo、Raft这一大堆算法、还有一些乱七八糟的原理。

这块学的还是很皮毛，后面会有详细的学习计划。

7. 大数据算法到底是什么？

在工作和学习中遇到了这么多算法，再加上一段时间的思考，我会在想，大数据的算法到底是什么样子的？

经典算法暂且不论，压缩和加密算法也一直都有。

那么机器学习呢？总感觉有些地方不对劲，应该说是机器学习是使用了大数据，但是他不是为了解决大数据的各种问题的，真正的大数据问题还要有大数据的算法来解决。

分布式算法也不完全算是，虽说大数据工程师都要用到分布式系统，但是他们解决的问题场景不太一样的。分布式算法要解决时钟、一致性问题这些问题。大数据场景的算法不太一样。

然后我们要想一下大数据场景有什么问题？

大数据场景的问题

数据量大，这是一个最明显的特点，它带来的问题就是处理这些数据成了很大的麻烦。Hadoop是一个突破性的项目，然后在这之外我们还会有一些场景要解决。

集合中不同元素的个数, 比如, 独立访客(Unique Visitor，简称UV)统计，换成sql来写的话就是count(distinct user_id)，假设有1000亿的数据放在这里，需要极快地算出来，可以允许一点点不精确，我们该怎么做？

也就是，我们在很多场景下，会在允许一定牺牲一定的准确度地情况下来快速地算出结果。这一些算法有极大的应用场景。比如redis会用到Hyperloglog来做基数统计。

这样的一批算法，我认为算是大数据算法中的一部分。

内容比较多，后面会写博客展开来专门讲。

0x02 数据工程师算法技能一览

在这里做一个小总结，画一下我认为大数据工程师需要掌握、熟悉和了解的算法。很多其实在工作中都会经常遇到。

算法一览

再放一个详细的图。

0XFF 总结

没了

作者： dantezhao|简书 | CSDN | GITHUB

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为这个信息时代的产物，我们可能无法掌握这些数据的算法，但是可以了解一下大数据都有哪些算法！

今天，来为大家详细介绍大数据十大经典算法！

一、C4.5算法

C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。

C4.5相比于ID3改进的地方有：

1、用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵(entropy，熵是一种不纯度度量准则),也就是熵的变化值.而C4.5用的是信息增益率。对，区别就在于一个是信息增益，一个是信息增益率。

一般来说率就是用来取平衡用的，就像方差起的作用差不多，比如有两个跑步的人，一个起点是10m/s的人、其10s后为20m/s；另一个人起速是1m/s、其1s后为2m/s。如果紧紧算差值那么两个差距就很大了，如果使用速度增加率(加速度，即都是为1m/s^2)来衡量，2个人就是一样的加速度。因此，C4.5克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足。

2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。

3、对非离散数据也能处理。

4、能够对不完整数据进行处理。

二、The k-means algorithm 即K-Means算法

k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割(k

三、 Support vector machines

支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。

它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。

在分开数据的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。

四、The Apriori algorithm

Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。

五、最大期望(EM)算法

在统计计算中，最大期望 （EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。

六、 PageRank

PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。PageRank根据网站的外部链接和内部链接的数量和质量，衡量网站的价值。

PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。

七、AdaBoost

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器融合起来，作为最后的决策分类器。

八、KNN: k-nearest neighbor classification

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

九、 Naive Bayes

在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。

理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。

十、 CART: 分类与回归树

CART, Classification and Regression Trees。在分类树下面有两个关键的思想：第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

看完之后，哪位小伙伴会其中的1-2个算法的，说出来让小编崇拜一下。

注：算法来源于网络,本文不作为商业价值，仅供学习参考，如侵犯著作权，请联系作者删除。

一全排序

Hadoop自带的Partitioner的实现有两种，一种为HashPartitioner, 默认的分区方式，计算公式\nhash(key)%reducernum，另一种为TotalOrderPartitioner,\n为排序作业创建分区，分区中数据的范围需要通过分区文件来指定。

分区文件可以人为创建，如采用等距区间，如果数据分布不均匀导致作业完成时间受限于个别reduce任务完成时间的影响。

也可以通过抽样器，先对数据进行抽样，根据数据分布生成分区文件，避免数据倾斜。

注意，key可以是数字型，也可以是BinaryComparable（字符串），当是BinaryComparable时，则以key构造Trie Tree；否则以二分查找来确定key的所属区间。

二单词共现矩阵算法

其目的是在海量语料库中发现在固定窗口内单词a和单词b共同出现的频率，从而构建单词共现矩阵，这样的矩阵可以是对称的，也可以是不对称的，这要看具体的应用。

这种抽象化的任务的有效解决在实际生活中有着很多的应用。例如电子商家希望发现不同物品被同时购买的情况以便有效安排货物的摆放位置；同时对信息检索领域同义词词典的构建以及文本挖掘等都有着重要的实际应用价值。

根据同现关系的不同，可能需要实现和定制不同的FileInputFormat和RecordReader，如同现关系为一个英文句子，则需要实现以一个英文句子为单位的FileInputFormat和RecordReader，如同现关系为一个段落，则需要实现以一个段落为单位的FileInputFormat和RecordReader

三倒排索引

Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents)，没什么可说的，必须掌握。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

PC时代真正拉开全球普及的大幕，大概要到世纪之交的2000年。在此之前，虽然影视作品深入人心地塑造了很多黑客形象，但人们对电脑的直观认识仍然十分肤浅。真正改变这一现象的动力并不仅仅来自PC自身性能的发展，也来自互联网的推动作用。

PC+互联网奠定了我们这个时代信息高速公路的基石，在他们铺设交织的信息之路集群上，手机等更轻量级的终端不断发展，终于占据了我们的生活，演化出了现在的大数据算法浪潮。

大数据算法下 每个人都是有辨识度的节点

在科技趋势方面，艺术探索总是领先于工程实践乃至社会意识，当站在2018年的我们蓦然回首会发现，十年前乃至二十年前的电影就已经基本预告了AI、大数据等种种“先进科技实践现象”的到来。

当然，我们现在已经接触到的大数据算法应用，与人们既有的预期还是有相当的不同，仍处在相对早期的发展阶段，但其影响已经开始渗透进入我们们生活的方方面面。

大数据就是把互联网信息瀑布重新塑形的过程

首先明确，我们此处提到的大数据算法指代的是互联网信息生产者、中继者等利益主体利用关键数据信息的统计建立对用户的特征分类，描摹具备分析价值的用户画像，从而针对性地采取差异化方式对待的一种策略。

对于直接生产者来说，谁购买了我的“内容”，我就统计谁的特征，针对性地售卖我的产品。

对于信息中介者来说，谁使用我们的“服务”，我们就统计谁的信息，针对不同用户采取基于时间、空间等任何有意义的节点来设计我们提供信息的呈现方式和范围。

大数据算法可能塑造更恶劣的互联网世界

从严格意义上来讲，这些策略的诞生并不依赖互联网，他们伴随着市场经济的滥觞而出现。商家们一早就自发地开始了解市场偏好，根据不同用户群的特点及来确定经营办法，这是商品社会建立的基石之一。

不过在一些后发市场，直到几十年前，创始人自己走南闯北的阅历还是提供策略依据的核心要素——参见康师傅红烧牛肉面的口味选择之路。

互联网打造了人类历史上从未有过的数据采集、流通能力，为信息检索和归纳整理创造了温床。互联网的普及是信息时代的必然事件，基于互联网的大数据算法决策也是互联网自身发展的必然要求。我们要讨论的问题不是这些会不会发生，而是他们演化过程中规则引导缺位时可能会带来的后果。

—1—

一叶障目加剧对立

与冷冰冰的IE 404不同，谷歌浏览器在连接失败时会显示一只比较呆萌的”恐龙“头像，告诉用户如果没有互联网，大家就要倒退回到落后的中生代了。事实上，中生代称霸地球优势种群恐龙总目的灭亡（非鸟恐龙）恰恰和大数据算法可能带来的弊端有很强的可比性。

Chrome 浏览器对断网者返回“中生代”的嘲讽

现存高级脊椎动物类群都从两栖类之后的羊膜动物群进化而来，代表恐龙、鳄鱼等的“蜥形动物”和代表哺乳动物的“合弓动物”从很早就分道扬镳。

恐龙在三叠纪中后期登场，倚仗自己的呼吸效率优势撑过了三叠纪末的艰难时刻，在全球高温湿润、强海侵时期的一亿六千万年内保持了自己的主要特征，一直舒舒服服地生活到了六千五百万年前，旋即在环境巨变惊天动地的的K--T灭绝事件变革中壮烈死去，再也没有能够看到古近纪的太阳。

恰恰是为蜥形纲——主龙类量身定做的低氧、高温、湿润气候，使得他们的优势特征得以迅速发挥，持续大型化、持续特化。竞争对手合弓动物之前在二叠纪锻炼出来的耐寒能力（高代谢能力）并不入他们的法眼（生物选择没有必要）。

漫长而固定的环境固化了他们的特征，用进废退的生物本性磨灭了他们的进化之路，最终导致了他们的灭亡。

非鸟恐龙受环境影响过于特化而灭绝（不仅仅是大型化））

没错，用进废退，不但是生物进化的本能规律，也是智能生物认识世界的自然规律。

对于文明时代的个体来说，高度稳定的环境显然不是能够锻炼自己心智和见识的有利因素。历来各国机要人员，“不历州郡，不入台阁”是默认的惯例。如果哪天有重要机构的掌舵人换成了从小养尊处优又没什么见识的年轻人，多半是要出事的，是要步”恐龙王朝“的后尘的。

早年间互联网的发展确实对普通网民起到了丰富知识层次、扩展视野的作用，同早期恐龙们要面对的复杂自然环境类似。但是经历数十年野蛮生长后，大数据算法终于瓜熟蒂落。在大数据算法的构建过程中，每一个用户都会把自己的关键”喜好“特征毫无防备地贡献出去。

喜欢看球的朋友会发现自己浏览器和APP的推送头条一直是体育，喜欢财经的永远挑不出金融领域。如果您是喜欢辩论的网民，那么很容易稀里糊涂陷入自我印证立场和攻击别人之间的死循环。

如果厂家们真的行之有效的玩转了大数据算法，那么坚持”PC 玩游戏就是比主机强的“用户们可能也就再也看不到别人对此的看法。

大数据会放大台式机 笔记本 果粉 和主机“贱民“之间的对立

大数据算法发现了你的选择，并且用粘性“智能”的信息流方式把你半永久性地、潜移默化地粘到了那个方向上，这是我们现在已经开始面对的现实。周围都是恒定不变的丛林，其他的观点和信息都被隐藏，长此以往，用户都将成为徜徉在中生代在”自由王国“舒适“吟唱的恐龙大帝，对于自己世界以外的事物漠不关心。

任何人都有自己的认知盲区，即使是学富五车的大学教授也常常在简单的认知问题上翻船，如果不加限制。”恐龙“与”恐龙“们将进一步强化自己的喜好与对立，社会群体之间的有效沟通将很大程度上被阻断。

一叶障目不见泰山，这是大数据算法极有可能带来的严重后果。

—2—

价格歧视导致不公

”十年磨一剑，霜刃未曾试，今日把示君，谁有不平事？“公平自古以来都是人们用户的追求，甚至要高于形式上的平等。平等意味着机会绝对均等，自人们进入国家文明时代以来，大多数人都是安于自己既有命运的，但公平却不一样，他代表着在一套资源配置体系内权利与责任对应的关系。

世界互联 是双刃剑

人们不会和爱因斯坦比智力，不会同比尔盖茨比财富，但不能容忍办公室内和资历差不多的人突然暴富或者意外获利。

如果有一套规则切实确定了体系内不同人的应该有的付出和相应地回报，并且这套规则是大范围内被广泛承认，并且切实运行了很久的，那么任何敢于挑战这种规则的决策都是不明智的。

很遗憾的是，大数据算法被制造出来，其初衷就是要挑战既有的模糊化（但相对公平）的规则的。数据提供者费劲千辛万苦，耗费了不知道多少Xeon 服务器运算时间来计算的内容，无非是要把自己用户群分类分的更细一些，把他们的决策模型建立的更加拟真一些。如果这些都成功了或者部分地实现了，商家们差别化对待用户的”邪恶“梦想也就差不多成真了。

被APP识别成土豪 整个世界都跟着涨价是什么体验

这就是价格歧视。在大数据算法普及前的商品社会中，价格歧视固然同样存在甚至非常明显，但是那已经是约定俗成的规则的一部分，相对透明而为人所熟知，对社会伦理的挑战相对有限。

举例来说，定位奢侈的商品拒绝讨好主流用户被大家习以为常、高端酒店大堂禁止衣冠不整者入内是社会内多数人都认可的准则（礼仪本身体现着一定的物质、认知和人际资源门槛，从一开始就是人群分类的标志），都是这种规则的体现。

大数据算法是价格歧视的有力工具

但当大数据和算法开始入侵商业社会，人们的不适感会骤然爆发。大数据杀熟在敏锐的用户面前已经是现实问题。在相同初始条件时，APP和网页客户端们依据后台已有的数据自动为大家提供了不同的价格、优惠甚至广告引导信息策略。

一方面，人们开始感到不公平，由此引发的伦理问题非常严重；另一方面，当大数据算法已经开始深度定制对不同人的信息引导（引导就是误导）方案时，用户往往会陷入失去参照系的惶恐中，这是更深层次的市场信心损害。

当订酒店的APP明明写着很多房源可以免费退订，你退订了两次后就再也看不到类似选项而你的朋友却完全不受限制时，当你的土豪朋友请你吃了两顿大餐，你发现你的点餐APP中推荐饭店、菜单全部变得奢侈而名贵无比时，你应该也是会感到崩溃的。

而这，只是大数据算法最粗糙模型的初步应用而已。

—3—

鹰眼环伺风险重重

在全球范围内，公共摄像头带来的隐私问题一直饱受争议。人们普遍担忧国家机构以安全为名设计的各种信息（图像）收纳机制会被滥用，导致公民隐私被泄露甚至被不正当利用。在大数据算法开始普及之后，信息的收集与筛选主体开始从主权国家扩散到了成熟的商业公司身上，这方面的社会不信任感会进一步加剧。

2018没有终结者 但人们仍然担心天网

世界主要国家都采用了代议制政体，在理论上都对自己的公民负责，人们连对自己选出来的主权国家都不放心，又凭什么对那些掌握用户清晰特征的大数据算法提供者、归纳者放心呢？

互联网缔造了人类历史上从未有过的庞大数据流，扩充并发展了世界的贸易体系、资源配置体系、知识沟通交流体系，甚至开始蚕食人们的社交网络。

在海量的数据面前，人们的行为和组织形式变得越来越复杂。在北京纽约这样的都市，街上的路人们普遍对街边的建筑来头毫无所知。那么，普通民众又能有多少精力对自己熟悉领域之外的复杂社会决策系统又多少认知呢？

即使是主要国家的政府监管机构，由于自身的非营利性、非生产性，对技术理解和商业运营的了解上，也都是跟不上时代潮流的，普遍落后的。连有组织的强力机构往往都对商业公司的决策模式和安保情况后知后觉，指望社会力量自发监控大数据算法运行系统被用于正道无疑是痴人说梦。

人们担心主权国家 又怎么能相信商业公司的自觉？

没错，主流的科技企业和跨国公司都在强调自己的社会责任和公益意识，但无论他们拿出盈利剩余的多少部分来贯彻与他们主业不相关的公共事业，都解决不了人们对他们自身的监管问题。

当一家公司通过你买什么菜、愿意去哪家电影院看电影来推断出你的性格特征、决策心理时，你对他的防护能力是很差的。那么这样有组织的公司获得的数据会被用到什么地方，是否会被交易？这些数据如何得到监管，如何得到尊重，如何保证不被滥用？这是所有人都值得探究的问题。

社会问题永远不可能靠某些利益主体自发的道德来解决，开发大数据算法的组织、践行使用他们的公司无论如何对外发出皇天后土的誓言也不能解决任何本质问题。

科技瓶颈需要更高层次的科技发展来解决

有了这些弊端，我们就不要大数据了吗？这显然是不可能的，技术的推动力量不是人为所能扭转，我们开篇已经说过，这几乎不可避免。要解决这些问题，我们一方面要有认识他们、重视他们的勇气，靠用户舆论和政府监管来纠正商业公司的错误引导，另一方面也要着重发展大数据算法。

社会发展遇到的瓶颈，只有更高层次的发展才能得到解决；科技进步产生的弊端，也只有更加发达的技术手段才能将其遏制。开放而积极的心态是我们解决大数据算法问题的最重要武器。

虽然你并没有见到过买彩票中奖的算命先生，但几乎每个中奖的人都会吹嘘自己拥有了算命先生的能力。有些中奖者，就像赵本山的小品中的人物那样，会声称自己是从梦中获得的灵感来选择号码，还有一些中奖者则会声称自己拥有某种超级预测的能力。

但不管这些人如何声称自己拥有超能力，但我们可以相信，还是很少有正常的企业会高薪聘请这类人来帮助企业做市场预测分析。

随着互联网和计算机的普及，人们做决策时越来越注重“数据驱动”，也就是说更加依赖于客观的统计数据而不是某些人的所谓“判断”。在这个以事实为基础的领域中，常见的词汇都是“分析学”、“大数据”、“商业情报”以及“数据科学”等。

统计科学的任务就是在大量微观个体的相互作用中发现可以被辨识的宏观模式，这些模式可以是数学公式，可以是图标，也可以是若干个更为直观的指标或指数，如均值，方差，CPI和PPI等。

在传统的统计学中，数据是“混合的”（mixed），就像容器内的分子。因此，我们关心的是大量数据中呈现出的宏观量，就像容器内气体的温度。

但是大数据预测分析则更近了一步，它不仅仅是要搞清楚宏观统计规律，更要弄清宏观数据中的精细结构，例如，大数据分析既关心某款手机的销售量，更关心是哪个群体的人会更有可能购买该款手机。

因此，在大数据分析的视野中，数据不再是混合的，而是“聚块的”（assorted）。表面上看是混杂的，但放大了看，则有精细的结构：华为手机用户产生的数据；鹿晗粉丝留下的数据；克罗地亚球迷留下的数据；等等。

所谓的大数据，我将其定义为与人的行为相关的所有数据。人们几乎所有的行为都会留下痕迹，这些痕迹就是所谓的数据。这就意味着，在大数据的视野里，所有的数据就像道路上的脚印，虽然看上去杂乱却是“有迹可循”的。

数据的“前后相随”形成了“足迹”，大数据分析技术可以帮助我们辨识出无数不同的“足迹”。但是我们一定要注意，这些“足迹”不是相互独立的而是相互影响相互关联的。有些足迹会“殊途同归”而有些足迹则会“分道扬镳”。

由于人是有限理性的，因此对于问题类型的兴趣各不相同，即使对于同一个问题也会形成不同的看法。不同类型的数据虽然都被埋在了网络中海量的数据库里，但是具有不同兴趣不同知识背景的人们总是能够在其中“嗅出”自己所需要的特殊“信息素”，并进而引发五花八门的聚集行为。

以维基百科为例。在维基百科的发展过程中，万维网构成了信息聚集和信息流的物理环境。如果有某位作者在维基百科中新增了一个词条，则该词条就会成为一个标识，它所包含的特殊的“信息素”会引导着那些对这个词条感兴趣的读者或编辑的聚集行为。在聚集过程中，他们以网页为媒介间接地进行交往，或增加内容，或修改内容，或激烈争论，持续不断地进行着信息和知识的交流。有时候他们会很快就达成共识，有时候则会在交流和反馈中产生“无中生有”的涌现，形成新的观念和新的词条，从而留下新的“信息素”而引发新的聚集。有时则会因为意见不合或者兴趣衰减而一哄而散。

人们在由维基百科提供的工作环境基于stigmergic机制的间接交往，使得维基百科涌现出了巨大的“智慧”，其内容的广泛性、专业性、包容性、多样性和时代性都超过了任何一本由少数专家“精心编撰”的百科全书。然而，尽管维基百科呈现出多样性、不断变化、缺乏中央指挥，但无论是从短期看还是从长期看，它都始终保持了协调性。

不过，实际上我们面对的绝大多数数据并不像维基百科那样有清晰的结构。如何才能在表面杂乱的数据中发现隐藏的结构和秩序，需要的是合适的算法。

互联网和计算机的普遍使用每天都为我们留下海量的数据。数据仿佛只是无数事实和数字的堆砌，每条数据都显得无聊，有的人看到数据就头疼。然而正如库瓦尼先生所说的“数据是一种新型石油”那样，数据中蕴含着巨大的财富。

不过数据本身还不是财富，作为原材料的数据只是一个枯燥无味的代码组合。只有通过合理有效的方法提炼出来的规律和知识才是如黄金般珍贵的财富。

人的能力有限，不可能同时处理如此海量的数据，幸好现在有了计算机。但是，再强的计算机面对着每天都在指数式增长的海量数据也会感到“内存”有限，再强的CPU都会担心在某一时刻是否会因为温度太高而“自焚”。

写到这里，想到了人的免疫系统。由于病毒或者细菌具有超强的变异能力，这使得新的病毒和细菌层出不穷，从理论上会趋于无限。很显然人的免疫系统中不可能储存如此多的病毒或细菌信息。面对这样的一种情况，密执根大学的John H. Holland教授产生了这样的想法：大自然一定有自己的算法。

这个想法的伟大之处在于，只要拥有了好的算法（软件），有限的硬件就可以做无限的事情。

Holland教授指出：“正是由于适应行为而导致的复杂性，阻碍了当今世界许多重大问题的解决。”

事实上，免疫系统遵循着大自然的“节约”原则，任何一个时刻储存的信息都是有限。那些长期没有出现的细菌和病毒将会被淡忘甚至遗忘，而那些最近出现在身体的疾病信息则会被储存。因此，大多数人在感冒痊愈后的一段时间不再感冒，这是因为免疫系统记住了这些细菌或病毒的特征，只要出现就坚决消灭。而过了一段时间以后，这些病毒或细菌变异后将以陌生的面孔出现在免疫系统面前，从而蒙混过关，让人的病。

Holland教授根据新达尔文主义的基本观点，抽象地分析了自然系统的自适应过程，提出了遗传算法(Genetic algorithm,简称GA)，并以此来实现系统结构的演化过程。

继遗传算法之后，很快有了进化算法、蚁群算法、鱼群算法、涌现算法和stigmergy算法等等自适应的算法。中国古代先哲老子的“道法自然”的理念在各种适应性算法中得到了完美的实现。

适应性算法的出现，为一个新的学科——机器学习的诞生奠定了基础。

机器学习，就是让电脑自动获取新知识和新能力，持续不断地输入现代社会最重要的非自然资源：数据。

输入数据→机器学习→预测→通过经验数据的反馈再学习，通过这样的一个过程将会不断提高机器的预测能力。

例如，好莱坞的影视公司会预测，如果某剧本被制作成影片，它是否会受欢迎。如果受欢迎，主要是什么年龄阶层或社会阶层的人会更加欢迎。

对于足球队教练来说，他要知道哪些运动员会在关键比赛的关键时刻更容易“掉链子”，从而做出有效的换人安排。

对于美国总统候选人来说，那些摇摆不定的选民更容易接受什么样宣传媒体和宣传口号，从而提高获胜的机会。

机器学习会从这些发现中尝试建立预测能力，通过对数字的挖掘和试错，运用统计学方法和计算机科学方法实现这种预测。

接下来，需要讨论的问题是，机器学习能否替代人们的自主学习？机器预测能否替代人的判断？还有一个更大的问题是，在强大的人工智能面前，人怎么实现真正的自由？

本文作者 龚小庆