大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

在经历了大数据时代的洗礼，让我们都意识到了大数据对我们未来生活的重要性。学习大数据，就应该抓住当下的机遇，一举拿下大数据技术，成就未来更好的自己。上海数据分析培训机构哪家好呢?

每一个大数据的爱好者应该心目中都有一个数据分析师的梦吧，我们都知道数据分析师是一个非常神秘的职位，看着一堆数据就能洞悉全局，很神奇吧，上海容大教育在线大数据培训小编今天来给大家送福利了，想提高你的数据分析能力吗，看下文吧。

1、Excel是否精钻?

除了常用的Excel函数(sum、average、if、countifs、sumifs、offset、match、index等)之外，Excel图表(饼图、线图、柱形图、雷达图等)和简单分析技能也是经常用的，可以帮助你快速分析业务走势和异常情况;另外，Excel里面的函数结合透视表以及VBA功能是完善报表开发的利器，让你一键轻松搞定报表。

2、你需要更懂数据库

常用的数据库如MySQL，SqlServer、Oracle、DB2、MongoDB等;除去SQL语句的熟练使用，对于数据库的存储读取过程也要熟练掌握。在对于大数据量处理时，如何想办法加快程序的运行速度、减少网络流量、提高数据库的安全性是非常有必要的。

3、掌握数据整理、可视化和报表制作

数据整理，是将原始数据转换成方便实用的格式，实用工具有Excel、R、Python等工具。数据可视化，是创建和研究数据的视觉表现，方便业务方快速分析数据并定位具体问题，实用工具有Tableau、FineBI、Qlikview.

如果常用excel，那需要用PPT展示，这项技能也需要琢磨透。如果用tableau、FineBI之类的工具做数据可视化，FineBI有推送查看功能，也就是在企业上下建立一套系统，通过权限的分配让不同的人看到权限范围内的报表。

4、多学几项技能

大多数据分析师都是从计算机、数学、统计这些专业而来的，也就意味着数学知识是重要基础。尤其是统计学，更是数据分析师的基本功，从数据采集、抽样到具体分析时的验证探索和预测都要用到统计学。

现在社会心理学也逐渐囊括到数据分析师的能力体系中来了，尤其是从事互联网产品运营的同学，需要了解用户的行为动向，分析背后的动机。把握了整体方向后，数据分析的过程也就更容易。

容大教育IT培训机构，能够为你提供良好的技术学习，能够更好地了解每个学习者的需求，根据每个学习者特定的需求为其配置最合适的资产组合，无疑更加符合学习者的需求。

最近几天，不断有小伙伴在后台问到使用excel做数据分析的相关问题，今天，数据君（ID：shendufenxi）就为大家推送一篇实用技巧。

高级的数据分析会涉及回归分析、方差分析和T检验等方法，不要看这些内容貌似跟日常工作毫无关系，其实往高处走，MBA的课程也是包含这些内容的，所以早学晚学都得学，干脆就提前了解吧，请查看以下内容。

在使用之前，首先得安装Excel的数据分析功能，默认情况下，Excel是没有安装这个扩展功能的，安装如下所示：

1）鼠标悬浮在Office按钮上，然后点击【Excel选项】：

2）找到【加载项】，在管理板块选择【Excel加载项】,然后点击【转到】：

3）选择【分析工具库】，点击【确定】：

4）安装完后，就可以【数据】板块看到【数据分析】功能，如下所示：

安装完后，首先来了解一下回归分析的内容。

回归分析

在详细进行回归分析之前，首先要理解什么叫回归？

实际上，回归这种现象最早由英国生物统计学家高尔顿在研究父母亲和子女的遗传特性时所发现的 一种有趣的现象：身高这种遗传特性表现出”高个子父母，其后代身高也高于平均身高；但不见得比其父母更高，到一定程度后会往平均身高方向发生’回归’”。

这种效应被称为”趋中回归”。现在的回归分析则多半指源于高尔顿工作的那样一整套建立变量间的数量关系模型的方法和程序。 这里的自变量是父母的身高，因变量是子女的身高。

百度百科对于回归分析的定义是: 回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛：

1）回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；

2）按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

这里举个电商的例子：电子商务的转换率是一定的，网站访问数一般正比对应于销售收入，现在要建立不同访问数情况下对应销售的标准曲线，用来预测搞活动时的销售收入，如下所示：

1、利用散点图描绘图形：

2. 添加趋势线，并且显示回归分析的公式和R平方值：

从图得知，R平方值=0.9995，趋势线趋同于一条直线，公式是：y=0.01028x-27.424

R 平方值是介于 0 和 1 之间的数字，当趋势线的 R 平方值为 1 或者接近 1 时，趋势线最可靠。因为R2 >0.99，所以这是一个线性特征非常明显的数值，说明拟合直线能够以大于99.99%地解释、涵盖了实际数据，具有很好的一般性, 能够起到很好的预测作用。

3. 使用Excel的数据分析功能

1）点击【数据分析】，在弹出的选择框中选择【回归】，然后点击【确定】：

2）【X值输入区域】选择访问数的单元格，【Y值输入区域】选择销售额的单元格，同时勾选如下所示的选项，包括残差、标准残差、残差图、线性拟合图和正态概率图。

3）以下内容是残差和标准残差：

4）以下是残差图：

残差图是有关于实际值与预测值之间差距的图表，如果残差图中的散点在中轴上下两侧分布，那么拟合直线就是合理的，说明预测有时多些，有时少些，总体来说是符合趋势的，但如果都在上侧或者下侧就不行了，这样有倾向性，需要重新处理。

5）以下是线性拟合图

在线性拟合图中可以看到，除了实际的数据点，还有经过拟和处理的预测数据点，这些参数在以上的表格中也有显示。

6）以下是正态概率图

正态概率图一般用于检查一组数据是否服从正态分布，是实际数值和正态分布数据之间的函数关系散点图，如果这组数值服从正态分布，正态概率图将是一条直线。回归分析不一定得符合正态分布，这里只是仅仅把它描绘出来而已。

以上数据表格和图表都说明公式y=0.01028x-27.424是一个值得信赖的预测曲线，假设搞活动时流量有50万访问数的话，那么预测销售将是51373，如下图所示：

随着“大数据”概念的持续“高温”，越来越多企业及个人也开始关注数据分析。

数据分析是什么？

用一句话概括，就是数据与人类认知的桥梁。

就像观察微生物需要显微镜、了解时间需要钟表、知道温度需要温度计一样，在理解人类感官无法直接认知的数据问题时就需要使用名为“数据分析”的工具了。

人类通过“数据分析”，将我们无法认知的数据信息转换为我们可以理解的知识及智慧，企业管理者依据获得的知识及智慧做出正确决策，带领企业走向成功。

数据分析能干吗呢？

数据分析主要帮助决策者了解情况、发现规律以及预测将来。

假如我是一家卖服装的淘宝店长，我需要知道一天内我卖了多少件商品、挣了多少钱、哪个品牌卖的多哪个品牌卖的少、哪种商品需要补货、哪种颜色受欢迎等等信息，以便及时做出策略调整，保持市场竞争优势。

这就是了解情况。

在经营了一段时间之后，店里积累了一些历史数据，通过对数据的深入挖掘，我发现特定人群甲喜欢购买圆领深色服装，而另一些特定人群乙喜欢购买宽松浅色服装。

于是我将圆领深色服装推销给甲，将宽松浅色服装推销给乙，这就是发现规律。

又经营一段时间后，我发现E品牌商品总是在被浏览2到3次之后就会被卖出去一件，于是我发现浏览次数与销售件数之间存在较强的关联关系，于是我想办法增加E品牌商品的点击次数，通过浏览量的趋势大致可以预测出未来一段时间内销量的变化情况。

这就是预测将来。

在工具上除了需要掌握做数据分析工作最离不开的Excel及SQL外，还要掌握一些专业的数据挖掘工具。

常使用的数据挖掘工具有Python语言、R语言、SPSS、SAS等。想成为合格的数据挖掘向的数据分析师需要一段较长的学习时间以及一定的工作积累。

业务数据分析方法的目的是对业务情况的事实描述，较少涉及数理统计的相关知识，对业务知识、数据加工处理整合方法、数据汇总方法及业务图表呈现方法的要求较高。基本不要求编程技能。

此类方法适合非数据分析专业人员学习掌握，比如像从事财务、人力资源、销售支持等业务部门工作的员工，他们已经具备相当丰富的业务知识了，再掌握数据加工、数据汇总及业务图表呈现等技能后便可以独立进行业务数据分析了。

业务人员进行业务数据分析需要掌握的基本工具主要有两个，一个是Excel，另一个是SQL。

如果你还能掌握一定的Excel Power BI技能，那么你将有可能为企业决策者提供一份高实用性的多维自助数据可视化分析成果，让决策者想知道什么信息便能快速获得什么信息。

上一篇给大家分享了一下筛选功能的使用，特别要注意不能随意复制粘贴的原因和解决办法。有兴趣的朋友们可以点击或关注百家号，进去查看历史文章。

那么，今天给大家分享下EXCEL透视表功能的简单使用。通常情况下，我们需要做批量数据的统计、用excel出图表等等的时候，需要计数或者求和的结果作展示的时候都会用到。可以说是在大数据分析以及展示结果的时候，所必须会使用到的一个功能。

在此，让我们一起通过一个实例来看一下，excel数据透视表的具体使用方法。只需要简单几步，就可以完成一个简单的数据透视！

首先，我们打开一个要处理的EXCEL，比如需要统计各部门总工资。如下图的数据。通过1月到5月每个人的工资记录，来计算出部门工资的总数及每个月的走势。

第一步：选定A列到H列，即包含所有数据的列。

第二步：点击插入-数据透视表，出现一个创建数据透视表的小窗口，直接点击确定。

此时出现了一个新的sheet页，如下图。这里为了方便大家看全，我把表格横向缩小到了一起。实际上数据透视表字段是在EXCEL最右侧。

第三步：新sheet页的最右侧数据透视表字段，有一个选择要添加到报表的字段，可以看到原始表格的标题列。继续往下看，有四个区域，分别为筛选器，列，行，值。我们把月份点住，拖动到列的区域中。

再分别把部门、姓名拖动到行，部门在上。最后把工资拖动到值。

第四步：值里边默认是计数项，我们需要修改一下，工资是以求和来统计。点击计数项：工资，会出现值字段设置。打开后，选择求和，然后点击确定。

第五步：此时已经可以看到表中的数据都已经出现，每个部门每个人1月到5月工资以及总计的工资。可以点击技术部、科研部、运营部前边的-号，代表隐藏姓名；最后一列的总计，每一行代表这一行数据的总计，比如第一行代表技术部1月到5月的总计工资数目；最后一行的总计，每一列代表的是这一列数据的总计，比如1月的那一列代表1月各个部门的总计工资。这样就满足我们的需求了，可以看到每个部门在每个月以及合计的工资数目。

习惯而言，统计的数据都喜欢有高低顺序来浏览，方便一眼看出哪个部门的工资总额高低。我们可以再点击一下总计那列，然后点击排序，选择降序排列。这样就可以看到一个按高到低排序的工资图表了。

好了，本篇就给大家讲到这里，大家可以自己试着随意在四个区域里，把其他的标题也拖进去，看看会出现什么变化？其实看似枯燥的Excel工具也有非常有趣的一面，更多的技巧就留给大家自己开发吧！有什么问题欢迎留言给我们哦！

Excel的功能是非常强大的，如果我们能加以妥善应用，将对我们的工作效率有很大的提高，今天我们要学习的是：Excel的5大数据核对功能，核对数据只需1秒便可搞定哦！

一、快捷键Ctrl+\（反斜杠）法。

方法：

1、选定目标单元格。

2、快捷键：Ctrl+\（反斜杠）。

3、填充颜色。

二、=（等号）法。

方法：

在目标单元格中输入公式：=D3=E3。如果结果为TRUE，则为相同，如果为FALSE，则为不同。

三、IF函数法。

方法：

在目标单元格中输入公式：=IF(COUNTIF(D3,E3)=1,"相同","不相同")。

解读：

1、利用COUNTIF函数计算范围内满足条件的单元格个数。如果D3单元格的值和E3单元格的值相同,则条件成立，暨等于1，否则不成立。

2、利用IF函数判断，当D3和E3单元格的值相同时，返回“相同”，否则返回“不相同”。

四、Exact函数法。

方法：

1、在目标单元格中输入公式：=EXACT(D3,E3)。

解读：

如果D3和E3单元格的值相同，则返回TRUE ,否则返回FALSE。

五、Delta函数法。

方法：

在目标单元格中输入公式：=DELTA(D3,E3)。

解读：

此方法只对数字有效，暨对文本等值的比较不能用Delta函数。

结束语：

本文主要讲解了对文本或数据的核对技巧，其中Ctrl+\(反斜杠)法、=（等号）法、IF函数法、Exact函数法适用于文本和数字，而Delta函数法只适用于数字，并不适用于文本。

现在时时刻刻都在产生大量数据，面对这些大量并且杂乱的数据，如果不能进行分析整理，可能并没有什么用处，Powerquery不仅能导入超百万行甚至上亿行的数据，更重要的是可以轻松对这些数据进行挖掘处理，从中找到我们需要的数据集合。

对导入的数据进行数据整理的过程一般称为「数据清洗」，之所以称之为清洗，是因为在数据分析师眼中，杂乱的数据就是脏数据，只有被清洗成干净的数据后才可以进行分析使用，下面我们就来认识Power Query 的强大数据清洗功能。以下的操作过程在PowerBI和Excel中均适用。

01提升标题

在Excel中第一行为标题行，从第二行开始才是数据，但在PQ中，从第一行开始就需要是数据记录，标题在数据之上，

因此从Excel导入数据的第一步就是要提升标题，点击「转换」的将第一行作为标题，标题提升就完成了。

点击将第一行作为标题旁边的下拉按钮，还有个将标题作为第一行，实际上就是拉低标题，这个功能也特别有用，下面会介绍到。

02更改数据类型

更改数据类型虽然很简单，但设置正确的数据类型非常重要，后期数据建模和可视化过程中，很有可能会出现一些意想不到的错误，最后发现是数据类型设置的不对，所以一开始就养成设置数据类型的好习惯。有两种方式设置数据类型，

03删除错误/空值

数据导入后，有可能出现错误（Error）或者空值（null），

做数据分析之前，要想达到右边的效果，需要把它们去掉，操作如下：

04删除重复项

删除重复项在PQ中非常简单，选中需要删重的列，右键选择「删除重复项」即可：

05填充

在Excel数据中经常会见到合并单元格的情况，导入后就变成了空值，像下面这样：

在PQ中直接向下填充即可：

06合并列

在PQ中选择需要合并的列，然后在「转换」中找到”合并列“，弹出合并列窗口：

比如刚才的表格，把[区域]和[城市]合并：

07拆分

拆分相当于是合并列的反动作，不过功能更丰富，可以选着按字符数，也可以选择按分隔符，如果列中包含多个分隔符，还可以选择按哪个位置的分隔符来拆分：

我们把刚才的合并列再拆分一下，又变成合并前的格式了：

08分组

相当于Excel中的分类汇总功能，比如刚才的数据，我们要计算各区域1月份的合计金额，点击分组依据：

把相应参数填上以后，分组完成：

09提取

PQ的提取功能可以按照长度、首字符、尾字符、范围等来提取，比如下面这个例子，提取前2个字符：

10行列转置

数据处理有的时候需要行列互相转换一下，比如把各城市变成列标签，月份变成行标签，点击行列转置，

是不是发现哪里有些不对劲？月份不见了，这是因为转置的时候，只转数据的部分，月份并不在数据区，我们要想保留月份，先要把月份降下来，这里用到我们前面介绍的”将标题作为第一行“，

标题下降以后，再进行转置就可以了，

转置完成，不过还要再把第一行城市提升为标题。

11行列操作

PQ的行列操作十分灵活，非常大规模的数据操作。

12逆透视列

这是PQ非常便捷的逆天功能，由于数据分析的需要，我们经常要将二维表变为一维表，之前在Excel中需要很多操作步骤才能完成，而通过逆透视功能，可以一键降为一维表，

13透视列

做分析需要一维表，而为了展现的需要，常常还要把一维表变成二维表，也就是Excel中的数据透视，在PQ中同样可以一键透视，比如把刚才的一维表变成原样，聚合方式选择“不要聚合”。

点击确定就变回原来的二维表了，

以上这些是最基本也是最常用的数据清洗功能，看上去也都很简单，动手操作才能更好的掌握，熟练运用以后基本能搞定大部分数据处理的工作，这些不仅是学习Power BI的必备技能，更能让你的Excel水平短时间内大大提升。

PowerBI星球，大数据时代，保持并提升你的职场竞争力。

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

当我们需要分析的数据很多时，迷你图就展现了它的优势，能够快速帮助我们创建折线图、柱状图和盈亏图，是实现数据快速分析的好帮手。

迷你图不像一般的图表有很多类型，目前Excel提供的迷你图类型只有如图所示的三种：①折线图：展示数据发展趋势。

②柱形图：进行数据之间的对比。

③盈亏图：显示盈利和亏损状况。

迷你图的创建方法有两种（参见上图）：

① 数据范围选择一行，放置位置选择一个单元格，然后下拉填充。

② 数据范围选择多行，放置位置选择多行。

具体采用什么方法大家根据自己的喜好来选择即可。

我们初次创建迷你图时，Excel默认将所有单个迷你图放在一个组里面，这样我们可以进行统一的格式调整，如果需要对单个迷你图进行设置，只要取消组合就可以了。具体方法参见上图。

迷你图的删除方法有两种（方法参见上图）：

①整组删除。可以删除选中迷你图所在组的全部迷你图。

②单个删除。只删除选中的迷你图，其他的迷你图保留。

迷你图最常见的设置就是各数据点的显示方式。

对于折线图来讲，首点就是第一个数据系列点，尾点就是最后一个数据系列点，高点是指值最大的数据点，低点是指值最小的数据点。（如上图所示）

对于柱形图来讲，首点就是第一个柱形，尾点就是最后一个柱形，高点是指值最大的柱形，低点是指值最小的柱形。（如上图所示）

对于盈亏图来讲，负点就是值为负数的数据点。

今天为大家准备的VBA福利可以自动批量生成仿迷你图，快下载试一下吧。

之所以称为仿迷你图是因为批量创建的是一般的图表，只是样式做的像迷你图，它的优势是可以比迷你图有更多的设置（一般数据图表具有的功能全部都有），让我们有更多的发挥空间。

网易云课堂学员可在群公告中的百度云链接中下载此模块，赶紧行动吧！

效果演示：

使用VBA模块的正确姿势：

ALT+F11打开VBA编辑器→导入模块→CTRL+SHIFT+Q(自动批量生成折线仿迷你图)→CTRL+SHIFT+T(自动生成柱状仿迷你图)