如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

Numpy

Python没有提供数组功能，虽然列表可以完成基本的数组功能，但他不是真正的数组。Numpy内置函数处理速度是c语言级别，因此尽量使用内置函数，避免出现效率瓶颈的现象。

Numpy的安装：

Windows中，pip install numpy

也可以自行下载源代码：

python setup.py install

安装完后，可以使用以下命令进行测试。

Scipy

Scipy提供了多维数据功能，但它只是一般的数组，并不是矩阵。例如，当两个数组相乘时，只是对应元素相乘，而不是矩阵乘法。

Scipy包含功能有最优化，线性代数，积分，插值，拟合，特殊函数，快速傅里叶变换，信号处理，图像处理，常微分方程求解等。显然这些功能是挖掘和建模必须的。

安装方法与numpy一样。

以下命令简单试用：

Matplotlib

数据可视化，著名的绘图库。可以进行简单的三维绘图。

安装与上相同。

Matplotlib作图的基本代码：

如果读者试用的中文标签，就会出现中文标签无法正常显示，由于matplotlib默认字体是英文所致，解决他的办法是在作图之前手动添加黑体。

Plt.rcparams[‘font.sans-serif’]=[‘SimHei’] #这句话用来正常显示中文标签

另外作图可能出现负号不能正常显示，可以用过如下代码解决：

Plt.rcparams[‘axes.unicode-minus’]=False #解决保存图像是负号

Pandas

Pandas 是python中最强大的数据分析和探索工具。它包含高级的数据结构和精巧的工具，使得在python中处理数据非常快速和简单。Pandas来自于版面数据（panel data）和python数据分析（data analysis）。

Pandas功能非常强大，支持SQL的数据增，删，查，改，并且带有丰富的数据处理函数，支持时间序列分析功能；支持灵活处理确实数据等。

安装：

pip install pandas 或下载源码 python setup.py install

需要安装xlrd（读）和xlwt（写）库才能支持excel的读写。

Pip install xlrd #为python添加读取excel功能

Pip install xlwt #为python添加写入excel功能

使用：

pandas基本的数据结构为Series和Dataframe.

Series是序列，类似一维数组

Dataframe相当于一张二维的表格，它的每一个列是一个series。

Index，用来标记不同的元素，Index的内容不一定是数字，也可以是字母，中文等，它类似SQL中的主键。

Pandas的简单使用：

其他常见的工具

StatsModels

统计建模和计量经济学，包括描述统计，统计模型评估和推断

Scikit-Learn

支持回归，分类，聚类等强大的机器学习库

Keras

深度学习库，用于建立神经网络以及深度学习模型

Gensim

用来做文本主题模型的库，文本挖掘可能用到

Origin 是一款经典的图形可视化和数据分析软件，是科研人员和工程师常用的高级数据分析和制图工具。是公认的简单易学、操作灵活、功能强大的软件，既可以满足一般用户的制图需要，也可以满足高级用户数据分析、函数拟合的需要。

Origin 具有两大主要功能：数据分析和绘图。Origin的数据分析主要包括统计、信号处理、图像处理、峰值分析和曲线拟合等各种完善的数学分析功能。准备好数据 后，进行数据分析时，只需选择所要分析的数据，然后再选择相应的菜单命令即可。Origin的绘图是基于模板的，Origin本身提供了几十种二维和三维绘图模板，而且允许用户自己定制模板。绘图时只要选择所需要的模板就行。用户可以自定义数学函数、图形样式和绘图模板；可以和各种数据库软件、办公软件、 图像处理软件等方便的连接。

Origin 可导入包括ASCII、Excel、pClamp 在内的多种数据。另外，它可以把Origin图形输出到多种格式的图像文件，譬如JPEG、GIF、EPS、TIFF等等。Origin 支持编程，以方便拓展Origin的功能和执行批处理任务。Origin 有两种编程语言——LabTalk和Origin C。

本次更新为图形可视化及数据分析软件 Origin 2017 破解版。

1.SAS

是目前国际上最为流行的一种大型统计分析系统，被誉为统计分析的标准软件。尽管价格不菲，SAS已被广泛应用于政府行政管理，科研，教育，生产和金融等不同领域，并且发挥着愈来愈重要的作用。目前SAS已在全球100多个国家和地区拥有29000多个客户群，直接用户超过300万人。在我国，国家信息中心，国家统计局，卫生部，中国科学院等都是SAS系统的大用户。尽管现在已经尽量“傻瓜化”，但是仍然需要一定的训练才可以使用。因此,该统计软件主要适合于统计工作者和科研工作者使用。

2.SPSS

SPSS作为仅次于SAS的统计软件工具包，在社会科学领域有着广泛的应用。SPSS是世界上最早的统计分析软件，由美国斯坦福大学的三位研究生于20世纪60年代末研制。由于SPSS容易操作，输出漂亮，功能齐全，价格合理,所以很快地应用于自然科学、技术科学、社会科学的各个领域，世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价与称赞。迄今SPSS软件已有30余年的成长历史。全球约有25万家产品用户，它们分布于通讯、医疗、银行、证券、保险、制造、商业、市场研究、科研教育等多个领域和行业，是世界上应用最广泛的专业统计软件。在国际学术界有条不成文的规定，即在国际学术交流中，凡是用SPSS软件完成的计算和统计分析，可以不必说明算法，由此可见其影响之大和信誉之高。因此,对于非统计工作者是很好的选择。

3.Excel

它严格说来并不是统计软件，但作为数据表格软件，必然有一定统计计算功能。而且凡是有Microsoft Office的计算机，基本上都装有Excel。但要注意，有时在装 Office时没有装数据分析的功能，那就必须装了才行。当然，画图功能是都具备的。对于简单分析，Excel还算方便，但随着问题的深入，Excel就不那么“傻瓜”，需要使用函数，甚至根本没有相应的方法了。多数专门一些的统计推断问题还需要其他专门的统计软件来处理。

4.S-plus

这是统计学家喜爱的软件。不仅由于其功能齐全，而且由于其强大的编程功能，使得研究人员可以编制自己的程序来实现自己的理论和方法。它也在进行“傻瓜化”,以争取顾客。但仍然以编程方便为顾客所青睐。

5.Minitab

这个软件是很方便的功能强大而又齐全的软件，也已经“傻瓜化”，在我国用的不如SPSS与SAS那么普遍。

6.Statistica

也是功能强大而齐全的“傻瓜化”的软件，在我国用的也不如SAS与SPSS那么普遍。

7.Eviews

这是一个主要处理回归和时间序列的软件。

（本文内容由百度知道网友了不起的小芳儿贡献）

SPSS 被称为全球领先的统计分析与数据挖掘大牛，因其精湛的统计产品与服务解决方案而执业界牛耳，是世界上应用最广泛的专业统计和数据模型软件。2009年 IBM 全资收购 SPSS 公司，正式更名为“IBM SPSS”。SPSS 提供了执行全程分析所需的核心功能，易于使用，分析结果清晰、直观，可以直接读取EXCEL及DBF数据文件，它和SAS、BMDP并称为国际上最有影响的三大统计软件。在国际学术界有条不成文的规定，即在国际学术交流中，凡是用SPSS软件完成的计算和统计分析，可以不必说明算法，可见其影响之大和信誉之高。

SPSS 具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。仅SPSS Base模块就提供了从简单的统计描述到复杂的多因素统计分析方法，如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、一元方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析等常见的分析方法。SPSS 能够读取及输出多种格式的文件。比如由dBASE、FoxBASE、FoxPRO产生的*.dbf文件，文本编辑器软件生成的ASCⅡ数据文件，Excel的*.xls文件等均可转换成可供分析的SPSS数据文件。能够把SPSS的图形转换为7种图形文件。结果可保存为*.txt, word, PPT及html格式的文件。

SPSS 对初学者、熟练者及精通者都比较适用。界面友好，易于操作，您只需适当的练习，就能够掌握简单的操作分析，因此SPSS特别受专业和非统计专业数据分析人员的青睐。

数据在当今世界意味着金钱。随着向基于app的世界的过渡，数据呈指数增长。然而，大多数数据是非结构化的，因此需要一个过程和方法从数据中提取有用的信息，并将其转换为可理解的和可用的形式。

数据挖掘或“数据库中的知识发现”是通过人工智能、机器学习、统计和数据库系统发现大数据集中的模式的过程。

免费的数据挖掘工具包括从完整的模型开发环境如Knime和Orange，到各种用Java、c++编写的库，最常见的是Python。数据挖掘中通常涉及到四种任务:

分类:将熟悉的结构概括为新数据的任务

聚类: 在数据中以某种方式查找组和结构的任务，而不需要在数据中使用已注意的结构。

关联规则学习: 查找变量之间的关系

回归: 旨在找到一个函数，用最小的错误来模拟数据。

下面列出了用于数据挖掘的免费软件工具

数据挖掘工具

1.Rapid Miner

Rapid Miner，原名YALE又一个学习环境，是一个用于机器学习和数据挖掘实验的环境，用于研究和实际的数据挖掘任务。毫无疑问，这是世界领先的数据挖掘开源系统。该工具以Java编程语言编写，通过基于模板的框架提供高级分析。

它使得实验可以由大量的可任意嵌套的操作符组成，这些操作符在XML文件中是详细的，并且是由快速的Miner的图形用户界面完成的。最好的是用户不需要编写代码。它已经有许多模板和其他工具，让我们可以轻松地分析数据。

2. IBM SPSS Modeler

IBM SPSS Modeler工具工作台最适合处理文本分析等大型项目，其可视化界面非常有价值。 它允许您在不编程的情况下生成各种数据挖掘算法。 它也可以用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器进行反向传播学习的基本神经网络。

3.Oracle Data Mining

Oracle。 作为“高级分析数据库”选项的一部分，Oracle数据挖掘功能允许其用户发现洞察力，进行预测并利用其Oracle数据。您可以构建模型来发现客户行为目标客户和开发概要文件。

Oracle Data Miner GUI使数据分析师、业务分析师和数据科学家能够使用相当优雅的拖放解决方案处理数据库内的数据。 它还可以为整个企业的自动化、调度和部署创建SQL和PL / SQL脚本。

4. Teradata

Teradata认识到，尽管大数据是令人敬畏的，但如果您实际上并不知道如何分析和使用它，那么它是毫无价值的。 想象一下，有数百万的数据点没有查询的技能。 这就是Teradata所提供的。它们提供数据仓库，大数据和分析以及市场营销应用程序方面的端到端解决方案和服务。

Teradata还提供一系列的服务，包括实施，业务咨询，培训和支持。

5. Framed Data

这是一个完全管理的解决方案，这意味着你不需要做任何事情，而是坐下来等待见解。 框架数据从企业获取数据，并将其转化为可行的见解和决策。 他们在云中训练、优化和存储产品的电离模型，并通过API提供预测，消除基础架构开销。 他们提供了仪表板和情景分析工具，告诉你哪些公司杠杆是驾驶你关心的指标。

6. Kaggle

Kaggle是全球最大的数据科学社区。 公司和研究人员张贴他们的数据，来自世界各地的统计人员和数据挖掘者竞相制作最好的模型。

Kaggle是数据科学竞赛的平台。 它帮助您解决难题，招募强大的团队，并扩大您的数据科学人才的力量。

3个步骤的工作 -

上传预测问题

提交

评估和交流

7. Weka

WEKA是一个非常复杂的数据挖掘工具。 它向您展示了数据集、集群、预测建模、可视化等方面的各种关系。您可以应用多种分类器来深入了解数据。

8. Rattle

Rattle代表R分析工具轻松学习。 它提供数据的统计和可视化汇总，将数据转换为可以轻松建模的表单，从数据中构建无监督模型和监督模型，以图形方式呈现模型的性能，并对新数据集进行评分。

它是一个使用Gnome图形界面在统计语言R编写的免费的开源数据挖掘工具包。 它运行在GNU / Linux，Macintosh OS X和MS / Windows下。

9. KNIME

Konstanz信息采集器是一个用户友好、可理解、全面的开源数据集成、处理、分析和探索平台。它有一个图形用户界面，帮助用户方便地连接节点进行数据处理。

KNIME还通过模块化的数据流水线概念集成了机器学习和数据挖掘的各种组件，并引起了商业智能和财务数据分析的注意。

10. Python

作为一种免费且开放源代码的语言，Python通常与R进行比较，以方便使用。 与R不同的是，Python的学习曲线往往很短，因此成了传奇。 许多用户发现，他们可以开始构建数据集，并在几分钟内完成极其复杂的亲和力分析。 只要您熟悉变量、数据类型、函数、条件和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

11. Orange

Orange是一个以Python语言编写的基于组件的数据挖掘和机器学习软件套件。它是一个开放源码的数据可视化和分析的新手和专家。数据挖掘可以通过可视化编程或Python脚本进行。它还包含了数据分析、不同的可视化、从散点图、条形图、树、到树图、网络和热图的特征。

12. SAS Data Mining

使用SAS Data Mining商业软件发现数据集模式。 其描述性和预测性建模提供了更好的理解数据的见解。 他们提供了一个易于使用的GUI。 他们拥有自动化的数据处理工具，集群到最终可以找到正确决策的最佳结果。 作为一个商业软件，它还包括可升级处理、自动化、强化算法、建模、数据可视化和勘探等先进工具。

13. Apache Mahout

Apache Mahout是Apache软件基金会（Apache Software Foundation）的一个项目，用于生成主要集中在协作过滤、聚类和分类领域的分布式或其他可伸缩机器学习算法的免费实现。

Apache Mahout主要支持三种用例：建议挖掘采取用户行为，并尝试查找用户可能喜欢的项目。 集群需要 文本文档，并将它们分组为局部相关的文档。 分类从现有的分类文档中学习到特定类别的文档是什么样子，并能够将未标记的文档分配给（希望）正确的类别。

14. PSPP

PSPP是对采样数据进行统计分析的程序。 它有一个图形用户界面和传统的命令行界面。 它用C语言编写，使用GNU科学图书馆的数学例程，并绘制UTILS来生成图表。 它是专有程序SPSS（来自IBM）的免费替代品，可以自信地预测接下来会发生什么，以便您可以做出更明智的决策，解决问题并改进结果。

15. jHepWork

jHepWork是一个免费的开放源代码数据分析框架，它是为了使用开放源代码软件包和可理解的用户界面创建一个数据分析环境，并创建一个与商业程序相竞争的工具。

JHepWork显示数据集的交互式2D和3D图，以便更好地分析。 Java中实现了数字科学库和数学函数。 jHepWork基于高级编程语言Jython，但Java编码也可用于调用jHepWork数值库和图形库。

16. R programming Language

为什么R是这个名单上免费数据挖掘工具的超级巨星?它是免费的、开源的，并且很容易为那些没有编程经验的人挑选。实际上，有数以千计的库可以集成到R环境中，使其成为一个强大的数据挖掘环境。它是一个免费的软件编程语言和软件环境，用于统计计算和图形。

在数据采矿者中广泛使用R语言进行统计软件和数据分析。近年来，易用性和可扩展性大大提高了R的知名度。

17. Pentaho

Pentaho为数据集成，业务分析和大数据提供了一个全面的平台。 有了这个商业工具，你可以轻松地融合任何来源的数据。 深入了解您的业务数据，为未来做出更准确的信息驱动决策。

18. Tanagra

TANAGRA是一个用于学术和研究目的的数据挖掘软件。 有探索性数据分析，统计学习，机器学习和数据库领域的工具。 Tanagra包含一些监督学习，但也包括其他范例，如聚类，因子分析，参数和非参数统计，关联规则，特征选择和构建算法。

19. NLTK

自然语言工具包，是一套用于Python语言的符号和统计自然语言处理（NLP）的库和程序。 它提供了一个语言处理工具库，包括数据挖掘，机器学习，数据报废，情感分析和其他各种语言处理任务。 构建python程序来处理人类语言数据。

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

   好的App数据分析工具是运营推广人员手中必备的神兵利器。

   从前期数据调研和中期方案策划执行到后期的策略调整总结，一款好的App数据扮演着举足轻重的角色。

   早期的免费模式的数据分析平台，也会逐步走向书费模式，下面就推荐下国内主流的App数据分析工具：

一、友盟 

http://umeng/

支持iOS、Android应用数据统计分析，APP所需要的数据分析功能基本覆盖了了。2016年1月26日友盟、全球中文网站统计分析平台“CNZZ”、国内互联网数据服务平台缔元信网络数据这三家阿里巴巴共同投资的公司宣布合并为“友盟＋”，“友盟 +”每天可以触达全球超过 9 亿的独立互联网活跃用户。

二、Cobub Razor

http://cobub/

开源版的友盟。支持iOS、Android应用数据统计分析。主要提供渠道、版本、使用频率、使用时长、页面访问路径、用户留存、终端与网络、运营商分布、事件与转化率、错误分析和自动更新等多项数据统计，并提供按区域查看和按时间段的查看方式。

三、清源火眼(huoyanapp)

http://huoyanapp/

可以查看任一APP用户的日活跃、周活跃、月活跃。另外，还能进行应用对比。其功能主要分三大块，分别是渠道监测、用户分析、人群分析。用户分析主要包括新增用户、活跃用户、时段分析、使用频率。

四、AYL爱盈利App榜单监控

http://rank.aiyingli/

监控自己的应用在国内各大应用市场的排名情况和下载量变化情况，iOS和Android皆覆盖。

一直以来的，iOS的工具很多，Android的很少。之前统计Android下载量数据，统计搜索排名，总榜，分类排名都是很人肉的方法，有了这个好很多了。据说，很多产品转让交易、融资、CPT统计都会参考他们家的数据.

五、应用雷达

http://ann9/

仅针对iOS，查看App Store总榜和分类排名。查看产品在App Store 里的搜索度得分，评判ASO效果的标准之一。

六、诸葛iO

https://zhugeio/

特色是可以通过属性筛选-选择条件-选择时间筛选条来对用户行为进行洞察分析，根据用户的每一步操作更直观的对用户进行画像，可将不同的消息推送给不同的用户!而且推送过后，还有效果监测。

七、TalkingData

http://talkingdata/

统计类别有用户与使用(新增、活跃、地区分布、设备机型等)、渠道统计、事件与转化、分析工具这四大类，咱可以通过渠道数据查看用户的来源，以此来评估推广的效果。　　

八、百度移动统计

http://mtj.baidu

支持ios和android平台。另外，开发者在嵌入统计SDK后，可以对自家产品进行较为全面的监控，包括用户行为、用户属性、地域分布、终端分析等。安卓渠道多的吓人，不可能全方位的去维护每一个渠道，所以就要靠分析了，咱能通过百度移动统计对不同渠道的推广效果进行监测，从而淘汰劣质渠道。

九、ASOU

http://asou/

通过热门搜索可以分析出用户在某个时间段内的搜索行为，但考虑到现在刷子很厉害，这一块的数据已无多大参考价值了，可以重点查看其中是否有行为词，另外有iPad业务的开发者们也是可以使用asou工具进行分析。

十、微拓ASO（德普优化）

http://vtool.cc/

可以帮助开发者们进行ASO关键词分享、关键词还原、关键词扩展、关键词24小时排名、下载量预估等针对在关键词的分析统计。

 十一、APPDUU

http://appduu/

仅支持ios.可以查看APP权重、ASO关键词覆盖等情况，不过这是一款付费APP统计工具，普通用户的限制较多，升级VIP后可以看到较为全面的数据。关键词分析还有个亮点是有分词工具。

十二、ASO100

http://aso100/

支持苹果总榜和分榜前1500名的查询，开发者可以随时查看自己的应用排名。可搜索关键词指数排行，查询每个分类榜单每个关键词的排名。还可进行竞品分析功能。开发者可借鉴竞品在用哪些关键词，为自己的App查漏补缺。

十三、酷传

http://coolchuan/

仅支持android平台应用监控。开发者可以查看应用在主流市场下载量、排名、评分评论、关键词排名等数据，还能系统地与同类竞品进行数据对比。

十四、Play Data

http://playdata

支持iOS、Android、WP主流平台应用数据统计分析。功能包括运营分析、用户使用、渠道分析、用户终端、事件及转化、错误分析、广告位监测。

十五、海度云分析

https://m.hiido/

支持主流智能手机平台，标榜永久免费，可帮助APP创业者统计和分析活跃设备、用户来源、用户属性、渠道数据和留存率等。

十六、蝉大师

http://ddashi/

支持iOS、Android应用数据统计分析，可跟踪应用在各个市场渠道的表现。同时提供ASO关键字诊断工具、拓展工具以及智能推荐工具。

其他人也看了：

【百度推广今日已整改，“推广”变为“商业推广” 】 想看戳这里戳这里~ http://dwz/3XMez3【网站运营必读：解决网站跳出率的30个意见    】        想看戳这里戳这里~  http://dwz/3XMdCP【“央视315产品大会”莫名启发的“互联网致富”之路】想看戳这里戳这里~ http://dwz/3XMgxc

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

本文是上一篇文章《全国及重点城市“数据分析”岗位需求量及工资水平分析》的续篇，从“数据分析”职位招聘单位给出的职位描述中分析各种工具的热门程度。

1.整体概览

经常看见有网友争论R和python谁才是主流的数据分析工具，网友们分门别派各抒己见。今天我们从实际需求出发，在招聘单位的职位描述中用正则表达式匹配统计常用的数据分析工具出现的频率，看看谁才是你最应该掌握的工具。

话不多说，先上图

毫无疑问，excel才是最主流的数据分析工具，在招聘单位的职位描述中出现频率远远高于其他工具（实际上居第八位的office也含有excel，其真实数据应该比这还高），作为最基础的工具，excel是一个数据分析工作者的必备技能。excel之后的4门工具分别是sqlsever、spss、sas和r，其中排名第二位的sqlsever频率高出另外两门主流数据库语言mysql、oracle近两倍，spss作为无需编程的专业统计软件也在职位描述中有较高的频率，sas则是编程类统计软件的代表，今年来火热的r语言也水涨船高，另一门火热的程序语言python在数据分析方面则要稍稍落后。

2.各职位具体情况

数据分析也有细分很多具体职位，那么不同的职位以上各种工具的要求是否存在差异呢？

表中数据显示“大数据分析师”需掌握的工具主要是r、python、hadoop、spark和java；“数据分析工程师”需要掌握的工具主要是sqlsever、r、python和hadoop，这两个职位都很看重编程开发能力。

“数据分析经理”、“高级数据分析师”和“数据分析师”需要掌握的工具大体一致，均为excel、sqlsever、spss、sas和r。

“数据分析主管”、“数据分析”、“数据分析专员”和“数据分析员”等职位对基础技能的要求更为突出，excel、ppt、word等office办公软件出现的频率较其他工具明显更高。

作为一名数据分析从业者或者想转行过来的人来说，要想有好的职业发展，首先，必须熟练掌握office办公软件，尤其是excel（不要瞧不起excel，你不一定玩得转）；其次，还需要学习一门数据库语言，sqlsever是不错的选择（mysql、oracle与sqlsever较为类似，通一门后，其他的学起来也很容易）；专业的统计分析工具也需要掌握一门，如果讨厌编程，可以选择spss，如果有编程能力那么sas和r可以选择一个学习，如果你精通python也可以用python做统计分析；如果想往大数据方向发展，或者是做数据分析工程师那就还需要掌握python、hadoop等工具。

最后附上一张数据分析职位描述的词云图，可以看出招聘单位除了看重工具的使用外，也很注重分析、业务、经验、沟通、团队等方面的能力。

本文作者：Mr.Hu，转自：一胡诌先生