如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

网络分析工具可以帮助你收集、预估和分析网站的访问记录，对于网站优化、市场研究来说，是个非常实用的工具。

每一个网站开发者和所有者，想知道他的网站的完整的状态和访问信息，目前互联网中有很多分析工具，本文选取了10款最好的分析工具，可以为你提供实时访问数据。

1.GoogleAnalytics

这是一个使用最广泛的访问统计分析工具，几周前，GoogleAnalytics推出了一项新功能，可以提供实时报告。你可以看到你的网站中目前在线的访客数量，了解他们观看了哪些网页、他们通过哪个网站链接到你的网站、来自哪个国家等等。

2.Clicky

与GoogleAnalytics这种庞大的分析系统相比，Clicky相对比较简易，它在控制面板上描供了一系列统计数据，包括最近三天的访问量、最高的20个链接来源及最高20个关键字，虽说数据种类不多，但可直观的反映出当前站点的访问情况，而且UI也比较简洁清新。

3.Woopra

Woopra将实时统计带到了另一个层次，它能实时直播网站的访问数据，你甚至可以使用WoopraChat部件与用户聊天。它还拥有先进的通知功能，可让你建立各类通知，如电子邮件、声音、弹出框等。

4.Chartbeat

这是针对新闻出版和其他类型网站的实时分析工具。针对电子商务网站的专业分析功能即将推出。它可以让你查看访问者如何与你的网站进行互动，这可以帮助你改善你的网站。

5.GoSquared

它提供了所有常用的分析功能，并且还可以让你查看特定访客的数据。它集成了Olark，可以让你与访客进行聊天。

6.Mixpanel

该工具可以让你查看访客数据，并分析趋势，以及比较几天内的变化情况。

7.Reinvigorate

它提供了所有常用的实时分析功能，可以让你直观地了解访客点击了哪些地方。你甚至可以查看注册用户的名称标签，这样你就可以跟踪他们对网站的使用情况了。

8.Piwik

这是一个开源的实时分析工具，你可以轻松下载并安装在自己的服务器上。

9.ShinyStat

该网站提供了四种产品，其中包括一个有限制的免费分析产品，可用于个人和非营利网站。企业版拥有搜索引擎排名检测，可以帮助你跟踪和改善网站的排名。

10.FoxMetrics

该工具提供了实时分析功能，基于事件和特征的概念，你还可以设置自定义事件。它可以收集与事件和特征匹配的数据，然后为你提供报告，这将有助于改善你的网站。

End.

中国统计网，是国内最早的大数据学习网站。

Numpy

Python没有提供数组功能，虽然列表可以完成基本的数组功能，但他不是真正的数组。Numpy内置函数处理速度是c语言级别，因此尽量使用内置函数，避免出现效率瓶颈的现象。

Numpy的安装：

Windows中，pip install numpy

也可以自行下载源代码：

python setup.py install

安装完后，可以使用以下命令进行测试。

Scipy

Scipy提供了多维数据功能，但它只是一般的数组，并不是矩阵。例如，当两个数组相乘时，只是对应元素相乘，而不是矩阵乘法。

Scipy包含功能有最优化，线性代数，积分，插值，拟合，特殊函数，快速傅里叶变换，信号处理，图像处理，常微分方程求解等。显然这些功能是挖掘和建模必须的。

安装方法与numpy一样。

以下命令简单试用：

Matplotlib

数据可视化，著名的绘图库。可以进行简单的三维绘图。

安装与上相同。

Matplotlib作图的基本代码：

如果读者试用的中文标签，就会出现中文标签无法正常显示，由于matplotlib默认字体是英文所致，解决他的办法是在作图之前手动添加黑体。

Plt.rcparams[‘font.sans-serif’]=[‘SimHei’] #这句话用来正常显示中文标签

另外作图可能出现负号不能正常显示，可以用过如下代码解决：

Plt.rcparams[‘axes.unicode-minus’]=False #解决保存图像是负号

Pandas

Pandas 是python中最强大的数据分析和探索工具。它包含高级的数据结构和精巧的工具，使得在python中处理数据非常快速和简单。Pandas来自于版面数据（panel data）和python数据分析（data analysis）。

Pandas功能非常强大，支持SQL的数据增，删，查，改，并且带有丰富的数据处理函数，支持时间序列分析功能；支持灵活处理确实数据等。

安装：

pip install pandas 或下载源码 python setup.py install

需要安装xlrd（读）和xlwt（写）库才能支持excel的读写。

Pip install xlrd #为python添加读取excel功能

Pip install xlwt #为python添加写入excel功能

使用：

pandas基本的数据结构为Series和Dataframe.

Series是序列，类似一维数组

Dataframe相当于一张二维的表格，它的每一个列是一个series。

Index，用来标记不同的元素，Index的内容不一定是数字，也可以是字母，中文等，它类似SQL中的主键。

Pandas的简单使用：

其他常见的工具

StatsModels

统计建模和计量经济学，包括描述统计，统计模型评估和推断

Scikit-Learn

支持回归，分类，聚类等强大的机器学习库

Keras

深度学习库，用于建立神经网络以及深度学习模型

Gensim

用来做文本主题模型的库，文本挖掘可能用到

工欲善其事，必先利其器。说起来道理大家都懂，只是到了要学习的时候就开始各种退缩。殊不知一款好的数据分析工具可以让你事半功倍，瞬间提高学习工作效率。

虽然数据分析的工具千万种，综合起来万变不离其宗。无非是数据获取、数据存储、数据管理、数据计算、数据分析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据分析工具。那么，这些工具本身到底有什么特点呢？

Excel

Excel 是微软办公套装软件的一个重要的组成部分，它可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。

1、数据透视功能

一个数据透视表演变出10几种报表，只需吹灰之力。一个新手，只要认真使用向导1-2小时就可以马马虎虎上路。

2、统计分析

其实包含在数据透视功能之中，但是非常独特，常用的检验方式一键搞定。

3、图表功能

这几乎是Excel的独门武工，其他程序望其项背而自杀。

4、高级筛选

这是Excel提供的高级查询功能，而操作之简单。非常超值享受。

5、自动汇总功能

这个功能其他程序都有，但是Excel简便灵活。

6、高级数学计算

只要一两个函数轻松搞定

SAS软件

SAS是全球最大的软件公司之一，是由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体。

主要优点如下：

1、功能强大，统计方法齐，全，新

SAS提供了从基本统计数的计算到各种试验设计的方差分析，相关回归分析以及多变数分析的多种统计分析过程，几乎囊括了所有最新分析方法，其分析技术先进，可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。

2、使用简便，操作灵活

SAS以一个通用的数据（DATA）步产生数据集，尔后以不同的过程调用完成各种数据分析。

其编程语句简洁，短小，通常只需很小的几句语句即可完成一些复杂的运算，得到满意的结果。结果输出以简明的英文给出提示，统计术语规范易懂，具有初步英语和统计基础即可。使用者只要告诉SAS“做什么”，而不必告诉其“怎么做”。

同时SAS的设计，使得任何SAS能够“猜”出的东西用户都不必告诉它（即无需设定），并且能自动修正一些小的错误（例如将DATA语句的DATA拼写成DATE，SAS将假设为DATA继续运行，仅在LOG中给出注释说明）。对运行时的错误它尽可能地给出错误原因及改正方法。因而SAS将统计的科学，严谨和准确与便于使用者有机地结合起来，极大地方便了使用者。

3、提供联机帮助功能

使用过程中按下功能键F1，可随时获得帮助信息，得到简明的操作指导。

R软件

R是一套完整的数据处理、计算和制图软件系统。

主要优点如下：

数据存储和处理系统数组运算工具（其向量、矩阵运算方面功能尤其强大）完整连贯的统计分析工具优秀的统计制图功能简便而强大的编程语言：可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能

与其说R是一种统计软件，还不如说R是一种数学计算的环境，因为R并不是仅仅提供若干统计程序、使用者只需指定数据库和若干参数便可进行一个统计分析。

R的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。

该语言的语法表面上类似 C，但在语义上是函数设计语言的（functional programming language）的变种并且和Lisp 以及APL有很强的兼容性。特别的是，它允许在“语言上计算”（computing on the language）。这使得它可以把表达式作为函数的输入参数，而这种做法对统计模拟和绘图非常有用。

R是一个免费的自由软件，它有UNIX、LINUX、MacOS和WINDOWS版本，都是可以免费下载和使用的。在R主页那儿可以下载到R的安装程序、各种外挂程序和文档。在R的安装程序中只包含了8个基础模块，其他外在模块可以通过CRAN获得。

SPSS

SPSS是世界上最早的统计分析软件。

主要优点如下：

操作简便：界面非常友好，除了数据录入及部分命令程序等少数输入工作需要键盘键入外，大多数操作可通过鼠标拖曳、点击“菜单”、“按钮”和“对话框”来完成。

编程方便：具有第四代语言的特点，告诉系统要做什么，无需告诉怎样做。只要了解统计分析的原理，无需通晓统计方法的各种算法，即可得到需要的统计分析结果。对于常见的统计方法，SPSS的命令语句、子命令及选择项的选择绝大部分由“对话框”的操作完成。因此，用户无需花大量时间记忆大量的命令、过程、选择项。

功能强大：具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。自带11种类型136个函数。SPSS提供了从简单的统计描述到复杂的多因素统计分析方法，比如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析、非线性回归、Logistic回归等。

数据接口：能够读取及输出多种格式的文件。比如由dBASE、FoxBASE、FoxPRO产生的*.dbf文件，文本编辑器软件生成的ASCⅡ数据文件，Excel的*.xls文件等均可转换成可供分析的SPSS数据文件。能够把SPSS的图形转换为7种图形文件。结果可保存为*.txt及html格式的文件。

模块组合：SPSS for Windows软件分为若干功能模块。用户可以根据自己的分析需要和计算机的实际配置情况灵活选择。

针对性强：SPSS针对初学者、熟练者及精通者都比较适用。并且很多群体只需要掌握简单的操作分析，大多青睐于SPSS。

Python

Python是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。

常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。

主要优点如下：

简单：Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样。它使你能够专注于解决问题而不是去搞明白语言本身。

易学：Python极其容易上手，因为Python有极其简单的说明文档 。

速度快：Python 的底层是用 C 语言写的，很多标准库和第三方库也都是用 C 写的，运行速度非常快。

免费、开源：Python是FLOSS（自由/开放源码软件）之一。使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。

高层语言：用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。

可移植性：由于它的开源本质，Python已经被移植在许多平台上（经过改动使它能够工作在不同平台上）。

解释性：一个用编译性语言比如C或C++写的程序可以从源文件（即C或C++语言）转换到一个你的计算机使用的语言（二进制代码，即0和1）。这个过程通过编译器和不同的标记、选项完成。运行程序的时候，连接/转载器软件把你的程序从硬盘复制到内存中并且运行。而Python语言写的程序不需要编译成二进制代码。你可以直接从源代码运行程序。

在计算机内部，Python解释器把源代码转换成称为字节码的中间形式，然后再把它翻译成计算机使用的机器语言并运行。这使得使用Python更加简单。也使得Python程序更加易于移植。

面向对象：Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中，程序是由数据和功能组合而成的对象构建起来的。

可扩展性：如果需要一段关键代码运行得更快或者希望某些算法不公开，可以部分程序用C或C++编写，然后在Python程序中使用它们。

可嵌入性：可以把Python嵌入C/C++程序，从而向程序用户提供脚本功能。

丰富的库：Python标准库确实很庞大。它可以帮助处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI（图形用户界面）、Tk和其他与系统有关的操作。这被称作Python的“功能齐全”理念。除了标准库以外，还有许多其他高质量的库，如wxPython、Twisted和Python图像库等等。

规范的代码：Python采用强制缩进的方式使得代码具有较好可读性。而Python语言写的程序不需要编译成二进制代码。

工具不是万能的，业务和数据建模方法才是万法之源。不要被工具迷花了眼哦！

SPSS 被称为全球领先的统计分析与数据挖掘大牛，因其精湛的统计产品与服务解决方案而执业界牛耳，是世界上应用最广泛的专业统计和数据模型软件。2009年 IBM 全资收购 SPSS 公司，正式更名为“IBM SPSS”。SPSS 提供了执行全程分析所需的核心功能，易于使用，分析结果清晰、直观，可以直接读取EXCEL及DBF数据文件，它和SAS、BMDP并称为国际上最有影响的三大统计软件。在国际学术界有条不成文的规定，即在国际学术交流中，凡是用SPSS软件完成的计算和统计分析，可以不必说明算法，可见其影响之大和信誉之高。

SPSS 具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。仅SPSS Base模块就提供了从简单的统计描述到复杂的多因素统计分析方法，如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、一元方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析等常见的分析方法。SPSS 能够读取及输出多种格式的文件。比如由dBASE、FoxBASE、FoxPRO产生的*.dbf文件，文本编辑器软件生成的ASCⅡ数据文件，Excel的*.xls文件等均可转换成可供分析的SPSS数据文件。能够把SPSS的图形转换为7种图形文件。结果可保存为*.txt, word, PPT及html格式的文件。

SPSS 对初学者、熟练者及精通者都比较适用。界面友好，易于操作，您只需适当的练习，就能够掌握简单的操作分析，因此SPSS特别受专业和非统计专业数据分析人员的青睐。

   好的App数据分析工具是运营推广人员手中必备的神兵利器。

   从前期数据调研和中期方案策划执行到后期的策略调整总结，一款好的App数据扮演着举足轻重的角色。

   早期的免费模式的数据分析平台，也会逐步走向书费模式，下面就推荐下国内主流的App数据分析工具：

一、友盟 

http://umeng/

支持iOS、Android应用数据统计分析，APP所需要的数据分析功能基本覆盖了了。2016年1月26日友盟、全球中文网站统计分析平台“CNZZ”、国内互联网数据服务平台缔元信网络数据这三家阿里巴巴共同投资的公司宣布合并为“友盟＋”，“友盟 +”每天可以触达全球超过 9 亿的独立互联网活跃用户。

二、Cobub Razor

http://cobub/

开源版的友盟。支持iOS、Android应用数据统计分析。主要提供渠道、版本、使用频率、使用时长、页面访问路径、用户留存、终端与网络、运营商分布、事件与转化率、错误分析和自动更新等多项数据统计，并提供按区域查看和按时间段的查看方式。

三、清源火眼(huoyanapp)

http://huoyanapp/

可以查看任一APP用户的日活跃、周活跃、月活跃。另外，还能进行应用对比。其功能主要分三大块，分别是渠道监测、用户分析、人群分析。用户分析主要包括新增用户、活跃用户、时段分析、使用频率。

四、AYL爱盈利App榜单监控

http://rank.aiyingli/

监控自己的应用在国内各大应用市场的排名情况和下载量变化情况，iOS和Android皆覆盖。

一直以来的，iOS的工具很多，Android的很少。之前统计Android下载量数据，统计搜索排名，总榜，分类排名都是很人肉的方法，有了这个好很多了。据说，很多产品转让交易、融资、CPT统计都会参考他们家的数据.

五、应用雷达

http://ann9/

仅针对iOS，查看App Store总榜和分类排名。查看产品在App Store 里的搜索度得分，评判ASO效果的标准之一。

六、诸葛iO

https://zhugeio/

特色是可以通过属性筛选-选择条件-选择时间筛选条来对用户行为进行洞察分析，根据用户的每一步操作更直观的对用户进行画像，可将不同的消息推送给不同的用户!而且推送过后，还有效果监测。

七、TalkingData

http://talkingdata/

统计类别有用户与使用(新增、活跃、地区分布、设备机型等)、渠道统计、事件与转化、分析工具这四大类，咱可以通过渠道数据查看用户的来源，以此来评估推广的效果。　　

八、百度移动统计

http://mtj.baidu

支持ios和android平台。另外，开发者在嵌入统计SDK后，可以对自家产品进行较为全面的监控，包括用户行为、用户属性、地域分布、终端分析等。安卓渠道多的吓人，不可能全方位的去维护每一个渠道，所以就要靠分析了，咱能通过百度移动统计对不同渠道的推广效果进行监测，从而淘汰劣质渠道。

九、ASOU

http://asou/

通过热门搜索可以分析出用户在某个时间段内的搜索行为，但考虑到现在刷子很厉害，这一块的数据已无多大参考价值了，可以重点查看其中是否有行为词，另外有iPad业务的开发者们也是可以使用asou工具进行分析。

十、微拓ASO（德普优化）

http://vtool.cc/

可以帮助开发者们进行ASO关键词分享、关键词还原、关键词扩展、关键词24小时排名、下载量预估等针对在关键词的分析统计。

 十一、APPDUU

http://appduu/

仅支持ios.可以查看APP权重、ASO关键词覆盖等情况，不过这是一款付费APP统计工具，普通用户的限制较多，升级VIP后可以看到较为全面的数据。关键词分析还有个亮点是有分词工具。

十二、ASO100

http://aso100/

支持苹果总榜和分榜前1500名的查询，开发者可以随时查看自己的应用排名。可搜索关键词指数排行，查询每个分类榜单每个关键词的排名。还可进行竞品分析功能。开发者可借鉴竞品在用哪些关键词，为自己的App查漏补缺。

十三、酷传

http://coolchuan/

仅支持android平台应用监控。开发者可以查看应用在主流市场下载量、排名、评分评论、关键词排名等数据，还能系统地与同类竞品进行数据对比。

十四、Play Data

http://playdata

支持iOS、Android、WP主流平台应用数据统计分析。功能包括运营分析、用户使用、渠道分析、用户终端、事件及转化、错误分析、广告位监测。

十五、海度云分析

https://m.hiido/

支持主流智能手机平台，标榜永久免费，可帮助APP创业者统计和分析活跃设备、用户来源、用户属性、渠道数据和留存率等。

十六、蝉大师

http://ddashi/

支持iOS、Android应用数据统计分析，可跟踪应用在各个市场渠道的表现。同时提供ASO关键字诊断工具、拓展工具以及智能推荐工具。

其他人也看了：

【百度推广今日已整改，“推广”变为“商业推广” 】 想看戳这里戳这里~ http://dwz/3XMez3【网站运营必读：解决网站跳出率的30个意见    】        想看戳这里戳这里~  http://dwz/3XMdCP【“央视315产品大会”莫名启发的“互联网致富”之路】想看戳这里戳这里~ http://dwz/3XMgxc

　　【IT168 技术】本文推荐一些免费的预测分析软件，它们主要用于分析统计使用，机器学习和数据挖掘来寻找关于客户行为，市场趋势和原始数据集中其他领域的线索的相关性和模式。其中一些预测建模解决方案可通过许可，免费获得开源或社区版本;其中一些预测分析软件是商业版本的免费版或社区版，但提供的功能较少。

　　什么是预测分析软件?

　　预测分析是高级分析的一个分支，用于对未来未知事件进行预测。预测分析使用数据挖掘，统计，建模，机器学习和人工智能等多种技术来分析当前数据，以预测未来!那么下面将为大家简单介绍一下以下的20多款工具!

　　1.R Software Environment

　　R是用于统计计算和图形的免费软件，可运行在各种UNIX，Windows和Mac OS平台上。R提供了广泛的统计功能，如线性，非线性建模，经典统计测试，时间序列分析，分类，聚类和图形技术。它也是高度可扩展的，提供数据操作，计算和图形显示，数据处理，数组计算，数据分析工具，包括条件，循环和许多其他功能的编程语言。语言主要用于统计方法论的研究，R为它们提供了一个开源的途径，可以在R中产生精心设计的质量图，包括数学符号和公式。

　　2.Dataiku

　　Dataiku Data Studio(DSS)是一个软件平台，汇总了从原始数据到生产应用程序所需的所有步骤和大数据工具。DSS分析数据通过简单的界面操作，即可找到数据中的相关性和重要变量，并测试最佳拟合模型。DSS还可以将模型和预测值发布到各种其他目的地，例如ElasticSearch，FTP服务器和内部数据仓库。

▲

　　3.Orange Data mining

　　Orange Data mining是一个开源的数据可视化和分析工具。数据挖掘是通过可视化编程或通过Python脚本完成的。Orange会记住这些选择，提供最常用的组合，并智能地选择要使用的小部件之间的通信通道。可以利用情节，条形图，树状图，网络和热图来进行可视化。有机器学习的组件，可用于生物信息学和文本挖掘。该解决方案包含了用于数据分析的功能，并且在Orange中有超过100个小部件。

▲

　　4.RapidMiner

　　RapidMiner可作为数据分析的独立应用程序使用，也可作为集成到专有产品中的数据挖掘引擎。RapidMiner提供数据挖掘和机器学习程序，包括数据加载和转换，数据预处理，可视化，建模，评估和部署。RapidMiner是用Java编程语言编写的。它采用的学习计划和归属来自于Weka的机器学习环境，统计建模方案来自R Project。可用于文本挖掘，多媒体挖掘，功能设计，数据流挖掘的集成方法的发展，以及分布式数据挖掘。

　　RapidMiner v6.0仍然是开源的。RapidMiner的最新版本现在仅作为试用版或商业许可证提供。

▲

　　5.Anaconda

　　Anaconda是一个由Python支持的开放式数据科学平台。 Anaconda的开源版本是Python和R的高性能版本，包括超过100种用于数据科学的最受欢迎的Python，R和Scala软件包。还可以访问超过720个软件包，可以使用包含在Anaconda中的conda，包，从属关系等。

▲

　　6.KNIME

　　KNIME桌面版是开源的，是用户友好的数据访问，数据转换，初步调查，预测分析，可视化和报告的图形工作台。开放的集成平台提供了1000多个模块或节点。KNIME还提供了基于数据信息开发报告的能力，并将新见解的应用自动化回到生产系统。KNIME产品有KNIME Desktop，KNIME Professional，KNIME Team Space，KNIME Server和KNIME Cluster Execution。 KNIME Desktop可以自由下载到桌面。基于Eclipse平台的，并且有双重许可证。非开源产品中的功能包括共享存储库，身份验证，远程执行，调度，SOA集成和Web用户界面。

▲

　　7.DMWay

　　DMWay使得预测分析更易于获取并且价格合理。DMWay解决方案允许用户在几个小时或几天而不是几个月的时间内建立更好的预测模型，这可以适应任何行业。DMWay分析引擎可以提供最高级别的建模。分析引擎设计用于模拟经验丰富的数据科学家采取的步骤，以建立准确有效的分析模型。DMWay评分引擎是建议企业寻求协助部署由分析引擎提供的预测分析结果的工具。

　　这个创新的解决方案是通过使用专家系统方法而不是“机器人”方法来实现的，模仿有经验的数据科学家关于构建大规模预测模型的方式。DMWay评分引擎是为企业寻求协助部署由分析引擎提供的预测分析结果而推荐的工具。

▲

　　8.HP Haven Predictive Analytics

　　HP Distributed R是R语言的开源，可扩展和高性能平台，可加速大规模机器学习，统计分析和图形处理。Haven Predictive Analytics为HP Vertica提供数据加速和原生SQL支持。与市场领先的列式MPP数据库的本地集成将总体数据访问性能提高了5倍，并提供了一整套经过验证的开箱即用的并行算法，以成熟的标准R算法生成准确一致的结果。是预测分析免费，完全兼容开源R语言和工具，并得到惠普企业的支持，并按每个节点定价。HP Haven Predictive Analytics由HP Vertica和Distributed R提供支持。Distributed R是基于与HP Labs开发的开放源代码R语言的高性能分析引擎，可满足要求最苛刻的大数据预测分析任务。分布式R提高了性能，并允许用户分析比以前流行的R统计编程语言更大的数据集。

　　9.GraphLab Create

　　GraphLab Create是一个为开发人员和数据科学家构建的机器学习平台，具有函数式编程技巧和对数据科学的一些基本理解。能够轻松地实现从想法到生产的原型和规模。示例服务包括推荐系统，欺诈检测或客户流失预测器。开发人员和数据科学家能够快速部署并轻松与其他应用程序集成。Discover版本提供免费的开发者许可证，并提供社区论坛支持。

▲

　　10.Lavastorm分析引擎

　　Lavastorm分析引擎公开版是一个易于使用，成本效益的工具，用于临时发现和业务分析。公开版对于希望将分析处理能力放在桌面上的用户非常理想，而且不需要大型数据处理能力，提供自动持续分析和协作功能。Lavastorm是一种可视化的数据发现解决方案，可以让你快速整合不同的数据，轻松发现洞察，并持续检测异常，异常值或模式。它为企业用户提供自助服务能力，为IT用户提供集成，分析和业务控制领域的快速开发能力。其功能包括从任何来源(包括大数据源)获取，转换，合并和丰富数据，而不需要大量建模，预先规划或用脚本。可检测数据问题，如完整性，格式不一致，准确性，自动化评估和清理流程。

▲

　　11.Actian Vector Express

　　Actian Analytics Platform(Express Hadoop SQL Edition)是Hadoop内部运行100%的免费社区版的端到端分析平台。Actian分析平台将Hadoop转变为一个高性能的分析平台，使企业能够通过分析来自多个来源的数据而无需采样，从而提高预测和决策的准确性。Actian Express，Hadoop SQL Edition使用现有的Hadoop集群提供高速和性价比。Actian Vector Express是Actian分析平台的免费社区版本，旨在提供快速简单的方法来提高分析的性能。它建立在基于矢量的分析数据库基础之上，Actian Express提供很好的性能和性价比，并且需要更少的硬件，几乎不需要调整。Actian Vector Express包括以下功能：分析工作台 - 快速构建可视工作流程准备，转换和分析数据，分析数据库 - 在几秒钟内运行复杂的查询反对数十亿条记录和管理控制台。

▲

　　12.Scikit-learn

　　scikit-learn是简单高效的数据挖掘和数据分析工具。它是Python中的机器学习库，建立在NumPy，SciPy和matplotlib之上，它也是开源的。其特点包括分类，回归，聚类，降维，模型选择和预处理。

▲

　　13.微软R

　　R是强大的，用于统计计算，机器学习和图形的首选编程语言，并得到用户，开发者的繁荣的社区支持。R家族包括，服务器，客户端，SQL Server等服务。支持各种大数据统计，预测建模和机器学习功能，R Server支持基于开源R的全方位的分析探索，分析，可视化和建模。Microsoft R客户端是免费的社区支持。

　　14.H2O.ai

　　H2O是一个开源的预测分析平台。H2O用户可以轻松地从微软Excel和RStudio中探索和建模大数据，并将其与来自HDFS，S3，SQL和NoSQL数据源的数据连接起来。H2O讲述了数据科学的语言，支持R，Python，Scala，Java和强大的REST API。业务应用程序由H2O的NanoFastTM评分引擎提供支持。包括：分布式算法和回归树，如GBM，随机森林(RF)，广义线性模型(GLM)，k-均值和主成分分析(PCA)。

　　15.Weka Data Mining

　　Weka是用于数据挖掘任务的机器学习算法的集合。算法可以直接应用于数据集，也可以从Java代码调用。Weka包含用于数据处理，分类，回归，聚类，关联规则和可视化的工具。它也非常适合开发新的机器学习方案。 Weka是用Java编写的，由新西兰怀卡托大学开发。

▲

　　16.Apache Spark

　　Apache Spark是用于大规模数据处理的快速且通用的引擎。Spark需要一个集群管理器和一个分布式存储系统。对于集群管理，Spark支持独立(本地Spark集群)，Hadoop YARN或Apache Mesos。对于分布式存储，Spark能与各种各样的，包括Hadoop分布式文件系统(HDFS)，MAPRA文件系统(FS-MAPRA)，Cassandra，OpenStack Swift，亚马逊S3，Kudu，或自定义解决方案实现对接。

　　17.Octave

　　Octave是数字计算的高级解释语言。它提供了数据可视化和操纵的线性，非线性问题和图形的解决方案。有许多可用于公共数值线性代数解决问题的工具，寻找非线性方程的根，集成普通功能，操纵多项式，及整合的普通微分和代数微分方程。

▲

　　18.Tanagra

　　Tanagra是一个用于学术和研究目的的免费数据挖掘软件，它具有探索性数据分析，统计学习，机器学习和数据库等多种数据挖掘方法的功能。支持标准的数据挖掘任务，如：可视化，描述性统计，实例选择，特征选择，功能建设，回归，影响因子分析，聚类，分类和关联规则的学习。

　　19.PredictionIO

　　PredictionIO是一款开源的机器学习服务器，可以让软件开发人员创建个性化，推荐和内容发现等预测功能。通过PredictionIO，预测这种特点的用户行为，提供个性化的视频，新闻，交易，广告，职位，事件，文件，应用程序，餐馆和匹配服务。

　　20.Apache Mahout

　　Apache Mahout提供可扩展的机器学习算法，主要集中在协作过滤，聚类和分类。许多实现使用Apache Hadoop平台，包括成熟的Hadoop MapReduce算法，Scala，Spark和H2O算法。协同过滤：基于用户的协同过滤，基于项目的协同过滤，矩阵分解与ALS，矩阵分解与隐式反馈和加权矩阵分解，SVD + ALS。

1.百度统计

地址：

百度统计是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，有了这些信息，可以帮助用户改善访客在用户的网站上的使用体验，不断提升网站的投资回报率。目前主要提供趋势分析、来源分析、页面分析、访客分析、定制分析等多种统计分析服功能。

2.LeanCloud统计

地址：

LeanCloud统计内置稳定实时的数据统计分析服务，从用户量，用户行为，渠道效果，自定义事件等多个维度，帮助您更清楚的了解用户习惯，提高用户黏性和活跃度。(原名AVOS Cloud，现更名为LeanCloud)。主要亮点是AVOS Cloud 提供一流的 web 管理后台，可以通过它看到各个维度的统计结果。

3.Appsee

地址：https://

Appsee是一个简单而强大的视觉应用分析平台,在我们的移动应用程序中，使我们能够测试,了解和改善用户体验。通过Appsee平台，我们将能够准确了解用户如何与移动应用程序进行交互。

4.Segment.io

地址：

Segment.io允许我们将数据一键分送给多家数据分析服务提供商，我们只需部署一次，即可随意开关各个平台的数据通道。

5.有数

地址：

有数简称data.u，是一种可以灵活内置于手机应用运行过程的简单、透明的分析手段。data.u实现了高效采集分析数据，并初步整理减少冗余数据，压缩封装数据，利用智能策略传输数据，不挤占用户的网速。开发者可基于此开发包分析应用程序的运行情况，包括页面停留时长、页面跳转率、按时间或地理位置分析用户量、用户的发展情况等信息，同时为用户提供了在线配置参数获取等实用功能。

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

本文是上一篇文章《全国及重点城市“数据分析”岗位需求量及工资水平分析》的续篇，从“数据分析”职位招聘单位给出的职位描述中分析各种工具的热门程度。

1.整体概览

经常看见有网友争论R和python谁才是主流的数据分析工具，网友们分门别派各抒己见。今天我们从实际需求出发，在招聘单位的职位描述中用正则表达式匹配统计常用的数据分析工具出现的频率，看看谁才是你最应该掌握的工具。

话不多说，先上图

毫无疑问，excel才是最主流的数据分析工具，在招聘单位的职位描述中出现频率远远高于其他工具（实际上居第八位的office也含有excel，其真实数据应该比这还高），作为最基础的工具，excel是一个数据分析工作者的必备技能。excel之后的4门工具分别是sqlsever、spss、sas和r，其中排名第二位的sqlsever频率高出另外两门主流数据库语言mysql、oracle近两倍，spss作为无需编程的专业统计软件也在职位描述中有较高的频率，sas则是编程类统计软件的代表，今年来火热的r语言也水涨船高，另一门火热的程序语言python在数据分析方面则要稍稍落后。

2.各职位具体情况

数据分析也有细分很多具体职位，那么不同的职位以上各种工具的要求是否存在差异呢？

表中数据显示“大数据分析师”需掌握的工具主要是r、python、hadoop、spark和java；“数据分析工程师”需要掌握的工具主要是sqlsever、r、python和hadoop，这两个职位都很看重编程开发能力。

“数据分析经理”、“高级数据分析师”和“数据分析师”需要掌握的工具大体一致，均为excel、sqlsever、spss、sas和r。

“数据分析主管”、“数据分析”、“数据分析专员”和“数据分析员”等职位对基础技能的要求更为突出，excel、ppt、word等office办公软件出现的频率较其他工具明显更高。

作为一名数据分析从业者或者想转行过来的人来说，要想有好的职业发展，首先，必须熟练掌握office办公软件，尤其是excel（不要瞧不起excel，你不一定玩得转）；其次，还需要学习一门数据库语言，sqlsever是不错的选择（mysql、oracle与sqlsever较为类似，通一门后，其他的学起来也很容易）；专业的统计分析工具也需要掌握一门，如果讨厌编程，可以选择spss，如果有编程能力那么sas和r可以选择一个学习，如果你精通python也可以用python做统计分析；如果想往大数据方向发展，或者是做数据分析工程师那就还需要掌握python、hadoop等工具。

最后附上一张数据分析职位描述的词云图，可以看出招聘单位除了看重工具的使用外，也很注重分析、业务、经验、沟通、团队等方面的能力。

本文作者：Mr.Hu，转自：一胡诌先生