一提到数据分析，很多人可能脑海中可能会浮现出各式各样的数据画面。

比如下图所示，这样的中国式复杂报表在企业中经常被使用，精密的复杂表格样式中蕴含着国人庞大的数据信息量。

再比如这样的数据Dashboard可视化，通常应用于展示KPI业务指标，例如销售额、毛利率、利润率等等，数据的可视化呈现形式清晰直观。

再就是目前火热的不行的可视化大屏，比如下图所示的双11全球天猫狂欢节当日的实时交易统计大屏，除了清晰直观地展示企业核心的KPI指标之外，狂拽炫酷是它至关重要的特征。

大道至简的数据分析方法

但无论是以上的哪一种，无论数据如何变换，所有看似神秘的数据分析过程都可以归纳总结为各种“维度+度量”的组合分析。

维度用于描述事物的属性信息，例如统计各个地区的交易数量时，地区就是维度。

度量（指标）是可以量化统计的数值，例如统计各个地区的交易数量时，交易数量就是度量。但是需要注意的是并不一定所有的数值都是度量，例如学生的学号虽然是数值类型，但是其实它是维度而非度量。

如此一来，我们对数据分析有了从整体上的解释。但是实际应用中，我们并非盲目地去进行各种维度和度量的拼凑组合，而是希望得出的数据分析结果能够指引业务进行决策，终而形成业务闭环效果的。

根据我自身的一些数据分析项目经验，90%以上的基本数据分析问题都可以套用我总结的这七步完成（深入的数据分析需涉及描述性统计分析、相关性分析等专业的统计分析技能）：

数据分析必然需要借助工具，Excel、BI或者R和Python语言都可以帮助实现。

这里为了帮大家更快速地理解数据清洗建模和数据差异分析环节的内容，借助比较简单的BI工具FineBI，为大家进行一个销售数据分析实例，加深大家对数据建模和数据分析过程的理解。感兴趣的可以到官网下载，个人完全免费。

一、确定分析目标

这是分析前的第一步，我们需要明确进行数据分析的对象，也就是需要确定分析目标。

通常来说我们会选取最关心的核心KPI指标，例如电商行业的销量、销售额、利润，制造行业的次品率，互联网行业的用户留存率等等。

一般来说，分析目标不要过多，如果实在是需要同时分析多个关键核心业务KPI指标，那么我们便可以将这些核心指标分解给对应业务负责人，例如销售总监负责提升公司销售业绩，运营总监负责降低成本花费。

二、核心目标拆解

确定好分析目标之后，通常来说我们需要再对核心目标进行子目标分解，这也符合企业各团队分工协作的特性。

核心目标拆解的过程中需要遵循MECE原则，也就是“完全穷举，相互独立”。例如下图所示的电子商务数据分析指标体系，就分别从网站运营指标、经营环境指标、销售指标、营销活动指标、客户价值指标几个方面进行了详尽的拆解，然后交由各个团队进行分工达成。

三、数据清洗和业务建模

确立和分解好数据分析目标之后，下一步就可以进入到数据清洗和业务建模环节了。

数据清洗方面，很多人可能会想到国外传统的一些ETL工具，但是这类工具过于庞大和复杂，国内真正成功落地的案例很少。FineBI商业智能工具其实就提供了轻量级的ETL功能可供用户对数据进行计算和处理，鼠标点击和拖拽操作即可完成轻量的ETL数据处理过程。

业务建模方面，FineBI也是提供了根据不同业务主题分类建立业务包的功能，一般来说按照维度表和事实表建立好关联关系即可，这样一来就为前端的数据差异分析准备好了数据模型。

四、数据差异分析

终于到了数据差异分析这一步，这也是离发现问题原因和业务决策最近的一步。

所谓数据差异分析，自然是需要有差异，才能有分析。

例如今年某某企业7月份的销售额是600万，那么大家会觉得对于这个企业来说是好还是坏？如果只有这一个数据，自然是无所谓数据差异分析的。

如果这家企业的6月份的历史销售额是400万，那么7月份600万的销售额自然是非常好的了，可是如果这家企业的6月份历史销售额是800万，7月份600万的销售额明显是有问题的。

a.纵向对比

按照这个基础的数据差异分析逻辑，我们借助FineBI来初步分析一下某家企业今年各月度的销售额统计走势图：

如上图所示，通过纵向对比不难看出该企业在7月份销售额下降严重，环比6月份的企业销售额下降了22.47%，不是个好现象。老板看到这个数据自然会前来问责，说为什么7月份公司销售业绩下滑这么厉害。那么会是什么原因导致企业7月的销售业绩相对6月下滑这么多呢？我们需要更新一步地进行数据分析，以排查出导致产生问题的”真凶“。

b.横向对比

一般来说销售型企业都会在全国划分各个销售区域，那么这样一来我们除了对时间进行纵向对比之外，还可以结合销售大区维度进行横向比较，分析探索看看能不能发现一些问题。

果不其然，如上图所示，通过时间维度结合销售大区进行横向对比发现，企业的东南大区7月份的销售额相对6月份反而是增长的，看来问题主要出在北方区和中西区，特别是北方区7月份的销售业绩下滑更为严重，最终导致企业7月份总的销售额比6月份严重下滑。

数据分析的丰富度一定程度上依赖于分析工具的功能，比如Excel可能需要写VBA，R和Python需要写代码。

由于FineBI是一款商业智能工具，故而这边可以轻松通过其提供的OLAP联动分析功能，以更进一步的观察各个区域7月份的表现情况，直接点击饼图区域即可联动到月度销售额统计，非常方便。这边我们可以看出，中西区7月份销售额环比轻微下降17.86%，北方区下降严重到50.07%，而东南区则提高了6.06%，综合三个大区的总体销售状况，导致最终表现为7月份销售额环比下降了22.47%。

c.综合对比

上面分析了时间、区域维度相关的销售额结果统计，为了避免结论片面，我们尽量采用多维度的综合对比方式来观察数据，甚至可以是友商的销售情况对比进行差异分析（此处不单独举例说明）。

如上图所示，我们通过时间维度结合产品类型来进行销售额分析，观察7月份各个产品线的数据发现各个产品线在7月份销售额环比都是有所下降的，这说明企业7月份销售额下降和产品种类本身是没有关系的。

五、发现问题原因

综合北方区域和中西区域导致7月份销售额环比下降的各种影响因素，最终发现是由于6、7月份北方区域降雨严重，导致物流周转严重滞后，库存商品无法及时供应，最终导致北方区域7月份销售业绩严重下滑了50.07%。而中西区域本身仓库比较小，按照之前各区域商品物流周转的设计，中西区域的本土供应的差额商品主要是由北方区域供应，但是北方区域由于严重的降雨导致物流周转严重滞后，进而导致中西区域7月份销售业绩也同比下滑了17.86%。

六、制定业务决策

通过结合FineBI工具的OLAP多维数据综合分析方法成功定位到问题原因之后，企业及时调整仓库商品物流周转策略，北方区域物流模式调整为水运，同时将东南区域的部分商品通过物流周转到中西区域。

七、评估决策效果

企业领导决策层8月份通过及时调整北方区域和中西区域的物流策略，北方区域物流模式调整为水运，东南区域的部分商品通过物流周转到中西区域，补充了北方区域和中西区域的库存商品周转。最终8月份企业的总体销售额达到了943万，环比7月销售额提高到了37.32%。

后记

随着信息化的飞速发展，大数据产业呈指数式增长。在我们不断地积累着企业的历史数据的同时，如何利用和分析好这些数据，真正利用大数据分析驱动企业的业务增长也成为了一个很重要的难题。希望本文给大家分享的数据分析方法，结合FineBI商业智能分析工具的OLAP多维分析能力，能够让大家下次在面对企业业务数据分析时不再迷惑，做到步步为营，让数据分析真正释放出潜能，驱动业务快速增长，形成数据和业务之间的闭环

　　【IT168 技术】本文推荐一些免费的预测分析软件，它们主要用于分析统计使用，机器学习和数据挖掘来寻找关于客户行为，市场趋势和原始数据集中其他领域的线索的相关性和模式。其中一些预测建模解决方案可通过许可，免费获得开源或社区版本;其中一些预测分析软件是商业版本的免费版或社区版，但提供的功能较少。

　　什么是预测分析软件?

　　预测分析是高级分析的一个分支，用于对未来未知事件进行预测。预测分析使用数据挖掘，统计，建模，机器学习和人工智能等多种技术来分析当前数据，以预测未来!那么下面将为大家简单介绍一下以下的20多款工具!

　　1.R Software Environment

　　R是用于统计计算和图形的免费软件，可运行在各种UNIX，Windows和Mac OS平台上。R提供了广泛的统计功能，如线性，非线性建模，经典统计测试，时间序列分析，分类，聚类和图形技术。它也是高度可扩展的，提供数据操作，计算和图形显示，数据处理，数组计算，数据分析工具，包括条件，循环和许多其他功能的编程语言。语言主要用于统计方法论的研究，R为它们提供了一个开源的途径，可以在R中产生精心设计的质量图，包括数学符号和公式。

　　2.Dataiku

　　Dataiku Data Studio(DSS)是一个软件平台，汇总了从原始数据到生产应用程序所需的所有步骤和大数据工具。DSS分析数据通过简单的界面操作，即可找到数据中的相关性和重要变量，并测试最佳拟合模型。DSS还可以将模型和预测值发布到各种其他目的地，例如ElasticSearch，FTP服务器和内部数据仓库。

▲

　　3.Orange Data mining

　　Orange Data mining是一个开源的数据可视化和分析工具。数据挖掘是通过可视化编程或通过Python脚本完成的。Orange会记住这些选择，提供最常用的组合，并智能地选择要使用的小部件之间的通信通道。可以利用情节，条形图，树状图，网络和热图来进行可视化。有机器学习的组件，可用于生物信息学和文本挖掘。该解决方案包含了用于数据分析的功能，并且在Orange中有超过100个小部件。

▲

　　4.RapidMiner

　　RapidMiner可作为数据分析的独立应用程序使用，也可作为集成到专有产品中的数据挖掘引擎。RapidMiner提供数据挖掘和机器学习程序，包括数据加载和转换，数据预处理，可视化，建模，评估和部署。RapidMiner是用Java编程语言编写的。它采用的学习计划和归属来自于Weka的机器学习环境，统计建模方案来自R Project。可用于文本挖掘，多媒体挖掘，功能设计，数据流挖掘的集成方法的发展，以及分布式数据挖掘。

　　RapidMiner v6.0仍然是开源的。RapidMiner的最新版本现在仅作为试用版或商业许可证提供。

▲

　　5.Anaconda

　　Anaconda是一个由Python支持的开放式数据科学平台。 Anaconda的开源版本是Python和R的高性能版本，包括超过100种用于数据科学的最受欢迎的Python，R和Scala软件包。还可以访问超过720个软件包，可以使用包含在Anaconda中的conda，包，从属关系等。

▲

　　6.KNIME

　　KNIME桌面版是开源的，是用户友好的数据访问，数据转换，初步调查，预测分析，可视化和报告的图形工作台。开放的集成平台提供了1000多个模块或节点。KNIME还提供了基于数据信息开发报告的能力，并将新见解的应用自动化回到生产系统。KNIME产品有KNIME Desktop，KNIME Professional，KNIME Team Space，KNIME Server和KNIME Cluster Execution。 KNIME Desktop可以自由下载到桌面。基于Eclipse平台的，并且有双重许可证。非开源产品中的功能包括共享存储库，身份验证，远程执行，调度，SOA集成和Web用户界面。

▲

　　7.DMWay

　　DMWay使得预测分析更易于获取并且价格合理。DMWay解决方案允许用户在几个小时或几天而不是几个月的时间内建立更好的预测模型，这可以适应任何行业。DMWay分析引擎可以提供最高级别的建模。分析引擎设计用于模拟经验丰富的数据科学家采取的步骤，以建立准确有效的分析模型。DMWay评分引擎是建议企业寻求协助部署由分析引擎提供的预测分析结果的工具。

　　这个创新的解决方案是通过使用专家系统方法而不是“机器人”方法来实现的，模仿有经验的数据科学家关于构建大规模预测模型的方式。DMWay评分引擎是为企业寻求协助部署由分析引擎提供的预测分析结果而推荐的工具。

▲

　　8.HP Haven Predictive Analytics

　　HP Distributed R是R语言的开源，可扩展和高性能平台，可加速大规模机器学习，统计分析和图形处理。Haven Predictive Analytics为HP Vertica提供数据加速和原生SQL支持。与市场领先的列式MPP数据库的本地集成将总体数据访问性能提高了5倍，并提供了一整套经过验证的开箱即用的并行算法，以成熟的标准R算法生成准确一致的结果。是预测分析免费，完全兼容开源R语言和工具，并得到惠普企业的支持，并按每个节点定价。HP Haven Predictive Analytics由HP Vertica和Distributed R提供支持。Distributed R是基于与HP Labs开发的开放源代码R语言的高性能分析引擎，可满足要求最苛刻的大数据预测分析任务。分布式R提高了性能，并允许用户分析比以前流行的R统计编程语言更大的数据集。

　　9.GraphLab Create

　　GraphLab Create是一个为开发人员和数据科学家构建的机器学习平台，具有函数式编程技巧和对数据科学的一些基本理解。能够轻松地实现从想法到生产的原型和规模。示例服务包括推荐系统，欺诈检测或客户流失预测器。开发人员和数据科学家能够快速部署并轻松与其他应用程序集成。Discover版本提供免费的开发者许可证，并提供社区论坛支持。

▲

　　10.Lavastorm分析引擎

　　Lavastorm分析引擎公开版是一个易于使用，成本效益的工具，用于临时发现和业务分析。公开版对于希望将分析处理能力放在桌面上的用户非常理想，而且不需要大型数据处理能力，提供自动持续分析和协作功能。Lavastorm是一种可视化的数据发现解决方案，可以让你快速整合不同的数据，轻松发现洞察，并持续检测异常，异常值或模式。它为企业用户提供自助服务能力，为IT用户提供集成，分析和业务控制领域的快速开发能力。其功能包括从任何来源(包括大数据源)获取，转换，合并和丰富数据，而不需要大量建模，预先规划或用脚本。可检测数据问题，如完整性，格式不一致，准确性，自动化评估和清理流程。

▲

　　11.Actian Vector Express

　　Actian Analytics Platform(Express Hadoop SQL Edition)是Hadoop内部运行100%的免费社区版的端到端分析平台。Actian分析平台将Hadoop转变为一个高性能的分析平台，使企业能够通过分析来自多个来源的数据而无需采样，从而提高预测和决策的准确性。Actian Express，Hadoop SQL Edition使用现有的Hadoop集群提供高速和性价比。Actian Vector Express是Actian分析平台的免费社区版本，旨在提供快速简单的方法来提高分析的性能。它建立在基于矢量的分析数据库基础之上，Actian Express提供很好的性能和性价比，并且需要更少的硬件，几乎不需要调整。Actian Vector Express包括以下功能：分析工作台 - 快速构建可视工作流程准备，转换和分析数据，分析数据库 - 在几秒钟内运行复杂的查询反对数十亿条记录和管理控制台。

▲

　　12.Scikit-learn

　　scikit-learn是简单高效的数据挖掘和数据分析工具。它是Python中的机器学习库，建立在NumPy，SciPy和matplotlib之上，它也是开源的。其特点包括分类，回归，聚类，降维，模型选择和预处理。

▲

　　13.微软R

　　R是强大的，用于统计计算，机器学习和图形的首选编程语言，并得到用户，开发者的繁荣的社区支持。R家族包括，服务器，客户端，SQL Server等服务。支持各种大数据统计，预测建模和机器学习功能，R Server支持基于开源R的全方位的分析探索，分析，可视化和建模。Microsoft R客户端是免费的社区支持。

　　14.H2O.ai

　　H2O是一个开源的预测分析平台。H2O用户可以轻松地从微软Excel和RStudio中探索和建模大数据，并将其与来自HDFS，S3，SQL和NoSQL数据源的数据连接起来。H2O讲述了数据科学的语言，支持R，Python，Scala，Java和强大的REST API。业务应用程序由H2O的NanoFastTM评分引擎提供支持。包括：分布式算法和回归树，如GBM，随机森林(RF)，广义线性模型(GLM)，k-均值和主成分分析(PCA)。

　　15.Weka Data Mining

　　Weka是用于数据挖掘任务的机器学习算法的集合。算法可以直接应用于数据集，也可以从Java代码调用。Weka包含用于数据处理，分类，回归，聚类，关联规则和可视化的工具。它也非常适合开发新的机器学习方案。 Weka是用Java编写的，由新西兰怀卡托大学开发。

▲

　　16.Apache Spark

　　Apache Spark是用于大规模数据处理的快速且通用的引擎。Spark需要一个集群管理器和一个分布式存储系统。对于集群管理，Spark支持独立(本地Spark集群)，Hadoop YARN或Apache Mesos。对于分布式存储，Spark能与各种各样的，包括Hadoop分布式文件系统(HDFS)，MAPRA文件系统(FS-MAPRA)，Cassandra，OpenStack Swift，亚马逊S3，Kudu，或自定义解决方案实现对接。

　　17.Octave

　　Octave是数字计算的高级解释语言。它提供了数据可视化和操纵的线性，非线性问题和图形的解决方案。有许多可用于公共数值线性代数解决问题的工具，寻找非线性方程的根，集成普通功能，操纵多项式，及整合的普通微分和代数微分方程。

▲

　　18.Tanagra

　　Tanagra是一个用于学术和研究目的的免费数据挖掘软件，它具有探索性数据分析，统计学习，机器学习和数据库等多种数据挖掘方法的功能。支持标准的数据挖掘任务，如：可视化，描述性统计，实例选择，特征选择，功能建设，回归，影响因子分析，聚类，分类和关联规则的学习。

　　19.PredictionIO

　　PredictionIO是一款开源的机器学习服务器，可以让软件开发人员创建个性化，推荐和内容发现等预测功能。通过PredictionIO，预测这种特点的用户行为，提供个性化的视频，新闻，交易，广告，职位，事件，文件，应用程序，餐馆和匹配服务。

　　20.Apache Mahout

　　Apache Mahout提供可扩展的机器学习算法，主要集中在协作过滤，聚类和分类。许多实现使用Apache Hadoop平台，包括成熟的Hadoop MapReduce算法，Scala，Spark和H2O算法。协同过滤：基于用户的协同过滤，基于项目的协同过滤，矩阵分解与ALS，矩阵分解与隐式反馈和加权矩阵分解，SVD + ALS。

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

SPSS 被称为全球领先的统计分析与数据挖掘大牛，因其精湛的统计产品与服务解决方案而执业界牛耳，是世界上应用最广泛的专业统计和数据模型软件。2009年 IBM 全资收购 SPSS 公司，正式更名为“IBM SPSS”。SPSS 提供了执行全程分析所需的核心功能，易于使用，分析结果清晰、直观，可以直接读取EXCEL及DBF数据文件，它和SAS、BMDP并称为国际上最有影响的三大统计软件。在国际学术界有条不成文的规定，即在国际学术交流中，凡是用SPSS软件完成的计算和统计分析，可以不必说明算法，可见其影响之大和信誉之高。

SPSS 具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。仅SPSS Base模块就提供了从简单的统计描述到复杂的多因素统计分析方法，如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、一元方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析等常见的分析方法。SPSS 能够读取及输出多种格式的文件。比如由dBASE、FoxBASE、FoxPRO产生的*.dbf文件，文本编辑器软件生成的ASCⅡ数据文件，Excel的*.xls文件等均可转换成可供分析的SPSS数据文件。能够把SPSS的图形转换为7种图形文件。结果可保存为*.txt, word, PPT及html格式的文件。

SPSS 对初学者、熟练者及精通者都比较适用。界面友好，易于操作，您只需适当的练习，就能够掌握简单的操作分析，因此SPSS特别受专业和非统计专业数据分析人员的青睐。

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

本文是上一篇文章《全国及重点城市“数据分析”岗位需求量及工资水平分析》的续篇，从“数据分析”职位招聘单位给出的职位描述中分析各种工具的热门程度。

1.整体概览

经常看见有网友争论R和python谁才是主流的数据分析工具，网友们分门别派各抒己见。今天我们从实际需求出发，在招聘单位的职位描述中用正则表达式匹配统计常用的数据分析工具出现的频率，看看谁才是你最应该掌握的工具。

话不多说，先上图

毫无疑问，excel才是最主流的数据分析工具，在招聘单位的职位描述中出现频率远远高于其他工具（实际上居第八位的office也含有excel，其真实数据应该比这还高），作为最基础的工具，excel是一个数据分析工作者的必备技能。excel之后的4门工具分别是sqlsever、spss、sas和r，其中排名第二位的sqlsever频率高出另外两门主流数据库语言mysql、oracle近两倍，spss作为无需编程的专业统计软件也在职位描述中有较高的频率，sas则是编程类统计软件的代表，今年来火热的r语言也水涨船高，另一门火热的程序语言python在数据分析方面则要稍稍落后。

2.各职位具体情况

数据分析也有细分很多具体职位，那么不同的职位以上各种工具的要求是否存在差异呢？

表中数据显示“大数据分析师”需掌握的工具主要是r、python、hadoop、spark和java；“数据分析工程师”需要掌握的工具主要是sqlsever、r、python和hadoop，这两个职位都很看重编程开发能力。

“数据分析经理”、“高级数据分析师”和“数据分析师”需要掌握的工具大体一致，均为excel、sqlsever、spss、sas和r。

“数据分析主管”、“数据分析”、“数据分析专员”和“数据分析员”等职位对基础技能的要求更为突出，excel、ppt、word等office办公软件出现的频率较其他工具明显更高。

作为一名数据分析从业者或者想转行过来的人来说，要想有好的职业发展，首先，必须熟练掌握office办公软件，尤其是excel（不要瞧不起excel，你不一定玩得转）；其次，还需要学习一门数据库语言，sqlsever是不错的选择（mysql、oracle与sqlsever较为类似，通一门后，其他的学起来也很容易）；专业的统计分析工具也需要掌握一门，如果讨厌编程，可以选择spss，如果有编程能力那么sas和r可以选择一个学习，如果你精通python也可以用python做统计分析；如果想往大数据方向发展，或者是做数据分析工程师那就还需要掌握python、hadoop等工具。

最后附上一张数据分析职位描述的词云图，可以看出招聘单位除了看重工具的使用外，也很注重分析、业务、经验、沟通、团队等方面的能力。

本文作者：Mr.Hu，转自：一胡诌先生

网络分析工具可以帮助你收集、预估和分析网站的访问记录，对于网站优化、市场研究来说，是个非常实用的工具。

每一个网站开发者和所有者，想知道他的网站的完整的状态和访问信息，目前互联网中有很多分析工具，本文选取了10款最好的分析工具，可以为你提供实时访问数据。

1.GoogleAnalytics

这是一个使用最广泛的访问统计分析工具，几周前，GoogleAnalytics推出了一项新功能，可以提供实时报告。你可以看到你的网站中目前在线的访客数量，了解他们观看了哪些网页、他们通过哪个网站链接到你的网站、来自哪个国家等等。

2.Clicky

与GoogleAnalytics这种庞大的分析系统相比，Clicky相对比较简易，它在控制面板上描供了一系列统计数据，包括最近三天的访问量、最高的20个链接来源及最高20个关键字，虽说数据种类不多，但可直观的反映出当前站点的访问情况，而且UI也比较简洁清新。

3.Woopra

Woopra将实时统计带到了另一个层次，它能实时直播网站的访问数据，你甚至可以使用WoopraChat部件与用户聊天。它还拥有先进的通知功能，可让你建立各类通知，如电子邮件、声音、弹出框等。

4.Chartbeat

这是针对新闻出版和其他类型网站的实时分析工具。针对电子商务网站的专业分析功能即将推出。它可以让你查看访问者如何与你的网站进行互动，这可以帮助你改善你的网站。

5.GoSquared

它提供了所有常用的分析功能，并且还可以让你查看特定访客的数据。它集成了Olark，可以让你与访客进行聊天。

6.Mixpanel

该工具可以让你查看访客数据，并分析趋势，以及比较几天内的变化情况。

7.Reinvigorate

它提供了所有常用的实时分析功能，可以让你直观地了解访客点击了哪些地方。你甚至可以查看注册用户的名称标签，这样你就可以跟踪他们对网站的使用情况了。

8.Piwik

这是一个开源的实时分析工具，你可以轻松下载并安装在自己的服务器上。

9.ShinyStat

该网站提供了四种产品，其中包括一个有限制的免费分析产品，可用于个人和非营利网站。企业版拥有搜索引擎排名检测，可以帮助你跟踪和改善网站的排名。

10.FoxMetrics

该工具提供了实时分析功能，基于事件和特征的概念，你还可以设置自定义事件。它可以收集与事件和特征匹配的数据，然后为你提供报告，这将有助于改善你的网站。

End.

中国统计网，是国内最早的大数据学习网站。

大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

   好的App数据分析工具是运营推广人员手中必备的神兵利器。

   从前期数据调研和中期方案策划执行到后期的策略调整总结，一款好的App数据扮演着举足轻重的角色。

   早期的免费模式的数据分析平台，也会逐步走向书费模式，下面就推荐下国内主流的App数据分析工具：

一、友盟 

http://umeng/

支持iOS、Android应用数据统计分析，APP所需要的数据分析功能基本覆盖了了。2016年1月26日友盟、全球中文网站统计分析平台“CNZZ”、国内互联网数据服务平台缔元信网络数据这三家阿里巴巴共同投资的公司宣布合并为“友盟＋”，“友盟 +”每天可以触达全球超过 9 亿的独立互联网活跃用户。

二、Cobub Razor

http://cobub/

开源版的友盟。支持iOS、Android应用数据统计分析。主要提供渠道、版本、使用频率、使用时长、页面访问路径、用户留存、终端与网络、运营商分布、事件与转化率、错误分析和自动更新等多项数据统计，并提供按区域查看和按时间段的查看方式。

三、清源火眼(huoyanapp)

http://huoyanapp/

可以查看任一APP用户的日活跃、周活跃、月活跃。另外，还能进行应用对比。其功能主要分三大块，分别是渠道监测、用户分析、人群分析。用户分析主要包括新增用户、活跃用户、时段分析、使用频率。

四、AYL爱盈利App榜单监控

http://rank.aiyingli/

监控自己的应用在国内各大应用市场的排名情况和下载量变化情况，iOS和Android皆覆盖。

一直以来的，iOS的工具很多，Android的很少。之前统计Android下载量数据，统计搜索排名，总榜，分类排名都是很人肉的方法，有了这个好很多了。据说，很多产品转让交易、融资、CPT统计都会参考他们家的数据.

五、应用雷达

http://ann9/

仅针对iOS，查看App Store总榜和分类排名。查看产品在App Store 里的搜索度得分，评判ASO效果的标准之一。

六、诸葛iO

https://zhugeio/

特色是可以通过属性筛选-选择条件-选择时间筛选条来对用户行为进行洞察分析，根据用户的每一步操作更直观的对用户进行画像，可将不同的消息推送给不同的用户!而且推送过后，还有效果监测。

七、TalkingData

http://talkingdata/

统计类别有用户与使用(新增、活跃、地区分布、设备机型等)、渠道统计、事件与转化、分析工具这四大类，咱可以通过渠道数据查看用户的来源，以此来评估推广的效果。　　

八、百度移动统计

http://mtj.baidu

支持ios和android平台。另外，开发者在嵌入统计SDK后，可以对自家产品进行较为全面的监控，包括用户行为、用户属性、地域分布、终端分析等。安卓渠道多的吓人，不可能全方位的去维护每一个渠道，所以就要靠分析了，咱能通过百度移动统计对不同渠道的推广效果进行监测，从而淘汰劣质渠道。

九、ASOU

http://asou/

通过热门搜索可以分析出用户在某个时间段内的搜索行为，但考虑到现在刷子很厉害，这一块的数据已无多大参考价值了，可以重点查看其中是否有行为词，另外有iPad业务的开发者们也是可以使用asou工具进行分析。

十、微拓ASO（德普优化）

http://vtool.cc/

可以帮助开发者们进行ASO关键词分享、关键词还原、关键词扩展、关键词24小时排名、下载量预估等针对在关键词的分析统计。

 十一、APPDUU

http://appduu/

仅支持ios.可以查看APP权重、ASO关键词覆盖等情况，不过这是一款付费APP统计工具，普通用户的限制较多，升级VIP后可以看到较为全面的数据。关键词分析还有个亮点是有分词工具。

十二、ASO100

http://aso100/

支持苹果总榜和分榜前1500名的查询，开发者可以随时查看自己的应用排名。可搜索关键词指数排行，查询每个分类榜单每个关键词的排名。还可进行竞品分析功能。开发者可借鉴竞品在用哪些关键词，为自己的App查漏补缺。

十三、酷传

http://coolchuan/

仅支持android平台应用监控。开发者可以查看应用在主流市场下载量、排名、评分评论、关键词排名等数据，还能系统地与同类竞品进行数据对比。

十四、Play Data

http://playdata

支持iOS、Android、WP主流平台应用数据统计分析。功能包括运营分析、用户使用、渠道分析、用户终端、事件及转化、错误分析、广告位监测。

十五、海度云分析

https://m.hiido/

支持主流智能手机平台，标榜永久免费，可帮助APP创业者统计和分析活跃设备、用户来源、用户属性、渠道数据和留存率等。

十六、蝉大师

http://ddashi/

支持iOS、Android应用数据统计分析，可跟踪应用在各个市场渠道的表现。同时提供ASO关键字诊断工具、拓展工具以及智能推荐工具。

其他人也看了：

【百度推广今日已整改，“推广”变为“商业推广” 】 想看戳这里戳这里~ http://dwz/3XMez3【网站运营必读：解决网站跳出率的30个意见    】        想看戳这里戳这里~  http://dwz/3XMdCP【“央视315产品大会”莫名启发的“互联网致富”之路】想看戳这里戳这里~ http://dwz/3XMgxc

1.百度统计

地址：

百度统计是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，有了这些信息，可以帮助用户改善访客在用户的网站上的使用体验，不断提升网站的投资回报率。目前主要提供趋势分析、来源分析、页面分析、访客分析、定制分析等多种统计分析服功能。

2.LeanCloud统计

地址：

LeanCloud统计内置稳定实时的数据统计分析服务，从用户量，用户行为，渠道效果，自定义事件等多个维度，帮助您更清楚的了解用户习惯，提高用户黏性和活跃度。(原名AVOS Cloud，现更名为LeanCloud)。主要亮点是AVOS Cloud 提供一流的 web 管理后台，可以通过它看到各个维度的统计结果。

3.Appsee

地址：https://

Appsee是一个简单而强大的视觉应用分析平台,在我们的移动应用程序中，使我们能够测试,了解和改善用户体验。通过Appsee平台，我们将能够准确了解用户如何与移动应用程序进行交互。

4.Segment.io

地址：

Segment.io允许我们将数据一键分送给多家数据分析服务提供商，我们只需部署一次，即可随意开关各个平台的数据通道。

5.有数

地址：

有数简称data.u，是一种可以灵活内置于手机应用运行过程的简单、透明的分析手段。data.u实现了高效采集分析数据，并初步整理减少冗余数据，压缩封装数据，利用智能策略传输数据，不挤占用户的网速。开发者可基于此开发包分析应用程序的运行情况，包括页面停留时长、页面跳转率、按时间或地理位置分析用户量、用户的发展情况等信息，同时为用户提供了在线配置参数获取等实用功能。