大数据市场是一座待挖掘的金矿。随着数据使用量的增长，将有更多的人通过数据来寻求专业问题的答案。可视化数据分析工具的出现让人们可以通过将数据可视化来探讨问题、揭示洞见，用数据分享故事。甚至于不懂挖掘算法的人员，也能够为用户进行画像。

BI（Business Intelligence）即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具？NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，本文将为大家介绍11款数据分析产品，排名不分先后！

1.数说立方

网址：http://cube.datastory/

数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点；另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

优点：

即便是个人免费版，体验和功能仍然非常好；

与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据；

功完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台；

可视化视图展现、友好的客户感知页面；

支持SAAS，私有化部署，有权限管理；

缺点：

产品新上市，操作指导页不太完善；

体验过程中有一些小bug；

2.数加平台

网址：https://data.aliyun

数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

优点：

有完整的产品规划，功能完善；

图形展示和客户感知良好；

提供SQL查询；

缺点：

需要捆绑阿里云才能使用，一般用户还不能真正使用起来；

部分体验功能一般，有一定的学习成本；

3.Tableau

网址：http://tableau/zh-cn

Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

优点：

处于行业领导者地位，功能完善；

有较好的图形展现与客户感知；

新产品开始支持云端展现，但是需要客户端支持；

缺点：

相比于商业智能BI，更像一个基于数据查询的数据展示工具；

处理不规范数据、转化复杂模型比较难；

无法处理大量数据；

国内网络连接Online版速度较慢；

4.Qlik

网址：http://global.qlik/cn

QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源；其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

优点：

产品功能完善，图形展现和客户感知良好；

支持SAAS，有权限管理功能；

缺点：

有一定的学习成本；

报表规范性要求很高；

数据抓取功能都非常弱，需要有非常好的数据仓库作为基础；

5.Spotfire

网址：http://spotfire.tibco

Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能；有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

优点：

交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析；

不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析；

支持SAAS，有权限管理功能；

缺点：

SAAS版只支持30M，由于是国外服务器所以上传很慢；

不适合中国式的固定报表；

进军中国市场较晚，国内案例较少；

工具的适应性范围广，但是难易跨度大；

6.神策分析

网址：http://sensorsdata/

神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等

优点：

专注于用户行为数据分析，不追求做大而追求做全；

有详细的产品使用文档以及案例；

提供SQL查询；

缺点：

更多的是demo示例，不能开箱即用；

纯dashboard展示，并不能对单独一块数据作自定义分析；

7.BDP

网址：https://me.bdp/home.html

BDP个人版免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。示例和视频教学很细致，交互页面友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复制作的工作。分享环节也很贴心，报告可以一键导出为PPT、邮件发送，也可直接生成链接分享。

优点：

产品支持移动端；手机同步呈现最新数据

首次登陆的用户可以使用免费数据；

操作体验流畅，界面友好，功能全，总体来说是一款不错的产品；

即便是个人免费版，体验和功能仍然非常好；

缺点：

暂时用起来还不错，我比较喜欢用这个工具；

8.永洪BI

网址：http://yonghongtech

永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制；主题样式虽多但是给人感觉样式还是很传统。

优点：

商业流程完善，给人专业的感觉；

产品定制化的版本效果不错；

支持的数据接入较多；

缺点：

SAAS版体验很差，有一定的学习成本；

UI的视觉效果一般，整体可视化效果不够现代化；

9.数据观

网址：http://shujuguan

数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

优点：

注册只需填写邮箱，且支持明道账号登陆；

使用引导明确，支持salesforce、百度云数据导入；

分析结果支持链接分享，大大降低用户的沟通成本；

缺点：

不支持超过20MB的数据上传；

数据导入后，数据分析体验方面存在bug；

产品的使用以点击为主，不支持拖拽操作；

10.FineBI

网址：http://finebi/

FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

优点：

有较为详细的行业案例与技术方案；

产品演示和资源中心也较为清晰；

缺点：

需要使用客户端，增加了使用的不便利性

只有仪表盘展示，BI报表需要另一款产品；

无法处理大量的数据；

11.魔镜

网址：http://moojnn

魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

优点：

产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂；

官网的设计不错，模板选择性大，颜值控可能会喜欢；

工具使用指导清晰，使用篇和方法篇等比较详细；

缺点：

产品存在较多的BUG，UI和功能相对其他产品来说较简陋；

部分产品模块并不能切实用于数据分析；

选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧！

这篇文章从整体框架出发，介绍了数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

数据分析目前在国内互联网圈的受重视程度在逐步提升，但是问题也很突出：

大家对于数据分析的认知和理解支离破碎，缺乏一个整体的、系统的思维框架；

大家的视野更多局限在数据报表、BI 系统、广告监测等领域，对于数据以及数据分析其实是缺乏深层次洞察的。

这篇文章就从整体框架出发，介绍一下数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

一、数据分析价值观

如何让数据分析真正发挥价值？我认为必须在

价值认同、工作定位和商业模式

三点上取得突破。

（一）数据分析的价值认同

做好数据分析，首先要认同数据的意义和价值。一个不认同数据、对数据分析的意义缺乏理解的人是很难做好这个工作的。放到一个企业里面，企业的 CEO 及管理层必须高度重视和理解数据分析的价值。你想一下，如果老板都不认可数据分析的价值，那么数据相关的项目在企业里面还能推得动吗？然后，企业内部还需要有数据驱动的公司文化。

如果大家宁可拍脑袋做决定也不相信数据分析师的建议，那么数据分析往往是事倍功半、走一下形式而已，反之则是事半功倍。

（二）数据分析的工作定位

做好数据分析，要对数据分析的价值有清楚的定位。既不要神化数据分析，把它当做万能钥匙；也不要轻易否定数据分析的意义，弃之不用。数据分析应该对业务有实际的指导意义，而不应该流于形式，沦为单纯的 “取数”、“做表”、“写报告”。在 LinkedIn 那么多年的工作时间里面，我们对数据分析的工作早已有了清晰的定位：

利用（大）数据分析为所有职场人员作出迅捷、高质、高效的决策，提供具有指导意义的洞察和可规模化的解决方案

。

当时我们还采用了一套 EOI 的分析框架，对不同业务的数据分析价值有明确的定位。针对核心任务、战略任务和风险任务，我们认为数据分析应该分别起到

助力（Empower）、优化（Optimize）、创新（Innovate）

的三大作用。

（三）数据分析的商业模式

做好数据分析，要对企业的商业模式非常了解。数据分析的最终目的还是服务于企业的增长目标，所以务必要对行业背景、业务含义、产品和用户有着深刻的认知。

还是以 LinkedIn 为例，作为企业增长的重要环节，LinkedIn 在产品设计之初就优先考虑到了数据的价值模式。首先是用户的增长、使用和活跃，然后产生大量的数据，最后根据数据进行业务变现（企业广告、企业招聘、高级账号等）和用户增长，从而不断良性循环。

只有认可分析价值、明确工作定位、深谙商业模式，数据分析才能走在正确的轨道上。

二、数据分析方法论

（一）数据分析的框架

在整个数据分析框架中，用户是数据的来源，也是数据分析最终要服务的对象。整个分析框架可以分为四大层次，依次是：数据规划、数据采集、数据分析和数据决策。

从用户、业务系统，到数据采集平台、ETL、数据仓库， 再到分析、BI、DM、AI、洞察，再到决策、行为、价值，最终回到用户。

上面整个分析框架中，越底层的占用的时间和精力越多，而顶层的耗时较少。从产生的价值来看，越底层的产生的价值越低，越顶层的产生的价值越高。大家想一下就会理解，做数据分析的过程大多时间是耗费在数据采集、清理、转换等脏活累活上面，最有价值的分析和决策部分往往耗时很少。

因此，大家做数据分析应该把重心放在最有价值的分析和决策两个层面上，并且尽可能使用工具实现底层的自动化操作。

（二）数据分析的方法论

数据分析应该帮助我们不断优化营销、运营、产品、工程，驱动企业和用户的增长，而不是为了分析而分析。在这里我给大家介绍两个方法论，一个是业务上的 AARRR 模型，另一个是分析上的学习引擎。

AARRR 是著名的 Growth Hacker （增长黑客）海盗法则，依序分别是 Acquisition（获取用户）、Activation（激发活跃）、Retention（提高留存）、Revenue（增加收入）和 Referral（推荐传播）的首字母简称，覆盖用户整个生命周期。我们在进行数据分析的时候，应该考虑用户正处于 AARRR 模型的哪个部分、关键数据指标是什么、对应的分析方法又是什么？

“ 学习引擎 ” 是《精益创业》一书中提倡的精益化运营方式，在硅谷被大小企业广泛采纳。当我们有一个想法的时候，可以采用最简可行化产品（MVP）的方式将其构建（Build）出来。产品上线后，我们需要衡量（Measure）用户和市场的反应。通过分析收集到的数据，我们可以验证或者推翻我们之前的想法，从而不断学习（Learn）和优化。

（三）数据分析的具体方法

这篇文章的目的不是介绍具体的分析方法，而是为了让大家对整个数据分析能力体系有一个系统的认知，所以我就不对每一个方法进行具体的阐述。

懂得每一种方法的原理是一回事，在业务中灵活应用又是另外一回事。以产品经理为例，可以把“用户行为 – 数据分析 -产品设计 & 优化 ”三位归于一体，在不断的实践应用中掌握各种分析方法的精髓和要义。数据来源于用户，数据分析的最终目的也是服务于企业和用户。做数据分析之前，一定要清晰业务目的和数据指标，选择科学的分析方法，用数据来指导产品和用户增长。

三、数据分析工具篇

（一）为什么工具那么重要？

“ 工欲善其事，必先利其器 ” ！

整个数据框架下面的部分可能花费了 80% 的时间和精力，但是产生了不到 20% 的价值。大家都在搭建数据采集平台、都在写代码埋点、都在做 ETL、都在建 BI 系统，哪里还有更多的时间和人力来做 Analytics 和 Insight 。

以前市面上没有好的数据分析工具，大家都只能自己去部署很多的系统、建立很多的机制，甚至雇佣三四个团队去做一件事。

今天市面上有很多好的工具来帮助我们进行数据分析，为了节省时间、资源（特别是成长型企业），大家完全没有必要内部建造一套分析系统，应该擅用好的工具来帮助自己做数据分析。

（二）选择合适的分析工具

选择什么样的分析工具，跟你的工作岗位、分析场景息息相关。每种场景都有若干种工具可以选择，有些工具也可以用于多种分析场景，关键在于你对工具的熟悉和理解。

Excel 绝对是最基本、最常见的数据分析工具了，对于数据量较小的情况，无论是数据处理、数据可视化还是一些统计分析都能支持。一旦数据量大了，这个时候就需要大型的数据库来支持。

市场营销人员需要对广告投放进行数据分析，网站流量监测是他们关注的重点。产品和运营重点关注用户行为和产品使用，用户行为数据分析工具是他们的首选。

以前大家只关注业务数据，然而这些结果型的数据并不能告诉他们中间发生了什么、为什么发生；现在大家越来越关注精细化运营、对用户行为数据的需求也越来越高，这也是我回国创立 GrowingIO 的原因。

如果你能懂一些 R 和 Python，在数据建模、统计分析、数据科学的方向上有所发展，那么你的数据分析水平就更上一层楼了。

上面说的这三点构成了数据分析的能力体系。只有认同数据分析的价值、掌握数据分析的方法并且灵活应用数据分析工具，才能真正做好数据分析。

本文根据张溪梦演讲内容整理编辑。

作者：张溪梦，GrowingIO 创始人 & CEO

本文节选自 GrowingIO 2017 年第 3 期电子书《产品经理数据分析手册》

本文由 @GrowingIO 原创发布于人人都是产品经理。未经许可，禁止转载。

工欲善其事，必先利其器。想要成为一名优秀的数据分析师，一款顺手的数据分析工具是必不可少的。下面为大家推荐几款数据分析工具

Excel

让我们一起面对它吧，即使在高水平语言辈出的年代，Excel工具仍旧被很多人所认可。调查发现59%的数据科学家和分析师使用 Excel 工具，这个数据几乎年年如此，少有变化。Excel 是经过检验的可靠的数据分析工具，它广泛存在，非程序人员也能便捷操作，所以大多数企业即使也使用其他工具，但 Excel 工具还是他们的不二选择。

R语言

R语言主要适用于EDA（探索性数据分析），也就是你与数据之间的对话，是通过作图来找寻单变量，双变量或者多变量之间的关系，进而发现其相关性。

他的学习也不是很难，掌握了基本操作，要掌握核心的几个包（package），然后经常性的练习，善于借助帮助文档，所谓熟能生巧，就是这个道理。

Python

人生苦短，我用Python。

Python语言是一门功能非常强大，实用型非常强的语言，Web编程，网络爬虫。

数据分析自然少不了要掌握pandas和numpy两个包，如果用到数据可视化（后面会讲到），肯定要用matplotlib包，这三个包基本上就是Python进行数据分析的半壁江山以上了，好好掌握，不能将就。

Google Refine

Google Refine。用户在电脑上运行这个应用程序后就可以通过浏览器访问之。这个东西的主要功能是帮用户整理数据，接下来的演示视频效果非常好：用户下载了一个 CSV 文件，但是同一个栏中的同一个属性有多种写法：全称，缩写，后面加了空格的，单数复数格式不一的。。。但是这些其实都代表了同一个属性，Google Refine 的作用就是帮你把这些不规范的写法迅速统一起来。

Gephi

Gephi是进行社会图谱数据可视化分析的工具，不但能处理大规模数据集并且Gephi是一个可视化的网络探索平台，用于构建动态的、分层的数据图表。

Wordart

Wordart操作简单。可以分析文本，上传excel，还有分析URL，需要注意的是网站本身没有中文字体，需要先自行添加中文字体，然后再生成词云。Wordart最受欢迎的地方就是词云的字体，配色，图形都支持自定义，生成的图看起来非常高上大。另外做好的图可以分享和下载，但是词频不能下载。

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

大家都知道，选购可视化大数据分析软件就是为了通过数字化运营来促进收益。一款出色的可视化分析软件会将各个指标的数据都分析到位，帮助领导做出良好正确的决策。然而，不是所有可视化大数据分析软件都能发挥该发挥的作用。其实，在使用可视化大数据分析软件的过程中，学会几招重要技巧，可以帮助最大程度发挥可视化分析软件的功能。

采用动态报告

当企业需要实施商业智能解决方案时您应该考虑动态报告。动态报告可以随意创建，操作和修改。

它们旨在为企业提供想要的信息。企业可以通过添加、过滤，以及更改信息来控制如何查看数据。

当企业使用动态报告分析销售指标时，可以按地区，产品或客户细分信息。简而言之，动态报告是直接而直观的。静态分析报告无法提供其相同的灵活性。一旦建立了静态报告，就不能改变其基本结构。

对于像提交月度报告和季度报告，这可能没有问题，但是，企业将无法深入分析数据。

自助式商业智能

在数据分析方面，传统上只有专家能够理解复杂的报告。而另一方面，商业智能使数据分析更加简单。现在任何级别的用户都可以随时轻松访问数据。这就是为什么自助式商业智能越来越受欢迎的原因。它允许人们使用商业智能解决方案来实时研究数据，并自行构建准确的可视化报告。

选择自助式可视化大数据分析软件，将为企业的工作人员提供易用性。

移动商业智能

一个良好的商业智能解决方案应该让用户随时随地访问信息。移动应用的增长和智能手机的能力已经导致移动商业智能(Mobile BI)的兴起。

根据阿伯丁集团的数据，使用移动商业智能的公司比没有采用的公司有更多的时间获得商业数据。这是一个竞争优势，因为能够做出明智的商业决策。

行业的认可

企业应该检查自己正在考虑的商业智能提供商是否具有良好的信誉。 包括业务价值，客户满意度，以及供应商支持。

着眼未来

对商业智能解决方案的投资是企业对其业务未来的投资。如果企业选择一个正在向前发展的供应商，其业务也将向前发展。

以上就是一款出色的可视化大数据分析软件该具备的几个被人忽视的功能。好好掌握这几招，将对你的企业决策有一定的帮助。

给大家推荐的一些用于数据分析的“必备神器”

数据可视化工具：

百度ECharts：http://echarts.baidu/

Cytoscape：http://cytoscape.org/

图表秀：http://tubiaoxiu/

数据观：http://shujuguan/

微博足迹可视化：http://vis.pku.edu/weibova/weibogeo_footprint/index.html

BDP个人版：https://me.bdp/home.html

ICHarts：http://icharts.in/

魔镜：http://moojnn/

词频分析工具：

Rost：http://cncrk/downinfo/54638.html

图悦：http://picdata/

语义分析系统：http://ictclas.nlpir.org/nlpir/

Tagul：https://tagul/

腾讯文智：http://nlp.qq/semantic.cgi

Tagxedo词云：http://tagxedo/

舆情分析工具：

清博舆情系统：http://yuqing.gsdata/

云相：http://weidata/

PPT模板工具：

我图网：http://so.ooopic/

51PPT模板：http://51pptmoban/ppt/

无忧PPT：http://51ppt/

第1PPT：http://1ppt/

站长之家：http://sc.chinaz/ppt/

设计师网址导航：http://userinterface/

互联网趋势分析工具：

微博指数：http://data.weibo/index

百度指数：http://index.baidu/

好搜指数：http://index.so/#index

搜狗指数：http://zhishu.sogou/

百度预测：http://trends.baidu/

在线调查工具：

腾讯问卷调查：http://wj.qq/

麦客：http://mikecrm/

ICTR：http://cn2.ictr/

问道网：http://askform/

问卷星：http://sojump/

调查派：http://diaochapai/

问卷网：http://wenjuan/

SurveyMonkey：https://zh.surveymonkey/

网站分析监测工具：

H5传播分析工具：http://chuanbo.datastory/

百度统计：http://tongji.baidu/web/welcome/login

腾讯云分析：http://mta.qq/

51.la：http://51.la/

社交媒体监测工具：

孔明社会化媒体管理：http://kmsocial/

企业微博管理中心：http://e.weibo/

知乎用户深度分析：http://kanzhihu/useranalysis

其他数据网站：

数据分析网：http://afenxi

媒体微博排行榜：http://v6.bang.weibo/xmt

友盟：http://umeng/

中国新闻地图：http://vis.360/open/cnnews/

中国票房榜：http://cbooo/

收视率排行：http://tvtv.hk/archives/category/tv

农业大数据云平台：http://dataagri/agriculture/gis.action

房价指数：http://industry.fang/data/datacenter.aspx

中国统计局：http://data.stats.gov/

中国主要城市拥堵排名：http://report.amap/traffic/

中国综合社会调查：http://chinagss.org/

中国P2P网贷指数：http://p2p001/wdzs/wdzs_p2pline.html

Alexa：http://alexa/

易车汽车指数：http://index.bitauto/

旅游预测：http://trends.baidu/tour/

以上就是给大家推荐的一些用于数据分析的“必备神器”，其中很多工具是亲测过认为非常强大的，希望大家能从中找到对自己有帮助的工具。

前言

近些年，随着越来越多的企业对数据价值的认识不断提升，数据分析工具得到了前所未有的关注，特别是以自助式BI为代表的分析产品。据知名调研机构Gartner预计，到2019年，使用自助式BI产品的用户将超过专业的数据分析人员。与此同时，在人工智能、机器学习等前沿技术的推动下，数据分析工具也正在向着自动化、智能化的方向发展，未来，数据价值也势必会得到更好的挖掘和体现。

近期，为了进一步了解数据分析工具在企业内部的应用情况，国内知名数据可视化分析展示厂商DataHunter联合CDA数据分析师共同开展了《数据分析工具使用现状》的在线调查活动。本报告正是以此次调查数据为基础，可在一定程度上反应出国内数据分析产品的应用现状和未来发展趋势。

样本描述

1. 参与调查人员年龄段分布

以21岁-30岁年龄段为主，占到了总人数的66.7%，30岁以上人群占比为32.9%。可以看出，从事数据分析相关工作的大都是年轻人，这也从侧面反映出数据分析仍是一个比较新兴的行业。当然，随着企业对于数据分析的需求愈发强烈，相信会有更多的年轻人加入这一领域。

2. 参与调查人员行业分布

参与调查人员的行业分布较为广泛，但主要以金融、电商、零售、教育、互联网、广告营销等行业为主。这在一定程度上也反映出，目前这些行业对于数据分析的需求最为强烈。

3. 参与调查人员职业分布

数据分析师占比最多，达到了32.5%，其他还包括运营人员、技术研发、产品经理、市场人员、财务等。从职业分布情况看，销售人员占比较小，也表明目前还有很多国内企业并未将数据分析产品应用到业务层，未来，随着数据分析与业务发展的结合愈发紧密，相信此部分人员的比重会越来越多。

报告要点

1. 近半数受访者已抛弃Excel

从调查结果看，53%的受访用户经常使用Excel作为数据分析工具，使用第三方工具或Python、R等开源工具的受访用户分别占到了26%和21%。作为微软Office系列的代表性产品之一，Excel在全球拥有广泛的用户群，虽然其可以作为数据可视化工具使用，但如果在企业级的环境中，面对海量数据的处理和分析，Excel则难以胜任。

针对大数据的处理和分析，不仅需要丰富的产品功能和响应速度，还要求数据分析产品具备较好的易用性。Python、R等开源工具虽然功能强大，但需要使用者具备一定的编程能力，使用门槛较高，而相对来说，更多的受访者会选择第三方数据分析工具。

2. 数据清洗、整理过程最占用时间

在整个数据分析过程中，有41%的受访者认为数据清洗、整理（ETL）过程占用的时间最多，其次是分析过程、整理汇报、收集数据以及数据建模。如果我们结合上一项调查结果，不难发现，这正是由于大多数受访者仍在使用Excel作为分析工具。

其实，以自助式BI为代表的新一代数据分析工具，如DataHunter，最大优势之一就是帮助业务人员和分析师简化ETL过程，系统在上传数据或对接业务系统的过程中，就完成了初步的数据整理，再通过简单的数据关联（建模过程），就可以开始进行数据分析。

3. 全维度数据钻取等分析功能需求明显

在日常工作中，有23%的受访者表示希望借助数据分析工具完成数据统计、筛选、钻取等操作，这说明，目前此部分用户所使用的分析工具并不具备这些功能。此外，也有20%的受访者希望通过数据分析工具完成整合工作。

值得注意的是，基于分析结果的分享和协作，也成为目前数据分析师的需求点之一。在此次调查中，有12%的受访者希望分析工具具备此项功能。Gartner在今年发布的《2018分析和商业智能平台魔力象限报告》中也特别强调，共享协作将成为未来商业智能产品的标配功能之一。

4. 简单、智能是未来数据分析工具的发展方向

对于未来数据分析工具应具备的特性，分别有32%的受访者认为是操作简单、人人可用以及智能分析预测。随着对数据价值认识不断提升，企业各部门、各角色都开始注重通过数据分析来进行业务决策，产品的易用性便成为使用者最为关注的产品特性之一。同时，随着人工智能、机器学习等前沿技术的不断推动，相信自动分析、预测分析也即将成为现实。

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

本文是上一篇文章《全国及重点城市“数据分析”岗位需求量及工资水平分析》的续篇，从“数据分析”职位招聘单位给出的职位描述中分析各种工具的热门程度。

1.整体概览

经常看见有网友争论R和python谁才是主流的数据分析工具，网友们分门别派各抒己见。今天我们从实际需求出发，在招聘单位的职位描述中用正则表达式匹配统计常用的数据分析工具出现的频率，看看谁才是你最应该掌握的工具。

话不多说，先上图

毫无疑问，excel才是最主流的数据分析工具，在招聘单位的职位描述中出现频率远远高于其他工具（实际上居第八位的office也含有excel，其真实数据应该比这还高），作为最基础的工具，excel是一个数据分析工作者的必备技能。excel之后的4门工具分别是sqlsever、spss、sas和r，其中排名第二位的sqlsever频率高出另外两门主流数据库语言mysql、oracle近两倍，spss作为无需编程的专业统计软件也在职位描述中有较高的频率，sas则是编程类统计软件的代表，今年来火热的r语言也水涨船高，另一门火热的程序语言python在数据分析方面则要稍稍落后。

2.各职位具体情况

数据分析也有细分很多具体职位，那么不同的职位以上各种工具的要求是否存在差异呢？

表中数据显示“大数据分析师”需掌握的工具主要是r、python、hadoop、spark和java；“数据分析工程师”需要掌握的工具主要是sqlsever、r、python和hadoop，这两个职位都很看重编程开发能力。

“数据分析经理”、“高级数据分析师”和“数据分析师”需要掌握的工具大体一致，均为excel、sqlsever、spss、sas和r。

“数据分析主管”、“数据分析”、“数据分析专员”和“数据分析员”等职位对基础技能的要求更为突出，excel、ppt、word等office办公软件出现的频率较其他工具明显更高。

作为一名数据分析从业者或者想转行过来的人来说，要想有好的职业发展，首先，必须熟练掌握office办公软件，尤其是excel（不要瞧不起excel，你不一定玩得转）；其次，还需要学习一门数据库语言，sqlsever是不错的选择（mysql、oracle与sqlsever较为类似，通一门后，其他的学起来也很容易）；专业的统计分析工具也需要掌握一门，如果讨厌编程，可以选择spss，如果有编程能力那么sas和r可以选择一个学习，如果你精通python也可以用python做统计分析；如果想往大数据方向发展，或者是做数据分析工程师那就还需要掌握python、hadoop等工具。

最后附上一张数据分析职位描述的词云图，可以看出招聘单位除了看重工具的使用外，也很注重分析、业务、经验、沟通、团队等方面的能力。

本文作者：Mr.Hu，转自：一胡诌先生

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享 IT 技术和行业经验，请关注-技术学派。