大家都知道，选购可视化大数据分析软件就是为了通过数字化运营来促进收益。一款出色的可视化分析软件会将各个指标的数据都分析到位，帮助领导做出良好正确的决策。然而，不是所有可视化大数据分析软件都能发挥该发挥的作用。其实，在使用可视化大数据分析软件的过程中，学会几招重要技巧，可以帮助最大程度发挥可视化分析软件的功能。

采用动态报告

当企业需要实施商业智能解决方案时您应该考虑动态报告。动态报告可以随意创建，操作和修改。

它们旨在为企业提供想要的信息。企业可以通过添加、过滤，以及更改信息来控制如何查看数据。

当企业使用动态报告分析销售指标时，可以按地区，产品或客户细分信息。简而言之，动态报告是直接而直观的。静态分析报告无法提供其相同的灵活性。一旦建立了静态报告，就不能改变其基本结构。

对于像提交月度报告和季度报告，这可能没有问题，但是，企业将无法深入分析数据。

自助式商业智能

在数据分析方面，传统上只有专家能够理解复杂的报告。而另一方面，商业智能使数据分析更加简单。现在任何级别的用户都可以随时轻松访问数据。这就是为什么自助式商业智能越来越受欢迎的原因。它允许人们使用商业智能解决方案来实时研究数据，并自行构建准确的可视化报告。

选择自助式可视化大数据分析软件，将为企业的工作人员提供易用性。

移动商业智能

一个良好的商业智能解决方案应该让用户随时随地访问信息。移动应用的增长和智能手机的能力已经导致移动商业智能(Mobile BI)的兴起。

根据阿伯丁集团的数据，使用移动商业智能的公司比没有采用的公司有更多的时间获得商业数据。这是一个竞争优势，因为能够做出明智的商业决策。

行业的认可

企业应该检查自己正在考虑的商业智能提供商是否具有良好的信誉。 包括业务价值，客户满意度，以及供应商支持。

着眼未来

对商业智能解决方案的投资是企业对其业务未来的投资。如果企业选择一个正在向前发展的供应商，其业务也将向前发展。

以上就是一款出色的可视化大数据分析软件该具备的几个被人忽视的功能。好好掌握这几招，将对你的企业决策有一定的帮助。

大数据分析，是互联网从业者必须具备的一项基础技能，只有掌握数据分析，做项目才能更科学化、对于项目的预判，能够更准确的把握。今天分享的这些数据分析工具，是我们分析项目经常用的工具，毫无保留的分享给大家，希望大家在操作项目的过程中熟练的使用这些工具。 定能够让你在网赚道路上无往不胜。1、百度指数第一款必备工具。百度指数，我们在查询某一些关键词的时候，首要考虑的就是百度的数据如何，因为百度这个搜索引擎在互联网搜索引擎中占据的份额最大，数据精准度高。检索的很多关键词以及一些热点词的数据对比，都能直观展现出来，通过人群、年龄、性别、兴趣爱好、地域等更为详细的信息，方便我们做出更理智的判断。

2、微指数我们在查询一些关键词的时候，要分析社交数据。对于产品传播非常重要，通过调查数据，我们知道如何把握住当今热点，让产品蹭热度飞一会，是很多商家考虑的问题。新浪微博旗下产品微指数，可以很容易帮我们把控热点关键词。让我们清楚地看到近七天趋势如何，及时对产品做出调整。

3、阿里指数我们在操作某宝店铺项目的时候，需要分析更多的数据，来确定标题内容如何定位优化，用户检索更为简单，如何蹭热点关键词飞上那么一会儿，如何引爆流量做核心爆款。这个跟成交量有非常大的关键，哪类行业有哪些关键词在搜索时上升幅度比较快，很有潜力，知道这些信息后，我们都需要提早的布局。等相关的关键词上升到一定幅度时，我们恰好出现在热点上，在用户检索时很容易爆单。这个数据分析工具是中小卖家逆袭的机会。一定要好好研究。

4、腾讯指数BAT三大巨头，柒点哥介绍两家了，怎么可能缺少 TX 指数，TX 旗下的各类产品琳琅满目，自然对数据掌握的精准程度不是一般企业可以比拟的。算得上行业顶尖了。但是目前为止使用腾讯指数分析的用户实在少之又少，大部分人不知道这个功能，今天柒点哥告诉大家，腾讯确实有指数分析的功能。而且可以从九大品类开始分析数据，可以说是一款很强大的运营工具。

5、爱站网爱站网：是一个综合性的数据分析平台。我平常都在用这个网站分析一些网站相关的信息，比如，网站收录状况，PR值，域名信息，友情链接等一些数据。但是最长用的一个功能就是长尾关键词发掘。这项功能有助于我们通过主关键词，发掘带流量的附属关键词的状况，类似于百度推广后台的数据分析。非常不错的免费工具，大家以后可以常用。

6、QQ指数QQ指数是一款基于QQ平台用户数据分析的移动端指数类产品，定位于洞察QQ平台上年轻人最新、最热、最关注的社交内容，通过分析QQ平台上用户公开发表的说说、评论及搜索、浏览等行为数据，发现年轻人的热点趋势及舆论风向，透过QQ指数可以快速掌握年轻人的兴趣喜好和行为习惯等信息。作为T讯旗下最为核心的产品，对于我们互联网人士来讲，把它称为流量的天堂，只要随便找一个平台来操作产品，坚持一段时间都能暴富的。所以研究T讯系的核心产品，离不开QQ指数这个工具，对于我们把控QQ流量热点的趋势有很好的帮助，是非常重要的营销利器。

QQ指数官方账号：qq搜索框搜索 QQ指数，关注公众号即可查询，主要是带认证图标的那个。7、微信指数微信指数是微信官方提供的基于微信大数据分析的移动端指数。2017年3月23日晚，微信官方推出了“微信指数”功能。作为T讯旗下，第二个核心产品，微信可以说是后来者居上，各种苗头都表明要赶超QQ的趋势，对于我们互联网人士来讲，这是最好的变现渠道。因为很多网赚项目，最后结款的地方都是在微信端成交的。所以我们非常有必要来分析他的数据，基于微信推出了这一功能，让我们省了很多分析微信数据的时间。

微信指数官方渠道：小程序搜索微信指数8、安卓权重榜我们操作的一些项目，免不了在APP上操作，但是这个平台流量如何，以及人群属性，都很难预估。但是我们又必须了解数据才能够伸缩有度，所以我常用的这款APP数据软件，就能够给我带来客观的数据。

9、新榜以榜单为切口，新榜向众多500强企业、政府机构提供线上、线下数据产品服务，“号内搜”、“新榜认证”、“分钟级监测”获得广泛应用。在协同内容创业者商业化方面，新榜依托数据挖掘分析能力，建立用户画像和效果监测系统，连接品牌广告主和品牌自媒体。作为公众号的运营者，我特别注重公众号的分析，以及项目渠道的发掘。新榜作为专业的内容数据提供商，我是经常会使用他来分析数据，查看某些公众号潜力，随时观察它的盈利模式以及动向。

10、梅花网作为互联网人士，写文章投放广告，是我经常要做的事情，但是如何让广告的每一分钱都花到潜在客户身上，是我经常要考虑的。如何知道同行在哪里投放广告，也是我所关心的，梅花网是广告监测比较专业的网站，我经常用来分析广告数据，在这里推荐给大家。

总结：以上的十个工具呢，就是我经常用到的数据分析工具。我认为这是每一个互联网从业者都具备的基本功，用好数据分析，操作项目更加的事半功倍。但是用的时候不能太死板，可以结合起来相互用。实干派动手做，花架子空叹息，让技术为你工作。赚钱的玩法很多，只有思路够宽，你才能走的更远。没赚到钱，并不是文章干货不够，而是你懂得太少了。 保持空杯心态，永远在进步。

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息！

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

　　BI(BusinessIntelligence)即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，重庆IT培训的老师将为大家介绍数说立方、数据观、BDP等11款BI-商业智能产品，排名不分先后!

　　1、数说立方

　　数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点;另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

　　优点：

　　即便是个人免费版，体验和功能仍然非常好;

　　与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据;

　　功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台;

　　可视化视图展现、友好的客户感知页面;

　　支持SAAS，私有化部署，有权限管理;

　　缺点：

　　产品新上市，操作指导页不太完善;

　　体验过程中有一些小bug;

　　2、数加平台

　　数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

　　优点：

　　有完整的产品规划，功能完善;

　　图形展示和客户感知良好;

　　提供SQL查询;

　　缺点：

　　需要捆绑阿里云才能使用，一般用户还不能真正使用起来;

　　部分体验功能一般，有一定的学习成本;

　　3、Tableau

　　Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

　　优点：

　　处于行业领导者地位，功能完善;

　　有较好的图形展现与客户感知;

　　新产品开始支持云端展现，但是需要客户端支持;

　　缺点：

　　相比于商业智能BI，更像一个基于数据查询的数据展示工具;

　　处理不规范数据、转化复杂模型比较难;

　　无法处理大量数据;

　　国内网络连接Online版速度较慢;

　　4、Qlik

　　QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源;其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

　　优点：

　　产品功能完善，图形展现和客户感知良好;

　　支持SAAS，有权限管理功能;

　　缺点：

　　有一定的学习成本;

　　报表规范性要求很高;

　　数据抓取功能都非常弱，需要有非常好的数据仓库作为基础;

　　5、Spotfire

　　Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能;有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

　　优点：

　　交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析;

　　不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析;

　　支持SAAS，有权限管理功能;

　　缺点：

　　SAAS版只支持30M，由于是国外服务器所以上传很慢;

　　不适合中国式的固定报表;

　　进军中国市场较晚，国内案例较少;

　　工具的适应性范围广，但是难易跨度大;

　　6、神策分析

　　神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等，工具需要付费使用。

　　优点：

　　专注于用户行为数据分析，不追求做大而追求做全;

　　有详细的产品使用文档以及案例;

　　提供SQL查询;

　　缺点：

　　更多的是demo示例，不能开箱即用;

　　纯dashboard展示，并不能对单独一块数据作自定义分析;

　　7、BDP

　　BDP个人版使用免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。产品示例和视频教学很细致，交互页面很友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复分析、制作图表的数据工作。另外，分享环节也很贴心，数据仪表盘可以一键导出，也可直接生成链接分享给他人或分享到微信、微博等社交平台。

　　优点：

　　产品支持移动端;手机同步呈现最新数据

　　用户可以免费使用工具，还有免费公开的数据源;

　　操作体验流畅，界面友好，功能全，总体来说是一款不错的产品;

　　即便是个人免费版，体验和功能仍然非常好;

　　数据可以同步更新，免去了重复劳动的工作;

　　缺点：

　　官网的介绍比较简单;

　　8、永洪BI

　　永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制;主题样式虽多但是给人感觉样式还是很传统。

　　优点：

　　商业流程完善，给人专业的感觉;

　　产品定制化的版本效果不错;

　　支持的数据接入较多;

　　缺点：

　　SAAS版体验很差，有一定的学习成本;

　　UI的视觉效果一般，整体可视化效果不够现代化;

　　9、数据观

　　数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

　　优点：

　　注册只需填写邮箱，且支持明道账号登陆;

　　使用引导明确，支持salesforce、百度云数据导入;

　　分析结果支持链接分享，大大降低用户的沟通成本;

　　缺点：

　　不支持超过20MB的数据上传;

　　数据导入后，数据分析体验方面存在bug;

　　产品的使用以点击为主，不支持拖拽操作;

　　10、FineBI

　　FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

　　优点：

　　有较为详细的行业案例与技术方案;

　　产品演示和资源中心也较为清晰

　　缺点：

　　需要使用客户端，增加了使用的不便利性

　　只有仪表盘展示，BI报表需要另一款产品;

　　无法处理大量的数据;

　　11、魔镜

　　魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

　　优点：

　　产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂;

　　官网的设计不错，模板选择性大，颜值控可能会喜欢;

　　工具使用指导清晰，使用篇和方法篇等比较详细;

　　缺点：

　　产品存在较多的BUG，UI和功能相对其他产品来说较简陋;

　　部分产品模块并不能切实用于数据分析;

　　选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧!

旅游大数据分析系统的搭建，需要先弄清楚旅游大数据分析系统有哪些组成部分？

对于整个数据分析体系来说，旅游限定的是具体的行业，这代表我们需要去了解旅游行业可以关注哪些数据指标，使用什么样的方法进行分析。

而大数据分析系统更多的指的是技术层面的问题，使用什么样的技术、能够把行业的数据进行收集、存储、分析、展现。

所以对于这个问题，可以从这两个方面分别来阐述：

一、旅游行业应该关注哪些指标？

我以一个省的旅游数据为例，那么可以分析的指标有：

省旅游收入分析（包括收入金额、增长率、与全国收入增长率对比）省内旅游情况分析（包括星级饭店总数、国内游客数、入境游客数、入境过夜游客、游客消费水平、旅行社数、旅游从业人员等）入境游客量分析（国外游客数、港澳同胞数、台湾同胞数、及其对应的增长率）旅游收入分析（商品销售、长途交通、住宿、景点门票、餐饮、邮电通讯）酒店分析（按客房数的多少可以分析出现阶段适合发展的酒店形式，是连锁酒店还是民宿更合适）

综合以上分析，就可以得出该省下一阶段在旅游方面应该去重点关注的地方，给规划提供判断依据。

二、大数据分析系统

大数据分析系统或者说大数据平台，其整体架构如下图

从底层逐步往上，如图所示表示这么几个环节：

1.业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。当然你还可以通过一些公开的数据源或者爬虫去获取一些外部数据，来弥补你自身数据不足的现状。

2.数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。此处的Kettle只是ETL的其中一种。

3.数据存储：指的就是数据仓库的建设了，此处相对复杂，我不再赘述，大家可以详细看下图中『数据仓库层』这部分。

4.数据共享层：表示在数据仓库与业务系统间提供数据共享服务。不论是Web Service，还是Web API ，都代表的是一种数据间的连接方式。

5.数据分析层：分析函数这部分大家都能理解，就是数学上的各种公式，比如聚类分析、回归分析等等。

列存储使得磁盘的每个Page仅仅存储来自单列的值，而不是整行的值。因此，压缩算法会更加高效，因为它们能够作用于同类型的数据。再说的简单点，可以减少磁盘的I/O、提升缓存利用率，因此，磁盘存储会被更加高效的利用。

而分布式计算能够把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。整体上来说，通过这两种技术，可以大幅度提高数据分析的效率。

而Yonghong MPP应该是目前做列存储和分布式最好的产品。

6.数据展现：分析的结果通过什么样的形式去呈现，说白了就是数据可视化的工作。这部分推荐用敏捷BI类的产品，区别于传统BI，它能通过简单拖拽的方式就生成报表，比较节省时间，学习成本相对较低。国内的敏捷BI中，个人用户推荐Tableau，企业级需求推荐Yonghong BI 。

7.数据访问：这个就比较简单了，看你是通过什么样的方式去查看这些数据，图中示例的是因为B/S架构，最终的可视化结果是通过浏览器访问的。当然也有C/S架构，通过客户端去查看。相对来说，B/S架构会比较便捷，更适合现在很多人用手机办公的需求，打开个网页就能看到数据。

以上是大数据分析系统搭建的架构概述，其中每一步都可能要涉及一些产品、技术以及具体的实施。

所以想要做好旅游行业的大数据分析系统，不仅要了解分析系统的技术层面的问题，也要了解旅游行业的业务，这样才能让数据发挥更有效的价值。

在惠普“超越存储 远见未来”2015存储远见者高峰论坛上，惠普就给出了他们的答案。对于如何定义未来存储，惠普也给出了“超越闪存、超越融合、超越架构、超越虚拟化、超越性能、超越扩展”这六大超越理念。在会上，惠普还发布了HP 3PAR StoreServ全闪存阵列，并逐一为大家展示了全新产品在这六大超越中的表现。

“现在传统的网络安全防护的体系已经崩溃，攻防对抗当中防护的模式也已经过时，未知的威胁可以绕过现有部署的一切安全设备切入到我们的系统。360的安全解决之道就是用大数据，用数据来提供安全，这是一个全新的技术安全体系。这里边包括了大数据中心、。”大数据引擎和大数据分析系统

普元资深架构师顾伟指出，”微服务“是一种更灵活、更可靠、更开放的架构，它的特点集中在开放、轻量、松耦合、易迁移、易伸缩、容错性、自监控、语言中性等。”微服务“的“零散”特征使得企业能够快速应对服务扩容、业务开放、业务变化、服务整合等需求。“微服务”通常的解决方案会结合当下比较流行的Docker和OpenStack技术。而支撑“微服务”的就是能够快速迭代“微应用”，在“微应用”之下是一个以各种技术标准、进行兼容和统一为基础、并提供多类型的业务平台。

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。

因此，各种基于Hadoop的工具应运而生，本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

资源统一管理/调度系统

在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4，它们诞生于不同的实验室，并各有所长。

为了减少管理成本，提升资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上;因此，就有了当下众多的资源统一管理/调度系统，本次为大家重点介绍ApacheMesos及YARN：

1、ApacheMesos

代码托管地址：ApacheSVN

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

2、HadoopYARN

代码托管地址：ApacheSVN

YARN又被称为MapReduce2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离。

对比MapReduce1.x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker。

Hadoop上的实时解决方案

前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapReduce，自然语言处理用Spark等。

3、ClouderaImpala

代码托管地址：GitHub

Impala是由Cloudera开发，一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

4、Spark

代码托管地址：Apache

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

5、Storm

代码托管地址：GitHub

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Hadoop上的其它解决方案

就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark

代码托管地址：GitHub

Shark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive。无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL。

Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。

7、Phoenix

代码托管地址：GitHub

Phoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。

Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API;2，可以通过多个行键或是键/值单元对列进行建模;3，DDL支持;4，版本化的模式仓库;5，DML支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ANSISQL标准。

8、ApacheAccumulo

代码托管地址：ApacheSVN

ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路，基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。

对比GoogleBigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。

9、ApacheDrill

代码托管地址：GitHub

本质上，ApacheDrill是GoogleDremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。

10、ApacheGiraph

代码托管地址：GitHub

ApacheGiraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP(bulksynchronousparallel)和Google的Pregel，与它们区别于则是是开源、基于Hadoop的架构等。

Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其OpenGraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。

11、ApacheHama

代码托管地址：GitHub

ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。

12、ApacheTez

代码托管地址：GitHub

ApacheTez是基于HadoopYarn之上的DAG(有向无环图，DirectedAcyclicGraph)计算框架。它把Map/Reduce过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG任务，减少了Map/Reduce之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。

13、ApacheAmbari

代码托管地址：ApacheSVN

ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。

ApacheAmbari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为ApacheIncubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop组件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

这篇文章从整体框架出发，介绍了数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

数据分析目前在国内互联网圈的受重视程度在逐步提升，但是问题也很突出：

大家对于数据分析的认知和理解支离破碎，缺乏一个整体的、系统的思维框架；

大家的视野更多局限在数据报表、BI 系统、广告监测等领域，对于数据以及数据分析其实是缺乏深层次洞察的。

这篇文章就从整体框架出发，介绍一下数据分析的三大层次。包括对数据分析的整体理解和认识，做数据分析的科学方法，以及数据分析相关的工具介绍。

一、数据分析价值观

如何让数据分析真正发挥价值？我认为必须在

价值认同、工作定位和商业模式

三点上取得突破。

（一）数据分析的价值认同

做好数据分析，首先要认同数据的意义和价值。一个不认同数据、对数据分析的意义缺乏理解的人是很难做好这个工作的。放到一个企业里面，企业的 CEO 及管理层必须高度重视和理解数据分析的价值。你想一下，如果老板都不认可数据分析的价值，那么数据相关的项目在企业里面还能推得动吗？然后，企业内部还需要有数据驱动的公司文化。

如果大家宁可拍脑袋做决定也不相信数据分析师的建议，那么数据分析往往是事倍功半、走一下形式而已，反之则是事半功倍。

（二）数据分析的工作定位

做好数据分析，要对数据分析的价值有清楚的定位。既不要神化数据分析，把它当做万能钥匙；也不要轻易否定数据分析的意义，弃之不用。数据分析应该对业务有实际的指导意义，而不应该流于形式，沦为单纯的 “取数”、“做表”、“写报告”。在 LinkedIn 那么多年的工作时间里面，我们对数据分析的工作早已有了清晰的定位：

利用（大）数据分析为所有职场人员作出迅捷、高质、高效的决策，提供具有指导意义的洞察和可规模化的解决方案

。

当时我们还采用了一套 EOI 的分析框架，对不同业务的数据分析价值有明确的定位。针对核心任务、战略任务和风险任务，我们认为数据分析应该分别起到

助力（Empower）、优化（Optimize）、创新（Innovate）

的三大作用。

（三）数据分析的商业模式

做好数据分析，要对企业的商业模式非常了解。数据分析的最终目的还是服务于企业的增长目标，所以务必要对行业背景、业务含义、产品和用户有着深刻的认知。

还是以 LinkedIn 为例，作为企业增长的重要环节，LinkedIn 在产品设计之初就优先考虑到了数据的价值模式。首先是用户的增长、使用和活跃，然后产生大量的数据，最后根据数据进行业务变现（企业广告、企业招聘、高级账号等）和用户增长，从而不断良性循环。

只有认可分析价值、明确工作定位、深谙商业模式，数据分析才能走在正确的轨道上。

二、数据分析方法论

（一）数据分析的框架

在整个数据分析框架中，用户是数据的来源，也是数据分析最终要服务的对象。整个分析框架可以分为四大层次，依次是：数据规划、数据采集、数据分析和数据决策。

从用户、业务系统，到数据采集平台、ETL、数据仓库， 再到分析、BI、DM、AI、洞察，再到决策、行为、价值，最终回到用户。

上面整个分析框架中，越底层的占用的时间和精力越多，而顶层的耗时较少。从产生的价值来看，越底层的产生的价值越低，越顶层的产生的价值越高。大家想一下就会理解，做数据分析的过程大多时间是耗费在数据采集、清理、转换等脏活累活上面，最有价值的分析和决策部分往往耗时很少。

因此，大家做数据分析应该把重心放在最有价值的分析和决策两个层面上，并且尽可能使用工具实现底层的自动化操作。

（二）数据分析的方法论

数据分析应该帮助我们不断优化营销、运营、产品、工程，驱动企业和用户的增长，而不是为了分析而分析。在这里我给大家介绍两个方法论，一个是业务上的 AARRR 模型，另一个是分析上的学习引擎。

AARRR 是著名的 Growth Hacker （增长黑客）海盗法则，依序分别是 Acquisition（获取用户）、Activation（激发活跃）、Retention（提高留存）、Revenue（增加收入）和 Referral（推荐传播）的首字母简称，覆盖用户整个生命周期。我们在进行数据分析的时候，应该考虑用户正处于 AARRR 模型的哪个部分、关键数据指标是什么、对应的分析方法又是什么？

“ 学习引擎 ” 是《精益创业》一书中提倡的精益化运营方式，在硅谷被大小企业广泛采纳。当我们有一个想法的时候，可以采用最简可行化产品（MVP）的方式将其构建（Build）出来。产品上线后，我们需要衡量（Measure）用户和市场的反应。通过分析收集到的数据，我们可以验证或者推翻我们之前的想法，从而不断学习（Learn）和优化。

（三）数据分析的具体方法

这篇文章的目的不是介绍具体的分析方法，而是为了让大家对整个数据分析能力体系有一个系统的认知，所以我就不对每一个方法进行具体的阐述。

懂得每一种方法的原理是一回事，在业务中灵活应用又是另外一回事。以产品经理为例，可以把“用户行为 – 数据分析 -产品设计 & 优化 ”三位归于一体，在不断的实践应用中掌握各种分析方法的精髓和要义。数据来源于用户，数据分析的最终目的也是服务于企业和用户。做数据分析之前，一定要清晰业务目的和数据指标，选择科学的分析方法，用数据来指导产品和用户增长。

三、数据分析工具篇

（一）为什么工具那么重要？

“ 工欲善其事，必先利其器 ” ！

整个数据框架下面的部分可能花费了 80% 的时间和精力，但是产生了不到 20% 的价值。大家都在搭建数据采集平台、都在写代码埋点、都在做 ETL、都在建 BI 系统，哪里还有更多的时间和人力来做 Analytics 和 Insight 。

以前市面上没有好的数据分析工具，大家都只能自己去部署很多的系统、建立很多的机制，甚至雇佣三四个团队去做一件事。

今天市面上有很多好的工具来帮助我们进行数据分析，为了节省时间、资源（特别是成长型企业），大家完全没有必要内部建造一套分析系统，应该擅用好的工具来帮助自己做数据分析。

（二）选择合适的分析工具

选择什么样的分析工具，跟你的工作岗位、分析场景息息相关。每种场景都有若干种工具可以选择，有些工具也可以用于多种分析场景，关键在于你对工具的熟悉和理解。

Excel 绝对是最基本、最常见的数据分析工具了，对于数据量较小的情况，无论是数据处理、数据可视化还是一些统计分析都能支持。一旦数据量大了，这个时候就需要大型的数据库来支持。

市场营销人员需要对广告投放进行数据分析，网站流量监测是他们关注的重点。产品和运营重点关注用户行为和产品使用，用户行为数据分析工具是他们的首选。

以前大家只关注业务数据，然而这些结果型的数据并不能告诉他们中间发生了什么、为什么发生；现在大家越来越关注精细化运营、对用户行为数据的需求也越来越高，这也是我回国创立 GrowingIO 的原因。

如果你能懂一些 R 和 Python，在数据建模、统计分析、数据科学的方向上有所发展，那么你的数据分析水平就更上一层楼了。

上面说的这三点构成了数据分析的能力体系。只有认同数据分析的价值、掌握数据分析的方法并且灵活应用数据分析工具，才能真正做好数据分析。

本文根据张溪梦演讲内容整理编辑。

作者：张溪梦，GrowingIO 创始人 & CEO

本文节选自 GrowingIO 2017 年第 3 期电子书《产品经理数据分析手册》

本文由 @GrowingIO 原创发布于人人都是产品经理。未经许可，禁止转载。