大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

（《麻省理工科技评论》中英文版APP现已上线，年度订阅用户每周直播科技英语讲堂，还有科技英语学习社区哦~）

公司经常会雇用数据挖掘的数据科学家来收集规划建议，例如哪些客户想要某些服务，或者在哪里开设新的商店和存储产品。然而，通过分析数据来回答这其中的一或两个问题往往就需要数周甚至数月的时间。

现在，MIT 的 Endor 已经开发出一个预测-分析平台，使得任何人——不论技术娴熟与否——都可以通过接口上传未经处理的数据并输入任何关于商业的问题。这就像在用一个在线的搜索引擎，而你能在 15 分钟之内获得精准的答案。

这个平台基于“社会物理学”这一学科，由 Endor 的联合创始人，东芝媒体艺术业科学的教授 Alex“Sandy”Pentland 和前麻省理工博士后的 Yaniv Altshuler 在 MIT 的多媒体实验室共同开发。社会物理学一门是利用数学模型和机器学习来理解和预测群体行为的学科。

图丨 Yaniv Altshuler

这一新平台的用户可以上传关于用户或者其他个体的数据，比如说手机通话记录，信用卡购买记录或者网络活动记录。他们利用 Endor 的“查询建立者”向导来提问，比如“我们应该在哪里开设我们的下一个店铺？”或者“谁更可能尝试产品 X？”通过这些问题，平台识别数据中体现出的个体之前的行为模式，再通过社会物理模型来预测未来的行为。该平台还可以分析完全加密的数据流，允许银行或信用卡运营商等客户保护数据隐私。

“它就像谷歌一样，你不需要花时间思考‘我要花费时间去问谷歌这些问题吗？’，你直接能找到答案。”Altshuler 说道。

在谷歌母公司 Alphabet 的执行董事长 Eric Schmidt 的私人风险投资公司 Innovation Endeavors 的财政支持下，启动者们已经找到了像可口可乐，万事达和沃尔玛等零售和银行公司的大牌客户。

图丨 Eric Schmidt

最近，Endor 为一个防御机构分析 Twitter 数据侦查潜在的恐怖分子。根据元数据中的标识符，Endor 得到 1500 万个数据点，其中包含 50 个被识别的 ISIS 活动家的推特账户的作为例子。基于此，他们要求启动者检测出 74 个已经被确认的、标识符在元数据中隐藏得很好的账户。Endor 中有人用笔记本电脑在 24 分钟内完成了任务，发共现了 80 个“疑似”的 ISIS 账户，其中 45 个来自该机构命名的 74 个隐藏账户。误判率也非常低（35 个账户），这意味着人类分析师可以专门去调查这些账户。

群体的共性

机器学习用于相对静态的复杂计算问题，如图像识别和语音识别。例如书面和口语，几个世纪以来都实质上都没有什么变化。

另一方面，人类的行为却在不断变化。预测人类行为意味着分析很短的时间内，也许是几天或几周的大量微小的信号。传统的机器学习算法主要依赖于构建可以长时间分析数据的模型。

“一般来说，你需要大量的数据来建立描述人类行为的准确模型，这意味着你必须依赖过去。正因为你依赖过去，你无法察觉最近发生的事情，也就无法预测人的行为，”Altshuler 说道。

整个 2000 年代初期和中期，Pentland 和 Altshuler 在人类动态实验室发展了“社会物理学”，旨在捕捉和分析短期数据，以理解和预测群体动态。在研究中，他们发现所有大数据都包含一定的数学模式，表明社交互动如何传播和聚合的，这些模式可以帮助预测未来的行为。

利用这些数学模式，他们构建了一个平台——即 Endor 平台的核心技术——可以从数百万个原始数据点中提取具有共性行为的“集群”，比机器学习算法更快更准确。“大多数这样数据模式利用其他任何技术都无法与噪音区分开”，Altshuler 说。

但这些集群代表什么并不能马上弄清楚，只知道它们有很强的相关性。而对数据的查询则提供了上下文。例如，通过客户数据，有人可能会询问哪些客户最有可能购买特定产品。通过关键字，该平台将购买该产品的客户的行为特征，如位置和消费习惯，与未购买该产品的客户相匹配。这种重叠创建了可能的新客户清单，这些客户倾向于购买该产品。

简而言之，上传数据并提出正确的问题就向平台提出了一个基本的请求：这里是一个 X 的例子，更多地找到 X。“只要你能以这种方式来表述一个问题，你就会得到一个准确的答案，”Altshuler 说。

Endor 和 Endor-ish

为了测试这个平台，研究人员早先与美国国防高级研究计划局 (DARPA) 合作分析内乱时某些城市的移动数据，以显示新兴模式如何能够帮助预测未来的骚乱。Altshuler 还在新加坡花了几个月的时间分析出租车行驶数据，以预测该市的交通拥堵情况。

2014 年，Altshuler 通过他的朋友，斯坦福大学的毕业生 Doron Alter 与 Schmidt 建立了联系，他当时是 Innovation Endeavors 的合伙人。投资者问，这项技术是否可以被“包装成任何人都可以使用的产品”。

那一年，在 Schmidt 的经济支持下，连续创业者 Altshuler 和 Pentland 共同创立了 Endor，将平台转化为商业软件。Alter 和 Stav Grinshpon 加入了团队，他们是技术行业的老兵，也是以色列情报部门的前任技术专家。

该公司很快通过信用卡公司的 StartPath 计划赢得了 Mastercard 的早期合作伙伴。万事达要求 Altshuler 回答为数据科学家保留的问题，比如哪些人不久将要出国飞行，提取贷款或者增加信用卡活动。

在从以色列特拉维夫到纽约市的单程飞行中，Altshuler 处理了 100 万名持卡人的数十亿的金融交易数据点，并准确回答了 10 个问题。传统来讲，数据科学家需要花费数周或数月的时间来整理数据，并设计机器学习模型来分别回答每个问题。

公司可能聘请自己的精通分析得员工来使用 Endor。其他人将与 Endor 代表每周进行一次简短的会议，以确定最佳的问题措辞。“将英语翻译成我们所说的‘Endor-ish’，即我们的系统可以理解的方式，只需要大约五分钟。”Altshuler 表示。

该公司的网页提供了一个问题结果的例子，并与传统的机器学习引擎进行比较。一家银行营销部门问：“谁在未来六个月内会获得抵押贷款？”机器学习引擎可能会检测到拥有银行信用卡和高信用评分并且已结婚的 5000 名客户，但其中许多可能是误报。而 Endor 可以发现更多具体群体，比如，即将结婚或正在经历离婚的夫妻群体，最近将创业公司出售给 Facebook 的创业人，或最近从当地房地产课程毕业的客户。Endor 的结果中误报少得多，并且挖掘出了更多的潜在客户。

更重要的是，Altshuler 表示，Endor 并不是要取代数据科学家，它被设计成一个使他们更强大的工具。他说，数据科学家对组织的业务语义最为熟悉，可以将 Endor 纳入他们的工作流程。通过突破一个“瓶颈”——数据输入的速度比任何人得出结果的速度都快——Endor 旨在帮助数据科学家改善他们的公司。“数据科学家们明白我们将使他们成为英雄。”Altshuler 说道。

Endor 最近赢得了 Gartner 的“Cool Vendor”（卓越供应商）地位，并被世界经济论坛（World Economic Forum）封为“技术先锋”。随着好评的传播，Endor 现在正在美国积累更多客户，同时也在欧洲和拉丁美洲迎来了第一批客户。“这是令人兴奋的时刻”，Altshuler 表示。

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

在大数据分析架构里，一般是spark、storm作为计算框架，计算后的结果存到redis。要对redis的数据结构有清晰认识，理解各自优缺点、实用场景，redis价值才能最大化。今天我们来谈谈Redis

Redis概述

lRedis是一个开源，先进的key-value存储，并用于构建高性能，可扩展的应用程序的完美解决方案。

lRedis从它的许多竞争继承来的三个主要特点：

lRedis数据库完全在内存中，使用磁盘仅用于持久性。

l相比许多键值数据存储，Redis拥有一套较为丰富的数据类型。String，List,set,map,sortSet

lRedis可以将数据复制到任意数量的从服务器。

Redis 优势

异常快速：Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。

支持丰富的数据类型：Redis支持字符串、列表、集合、有序集合散列数据类型，这使得它非常容易解决各种各样的问题。

操作都是原子性：所有Redis操作是原子的，这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。----计数器

多功能实用工具：Redis是一个多实用的工具，可以在多个用例如缓存，消息，队列使用(Redis原生支持发布/订阅)，任何短暂的数据，应用程序，如Web应用程序会话，网页命中计数等。

Redis安装部署

Redis编译、安装

解压文件，并创建软件连接

tar -zxvf redis-3.0.5.tar.gz -C /export/servers/ln –s redis-3.0.5/ redis

编译redis源码

cd /export/servers/redismake（先安装gcc）

将编译后的可执行文件安装到/user/local/redis

make PREFIX=/usr/local/redis install

启动Redis

启动方式一：Redis前台默认启动

进入redis安装目录，并启动Redis服务

cd /usr/local/redis/bin/./redis-server

启动方式二：Redis使用配置文件启动

拷贝源码中的redis.conf文件到redis的安装目录

cp /export/servers/redis/redis.conf /usr/local/redis/

修改redis.conf的属性

daemonize no è daemonize yes

启动redis服务

cd /usr/local/redisbin/redis-server ./redis.conf

日志文件及持久化文件配置

修改生成默认日志文件位置

logfile "/usr/local/redis/logs/redis.log"

配置持久化文件存放位置

dir /usr/local/redis/data/redisData

Redis客户端使用

redis.clientsjedis2.8.0

Redis持久化

有两种持久化方案：RDB和AOF

1）RDB方式按照一定的时间间隔对数据集创建基于时间点的快照。

2）AOF方式记录Server收到的写操作到日志文件，在Server重启时通过回放这些写操作来重建数据集。该方式类似于MySQL中基于语句格式的binlog。当日志变大时Redis可在后台重写日志。

AOF持久化配置

1）修改redis.config配置文件，找到appendonly。默认是appendonly no。改成appendonly yes

2）再找到appendfsync 。默认是 appendfsync everysec

appendfsync always

#每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用

appendfsync everysec

#每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐

appendfsync no

#完全依赖os，性能最好,持久化没保证

RDB持久化配置

默认情况下，Redis保存数据集快照到磁盘，名为dump.rdb的二进制文件。可以设置让Redis在N秒内至少有M次数据集改动时保存数据集，或者你也可以手动调用SAVE或者BGSAVE命令。

例如，这个配置会让Redis在每个60秒内至少有1000次键改动时自动转储数据集到磁盘

save 60 1000

Redis数据结构

关注佳源信息，关注更多资讯。

个人和机构投资者都需要看研报，分析师的工作内容主要是写研报，市场报告这么多，分析师评选眼花缭乱，到底哪家的研报产量最多？谁家的研值比较高？作为读者的你又看过和喜欢哪一款研报？（文末附排名、投票，参与即有机会获得能够阅读海量研报的Choice金融终端）

东方财富Choice数据统计，2016年全市场有来自340家机构的7918位研究人员（或团队）共发布署名的研究报告263909份，其中90家国内券商合计发布研报约14.64万份，84家国内期货公司发布7.37万份，剩余来自其他机构，包括国外投行、香港券商、银行及投资咨询机构等。

从机构角度来看，2016年中金公司共发布10713份研报，在所有机构中排名第一。国内券商中，长江证券和海通证券以9143份和8345份居二、三位。期货公司中，中期期货以6243份的数量领先。另外，德意志银行以6577份研报冠绝其他类的机构。

数据来源：东方财富Choice数据

注：文中的研报统计数据来自2016年，且均为署名研报范畴，下同。

从署名作者来看，共有336人次参与发布的研报数量超过250份，即平均每个交易日完成1份研究报告；其中，超过500份的有69人次，可谓高产；高产中亦有佼佼者，1年超过1000份的有6人次，其中2人来自同一团队。

注：文中“分析师”、“投研人员”的数量由研报中的署名汇总得出，与机构实际人员配备情况或有出入，下同。

机构篇

2016年，中金公司是唯一一家研报发布数量破万的机构，作为业内以投研口碑著称的老牌券商，其报告产出之多、覆盖领域之广均领跑榜单。

在全部340家机构中，有71家的年度报告发布数量超过1000份，其中有38家内地证券公司、25内地期货公司和8家其他类型的机构（包含国外投行、香港券商、银行等）。

长江证券最勤奋

内地的券商和期货公司无疑是市场中研报贡献的主力，但在机构背后做出研究的署名分析师（或团队）数量却没有想象中的高，4家国外机构的署名作者数量居前，均超过200人。中金公司、兴业证券和申万宏源为国内机构投研人员最多的机构。共有16家机构分析师人数超过100人。

由此，可以算出各家机构人均研报的产出水平，这里主要考察国内券商的情况。2016全年，有6家证券公司的分析师人均撰写研报数量超过100份，分别是华福证券、长江证券、湘财证券、华林证券、财达证券和华金证券。

其中，华福证券产出研报以晨会纪要和市场分析为主，由研究团队和一位个人分析师挂名；湘财证券，由固定收益团队和一位个人分析师挂名；华林证券研报以晨会纪要、市场资讯和新股研究为主，共6名分析师；财达证券则由2名分析师包办晨会纪要。这4家券商的年度研报总数都不及1000份。

若将研报总数筛选条件设为1000份以上，则分析师人均研报数量排名第一的即长江证券，66人的研究团队平均每人撰写138.5份报告，合计9143份，称得上最勤奋的券商研究所。长江证券研究所对外的宣传语为：有些路，无关捷径，尊崇内心的方向；有些人，未赋异禀，执着普通的劳作；恪守专业，勤勉不逾，九载如一日。可谓名副其实。

按条件筛选后，还有37家证券公司上榜，分析师人均参与研报撰写的数量都达到2位数。华金证券、华泰证券、海通证券、西南证券和中泰证券排名居前，人均研报数量在70份以上。

“研报脱水”一览

不过，机构研报的产量高企并不一定能够保证报告的质量，有一部分报告可能存在“水分”。在此，简单定义“深度研究报告”进行筛选，仅从每篇报告的页数来看，去掉首页的概述、一页的目录和尾页的声明，即正文在10页及以上的报告，再去除晨会纪要和早间资讯这两个分类进行考察。（定义仅供参考和筛选使用）

2016年，340家机构合计发布“深度报告”52548份，占研报总数的比例约19.9%。其中，正文内容在10-20页的深度报告近38000份，占比72.16%，21-30页的超过9000份，约17.24%；30页以上的报告数量占极少数比例。

比较有趣的是，2016年共有248份深度报告正文内容超过100页，最长的研报来自瑞银证券，去年11月21日发布，标题为《ChinaA-shareThesisMapCompendium》（A股全景透视展望）的报告总页数高达648页。

券商方面，83家证券公司共计37575份，占券商研报总数的比例约26.6%。长江证券、海通证券和兴业证券的深度报告数量位居前3，年度数量均超过2000份，而报告总数第一的中金公司以1889份排名第4。当年，深度报告数量超过1000份的共15家，即这些券商每个交易日就有4份正文10页以上的研报出炉。

从券商深度研报的占比来看，东兴证券、渤海证券和信达证券在总体报告数量大于1000份的情况下，深度研报比例达到40%以上。与之相对的是，国信证券、中金公司和东吴证券的比例不到20%。人均深度研报方面，长江证券和华金证券居前，人均撰写超过30份，共26家券商人均数量大于10份。

分析师篇

2016年，全市场发布研报并署名的机构分析师（或团队）共7918位，有5609人次一年参与撰写报告数量在50份以下，撰写50-100份的有983位，100-250份的有990位，250份以上的共336位，即他们平均每个交易日就能够参与并完成1份研究报告。

十大高产分析师

在这些署名分析师中，来自中信期货的王聪颖和王燕2016年撰写的研报数量最多，达到1216份，是市场全机构中最高产的分析师。此二人属同一团队，领域为商品期货中的农产品研究，包括策略日报和策略周报。由于涉及品种较多，呈现出高产的特征，按250个交易日来计，日均撰写近4.9份报告。

来自广证恒生投资咨询的苏培海，2016年撰写研报1072份，其研报类型涉及广泛，多产的是投资策略大类，以市场分析、要闻点评及个股投资推荐为主，也包含常规融资融券和资金流向报告，从个人署名的角度而言，他是除券商、期货的其他机构中最高产作者。

海通证券钟奇在国内券商分析师中参与撰写的研报数量最多，署名发布总数1047份。作为一名行业研究员，其曾获新财富有色金属分析师第一名和传播与文化分析师第三名。他发布的报告类型自然以行业研究为主，行业周报和行业动态评论居多，可谓最高产的证券分析师，团队成员还包括施毅和郝艳辉。

排名第四的是长江证券的王鹤涛，2016年研报数量也超过1000份，曾获新财富钢铁行业分析师第一名，除了行业分析报告外，也涉及钢铁公司的财报点评与分析研究，其团队成员还包括肖勇。

兴业证券的任瞳，作为一名金融工程分析师，其曾获新财富该领域第五名的荣誉，在相对小众的投研领域，其团队研报产量亦十分惊人，达到1018份，以金融工程和期权研究报告为主，当年基金投资策略也超过百份。

第六名为信达期货的吕洁，研究领域涵盖商品期货（上期所金属产品）、股指期货和国债期货，后两者报告为主，多为早报、资讯和事件分析评论。

第七名来自中信期货的林菁、童长征团队，研报领域为期货研究中的能源化工产品方向，前10榜单中中信期货占2席，该机构期货行业的投研实力可见一斑，团队成员还有沈利萍。

第八名是香港辉立证券的FrankieWong，对于内地投资者来说，其报告多为外文报告，研究方向为美股和港股上市公司，包含基本面及技术面点评分析，是海外机构中研报产量最高的分析师。

第九名来自华泰证券的陈雳，从事钢铁、有色金属和化石能源行业的研究分析，以行业日报与行业周报为主。前10榜单中，券商行研领域有3席，该研究方向所需付出足见不一般。

第十名的团队较为特别，署名为招商银行的财富管理室，是商业银行向客户提供的财富管理咨询报告，以股票市场、债券市场和基金市场的投资策略为主，内容的研究深度相对有限，但数量较高，也是为数不多的非传统投研机构。

高产券商分析师

国内证券公司方面，还有6位分析师（或团队）2016年度撰写研报数量较多，达到700份以上。第五名是来自东兴证券的杨若木，以行业研究为主，负责近半数行业的定期报告及策略研究，附带业内上市公司的业绩点评；同时，还参与新三板市场研究及个股分析。

4月6日，专注于中国互联网领域大数据分析的权威机构易观，正式对外发布《中国移动直播行业年度综合分析2017》报告。报告通过易观千帆所监测统计的各直播平台数据，针对直播行业市场发展概况、竞争分析、用户分析、发展趋势四个维度，全面揭示了中国移动直播行业的整体发展脉络与走向。值得注意的是，报告中一直播以20.36%的移动全网用户渗透率排名榜首，成为中国最大的泛娱乐直播平台。

一直播移动全网用户渗透率排名第一 确立领军地位

2016年是直播元年，随着资本和巨头的纷纷入场，直播市场体量骤增，移动直播应用如雨后春笋般出现，形成百播大战的局面。一直播联合新浪微博于16年5月入局直播领域，贾乃亮出任首席创意官，并通过明星直播，公益直播等汇聚流量，持续进行品牌曝光，压倒性的明星资源优势助推一直播迅速突围。

根据易观报告数据显示，一直播以20.36%的移动全网用户渗透率排名第一，映客、YY、花椒分别以15.03%、12.86%、8.83%的全网用户渗透率分列二、三、四位。经过近一年的高速发展，一直播成为中国最大的泛娱乐直播平台，正式确立了移动直播行业领军者地位。

直播受资本持续看好，“3+1”联合体凸显一直播优势

一直播凭借母公司一下科技旗下产品秒拍、小咖秀及与新浪微博的深度战略合作，形成“3+1”移动视频生态联合体。一直播所在的一下科技移动视频矩阵，解决了单一短视频平台难以获取用户并实时互动的痛点。秒拍、小咖秀和一直播，通过用户兴趣和行为进行有机串联， 分别满足用户观看、创作、实时沟通等全方面需求;与新浪微博的深度合作则为三大产品内容补充提供了天然载体和传播通道。基于此，一下科技的生态布局赢得资本青睐，在2016年拿到多家知名资本的5亿美元E轮融资。

而“3+1”移动视频生态联合体还为一直播带来了众多独家优势。首先，一直播与新浪微博形成排他性战略合作，一直播SDK内嵌微博，与新浪微博100%数据互通，共享新浪微博庞大流量；其次，一直播导入用户基于微博的网络社交关系，避免主播重新建立粉丝社交关系；第三，一直播平台入驻千余位明星、过万名头部达人和垂直大V，是头部主播最庞大的直播平台。这些优势头部资源，发挥着吸引粉丝导流和生产优质直播内容的双重作用。第四，独有媒体机构和政务部门官微纷纷开通直播，与人民日报、新浪微博联合推出“人民直播“，获主流媒体认可 。平台调性积极正能量。

一直播打响内容战打造多维共生综合性内容直播平台

根据易观报告数据显示，娱乐直播用户增长总体态势进入平缓期，行业竞争从用户覆盖向平台粘性、用户活跃度转移。如何提升、保持高粘性、高活跃度？一直播将目光聚焦在直播内容上，开启内容战略，打造多维共生的综合性内容直播平台。

一直播凭借强大的明星资源与娱乐聚合能力，众多明星选择一直播平台作为互动、宣传的窗口。2016年一直播上线之初，接连7场的宋仲基全国粉丝见面会的独家直播让一直播迅速为人所知。此外，一直播首开公益直播先河，通过“公益+明星+直播”的形式为慈善活动带来极大的关注度，“爱心一碗饭”活动首开公益直播先河，募集善款超过147万元。一直播凭借“画出生命线”再度开启公益直播，累计收到打赏金币数1.447亿，合人民币144.7万元。

上线之初，明星的带动为一直播带来巨大流量，为进一步提高平台粘度及活跃度，一直播从去年开始持续深耕垂直类直播内容，通过一系列举措促进平台上优质直播内容的产出。一直播发布行业首份直播内容榜单，以科学计算方法计算内容指数，对平台上直播内容进行排名，为直播内容创作者提供指导性意见。此外，一直播于近日推出“一直播栏目培育计划”，一直播将为栏目方提供单期30万的直播资源主推商业化；还会每月推出榜单以规范栏目商业化价值；同时会把价值3亿的流量资源导入到直播栏目培育成长。

此外，媒体机构和政务部门官微纷纷开通直播，通过一直播进行新闻报道、政务公开、交通动态等。一直播与人民日报、新浪微博合作打造“人民直播”，获主流媒体认可。截至目前，一直播已经吸引了超1万家主流媒体、自媒体、行业KOL入驻，一直播使新闻报道实现了直播常态化，也将政务通过直播的方式公开透明的展示在大众面前。

标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。