大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。

本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。

为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职位角色。

我尽量详细地回答了每一项人们在学习大数据过程中遇到或可能会遇到的问题。为帮助你根据兴趣选择发展途径，我添加了一组树图，相信会对你找到正确的途径有所帮助。

注释：学习之路树状图

在这个树状图的帮助下，你可以根据你的兴趣和目标选择路径。 然后，你可以开始学习大数据的旅程了。 后台回复“职业路径”3个字，下载高清版本。

目录表

1.如何开始？

2.在大数据领域有哪些职位需求？

3.你的领域是什么，适合什么方向？

4.勾勒你在大数据领域的角色

5.如何成为一名大数据工程师？

o什么是大数据行业术语？

o你需要了解的系统和结构

o学习去设计解决方案并且学习相关技术

6.大数据学习路径

7.资源

1.如何开始？

人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和MapReduce计算框架组成的，他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性，因此成为最近流行的海量数据处理框架。hadoop这个单词来源于其发明者的儿子为一个玩具大象起的名字。）, 分布式计算，Kafka（Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统）,NoSQL（泛指非关系型的数据库）还是Spark（Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处）？”

而我通常只有一个答案：“这取决于你究竟想做什么。”

因此，让我们用一种有条理的方式来解决这个问题。我们将一步步地探索这条学习之路。

2. 在大数据行业有哪些职业需求？

在大数据行业中有很多领域。通常来说它们可以被分为两类：

大数据工程大数据分析这些领域互相独立又互相关联。

大数据工程涉及大量数据的设计，部署，获取以及维护（保存）。大数据工程师需要去设计和部署这样一个系统，使相关数据能面向不同的消费者及内部应用。

而大数据分析的工作则是利用大数据工程师设计的系统所提供的大量数据。大数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。

因此，简而言之，大数据分析是对数据的高级计算。而大数据工程则是进行系统设计、部署以及计算运行平台的顶层构建。

3.你的领域是什么，适合什么方向？

现在我们已经了解了行业中可供选择的职业种类，让我们想办法来确定哪个领域适合你。这样，我们才能确定你在这个行业中的位置。

通常来说，基于你的教育背景和行业经验我们可以进行如下分类：

教育背景（包括兴趣，而不一定与你的大学教育有关）

计算机科学数学行业经验新人数据学家计算机工程师（在数据相关领域工作）因此，通过上面的分类，你可以把自己的领域定位如下：

例1：“我是一名计算机科学毕业生，不过没有坚实的数学技巧。”

你对计算机科学或者数学有兴趣，但是之前没有相关经验，你将被定义为一个新人。

例2：“我是一个计算机科学毕业生，目前正从事数据库开发工作。”

你的兴趣在计算机科学方向，你适合计算机工程师（数据相关工程）的角色。

例3：“我正作为数据科学家从事统计工作。”

你对数学领域有兴趣，适合数据科学家的职业角色。

因此，参照着定位你的领域吧。

（此处定义的领域对你确定在大数据行业的学习路径至关重要。）

4.根据领域规划你的角色

现在你已经确定了你的领域，下一步，让我们规划出你要努力的目标职位吧。

如果你有卓越的编程技巧并理解计算机如何在网络（基础）上运作，而你对数学和统计学毫无兴趣，在这种情况下，你应该朝着大数据工程职位努力。

如果你擅长编程同时有数学或者统计学的教育背景或兴趣，你应该朝着大数据分析师职位努力。

5.如何成为一名大数据工程师

让我们先定义一下，一名受到行业承认的大数据工程师都需要学习和了解什么。首先以及最重要的一步是确认你的需求。你不能在不清楚个人需求的情况下直接开始学习大数据。否则，你将一直盲人摸象。

为了明确你的需求，你必须了解常用的大数据术语。所以让我们来看一下大数据到底意味着什么？

5.1 大数据术语

大数据工程通常包括两个方面 – 数据需求以及处理需求。

5.1.1 数据需求术语

结构：你应该知道数据可以储存在表中或者文件中。储存在一个预定义的数据模型（即拥有架构）中的数据称为结构化数据。如果数据储存在文件中且没有预定义模型，则称为非结构化数据。（种类：结构化/非结构化）。

容量：我们用容量来定义数据的数量。（种类：S/M/L/XL/XXL/流）

Sink吞吐量：用系统所能接受的数据率来定义Sink吞吐量。（种类：H/M/L）

源吞吐量：定义为数据更新和转化进入系统的速度。（种类：H/M/L）

5.1.2 处理需求术语

查询时间：系统查询所需时间。（种类：长/中/短）

处理时间：处理数据所需时间。（种类：长/中/短）

精度：数据处理的精确度。（种类：准确/大约）

5.2 你需要知道的系统和架构

情节1的解决方案：销售数据池

（这是我的个人解决方案，如果你想到一个更高明的解决方案请在下面分享一下）

那么，一个数据工程师会怎样解决这个问题呢？

需要记住的一点是，大数据系统的目的不仅仅是无缝整合各种来源的数据，而使其可用，同时它必须能使得，用于开发应用系统的数据的分析和利用变得简单迅速和易得（在这个案例中是智能控制面板）。

定义最后的目标：

1. 通过整合各种来源的数据创建一个数据池。

2. 每隔一定时间自动更新数据（在这个案例中可能是一周一次）。

3. 可用于分析的数据（在记录时间内，甚至可能是每天）

4. 易得的架构和无缝部署的分析控制面板。

既然我们知道了我们最后的目标，让我们尽量用正式术语制定我们的要求吧。

5.3.1 数据相关要求

结构：大部分数据是结构化的，并具有一个定义了的数据模型。但数据源如网络日志，客户互动/呼叫中心数据，销售目录中的图像数据，产品广告数据等是非结构化的。 图像和多媒体广告数据的可用性和要求可能取决于各个公司。

结论：结构化和非结构化数据

大小：L或XL（选择Hadoop）

Sink 吞吐量：高

质量：中等（Hadoop＆Kafka）

完整性：不完整

5.3.2 处理相关要求

查询时间：中至长

处理时间：中至短

精度：准确

随着多个数据源的集成，重要的是要注意不同的数据将以不同的速率进入系统。 例如，网络日志可用高颗粒度连续流进入系统。

基于上述我们对系统要求的分析，我们可以推荐以下大数据体系。

6.大数据学习路径

现在，你已经对大数据行业，大数据从业人员的不同角色和要求有所了解。 我们来看看你应该遵循哪条路来成为一名大数据工程师。

我们知道大数据领域充斥着多种技术。 因此，你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同，如数据科学和机器学习中，你可以从某些地方开始并努力完成这一领域内的所有工作。

下面你会发现一个你应该通过的树状图，以找到你自己的路。即使树状图中的一些技术被指向是数据科学家的强项，但是如果你走上一条路，知道所有的技术直到“树叶节点”总是很好的。 该树状图源自lambda架构范例。

任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适。这是处理大数据的基本要求。

核心是，大部分大数据技术都是用Java或Scala编写的。但是别担心，如果你不想用这些语言编写代码，那么你可以选择Python或者R，因为大部分的大数据技术现在都支持Python和R。

因此，你可以从上述任何一种语言开始。 我建议选择Python或Java。

接下来，你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据，没有人会认真对待。 请尝试在AWS，softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次，让学生练习。如果你想的话，你可以暂时跳过此步骤，但请务必在进行任何面试之前在云端工作。

接下来，你需要了解一个分布式文件系统。最流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库，以便根据你感兴趣的领域进行学习。

好了，今天的知识就分享到这里，欢迎关注爱编程的南风，私信关键词：大数据 ，获取更多学习大数据的资源，如果文章对你有有帮助，

请收藏关注，在今后与你分享更多学习大数据的文章。同时欢迎在下面评论区留言如何学习大数据。

我们正处在互联网高速发展的阶段，快节奏的今天，越来越多企业需要的是能够为其带来直接价值的东西，往往会忽略数据和报告给企业带来的实际价值。事实上一份有效的大数据分析报告能够对企业产生很大的价值。

大数据分析报告的价值

1. 了解客户

大数据可以把我们的触角深入到某个社区、某类人群、某种具体的产品，来了解他们的真实情况；

2. 了解自身

大数据不仅是面向客户，同样也能面向企业自己。自身的产品生产流程、产品特点的定位、产品布局，这些都可以借助大数据进行更好地调整。也许只是将两个步骤调换顺序，可最后的效果却是天翻地覆。

3. 做好运营

大数据在广告运营方面有着十分强大的作用。通过大数据的相关性分析，根据不同品牌市场数据之间的交叉、重合，企业的运营方向将会变得直观而且容易识别，在品牌推广、区位选择、战略规划方面将做到更有把握地面对。

4. 开展服务

企业可以借助社交媒体中公开的海量数据，通过大数据信息交叉验证技术、分析数据内容之间的关联度等，进而面向社会化用户开展精细化服务，提供更多便利、产生更大价值。

也就是说，真正有价值的大数据分析报告能够在中宏观规划、微观/细分市场分析、方案执行和策略部署等方方面面为企业带来价值。

那么大数据报告怎么做？

1. 要有一个好的框架

跟盖房子一样，好的分析肯定是有基础有层次，有基础坚实，并且层次明了才能让阅读者一目了然，架构清晰、主次分明才能让别人容易读懂，这样才让人有读下去的欲望。

2. 数据获取

有了具体的问题，你就需要获取相关的数据了。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。好的分析一定要基于可靠的数据源。在正确的数据基础上做分析，才能找到正确的结论。

其次，就是对数据采集的对象、过程和处理方法进行评估，看数据是否具有时效性、代表性。

3. 数据预处理

现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据分析，或分析结果差强人意。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。把这些影响分析的数据处理好，才能获得更加精确地分析结果。

4. 数据分析

在数据分析前，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。

5. 分析报告

这时候展现出了数据分析师的表达能力，如何深入浅出的讲述自己的报表，是自己数据分析是否落地的核心。

在企业中，数据分析师的角色十分重要。没有数据指引的企业犹如没头苍蝇到处乱飞。

如何成为一名数据分析师？

上海数据分析网当前我国数据分析师由中国商业联合会数据分析专业委员会以及工信部教育考试中心共同考核认证。通过培训考核，工信部教育考试中心颁发《数据分析师职业技术证书》，数据分析行业协会颁发《数据分析师证书》，此证书是申请成立数据分析事务所的必备条件之一。

CPDA至今已走过14个年头，目前，全国已培养两万多名持证人员，分别在专业事务所以及数据分析相关行业工作，待遇丰厚，前景明朗。

数据分析师课程架构

课程特色

线上-线下相结合的教学方式

CPDA数据分析师培训采用面授课程加远程学习相结合的方式。面授课程主要侧重于实际应用，集中利用每周六、日上课，共计8天48课时，采用案例教学、互动教学、头脑风暴、深度讨论相结合和方式全面讲解数据分析知识。

远程学习为一年期的网络辅助教学，包括课前知识准备、课堂学习课件、模拟考题、在线答疑及案例实解等内容。

强大师资团队

作为由中国商业联合会数据分析专业委员会、工业和信息化部教育与考试中心在上海唯一的授权管理中心，秉承着对每一位学员负责的态度，我们聘请了专业的数据分析教师团队，带你挖掘数据深处的秘密，大数据大有可为！

最权威的认证

一年四次认证考试，通过后颁发双项认证：

1、中国商业联合会数据分析专业委员会颁发《数据分析师证书》，是将来进入数据分析师事务所工作的前提，唯一的行业从业证书。

2、工业和信息化部教育与考试中心颁发《数据分析师职业技术证书》，在工信部官网可直接查询。

课程体系

第七次课改后采用全新教材，课程内容涉及到数据分析基础、市场营销、战略管理及供应链管理等多方面知识。为此，我们推出了新型课程体系！

身处传统行业，数据分析的工作可能会无所适从。我们既没有互联网行业强大的数据驱动基因，甚至都没有大企业完善的信息基础和数据环境。个人不论是数据分析师和DBA，成长都有所局限。

数据分析很火，懂行的都深知数据对于业务，对于企业生产经营的重要性。但是没有数据、数据不完整、业务不重视、数据分析沦为取数和报表制作......这些问题都阻挠着数据行业的发展，也影响个人自身。

关于企业的数据分析，如何从0——1着手分析工作？这里想分享一个来自我们客户“小唐”的真实故事，没有鸡汤，只有浓浓的方法论值得借鉴。

小唐就职于一家股份制银行A，近两年由于银行改制，A银行开始逐渐重视银行信息化的提升，以及数据分析的应用，小唐在对公业务一线做过2年，被委派到的数据部门做业务分析。

委派到新部门的小唐负责对公业务，需要对下属一级支行南京支行的业务做针对性分析：风险预估、坏账分析、创新业务跟踪。

从存款金额和贷款金额入手，分析该支行总体的经营状况；想了解存款和贷款主体业务的状况，尤其是坏账的风险；想了解下属各二级机构的经营状况；下属二级支行瑞金支行是新增的二级试点支行，投放了许多创新业务，想在分析过程中对该二级支行加强关注；

小唐是怎么做的呢？

分析过程

业务分析需要借助良好的分析工具，且考虑到上层战略的需要，此项业务分析不仅仅是单一问题的解决，而是需要长期监控的，给部门业务经理监控的。基于这样的场景，小唐需要一个自住性较强、易操作、能实时同步数据、且具有协同功能的数据工具，自然而然的想到了商业智能BI工具FineBI，开展了分析工作，从0-1进行数据分析搭建业务分析模型的工作。

1、提出问题/需求

即最原始的问题/需求。

领导提出“小唐啊，我想看一看部门最近的业绩怎么样？”或者自己发现“最近XX产品的推出好像在市场受到了阻碍，想看看原因在哪”，这都是最原始的问题/需求。这部分问题/需求不直接涉及业务数据，但是和目标“解决问题，提高效益”直接相关，最表象也是大家最关心的事情。

2、明确问题/需求

上面提出的问题/需求，不管是领导提出还是自己的诉求，都比较宽泛，如果想要通过数据分析解决问题/需求，自然而然地，需要把问题/需求往数据上靠，用我们的业务去明确问题/需求。可以分成两个步骤：

①用我们熟悉的业务名词精简描述

②化零为整。

（1）从存款金额和贷款金额入手，分析该支行总体的经营状况——存款金额、贷款金额→日期即研究不同日期下支行的存款金额和贷款金额。（2）想了解存款和贷款主体业务的状况，尤其是坏账的风险——存款类型、贷款类型，不良贷款额即研究不同业务类型的存款金额和贷款金额的情况，尤其是五级不良贷款。（3）想了解下属各二级机构的经营状况——机构即研究不同机构的存款金额和贷款金额的情况。（4）下属二级支行瑞金支行是新增的二级试点支行，投放了许多创新业务，想在分析过程中对该二级支行加强关注；即研究单一机构的存款金额和贷款金额的情况。

这样，通过用熟悉的业务名词去明确我们的需求，就变得十分具体，数据分析的切入点就有了突破口。但是这样的描述还是比较零散而且互有重叠，通过化零为整，整合一下我们的需求，即“研究不同时间不同机构不同存款类型/贷款类型下的存款金额/贷款金额”。

3、梳理指标

对于“不同时间不同机构不同存款类型/贷款类型下的存款金额/贷款金额”这一明确需求，将相关涉及的所有指标进行进一步梳理，可以先用我们最熟悉的明细表做一个展示，对数据能够有一个非常直观的感知。

4、搭建业务包（指标分类）

根据分析思路框架，利用FineBI数据分类的功能来针对性地搭建业务包。

由于存款类型、贷款类型和贷款质量是三个接近平行的维度，互相之间不干扰，所以我们可以设计三条平行线，分别来看各日期机构下的存款类型、贷款类型、贷款质量的情况，并搭建以下业务包：

三张事实表（存款数据事实表、贷款数据事实表、不良贷款数据实施表）三张维度表（机构维度表、贷款类型维度表和存款类型维度表），并建立和业务关联。

5-6、 自助创建仪表板-分析决策

创建仪表板的过程，实际上是将我们的分析思路以各种指标和图表具象化的过程，是数据分析思维的具体体现，所以做仪表板和分析决策是不能够分开的。这也就决定了创建仪表板的时候，我们需要掌握两个步骤，一是用常用的分析形式和分析指标结合需求落地，二是用分析决策检验和完善我们的仪表板。

以各日期机构下的存款类型情况进行分析为例，即存款分析为例，先用我们常用的分析形式和分析指标结合需求落地。在这里只需要控制单一变量：

a. 固定机构，分析它的日期维度。常见对日期进行分析方法有

趋势分析对比分析（比昨日、比上月、比年初、同比）

当然还有一些其它的业务分析形式，我们都可以进行尝试。在进行数据分析的时候，我们应该养成看到时间维度就能立马复现出这些分析方法的习惯，不管不是所有对日期进行分析的方法都应该囫囵吞枣，但是把每个分析方法都过一遍是十分有利于我们的思考过程，从而甄别出适合出当前分析的分析形式和指标。

先对日期进行趋势分析。研究存款总额、对公存款和对私存款的时间变化趋势。而历史数据对于当前的业务影响小，我们更关心近期的数据走势，因此可以过滤出最近10天的数据。

可以看出南京支行的主体存款业务是由对公存款组成，因此存款总额的变化趋势几乎只受到对公存款业务的影响；对公存款是处于起伏不定的状态，处于停滞不增长的状态，而对私业务乍看也是处于一条水平线，没有什么起伏，然而，当我们取消关注对公存款和存款总额的时候，可以发现对私业务的存款总额竟然是下降的。

综上，我们发现，最近该支行的总体存款业务是下降的，对公业务没有什么增长，对私业务虽然体量相对较小，但是呈下降趋势，发展出现问题。因此我们可能需要对该机构的存款业务进行重要调整，想办法推进对公业务的继续增长，考虑改变对私业务的推广策略或者放弃相对该支行来说比较鸡肋的对私存款业务。

同样地，对日期继续进行对比分析，研究比昨日、比上月、比年初、同比的对比情况。

将当日的营业额度和历史同期比较是非常有说服力的，也可能更能反映时间的周期性问题。可以发现，对公业务和对私业务尽管在近期的发展态势一般，但是较历史同期而言，都几乎有着成倍的增长。

这说明，过去的经营策略确实取得了巨大的成效，但是可能由于市场饱和或者过去的经营策略所能取得的成效已经饱和，导致了近期的业务增长一般。说明，对于现在支行的发展，可能到达了一个瓶颈，需要对经营的策略进行重大调整，以适应现在的业务情况。

b. 固定时间，分析它的机构维度。常见对机构进行分析方法有：

排名分析比例分析机构分析穿透分析指标（平均值）

同样地，我们只需要将这些分析方法逐一套用，最后结合我们实际的业务需求，选择出合适的分析形式和指标。

这里对最常用的排名分析和机构分析进行一个介绍。这里由于存款总额是每天累计汇总的，因此关注当天具体的额度变化情况更加有意义。

可以看到各机构存款总额较上日增幅的排名；对于增幅靠前的机构，可以研究具体这些机构的业务策略进行推广，而对于存款净增额落后的机构单位，一般我们都比较关注在平均值以下的机构，可以进行标红处理做警示作用，同时对于尤其关注的某些特别支行，如瑞金二级支行，可以进行特别关注处理。同样的分析还能用于产品类别、产品、供应商等品类。

穿透分析、比例分析的落地过程我们略去。这样将我们熟悉和常见的分析形式和指标，结合分析决策的过程去套用，创建我们所需要的仪表板，很快就可以做出以下存款分析报表。

贷款分析和不良贷款分析，我们也同样地按着存款分析的分析思路过程进行落地。FineBI有一个比较方便的功能，可以直接将模板复用，然后简单地替换成贷款分析和不良贷款分析的各个指标，就快速生成了对应的分析模型。

分析总结

在从无到有搭建完业务模型之后，一定要对我们形成的分析模型进行总结，沉淀成为企业内部的指标库，这部分是我们数据分析最终沉淀的内核。

同时，在进行数据分析时，小唐给了大家两个非常受用的小贴士：

1、自主分析是个反复尝试的过程，实际上也是思维不断突破的过程。需要养成良好的设计习惯，用常见维分析形式和分析指标去落地，不要希望每次都能一步到位精准反映业务问题，需要踏实做好数据分析，用实际问题来改进分析模型。

2、不要企图用一张报表解决所有问题 。往往需要制作多张报表来分析发现问题，需要建立系统性，同时也鼓励多部门对于同一类需求/问题进行分析，可以对结论形成互补。

文 | 帆软数据应用研究院 船长

数据分析就近几年看来，越来越有一种像通用技能发展的趋势，从生产、研发、市场、销售到运营，多多少会存在数据分析的需求。

关于数据分析，网络上有不少分析报告案例，但细细读来，好多都缺少辨证，逻辑不严谨，又或者分析得浅尝辄止。恰逢最近读了《大数据分析的道与术》，是一套很完整的理论书籍，结合自己多年的数据从业经验，积累了一些心得，想与大家分享。

作为一个唯物主义者，做事总是爱讲方法论。曾经“农村包围城市，武装夺取政权”作为方法论的代名词，总是挂在嘴边。那么数据分析工作，方法论是什么呢？是“先道后术，以道驭术”，也就是先了解数据分析的核心原则，再掌握数据分析的一些关键技术。

什么是数据分析？

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。其实简单理解，数据分析本身就是“数据”和“分析”两块工作。一方面是采集、加工、整理数据，另一方面是结合数据背景分析数据，从中提取出对业务有帮助的结论。

数据分析的成果通常是数据分析报告

。常见的就是带图、表的PPT、PDF文件，也有一些Web版的图表系统（有兴趣的，可以在应用商店搜索“数据分析”，有各类演示系统可以体验）。对于数据分析报告，类似议论文，分析是论点，数据就是论据。

数据分析有什么用呢？这个经常被问到，尤其当一篇花里胡哨的报告在网上发布，就有人说报告没用，顺带着撇一嘴数据分析也没用。

数据分析对企业的巨大价值体现在业务发展的前期（探索期）或阶段性改进期（颠覆期）。当探索和变革业务时，企业需要数据分析去明确业务中的问题、机遇及解决方案。企业最大的成本是决策成本，而数据分析是提高企业决策能力的关键；当业务模式相对成熟时，企业则需要数据建模来提升业务效率，减少运营成本等。

那，数据分析又有哪些普遍又典型的应用场景呢？笔者经验，主要是三个：掌握业务状态、分析业务潜力、评估业务进展。

场景-掌握业务状态

：我们需要通过对核心指标进行监控、解读和分析，掌握业务经营状况。比如某日销量出现异常波动，需要数据分析来定位原因。（产品A本周销量异常上涨10%，是什么原因？怎么分析？）在比如月末、季末部门做关键业务指标总结，并做业务发展趋势分析等。（本季度的关键数据指标如何？各项业务进展如何？都有哪些积极消极因素，具体多大影响，下个月、下个季度业务则呢么发展？）譬如下方用finereport搭建的数据平台，统计监测的业务数据。按照制定的业务分析规则展示，可以清晰地看到哪个环节出错。

销售额分析

销售团队分析

销售指标追踪

场景-分析业务潜力

：产品当前的主要问题是什么？下一步的发展潜力在哪里？从数据中挖掘问题原因并提出对策，指明产品的下一步改进方向。比如商品B近3个月流失了1000个会员，原因是什么（分析原因）？如何减少会员流失（找对策）？

场景-评估业务进展

：新上线的产品策略或新推进的运营活动，带来了多少业绩提升？项目的覆盖面和影响面如何？其中存在怎样的问题，如何进一步优化等等。比如针对部分客户，设计全新的促销策略，在本月执行后，如何评价促销策略带来的业绩提升？是否目标客户群比上个月购买额增长可以作为促销策略的成果？

既然数据分析有如此之多的应用场景和使用价值，那么怎么才能做好数据分析呢？只能说，太难，既需要工具技巧的掌握，又要有能明察秋毫洞若观火的业务经验。但相比而言，个人觉得后者更为重要，就像如果只知道方法论，但没有对业务的理解，如何实行的套路，数据分析只会浮于表面，既不能挖掘问题原因，也不能提供解决方案。

做好数据分析，不谈技术，先认清以下4个关键。

1、业务调研：理解业务是基础，否则分析是无本之木，甚至是个人意淫。

2、创新思考：广阔的知识面和积极的思考，是分析思路的源泉，数据分析的创新思考，实质上就是从更多的思路进行分析，找出最合理的思路。

3、逻辑推理：对数据指标作出正确的归因分析和判断。

4、可行建议：产生对业务切实有效的改进建议和执行方案。

“业务调研”是数据分析的起点，也是获取分析思路的基础，但是需要兼具深度和广度的“创新思考”，才能获取更独到的分析思路。分析思路也可以认为是统计数据的角度，完成数据统计后，需要“逻辑推理”来保证从数据到结论判断的正确性。最后，用“可行建议”来保证分析结论的落地执行，产生可量化的业绩。这就是数据分析从业务中来，回到业务中取得完成过程。

本文是笔者《大数据分析道与术》读书笔记第1篇，浅述了一下。下周将结合自身经验，对业务调研、创新思考、逻辑推理、可行建议逐一做解读分析。

文 |

帆软数据应用研究院

船长

运营分很多类，流量运营、用户运营、内容运营…每一个环节都有特别关注的数据和指标。以分析体系最为复杂的互联网电商公司为例，来逐一分解，哪些数据需要分析，怎样分析，分析的价值是什么。

电商类公司的收入是由一个个订单堆出来，由用户购买相关的商品或服务产生，可以说用户和商品或服务为订单的两大基本元素，公司收入下降、增长、异常最终都可以追踪到用户与商品这两大元素上。这样我们将收入相关的数据拆解为三大类：用户、商品和订单。

一、运营模块

从用户的消费流程来看，可以划分为引流-转化-消费-存留。我们一般将用户分为新老用户，无论新老用户，都会关注两块内容，一个是引流（拉新），一个是转化，最终以数据的形式体现出来，就是流量与转化率。

引流

通过分析PV、UV、访问次数、平均访问深度、跳出率等数据来衡量流量质量优劣。目的是保证流量的稳定性，并通过调整，尝试提高流量。

进一步，按照流量结构还可分为渠道结构、业务结构、地区结构。

在渠道中，流量可来自于自主访问、搜索引擎、淘宝付费、京东付费等等。按设备可分为PC渠道和APP渠道；按照付费与否可分为免费流量和付费流量。有人会通过渠道流量占比来分析各渠道的质量。下面的折线图可以对各渠道的流量情况进行追踪，分析占比不合理是短期内出现的，还是长期存在的，辅助问题的分析。仅仅根据流量情况来衡量质量是不全面的，需要配合转化率和roi。

按地区划分，这个很好理解。按照业务结构，最典型的比如举办一场活动，例如双十一，可定要对活动的流量追踪。观察活动前、活动中、活动后的变化情况，评估活动效果。

转化

完成引流工作后，下一步需要考虑转化，这中间需要经历浏览页面->注册成为用户->登陆->添加购物车->下单->付款->完成交易。每一个环节中都会有用户流失，提高各个环节的转化率，是这一块工作的最核心，转化率的提升，意味着更低的成本，更高的利润。

留存

通过各个渠道或者活动把用户吸引过来，但是过一段时间就会有用户流失走掉，当然也会有一部分用户留下来，留下来这部分用户就叫做留存用户。关于留存，这里要关注的就是日活和留存率。

复购

有调查数据显示，一个满意的用户会带来8笔潜在生意，不满意的用户可能会影响25个人的购买意愿，可见回头客多么重要。

复购率可以分为“用户复购率”和“订单复购率”，此外，“用户回购率”意义与复购率相似，也在此范围内。

流失

流失是无法避免的，但也有可以挽留的。

流失可以分为

刚性流失：可以进一步分为新用户水土不服型和老用户兴趣转移型，这部分流失用户是无法挽留的，缘尽于此，花再多的钱也没什么用。体验流失：可能是应用体验、服务体验、交易体验、商品体验等等，总之就是在使用产品\服务的过程中，感到了一丝不爽，正所谓一言不合就流失。竞争流失：也就是用户已经转粉了。可能是竞争对手的体验更好，可能竞争对手推出了什么优惠的政策。我们也需要抓住行业的动态，针对竞争对手的抢粉行为做出相应的行动。关于流失的定义，各公司定义不同，可能是7天内没有登陆行为，也可以是几个月之内没有交易行为。（回流率＝时间周期内流失的再回访的人数/时间周期内流失的人数）

关于流失的常规数据监控，一般都是和存留一起的，本身两者也是分不开的。单独针对流失的，最多看到如下图样式的监控：

再者，流失率结合存留率也可以评估渠道的价值。

二、销售模块

1、指标跟踪：销售模块中有大量的指标，包括同环比、完成率、销售排行、重点商品占比、平台占比等等，可以从人、货、场三个视角进行分析跟踪。

2、店铺分析：具有小b级用户，或者入驻平台式，需要针对各店铺经营指标进行分析，包括各店铺效率指标、完成率指标、业绩指标、客单价等，实现店铺价值评定分析。

3、销售活动管理：线上销售中，活动是非常重要的一块，从事前、事中、事后三个层面实现销售活动的闭环分析，其中包括事前投入分析、目标预测；事中用户参与度、客流分析、销售单分析；事后目标完成情况、活动对比、费销比、活动衰减度、活动爆发度等。

三、商品模块

1、采购管理：包括供应商数据分析、采购匹配度分析等。

2、供应链环节管理：供应链服务情况分析（响应周期、交货及时率、订单执行率）、管理指标分析（物资成本占比、客户投诉率等）。

3、库存管理：商品库存天数、存销比、有效库存比、库存周转率等数据分析。

4、重要指标分析：分析包括货龄、动销率、缺货率、结构指标、价格体系、关联分析、、畅滞销等分析指标，评判商品价值，辅助调整商品策略。

5、异常商品分析：包括对退货率、残损率、异常商品等数据进行分析，发现异常商品，及时处理。

四、用户模块

1、重点指标分析：包括新增用户数、增长率、流失率、有效会员占比、存留率情况等。

2、用户价值分析：根据rfm模型，再融入其他个性化参数，对用户进行价值的划分，并针对各等级用户进一步的分析。

3、用户画像：根据固有属性、行为属性、交易属性、兴趣爱好等维度，来为用户添加标签与权重，设计用户画像，提供精准营销参考依据。

End.

作者：李启方

来源：知乎

原文链接：https://zhuanlan.zhihu/p/27427478

每个人都会有机会进行数据展示，为什么别人展示永远获得正视，而我的展示永远只有自己愿意去看，别人在看手机？那怎样做数据图表分析呢请看以下步骤：

如何对表格进行修饰，本次小编带来两个技巧，一是使用“套用表格格式”，和使用“条件格式”。二是带领大家学会养成修饰表格的思维。

第一步是对表格进行粗略的修饰调整，思维：行高、列宽、对齐方式、表格线等；

使用“套用表格格式”、“条件格式”之后看数据不再枯燥无味，而且还更有看头。“条件格式”可以将筛选条件转换为颜色可视化，从而达到一目了然的效果。

第一个技巧，①“套用表格格式”。方法：任一单元格→开始→套用表格格式。

②“条件格式”，方法：选中单元格区域→开始→条件格式。

条件1：高于平均值

条件2：数据条

条件3：色阶

第二个技巧：养成修饰图表的思维。这次举例柱形图的修饰例子，其他希望大家动用类似的方法进行模拟实践。

步骤一：根据销售数据建立柱状图，建立方法可参考。选择数据源→插入→柱状图→选择数据源→编辑坐标

步骤二：添加辅助线。选择数据源→→添加→点击柱体右键，设置数据系列格式→次坐标轴→选中柱体，右键更改图表类型→折线图。

希望回答对你能有所帮助，如果觉得不错就来点个赞或关注吧，感谢各位了！

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。那怎么进行大数据分析呢？

山东数联教育是数联集团旗下一家专注大数据人才职业培训的教育机构，有着多年的大数据分析、大数据开发的教育培训经验，下面就让数联教育为大家讲解一下怎么进行数据分析。

1. Analytic Visualizations（可视化分析）。不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

2. Data Mining Algorithms（数据挖掘算法）。可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

3. Predictive Analytic Capabilities（预测性分析能力）。数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines（语义引擎）。我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5. Data Quality and Master Data Management（数据质量和数据管理）。数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

昨晚看了《谁说菜鸟不会数据分析》入门篇的第一章。主要介绍了什么是数据分析，以及数据分析的整个流程。下面呢，就给大家说说数据分析的定义，以及数据分析的步骤流程。

该书对于数据分析的定义跟百度百科相差无几。

“数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，最终的目的帮助人们作出判断，以便采取适当行动。”

数据分析的整个流程主要包括了6个部分（以分析百度竞价近一个月的转化为例）

1、确定分析的目的以及分析思路。目的是分析近一个月百度的竞价效果怎么样。分析思路先看一下近一个月的展现量，点击量，消费额，转化量，转化成本。然后于上个月的数据做一个对比。

2、收集相关的数据。数据收集的来源主要是从百度竞价后台的提取，百度统计的相关数据，以及百度商桥的咨询量的数据。

3、数据的处理。对展现，点击，消费，咨询量，转化成本进行简单的汇总。与上个月的数据进行对比。

4、分析数据。与上个月对比，这个月的咨询量的是增加了还是减少了，转化的成本是降还是升。咨询量增减的原因是什么.转化成本提高或是降低的原因又是什么，得出一个结论。

5、数据的展现。数据的展现，一般来说要么的表格，要么是一些图标如柱状图，饼状图，折线图等等，使用的标准是怎么样让别人能够清晰明了的看懂。

6、形成数据分析报告。最后就是完成一份完整的数据分析报告。

以上就是今天的分享，有点糙，后续会把数据分析的每个步骤详尽地大家说的。这篇文章只是让大家对于数据分析有个大致的了解。

作者：冯大福

来源：说说数据分析那些事儿

大数据，这个被炒烂了的概念，现如今已被人工智能替代。我们先不讨论人工智能，就大数据而言，我们都是在强调它的技术，例如网络热词：hadoop+spark，data mining。而我们在用大数据时候，经常神话它的影响。例如，广告投放精准化，社会安全管理有序，医药行业智能化等。

当然这些是我们的畅想，同时确实也离不开数据分析影响，但是我们有没有停下脚步去想一想，到底大数据怎么去落地呢，怎么去分析？怎么利用数据来去使企业做出决策，例如：广告投放精准化？

1

我们了解什么叫大数据分析吗？

麦肯锡给大数据定义：

“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。”

基于我对以上定义的理解，我总结的大数据分析就是，将获取的数据打通、整合、找寻规律，立即得出决策信息。

数据获取

我总结的数据源可分类三类：

（1）一方数据：用户事实数据

例如用户在某金融机构购买的理财产品，时间、哪个出单口、姓名、电话等，或者运营数据，例如某互联金融app，用户操作行为数据。

（2）二方数据：其实这部分叫做广告投放数据

例如，广告展示量，活动页点击量，广告来源等。也有公司将这部分数据作为第三方数据，因为有些广告监测公司会利用此数据和人群数据整合构建自己dmp这样的公司一般宣称为第三方公司，三方数据。

（3）三方数据：行业数据，也叫公开数据

例如行协的数据，或者互联网行为数据，例如某互联网公司用户在此网站的行为数据，或者嵌入sdk的app后我们能采集到的安装活跃列表，以及可采集到线下数据。

打通：其实就是利用关键点的采集整合一二三方数据。例如我们可以通过手机号将一方和三方数据整合，或者利用cookie，或者imei号等将二方、三方数据整合。但是由于现在监管制度对手机号敏感数据的控制，以及互联网和移动端数据的跨平台打通技术难点，我们现实的匹配率很低，例如一方和三方的数据匹配达到20%其实就算比较不错的情况，当然运营商数据除外。

找寻规律：目标就是数据清理，从非结构化数据变成结构化数据，以便统计，数据探索，找寻规律，形成数据分析报告观点。本文将会在第三部分阐述。

立即决策：将数据分析报告中的观点系统化或产品化，目前而言，大部分公司还是会依靠人工决策。

为什么需要大数据分析？看上去大数据分析似乎按照这些步骤来，但是从第一步的数据源来说，其实已经反应了大数据的特点，就是杂乱无章，那么怎么从这些数据找寻规律，分析的内容和目标是否对应上，似乎就是我们需要大数据分析的理由。

现在，大数据的分析通常采用的数据报表来反映企业运营状况，同时，对于热点，人群分析，我们看到的统计值，目标核心都是用数据分析报告提炼的观点来指导运营，那么问题来了，怎么用数据分析来指导数据决策呢？

2

数据分析的报告思路

（从移动端的角度进行切入）

基于我对数据分析的理解，我将数据报告会分成三大类：市场分析、运营分析、用户行为分析。

市场分析

由于市场分析一般而言是定性、定量分析，最近热播剧《我的前半生》贺函和唐晶的职业就是来去咨询公司的一般会以访谈、问卷调查来一份市场分析报告去告诉客户他们的市场占有量，消费者观点等。

这里，我们以移动互联网数据的市场分析为例，通常来说，数据源是公开数据，或者在第三方数据。正如我们所讲，将sdk嵌入开发者应用，就可以收集到安装以及使用列表，那么开发者使用的sdk越多，我们能收集的数据源也越多，这样就可以形成安装app排名，使用app排名，这里面所说的覆盖率、活跃率也是这个意思，例如：即此款应用安装量、使用量在整体金融类的安装量、使用量占比。

那么，这些市场分析的作用呢，一般而言，是对公司市场营销的总结，比如某金融公司kpi是为了获客，他们做了一系列营销，下个月排名我们可以查询到此款应用的安装量，是否较上个月上升呢？ 那么我们的竞品表现呢，他们是不是也做了一些列的营销活动排名上升下降？我们都可以通过市场分析、竞品分析来观测，但是这部分的观点由于是市场数据，我们只能通过大量的搜寻官网活动，或者互联网广告推测营销来推测是否竞争对手排名上升和这些营销活动有关。

同时，根据市场的走势图，我们能发现潜在的竞争对手，例如：我们能看出下图中的工商银行由于手机属于高覆盖高活跃组，即安装xxapp活跃人群也是最高的，因此，无疑xx银行是所有银行组潜在竞争对手。需要更加注意他们的市场策略。

运营分析

移动互联网提出的方法论：3A3R，笔者之前在做咨询的时候，此方法论也可以将网站分析套用，总结来说3A3R就是：

感知 → 获取 → 活跃 → 获取 → 营收 → 传播 → 感知

这里需要注明下，运营分析只是一个公司的baseline，让产品经理、运营人员、市场人员根据自己本公司的数据参考做出合理的决定，同时，运营的数据只是参考或者叫警示，若要具体，需要特定细节的分析，例如是否app改版，怎么改？需要增加哪家渠道合作？

（1）Awareness 感知

根据广告投放数据进行分析，目的判断渠道广告页对app 或者网站引流情况，同时可以帮助广告主设计监测表格，以数字角度衡量广告投放效果。

但是，广告数据一般而言在广告监测公司手中，或者公开的使用工具上例如GA，我们需要依靠广告公司设计营销环节，例如活动页，加监测代码，或者在媒体、app应用商店加入代码便于监测广告表现，而往往这样的数据很难加载，一般是由应用商店，或者媒体提供，同时，以上数据，监测公司数据一般而言也不会提供给广告主，只是会提供统计值。

言归正传，我们看感知数据其实目的就是想衡量我们的大量的营销投放钱花的对不对，广告的展示量、点击量等是最好衡量一个公司的广告市场部门绩效，没有广告投放，就无法带来获客，因此钱花的值不值，能带来多少客人，才会有下一步 acquisition。

（2）Acquisition 获客

获客是第一步广告投放拓展，用户点击广告后到达应用商店或者着陆页后去下载app，访问网页后，登陆app后的数据是广告公司或者应用商店提供不了的数据，因此获客其实有两重目的。

目的1： 衡量第一步提供的数据是否准确，即是否渠道作弊

目的2： 判断渠道是否好坏

目的3： 判断营销活动是否有效

例如下图中，我们发现4成用户是搜索流量较上个月增加了6%，是不是我们需要增加和sem的合作呢？而在媒体引荐渠道中，我们通过渠道衡量客户转化率，点击-用户激活的，激活的注册转化，可否重点对某应用商店增加合作。

下图是目的3的应用，来衡量三个月内的新增用户，活跃用户是否受活动营销、广告投放、版本更迭等影响。例如：7月28日的版本更迭，增加新用户的利器，那么产品经理需要分析下这个版本到底哪里的改变，让用户增长这么快，而8月份的营销活动会唤醒沉睡用户，反应考核运营人员的绩效，那么，是否我们在做促活时候可以借鉴8月的成功经验呢？而这个成功经验需要进一步做专题分析。

（3）Activities 活跃

获客后，我们想看看我们的新增、活跃用户的表现情况，那么就到了第三步 活跃，其实就是为产品经理改版app或者页面提供数据支持。

活跃分析可参考以下三个步骤：

第一：从页面浏览次数，独立访问人数，来圈定主要页面分析。

例如某款app首页是pv，uv最高，我们会重点分析首页。

第二：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

第三：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序。

（4）Retention留存分析& Revenue & Refer

这几个实际上在企业运用的并不多，这里简要说明下。

① Retention

用户积累到一定数量后，我们想看下用户粘性，那么我们就来到retention，一般是衡量活动效果时候运用的比较多，来看此次活动过后，是否用户依旧会使用我们的app，但是由于金融app属性不会像游戏应用每天进行访问，因此Retention 在实际应用中不会太多，下面的例子是个展示，不做赘述。

② Revenue

这些留下来的客户给公司贡献多少现金呢？会看收入步骤， 一般公司不会将现金流数据放入在统计平台中，但是我们需要提出用户贡献的流水金额数据供我们使用，便于人群划分，例如下面简要分析：

Refer 传播：

最后，我们想让这些客户进行传播；核心是口碑营销，即用户自发的转发给其他用户链接，让他们下载app或者参与活动，因此传播的下一个环节又会转换营销，但是传播会受到很多限制，例如没有奖励机制的口碑传播，几乎转发量为0，同时，传播若要衡量比较困难，尤其在大量互联网用户基础上，这样会造成资源代码叠加，系统负担，因此一般企业也不会设计这样活动让营销人员参考。

用户分析

若说大数据分析的核心，其实就是在于用户分析，正如我们前面所讲，用户分析的步骤流程如下：

即在力所能及的搜集数据范围内，打通数据，客户用户，精准营销。

第一，我们可以筛选的条件列表，我们可以通过应用条件，位置，标签条件将数据整合，整合的目的就是刻画客户，定出营销策略。

例如：我们想筛选金融客户（应用条件筛选），出现在五星级酒店（位置条件），且为母婴人群（标签）。

但是需要注意的是，条件越多，用户轮廓越清晰，人群会越少。

第二，根据筛选的人群，我们将线上/线上统计化，或者建模多维度分析。

例如，我们根据筛选的人群，发现男性多于女性，苹果手机属性最高，常手机工具使用，那么我们可以将这部分目标人群用增加手机工具合作，或者和苹果合作获客或者促活。

第三，整合以上数据分析，形成人群画像。

做数据分析首先得要有一个完整的思路。《谁说菜鸟不会数据分析》书中举了一个很生动的例子。做数据分析就好比做一件衣服，首先的先有设计图，然后在根据设计图分步骤的去制作成成品。今天我们说的数据分析的完整思路就相当于衣服的设计图，有了完整的思路，才不至于漫无目的的，没有一个清晰的目标去做分析。

那么我们如何才能建立一个完整的数据分析的思路呢呢？《谁说菜鸟不会数据分析》给大家提供了几种数据分析方法论来助力大家形成完整的数据分析思路。主要有PEST分析法，5W2H分析法，逻辑树分析法，4P营销理论（现在用的比较多是4C），用户行为理论。下面呢，我就以5W2h分析方法，给大家详细的说明一下怎么建立完整的数据分析思路。

首先，先介绍一下什么是5W2H。

（1）WHAT——是什么？目的是什么？做什么工作？

（2）WHY——为什么要做？可不可以不做？有没有替代方案？

（3）WHO——谁？由谁来做？

（4）WHEN——何时？什么时间做？什么时机最适宜？

（5）WHERE——何处？在哪里做？

（6）HOW ——怎么做？如何提高效率？如何实施？方法是什么？

（7）HOW MUCH——多少？做到什么程度？数量如何？质量水平如何？费用产出如何？

例如要不要增加一个推广渠道，我们来形成一个完整的分析思路。

WHAT：一个引流的渠道，对这个渠道要有一定认识。

WHY ：目前其他的渠道的流量不能满足，做了渠道之后可能会增加多少流量。

WHO：是直接让其他渠道的人来负责，还是重新招一个操作过这个渠道的人。

WHEN：如果要做这个渠道，有没有时间来做，什么时候开始实施。

WHERE：如果是大公司，要考虑是总公司来做，还是分公司来做。

HOW：怎么做，是否有详细的解决方案，是否先参考同行竞争对手。

HOW MUCH：新增加的这个渠道，需要投入多少成本，人力成本，广告成本等等。

对每个环节进行分析，评估，然后综合每个环节，看看这个渠道是否值得开发。