你明白为什么要分析数据么？

说实话，这个问题我自己思考过无数遍，也和很多同事聊过，目前我最认同的还是前老板一句总结：数据是用来反馈经营现实，并帮助管理者指导经营的。

话说出来很简单，但要时刻用这个标准来衡量我们做的数据分析是否有意义却是一个不容易的事儿。很多情况是调取了一堆数据，做各种环比、同比，各种横向、纵向比较，各种占比等等，每个指标你还都能准确找出他们代表的经营现实么？

如果你发现你只能分析出最简单、最基本的数据变化原因的话，那我觉得你应该去实际业务中去看一看、聊一聊、做一做了，数据分析工作绝不是仅在电脑前就能完成的！

当你真的了解业务后，你会发现你具备一种很重要的能力：你可以很轻松的判断一个数据是否可靠！是的，你没听错，即使这个数据在别人看来是多么正常，即使这个数据是SQL跑出来的，你可以1秒钟就告诉领导，这个数据并不准确，我们还是重新核实一下吧！

用数据分析业务，用业务衡量数据！

BY BoraBora

方法论在各种行业都是以各式各样的形式存在着的，他其实就是一个指南针，指导大方向。同样在数据分析中，如果方法论不正确或者不合理，后面的分析结果也就没必要看了，在一个不正确或不合理的方法论的指导下，得到的分析结果是不可能正确的。

数据分析方法论和数据分析法

数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几个方面来开展数据分析？各方面包含什么内容和指标。所以数据分析方法论是从宏观的角度指导如何进行数据分析，它就像是一个数据分析的前期规划，指导着后期数据分析工作的开展。而数据分析法是指具体的分析方法，如：对比分析、交叉分析、相关分析等数据分析方法。数据分析法主要从微观角度指导如何进行数据分析。

作用？

很多人在做数据分析时，经常不知道从哪方面入手进行分析的情况，分析内容和指标也常常被质疑是否合理、完整，而自己也说不出个所以然来。所以方法论这种东西，大部分觉得假大空的东西，其实是非常必要的，只有在营销、管理等方法和理论的指导下，结合实际业务情况，才能确保数据分析维度的完整性，分析结果的有效性和正确性。总结一下：

1、理顺分析思路，确保数据分析结构体系化

2、把问题分解成相关联的部分，并显示他们之间的关系

3、为后续数据分析的开展指引方向

4、确保分析结果的有效性及正确性

常用的数据分析方法论

1、PEST分析法

PEST分析是指宏观环境的分析，P是政治(politics)，E是经济(economy)，S是社会(society)，T是技术(technology)。在分析一个企业所处的背景的时候，通常是通过这四个因素来进行分析企业所面临的状况。

这个分析方法在网上一搜索就有一大堆的讲解，针对互联网行业的分析，我认为就可以采取这个分析法来整理思路。比如：中国网民与中国公民在人口规模、性别比例、年龄结构、人口分布、生活方式、购买习惯、教育状况、城市特征、宗教信仰等方面是否有区别。

2、5W2H分析法

5W2H分析法作为非常容易学习和操作的方法之一，他是以五个W开头的英语单词和2个H开头的单词进行提问，从回答中发现解决问题的线索，即何因（why）、何事（what）、何人（who）、何时（when）、何地（where）、何做（how）、何价（how much），这就构成了5W2H分析法的总体框架。比如O2O的优惠营销信息给用户看，需要搞清楚，用户为什么需要这些优惠，用户的目的是什么？我们提供的优惠是什么？与用户想的是否一致？谁是我们的用户？用户有什么特征？用户喜好在哪个时间段购买？我们的营销活动应该开展在什么时候？用户在线下哪儿去消费？每个地区的线下有什么区别？用户应该怎样去享受优惠？用户去购买花费的成本是多少？我们应该投入多少成本？等等。

“很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。” ——马云卸任演讲

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。

大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。

一大堆的理论是不足以证明这个大数据分析的具体应用及方法，下面是一个实例大家可以参考一下：

与往届世界杯不同的是：数据分析成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐，大数据也在全力演绎世界杯背后的分析故事。一向以严谨著称的德国队引入专门处理大数据的足球解决方案，进行比赛数据分析，优化球队配置，并通过分析对手数据找到比赛的“制敌”方式；谷歌、微软、Opta等通过大数据分析预测赛果...... 大数据，不仅成为赛场上的“第12人”，也在某种程度上充当了世界杯的"预言帝"。大数据分析邂逅世界杯，是大数据时代的必然发生，而大数据分析也将在未来改变我们生活的方方面面。

现在互联网这么发达的城市中，多了解点知识才能让你有立足之地。不知道读完之后有没有让你对大数据分析有所深刻的了解呢？

数据分析可以分为广义的数据分析和狭义的数据分析，广义的数据分析就包括狭义的数据分析和数据挖掘，我们常说的数据分析就是指狭义的数据分析，下面来看看数据分析与数据挖掘的区别对比。

先来了解下数据分析与数据挖掘的基本定义

数据分析（狭义）：

（1）定义：简单来说，数据分析就是对数据进行分析。专业的说法，数据分析是指根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用；

（2）作用：它主要实现三大作用：现状分析、原因分析、预测分析（定量）。数据分析的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到相应的结论；

（3）方法：主要采用对比分析、分组分析、交叉分析、回归分析等常用分析方法；

（4）结果：数据分析一般都是得到一个指标统计量结果，如总和、平均值等，这些指标数据都需要与业务结合进行解读，才能发挥出数据的价值与作用。

数据挖掘：

（1）定义：数据挖掘是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程；

（2）作用：数据挖掘主要侧重解决四类问题：分类、聚类、关联和预测（定量、定性），数据挖掘的重点在寻找未知的模式与规律；如我们常说的数据挖掘案例：啤酒与尿布、安全套与巧克力等，这就是事先未知的，但又是非常有价值的信息；

（3）方法：主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘；

（4）结果：输出模型或规则，并且可相应得到模型得分或标签，模型得分如流失概率值、总和得分、相似度、预测值等，标签如高中低价值用户、流失与非流失、信用优良中差等。

综合起来，数据分析（狭义）与数据挖掘的本质都是一样的，都是从数据里面发现关于业务的知识（有价值的信息），从而帮助业务运营、改进产品以及帮助企业做更好的决策。所以数据分析（狭义）与数据挖掘构成广义的数据分析。

数据挖掘与数据分析的主要区别是什么？

1、计算机编程能力的要求

作为数据分析很多情况下需要用到成型的分析工具，比如EXCEL、SPSS，或者SAS、R。一个完全不懂编程，不会敲代码的人完全可以是一名能好的数据分析师，因为一般情况下OFFICE包含的几个工具已经可以满足大多数数据分析的要求了。很多的数据分析人员做的工作都是从原始数据到各种拆分汇总，再经过分析，最后形成完整的分析报告。当然原始数据可以是别人提供，也可以自己提取(作为一名合格的数据分析师，懂点SQL知识是很有好处的)。

而数据挖掘则需要有编程基础。为什么这样说呢？举两个理由：第一个，目前的数据挖掘方面及相关的研究生方面绝大多数是隶属于计算机系；第二点，在招聘岗位上，国内比较大的公司挂的岗位名称大多数为“数据挖掘工程师”。从这两点就可以明确看出数据挖掘跟计算机跟编程有很大的联系。

2、在对行业的理解的能力

要想成为一名优秀的数据分析师，对于所从事的行业有比较深的了解和理解是必须要具备的，并且能够将数据与自身的业务紧密结合起来。简单举个例子来说，给你一份业务经营报表，你就能在脑海中勾画出目前经营状况图，能够看出哪里出现了问题。但是，从事数据挖掘不一定要求对行业有这么高的要求。

3、专业知识面的要求

数据分析师出对行业要了解外，还要懂得一些统计学、营销、经济、心理学、社会学等方面的知识，当然能了解数据挖掘的一些知识会更好。数据挖掘工程师则要求要比较熟悉数据库技术、熟悉数据挖掘的各种算法，能够根据业务需求建立数据模型并将模型应用于实际，甚至需要对已有的模型和算法进行优化或者开发新的算法模型。想要成为优秀的数据挖掘工程师，良好的数学、统计学、数据库、编程能力是必不可少的。

总之一句话来概括的话，数据分析师更关注于业务层面，数据挖掘工程师更关注于技术层面。

数据分析师与数据挖掘工程师的相似点：

1、都跟数据打交道。

他们玩的都是数据，如果没有数据或者搜集不到数据，他们都要丢饭碗。

2、知识技能有很多交叉点。

他们都需要懂统计学，懂数据分析一些常用的方法，对数据的敏感度比较好。

3、在职业上他们没有很明显的界限。

不管是数据分析师还是数据挖掘师在国内的需求量都是越来越大，发展前景不可估量，在一个领域钻研精透，没有理由不成功！

说到数据分析，其实很简单，就是找到问题、来解决问题。在做SEM数据分析之前，首先要了解数据，为什么要分析数据？通过数据分析可以获得什么？

因此，正常的数据分析过程应该是：确定分析的目的→收集所需的数据→组织数据→分析数据→获得优化意见。

数据是我们调整账户的基础。对于刚入门的竞价员来说，数据分析很难理解。由于关键字报告、创意报告、搜索词报告、对话词报告、转化词报告中的出价数据太多，新手常常不知道怎么开始，此时你需要冷静下来，整理每个报告，过滤并查找有效数据以进行比较。

管理过这么多账户，凭借我们团队的经验，今天以快速掌握SEM数据分析进行讲解。

首先，您需要了解SEM数据名词的含义。点击率是多少？转化率是多少？跳出率是多少？等一系列技术术语，例如帐户点击率下降，您需要清楚地知道哪些因素会导致点击率下降，接下来应该做什么;调整帐户后，您必须清楚地知道哪些数据会发生变化，否则一切都是浪费时间。以下是两个月教育行业的数据案例。

整理后，复杂的数据将变得清晰。经验丰富的SEMer将知道对上图所示账户进行了哪些调整：这组数据是典型的流量不精准分析图，根据公司政策调整减少消费，平移展现下降、点击下降、对话下降、这些都是正常的数据范围，但是我们消费的下降，应该降低我们的转化成本，这组数据中我们的转化成本并没有降低，反而高出了1块钱，这就说明我们在降低消费时，没有控制我们的精准流量进来，还是以泛流量的方式进行优化账户，（当然这组数据的转化成本是指精准客户转化不是所有的转化成本）这就造成我们降低消费的同时没有一个合理的优化方案去优化账户。

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。

你说是个笑话也可以，但是确实说明了一个道理！

一个哥们，有次聚会时说自己买了很多条iphone数据线，家里每个房间插一条，走到哪儿都能随时充电·····

在场的姑娘们都当成是段子笑笑就过去了，只有一个细心的姑娘悄悄问他买了多少条，他说：42条！

现在她和他在北京三环内总共42个房间的数套豪宅里愉快地生活，已定好日子：下个月结婚！

这，就是数据分析！

如果你是她，你会反问他吗？如果你是他，你会理解她对数据的分析吗？

一般情况下，我们所说的分析是指，使用大量数据、统计和定量分析、解释和预测以及基于事实的管理来推动决策过程与实现价值增生。

根据分析的方法和目的，分析可以被划分为描述性分析（descri-ptive analytics）、预测性分析（predictive analytics）和规范性分析（prescriptive analytics）。描述性分析包括数据收集、整理、制表、制图以及描述正要研究的食物的特征，这类分析以往被称为“报告”。描述性分析可能非常有用，但它不能解释某种结果出现的原因或者未来可能会发生的事情。

预测性分析不仅可以对数据特征和变量（可以假定取消范围的因素）之间的关系进行描述，还可以基于过去的数据预测未来。预测性分析首先会确定变量值之间的关联，然后基于这种已知的关联预测另一种现象出现的可能性，比如在看到某个广告后，一位消费者可能会去买产品的可能性。虽然预测性分析中的预测是基于变量之间的关系做出来的，但这不代表预测性分析中都需要明确因果关系。事实上，准确的预测并不一定与需要基于因果关系。

规范性分析是更高层次的分析，如实验设计和优化等。就像医生会在出处方建议患者采取什么行动一样，实验设计试图通过做实验给出某些事情发生的原因。为了能够在因果关系研究中信心饱满地做出推断，研究人员必须妥善处理一个或多个独立的变量，并有效控制其他的变量。如果处于试验环境下的测试组的表现大大优于照相，决策制定者就应该立即推广这种实验环境。

优化是规范性分析采用的一种方法，指试图识别出一个特定变量和另一个变量之间理想的关系水平。例如，我们可以能会对识别最有可能让产品实现高收益的价格感兴趣。同样地，优化这种方法能够识别出使了零售企业最大限制避免缺货情况的库存水平。

根据分析采用的方法以及收集和分析的数据类型，我们可以将分析分为定性分析（qualitative analysis）和定量分析（quantitative analysis）。定性分析的目的是深入了解某种现象的根本原因和诱因。非结构化数据通常是从少数非代表性案例中收集而来，并进行了非统计性分析。定量分析是分析的最初阶段，他通常是探索性分析的有效工具，定量分析是指通过统计、数学或者计算的方式对现象进行系统的实证研究。通常情况下，结构化数据是从大量典型案例中收集而来，并进行统计分析。

为了服务于研究者的不同研究目的，存在以下几种类型的分析：

*统计学：收集、整理、分析、说明和呈现数据的学科；

*预测：根据已有数据，预测一下一些感兴趣的变量在未来某个特定的时间点的情况；

*数据挖掘：通常使用算法和统计技术，自动或半自动地提取大量数据中未知的有趣模式；

*文字挖掘：用类似数据挖掘的方式从文本中得模式和趋势的过程；

*优化：在同时满足约束条件的情况下，按照某些标准利用数学方法来寻找最优的解决方案；

*实验设计：给各组随机分配被试。然后使用测试组和对照组来推导出特定结果中存在的因果关系。

虽然此处给出了一些列常用的分析方法，但在使用过程中会不可避免地出现相当大的重叠。例如，回归分析（regression analysis）是预测分析中最常用的方法，与此同时，他也是统计学、预测和数据挖掘中常用的方法。此外，时间序列分析（time seties analysis）是用于分析数据随时间变化的一种具体统计方法、在统计学和预测中经常被用到。

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享 IT 技术和行业经验，请关注-技术学派。