本文作者：郭朝晖@蝈蝈创新随笔

本文是我关于大数据分析方法的几点思考。当初的目的是系统化地看待数据分析。为了这点东西，我花了一个礼拜的时间，思考的结果却是碎片化的。看来，想清楚并不容易。由于时间关系，只能中止。文字描述很不严格、肯定经不起推敲，读者找不毛病是正常的、看不明白更是正常的。不感兴趣的可以当做胡扯。我希望将来有时间时能把问题思考下去。

从数据中发现信息和知识，是人们多年来的梦想。随着大数据理论的兴起，这个话题变得非常热门。在有些人看来，大数据非常神秘，似乎无所不能。当然，现实不会是这样。我想，研究大数据，首先要破除迷信：大数据需要什么条件、什么问题是大数据无法做到的。

1、知识和信息，只能从关联关系中得到

对象（包括过程，如生产过程、购物过程）及其属性、同一对象的属性之间具备关联关系。例如，“张三身高1.8米”就是对象（张三）与属性（身高）的关联；再如，如果我们知道张三体重75公斤，则“1.8米”和“75公斤”之间就因“张三”建立了关联。

关联的对象可能并不确定：我们看到一张履历表，即便隐去名字、不知道这个人是谁，也知道其中的各种信息是与某人关联的。

在数字化的世界里，不和其他的符号（数字）关联的符号（数字）是不包含任何信息的。从不包含信息的素材，得不到包含信息的结论。

有人可能反对这个观点：谷歌曾经用“感冒”的搜索量预报流感啊，这里哪有关联呢？其实，只有搜索“感冒”的数量是根本无法预测流感的。谷歌的做法，是把“感冒”的搜索与搜索的地点、时间联系起来。

这个观点告诉我们：收集数据的时候，要尽可能地把关联关系建立起来；没有关联关系，数据很容易成为垃圾。这种情况并不少见：有些实验室，把针对同一试样的各项实验结果分别保存起来，而没有建立统一的ID、关联关系丢失。这样的数据，再多也没有用处。

2、人们要挖掘的知识和信息，就是找映射关系

知识（或信息）的发现与挖掘，其本质是寻找映射关系：通过已知的、对象的一部分属性，把对象的另外一部分属性或对象本身找出来（或缩小范围）。产生这类问题的原因是：只有一部分属性已知、容易得到、容易识别、容易表述，而另外一部分未知、不容易得到、不容易识别、不容易描述。

例如，我们可以说：张三就是那个穿红衣服的——这里“穿红衣服”比其他特征容易识别。从衣服识别出张三，就是从张三的衣着特征（属性）找到关联对象（张三）的信息；从一个人的身高预估他的体重，就是从一个根据一类属性估计另外一类属性。

我习惯于把信息挖掘和知识发现分开。

在本文中，信息挖掘指的是预测某个特定对象的属性，如上海市的人口是多少；知识发现是确定一类对象的属性之间的关系，如一类人群中身高和体重的关系。当然，这种区分不是绝对的。

3、映射关系的差别

正确的识别，最好的办法是找到好的素材（数据）。素材与结果之间的关联强度是不一样的：有的比较强，是因果关系、必然联系；有的比较弱，是相关关系、偶然联系。

例如，我们可以根据DNA、相貌、衣服来识别一个人。但三者相比，DNA的联系是强的必然性联系、衣服是弱的偶然性联系，相貌是介于两者之间的联系。大数据的一个著名案例，是网站根据客户买的药判断她已怀孕、并推送有关产品：因为这种药只有孕妇才吃，是很强的关联。

从数据得到的知识和信息，往往不是绝对正确。一般来说，可靠的结论基于可靠的数据和可靠的分析方法。数据量大了以后，滤除干扰的可能性增大，从而可以从原来可靠度低的数据中，得到可靠性相对较高的数据。

所以，尽量找到好的素材，是做好分析的第一步。

在很多情况下，我们找不到好的素材。这时，首先要做的尽量提高数据质量。数据质量不仅是精度问题，还包括数据来源的可靠性：为此，需要把数据来源的相关过程要搞清楚，否则很可能会误导人的分析。

4、相关与因果

有些相关性的背后，一般会有因果关系存在。两个要素由因果产生关联的机制大概可以分成两类：1、两个要素具有因果的关系：比如刚做父亲的青年人常会买尿布；2、共同原因导致的两个结果之间的关系：比如孩子的父亲会常买啤酒，也常买尿布；于是，啤酒和尿布就可能关联起来。

有些相关性，看似没有因果，但背后往往有某些特殊的规律或因素其作用（上述第二种情况）。比如，女孩子往往喜欢花衣服，与基因和文化的共性有关。但这种因果关系可能相隔太远，以至于难以考证了。

当人们需要根据关系作出决策时，需要研究因果的逻辑关系：到底是谁影响了谁。否则，根据分析结构的盲目行为可能适得其反。 “到底谁影响了谁”为什么会成为问题？大概有两类原因：

第一类原因是：忽视了时间因素。如“统计结果表明，练太极拳的身体差”。现实却是：很多人身体变差（包括衰老）以后，才练太极拳。一般来说，具有因果关系的两个要素之间，时间上有前后关系：原因早前，结果在后。

第二类原因是：忽视了前导因素。“公鸡一叫，天就亮了”。现实却是，天量之前的迹象被公鸡察觉到了。两者是第二种因果关系，只是看似“原因在后、结果在前”了。

一般来说，工业大数据分析更重视因果，而商务大数据分析对因果性的要求较弱。

5、数据分析的先导因素

从某种意义上说，数据分析的过程，就是寻找强的相关关系（必然性、因果性），或对弱的相关关系进行综合、得到强的相关关系。

用数据发现信息，需要用到各种知识。例如，把“云南白药是用于治疗外伤的”放入计算机，当某人购买白药的行为判断他或家人可能受伤，从而可以推荐相关产品。但注意到：这种类型的知识很可能是被人事先装入计算机的，而不是靠计算机自动学习得到的。

所有的学习过程，本质上都是基于这样一种假设：A和B的一部分属性类似，则推测另一部分属性也应该类似。例如，A和B的身高相似，则体重也可能相似。现实中，两个属性确实具有强烈的相关性，但身高相同而体重不同的也大有人在。这时，如果我们还知道他的体型，是瘦弱、偏瘦、正常、偏胖、肥胖型，对体重的估计就可以准确一些。由此可见，用数据发现知识的过程，本质上就是提高相关性、可靠性的过程。

一般来说，人们在做数据分析之前，一定会有一定的知识积淀， 但认识不清却是一种常态；人们希望通过对数据的分析，来改变这种常态。而改变认识的过程依赖于数据的质量和分析数据的方法。所以，刨除分析方法外，分析过程依赖于两个先导性因素：1、数据质量（包含多方面的含义）如何；人们已有的认识如何。

注意，这段说法有个潜台词：强调了人类可认识的知识，而不是机器用复杂函数关系表述的、人类难以用逻辑关系认知的知识（如神经元）。的确如此，笔者一直认为：这类方法的作用被学术界有意识地夸大了。

6、数据分析的过程

与商业大数据相比，工业大数据更重视可靠性和精确性。在很多情况下，猜出一个结论并不难，难的是论证一个结论。一般来说，凡是可靠的知识，都应该能够被机理和数据双重认证。

大数据分析的一个重要特征是：传统概率理论的假设往往不成立。例如：大数定理的条件往往不成立、模型的结构往往未知、因果关系不是天然清晰、自变量的误差往往不能忽略、数据分布往往是没有规律的。所以，为了得到可靠的结果，人们工作的重点很可能是验证这些条件、构造这些条件。从某种意义上说，数据分析的过程，主要是排除干扰的过程、特别是排除系统干扰的过程。而且，如果完全依照逻辑、用纯粹数学的办法加以论证，则数据需求量会遭遇“组合爆炸”，永远是不够的。这时，已有的领域知识就是降低数据需求量的一种手段。要记住：求得可靠性是一个过程而不是结果、可能永远没有终点；分析的过程只是不断增加证据而已。这个过程，是修正人的认识的过程；所以，错误或不恰当的认识常常是分析过程中最大的干扰——这个干扰一旦去除，我们可能就发现了真正的知识。

数据量大的直接好处，是排除随机性干扰。但排除系统性干扰却不那么容易，数据量大是必要条件但不充分，需要深入的方法研究才能解决问题。

系统性的干扰往往体现在：对主体进行分组，所体现的规律是不同的。比如，身高和体重的统计关系，男女是不同的、不同民族是有差异的、可能与年龄有关。如果不进行分类研究，统计的结果就会与样本的选取有很大关系。但分类研究也会遇到一个困难：遭遇组合爆炸，数据再多都不够用。这时，“领域知识”就会发生作用：

认定一个结论成立的办法，是确认它的“可重复性”。在许多情况下，“可重复性”指的是在各种分组下都成立的结论：最好能在不同时间分组中也能成立。分组越多、分组的维度越多、结论的可靠性越高。

但具有“可重复性”的结论，往往只在一定的范围内成立。在很多情况下，“明确结论成立的范围”也是数据分析的重要内容。

如何分组、如何确定范围、如何构筑逻辑链条、数据结果的解读、数据结果与领域知识的融合，都是重要的能力。事实上，根据领域知识，常常用于构造证据链、进行有效的数据选取和分组。

在精密论证时，我们就会发现：基础数据的质量很重要。因为许多干扰就来源于数据本身。从某种意义上说，数据的采集方法和环境不同，就是不同的数据。

在构建数据分析体系的过程中，也会发现，企业经营的数据分析也确实需要一个可展示的平台，实时展示业务，有问题就优化更新。

FineReport 数据决策系统

7、关于预测数字

许多问题分析的目的得到一个数字：如钢的强度、用电量、人口数量、钢产量。这类问题的特点之一是：最终的结果是各种影响因素相加得到的。

对于这种问题，我的观点是：要想得到可靠的结果，一定要拆成若干子问题来分析。其中，各个子问题要尽可能利用规律性的结果来分析。我认为：把人的认识和数据用到极致的时候，才能得到最好的结果。随便地建立回归模型是不懂数据的表现。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。

我觉得无论什么工作兴趣最重要，要做数据分析师最基本的就是不讨厌数字，如果你跟他讲那个指标是通过怎么样的乘除加减得到的，他会觉得不耐烦，那么显然他不适合做数据分析;如果对数据较敏感，能够一眼发现异常值，数据分布情况，当然是最好的。

再则就是逻辑性，可以让他试试爱因斯坦的那道经典的逻辑题，看看能否解出来，需要多久;逻辑思维对数据分析尤其重要，不然会被各种指标的定义规则、与业务的联系纠结死，逻辑思维好的人写SQL等数据处理脚本也会更加高效。

接着是业务理解能力，最简单的就是让他定义下网站的目标是什么，哪些指标可以作为KPI，用户从进入网站到达成网站目标的整个过程是怎么实现转化的，能否画出业务流程图。(宏观层面，不要深入细节)

如果偏技术则需要懂一些数据库结构和SQL，如果偏展现需要考验下对图表的掌控能力，什么时候用什么图表合适，甚至如何配色。

最后就是细心、耐心和交流能力，做数据分析有时会很纠结，细心和耐心是必需的，好的交流能力可以让数据分析师更好地阐述清楚各类问题。

这些都是比较基础的东西，也是短期难以培养起来的技能。至于另外业务相关的一些知识，可以通过培训获取，问一个未接触过你的网站业务的人一些业务知识其实有些不公平，其实如果具备上面几点，一旦熟悉网站和业务之后，一定会成为优秀的数据分析师。

——谷芬芬

专业内的要求基本就是对数据的意识和一些技能的掌握。下面具体说说从一些非专业内要求的方面出发，有哪些方面能表现这个人更适合数据分析。

首先是看到数据有兴奋感的人。有兴奋感说明你有兴趣，那说明很会有意愿把数据分析好。

其次是愿意学习的人。你分析的内容永远不会一尘不变，即使你分析的主题是相对固定，但业务是变化的，你需要不断的学习业务，同不同人沟通，吸收别人的观点。所以分析师一定要报着学习的态度。

然后是逻辑思维较强的人。数据分析师想要把你的分析好，一定要有结论思维。

还有就是较强的表达与沟通能力。因为数据分析最终价值的实现，一般来说不会是分析师亲自去制定或者实施。所以你一定很有条理、逻辑清晰向别人表达，让业务方认识到你分析结果的价值，从而影响业务方去愿意使用你从数据中得到的观点。

——欧阳帅

觉得还是应该先看清楚自己的未来的方向吧~

我有不少朋友 非数学/计算机/统计学 专业毕业的朋友走的是这个方向，数据相关，非技术路线，更偏向于市场方向，对技术的要求只是Excel、PPT，最多要求SPSS，很少要求会写SQL。这条路线看起来比较高大上，可以走外企路线。

数据分析师方向，很多读数学、统计学、计算机的童鞋会选这个方向，终极目标都是成为数据中心的负责人。中间有2个分叉，一条是从数据分析师到数据产品经理，这个路线最近很流行，主要是结合了数据分析和产品经理的能力。一条是高大上一点的数据挖掘方向，这条路线要求比较高，但薪资也高。当然能走数据挖掘路线是很多数据分析师的梦想，但算法和代码实现能力不是谁都能掌握的。.

根据你自己想走的路，加上自己的技能点。

——张锦华

想了解更多相关内容，记得持续关注我们哦。

如果你觉得有点意思，请有秩序的评论、转发、收藏。

大家好，我是零一。这一篇给大家介绍聚类/分类。

我们先讲一讲聚类。

上一篇的探索关系，很多朋友反映说非常有趣，这一篇，聚类分析也是相当有趣的。

聚类分析简称聚类，俗话说物以类聚，人以群分，聚类就是划分子类的过程。算法上面多用k-means和k-medoids，当然，大家可以跳过这些算法的过程，用程序来完成即可。

说简单一点，通过聚类，可以将我们的数据进行分类，并且描述每个类的特征。

聚类应用非常广泛，包括在电商领域的应用也是多不胜数。比如

（1）对客户数据进行聚类分析得到多个客户群组，并且得到各个群组的特征，这可以帮助我们发现客户的共性和差异性；

（2）竞争对手数据进行聚类分析得到多个对手群组和各自的特征，这一样可以让我们找到对手们的共性和差异性；

（3）对行业数据进行聚类分析得到多个行业群组和各自的特征，这个可以来发现不同行业之间的共性和差异性

（4）对销售数据进行聚类分析（比如以其中的地域聚类），可以告诉我们那些地域之间的共性和差异性

不难发现，我举的4个例子都是在发现共性和差异性。对的！我们了解了这些信息，可以指导我们的运营决策，对不同群组制定不同的策略。

下图是对地域数据做的聚类分析，得到的一个谱系图，我们从上往下看，首先是分成两大类

广东，天津，浙江，北京和上海这五个省市为一类，其余的多省为一类。

再往下看又分成了四大类，西藏作为单独一个分类，广东也作为单独的一个分类，天津和浙江为一类，北京和上海为一类。

从上往下，越分越细。红色的边框把多个省市划分成5个分类。一般没必要分得太细，这个数据目测是分成了20个细分的分类，除非是确实是需要细分到很细的时候，才需要看最低层的分类。

当我们知道天津和浙江聚为一类的时候，他们必然存在共性，才会聚在一起。当我们知道天津-浙江类和北京-上海类，作为两个不同的群组聚集，它们之间肯定是存在某种差异。

=======================================

下面，我们用上篇共享的数据，跟大家一起探讨聚类，和寻找他们的共性和差异性。

先处理下缺失值，选择清除数据里面的离群值

中间要选择需要处理的字段，选择好后，进入以下界面，也一样下一步即可

选择删除包含离群点的行（因为这里数据量不少，可以删了）

一般情况下，我们都避免直接修改源数据，需要新建一个变量或者空间或者工作表来存放处理过后的数据。这里选择复制到新的工作表就可以了。

数据处理好后，就可以进行聚类分析了。在数据挖掘套件里面直接选择聚类分析即可。

选择需要的数据进入模型里面

点击参数，然后就会看到下图这个对话框，可以手动输入数字来更改聚类算法，可以看到微软提供的聚类算法有4种，分别是可变的EM，固定的EM，可变的K-means跟固定K-means（EM是最大期望算法，K-means是K平均值算法，可变的是可以伸缩调整的，固定的就是固定不可调整的）

这里我输入4，选择固定的K-means算法

下图是选择测试集的比例，默认是30%。【测试集】是数据挖掘特有的名词，数据挖掘里头将数据集一分为二，大头的部分用来训练建立模型，称之为【训练集】，小的部分就用来测试模型，称之为【测试集】。这是数据挖掘和统计学最大的差异之一。统计学是通过统计方法来验证模型是否可靠，而数据挖掘技术是利用测试集来验证模型的可靠性。一般用于预测模型，聚类分析其实可以不用测试集，可以把数值改为0。但我就不改了。就用随机抽取出来的70%的数据来建立模型。

完成后，就会进入模型浏览界面，我们看到共有划分了7个，这有点儿多，我们可以在选择输入列的时候指定分类的数量，刚才我们是选了自动检测来着。

线粗代表两个分类之间的关系的强度，越粗关系越强。分类的颜色代表密度，颜色越是深蓝代表这个分类的数据个数越多。那非常明显，系统把大部分的数据归入分类1里头了。

下面是分类的剖面图，每个分类对应的指标范围在这里一览无遗。

简单解读一下上面这个分类情况

【分类1】包含2768个数据，最鲜明的是30天成交量偏大，价格偏低的这一个群组，是中低端爆款类

【分类2】只有246个数据，这个群组比较失败，发货分丶服务分丶好评率都偏低，销量偏低，价格偏高一点，典型就是卖货不卖服务类

【分类3】只有187个，集中在广东深圳，DSR很好，评价很好，价格很高，但退款率也很高，应该是高端市场的卖家，标准的价格高，服务好，但不知为何退款率也高，可能是买家收到了，觉得不划算吧，这一类是高端类，但产品或品牌的价值感可能没有做好。

【分类4】只有65个，也是DSR超好，价格中档，产品的价值完美体现，退款率不错，同样集中在广东深圳，是中档性价比类。

【分类5】只有61个，这个群组很惨，集中在浙江金华（估计是义乌），价格超低，DSR超烂，好评率很惨，是低端烂货类

【分类6】和【分类7】规模很小，就不解读了。以上解读仅供参考。一般分个4-5个群组就差不多了，如果数据量确实大，可以考虑分细一些。

每一个分类都可以单独提取出这个分类下的数据的。

下图是分类的一些特征，每个特征的概率情况

下图是分类间的差异性，通过对比可以发现，分类1多是天猫，非分类1的多是C店。

下面我着重看下分类3和分类4的区别，因为分类3败在退款率上面，而分类四就解决了这个问题。

我大致上看出来了，分类3的服务（DSR,退款速度）没有分类4的做得好，但分类4的价格又要比分类3低，并且包邮。那作为消费者，肯定选个价格中肯，服务又好的店家。而且分类4的销量还不低，有少部分是心店，我对心店的印象就是心店的服务一般要比大店的要好。

以上就是对这儿聚类分析结果的简单解读，具体的，亲们实操一下吧。

=============================================

下面说说分类。

聚类和分类，从语义来讲，看似很像，但有一点重要的差异。分类是指定了我们要分析的列（维度），然后通过决策树算法（默认方法是用贝叶斯分类器），来告诉我们，影响这个目标的维度有哪些。下面我们看下过程。

选择要分析的列，我这里选择的是30天销量，看下会影响销量的是什么因子。

下图是结果，告诉我们，收藏很重要！收藏跟销量有很强的关系。同样第一张图是决策树，一样有分组的作用。

决策树一般用来分析影响客户下单或者流失的因子有哪些。有兴趣的朋友可以自己倒腾一下。试下会有哪些意外的收获。

===========================================

下面，告诉大家测试集的使用方法。

选择准确性图表

选择模型，一般用于预测模型，刚才的决策树是属于预测模型，而聚类就不属于，因此聚类的模型不可用于准确性图表。

选择要预测的区间，我选择的是30天成交大于122的情况

我们之前保留的测试集，就在这里出现了，默认会选择测试集来验证准确性。

在上图点了完成后，就会得到这样的一个结果（部分截图），会有一个指标， “分类 30天成交”模型提升144.11%，这个数值越大代表模型的准确性越高。但我一般看下面的ROC图。

蓝色代表没有模型的结果，红色代表理想的结果。而绿色代表我们测试得到的结果。

绿色的线越接近红色的就代表越好，一般情况下，只要不要太接近蓝色的线（或者低于蓝色的线），就好了。如果接近蓝色的线或者在蓝色线下面，那就不如不用模型了，此时这个模型就没什么存在的意义，如果硬要用那就只是为了做模型玩玩而已了。

在互联网的下半场，不断精细化运营的背景下，产品经理不再是单纯的靠感觉来做产品，更需要培养数据的意识，能以数据为依归，来不断改善产品。

不同于公司专业的数据分析师，产品经理更多的可以从用户、业务的层面去看待数据，去更快更透彻的去寻找数据变动的原因。

科多大数据带你们看看在数据已经被有效记录的前提下，如何有效的去进行大数据分析呢？

一、明确数据分析的目的

1、如果数据分析的目的是要对比页面改版前后的优劣，则衡量的指标应该从页面的点击率，跳出率等维度出发，电商类应用还要观察订单转化率，社交类应用要注重用户的访问时长、点赞转发互动等频次。

不少新人在设计自己产品的时候，可能会花费很多时间在产品本身的设计上，却没有花精力思考如何衡量产品的成功与否，在产品文档上写上一句类似“用户体验有所”提升的空话，这样既不利于产品设计顺利通过需求评审，也无法更有效的快速提高产品的KPI指标。

2、如果数据分析的目的是探究某一模块数据异常波动的原因，则分析的方法应该按照金字塔原理逐步拆解，版本->时间->人群。

比如发现首页猜你喜欢模块最近的点击率从40%下降到了35%，暴跌5%个点，这个时候先看看是不是哪个版本的数据发生了波动，是不是因为新版本上线埋点遗漏或有误造成的。

如果版本的波动数据保持一致，再看看数据是从什么时候开始变化的，是不是因为受到了圣诞、元旦假日因素的影响，页面上其他模块上线了新的活动影响了猜你喜欢的转化。

如果不是，则再拆解是不是流量来源构成发生了变动，是不是新用户的曝光数量增加导致的。

产品经理需要带着明确的目的去分析数据，思考实现目标需要构建哪些维度去验证。大部分时候，产品经理需要非常耐心的一步一步的拆解细分，排查原因。

二、多渠道收集数据

收集方式一般有四类渠道。

1、从外部如易观或艾瑞的行业数据分析报告获取，需要带着审慎的态度去观察数据，提取有效准确的信息，剥离部分可能注水的数据，并需要时刻警惕那些被人处理过的二手数据。

2、从AppStore、客服意见反馈、微博等社区论坛去主动收集用户的反馈。我自己经常有空的时候就会去社区论坛看看用户的状态评论，一般这样的评论都是非常极端的，要么特别好，要么骂成狗，但这些评论对于自身产品设计的提升还是非常有益的，可以尝试去反推用户当时当刻为什么会产生如此的情绪。

3、自行参与问卷设计、用户访谈等调研，直面用户，收集一手数据，观察用户使用产品时所遇到的问题及感受。问卷需要提炼核心问题，减少问题，回收结果需剔除无效的敷衍的问卷。用户访谈需要注意不使用引导性的词汇或问题去带偏用户的自然感受。

4、从已记录的用户行为轨迹去研究数据。大公司一般会有固话的报表/邮件去每天甚至实时反馈线上的用户数据情况，也会提供SQL查询平台给产品经理或数据分析师，让他们可以更有深度的探究对比数据。

三、有效剔除干扰数据

1、选取正确的样本数量，选取足够大的数量，剔除极端或偶然性数据的影响。08年奥运会上，姚明的三分投篮命中率为100%，科比的三分投篮命中率为32%，那么是不是说姚明的三分投篮命中率要比科比高？显示有问题，因为那届奥运会，姚明只投了一个三分球，科比投了53个。

2、制定相同的抽样规则，减少分析结论的偏差性。比如两条Push文案，第1条“您有一个外卖暖心红包未领取，最大的红包只留给最会吃的你，点击进入”，第2条“送你一个外卖低温福利，足不出户吃喝热腾美味，点击领取”。实验数据表明，第二条Push文案的点击率比第一条同比高了30%。那么真的是第二条文案更有吸引力嘛？结果发现是第二条Push文案的接收人群的活跃度明显高于第一条造成的。

3、剔除版本或节假日因素的干扰，新版本刚上线时的数据表现往往会很好，因为主动升级的用户一般是高活跃度的用户。临近周末或大型节假日的时候，用户的消费需求会被触发，电商类应用的订单转化率也会直线上升。因此，在数据对比的时候，实验组和对照组的数据在时间维度上要保持对应。

4、对历史数据遗忘。人与数据技术不同，数据技术有着100%的记忆能力，而人类根据艾浩宾斯遗忘定律1天后只能记起33%，6天后25%，31天后21%。因此，我们要合理的选择筛选时间段。比如猜你喜欢模块不仅要对兴趣标签的计分进行一定的加权处理，也要结合商品的生命周期等因素做一系列的回归实验，得出受众人群对各类兴趣和购买倾向的衰退曲线，利用有规律的时间变化有效删除老数据，去提升模块的点击率。

5、实验需拆分A1组，也就是在实验组B和对照组A上再增加一组A1，A1和A的规则保持一致，然后探究AB的数据波动与AA1比较，剔除数据的自然/异常波动带来的影响。以我实际的A/B实验表明，设立A1组是非常重要且必要的，不管数据量级有多大，相同实验规则的两组在数据也会有一定的小幅波动，而这小幅波动在精细化运营的今天，对我们的判断可能形成较大的干扰偏差。

四、合理客观的审视数据

1、不要忽略沉默用户

产品经理在听到部分用户反馈的时候就做出决策，花费大量的时间开发相应的功能，往往结果，可能这些功能只是极少部分用户的迫切需求，而大部分用户并不在乎。甚至有可能与核心用户的诉求相违背，导致新版产品上线后数据猛跌。

忽略沉默用户，没有全盘的考虑产品大部分目标用户的核心需求，可能造成人力物力的浪费，更有甚者，会错失商业机会。

2、全面理解数据结果

如果实验结果的预期与我们的经验认知有明显的偏差，请不要盲目下结论质疑自己的直觉，而是尝试对数据进行更透彻的分析。

例如我曾经做过在首页给用户投放活动弹窗的实验，发现实验组的数据不管在首页的点击率，订单转化率乃至7日留存率方面都远超对照组，首页上的每一个模块的转化率都有明显的提升，远远超出了我们的预期，那这真的是活动弹窗刺激了用户的转化率嘛？

后来我们发现在首页能够展示出活动弹窗的用户，往往在使用环境时的网络状态比较好，在wifi环境下，而未展示弹窗的用户则可能是在公交/地铁/商场等移动场景下，网络通讯可能不佳，因此影响了A/B实验的结果。

3、不要过度依赖数据

过度依赖数据，一方面，会让我们做很多没有价值的数据分析；另一方面，也会限制产品经理本来应有的灵感和创意。

正像罗振宇在时间的朋友跨年演讲上提到的一样。用户要什么，你就给什么，甚至他们没说出来你就猜到了，这叫母爱算法，在内容分发领域没有人比今日头条做得更好，但母爱算法有很大的弊端，在推荐的时候会越推越窄。

另一面则是父爱算法，站的高，看得远。告诉用户，放下你手里的烂东西，我告诉你一个好东西，跟我来。正像乔帮主当年打造的iPhone系列产品一样，不看市场分析，不做用户调研，打造出超出用户预期的产品。

五、总结

美国最成功的视频网站Netflix通过基于用户习惯的分析，将大数据分析深入到电影的创作环节中，塑造了风靡一时的美剧《纸牌屋》。然而Netflix的工作人员告诉我们，不应该迷恋大数据

如果说电视剧评分9分是精品的话，大数据可以让我们脱离低分6分以下的风险，却也会带我们按部就班的走向平庸的绝大多数7-8分之间。

产品经理在直觉创造的心智能力，情感理解的社交能力，与大数据相结合，正确的理解数据，让数据真正嵌入到产品的设计中，切实解决用户的实际问题，方能真正做到所谓的“用户洞察”，让产品走到用户需求前面，超出用户的预期。

对一家互联网公司来说，如果没有设置单独的数据运营岗，那么用户运营是和数据最贴近，也必须是最了解用户的。

用户运营核心的方法论就三个：拉新，促活和留存。拉新可以作为渠道推广单独讨论，而促活和留存则相辅相成。

非运营岗，或者其他类型的运营，通常只会注重一个活跃数据的果，而不会注意活跃数据的因。我们在这里就抽丝剥茧，教大家比较快速地了解活跃体系。

互联网公司对活跃用户的定义大同小异，主要以用户打开APP一次记为一个活跃用户。

按此基础可以在时间维度引申出周活跃用户，月活跃用户。即在一个自然周内打开一次APP，则本周为周活跃用户。月活跃用户同理。

我们假设有一款新产品，这是它四个月内的活跃数据。嗯，看来不错。

产品专注的市场领域不同，活跃用户数天差地别。一款小众的垂直领域产品和泛社交类产品，单纯看活跃用户数，你很难界定它们好坏。

好的数据指标，都应该是比例或比率。

我们设定一个新指标，活跃率：某一时间段内活跃用户在总用户量的占比。

按照时间维度引申，有日活跃率DAU，周活跃率WAU，月活跃率等MAU。

例：月活跃，本月活跃用户在截止月末的总注册用户中占比。

一般而言：活跃用户数，看的是产品的市场体量。活跃率，看的是产品的健康度。

实际得承认，不同产品，用户需求（高频或低频）不同，活跃率也有差异。用户运营更多的职责是监控活跃率的变化，并且提升它。

看，我们的活跃用户数上升，活跃率下降，这对新产品来说很正常。你不能要求每一个用户都使用我们产品不是？

别急，我还没补刀呢。

我们统计了注册用户数，那么我们也可以统计出本月新增用户数，很简单，两个月相减。

是不是看出来什么了？

要知道，按照活跃的定义，新注册的用户肯定是打开APP的用户，他也一定是活跃的用户。

所以，我们拿每月的注册总用户数减去新增用户数，计算老用户数。并且将新老用户的活跃率独立出来。

指标拆分后，我们发现老用户的活跃率比预期低。实际在产品早期、渠道投入资源推广、或一次成功的病毒营销后，因为新增用户数量的暴涨，总是会带动活跃数的上升。

A产品打算在五月份做大投入，在APP上进行活动，希望用户大力参与，同时在B渠道进行推广。在常规的统计指标中，发现活跃数据上升。事后分析发现活跃为新增活跃，老用户的活跃数据没有显著上升。配合其他活动数据，证实活动效果较差。

C产品获得投资后，通过大规模的烧钱推广，获得一个正向的活跃数据反馈。此时活跃有不小可能是由新增用户撑起的。产品自身的打磨若不好，老用户活跃率不会提高，这也是我们常说的留存概念。导致钱白白浪费不少。

产品进入稳定期后，有了一定用户规模，新增活跃一般对活跃数据就不会有大的影响了。那么以新老用户区分活跃统计就够了？我们简单定义三个场景：

用户A下载产品后，把玩了一段时间，发现这是他想要的功能，爱不释手，成为发烧用户；

用户B下载产品后，看了几眼就不再使用。产品2.0发布后，觉得有个新特性不错，于是回来继续使用，逐渐成为活跃份子；

用户C从网上看到随便下载的，用了产品觉得一般，吐槽几句并且卸载，不再使用；

用户包含各种类型，反应了不同群体的特征和想法。在使用整个产品的周期中，我们应定义更全面的指标：

流失用户：

有一段时间没有再打开产品，那么我们就视为流失用户，根据产品的属性，可以按30天，60天，90天等划分。

不活跃用户：

有一段时间没有打开产品，为了和流失区分开来，需要选择无交集的时间范围。比如流失用户是60天以上没打开产品，那么不活跃则是0～60天没打开。

回流用户：

有一段时间没用产品，之后突然回来再次使用，则称为回流用户。回流用户是活跃用户，且是由流失用户或不活跃用户唤回而来。

活跃用户：

一段时间内打开过产品。

忠诚用户：

也可以叫超级活跃用户，长期持续使用产品，比如连续四周，或者一个月内15天等。

现在我们发现，不论是活跃用户还是不活跃用户的维度，都一下子丰富了起来。

通俗的理解一下用户活跃的变化

上文ABC的三位用户活跃路径为：

A：新增—活跃—忠诚

B：新增－不活跃－回流－活跃－忠诚

C：新增－不活跃－流失

回到一开始那款产品的数据，我们将分解后的新指标统计出来。（定义忠诚用户一个月内有15天活跃；流失用户为两个月没打开过）

（以上数据以月末当天的统计为准）

你看，指标开始变得复杂了。产品有长期使用的忠实用户，也有流失用户。有用户回来继续使用，也有用户不怎么爱用产品。

数据是为了方便讲解随手编的。实际的情况可能会更复杂，可以根据情况灵活应对。

用户活跃可以简化为一个最简单的公式：新增用户的数量要大于流失用户的增加量。可以想成一个水池，运营会一直往里灌水，但是水池也会漏水，如果漏水速度太大，那么水池就干了。一款产品可能因为市场竞争、拉新乏力导致新增用户数下降，也可能因为产品改动，运营策略失误造成后续流失用户变多。

将数据制作图表：

(活跃用户和不活跃用户可以拆分出来，周活跃同理)

用户运营们可以按照日、周、月维度维护三张报表，监控活跃数据的变化（建议花更多精力在周报表上）。

如果是一个好的用户运营，他会继续思考：每天有多少活跃用户变得不活跃？有多少忠诚用户变得不活跃？又有多少流失用户被我们唤回来等，并且分别是什么原因引起的。

怎么样更详细的监控活跃数据的变化呢？我们引入桑基（Sankey）图的概念。

这时，活跃数据比单纯的表格清晰多了，而且我们也能够显著观察到不同活跃层的变化。万千变化，存乎一图。 有了数据和趋势，我们应该聚焦更多精力到怎么去应用在运营和业务上。

观察忠诚用户，发现他们有什么特征，为什么爱用我们产品。同样的道理，我们也能观察流失用户；

忠诚或流失用户是否在推广渠道上有显著差异（配合新增留存数据）。

某一段时间回流用户增加，是产品更新，市场推广，还是活动营销？

本周，变成不活跃的用户比以前多，要不要做一次用户访谈看下原因？

活跃的用户用Push营销，流失的用户用短信营销，这是不是一个好方法？

以上种种，皆是用户运营需要考虑，也是要和各部门协同解决，贯彻整个产品一生的运营方向。

活跃类指标有一个显著特点需要明白，它们都是后见性的指标，也就是事情发生后我们才能观察到。比如我们发现某一段时间流失数据（假定两个月没打开APP为流失）上升，往前倒推两个月，发现当时刚好展开一次活动，那么我们有理由相信活动造成了一批用户卸载，可惜运营此时已经无能无力。先见性预防比后见性观察对运营更重要。

根据不同的用户活跃状态，依据产品的特性能采取很多运营手段。这是精准化运营的第一步。接下来则是划分用户层次等，进行更精准的运营，不过那是另外的话题了。

数据分析对于运营来说非常重要，它就像航海中的指南针，越精确的数据细度能反映不同运营手段对应的不同效果。

那么，到底该如何利用数据分析显著提升运营效果呢？本文将从4个维度给你一些建议

随着运营种类的增多，针对不同的运营模块，对应的数据分析方法也不相同。那么，怎么通过精细化的数据分析使流量运营、用户运营、产品运营、内容运营的运营效果实现指数级增长呢？

流量运营更多的解决的是用户从哪来的问题。

在目前硅谷流行的增长框架中，拉新是最重要的一个环节，和过去粗放式的流量运营中，关注PV、UV等数据指标相比。在如今流量红利逐渐退去的市场环境下，竞争更加激烈，仅仅从PV、UV等方面作为流量的KPI是远远不够的，还应当从更多的方面进行评价，才能更有效率地进行流量的管理。

1、流量概览

通过多维指标判断基本的流量情况。

在判断流量的基本情况时，除了访问量、UV、PV等这样的量级指标。我们同时还应该多维地关注平均访问时长，平均一次会话浏览页数，也就是我们讲的访问深度，跳出率等基本质量的指标。通过几个指标的基础组合，我们能了解用户使用产品的最基本概况。

例如平均一个访客，一天内访问几次产品。其中百分之多少，仅浏览一页，就直接跳出，丧失了转化机会。用户一次使用大概使用多长时间等等。

产品生命周期的概念，过去最多地应用在商业模型中，而目前也有很多的互联网产品在使用相关的概念。

产品生命周期中，最直观的指标就是访客的构成。访问用户中，包括新访的用户和访问用户。登陆用户，包括新登陆用户和登陆用户。新访客比上全体访客，登陆用户比上访问用户，新登陆比上登陆用户的比例，等等，也可以判断流量的基本质量。

举例来说，一个处在成长期的产品，来访的流量中，新用户的比例很低，说明增长的空间就相对较低。这个时候，我们就应当及时调整运营方向。

2、流量分析

在了解流量的基本情况之后，我们需要对流量进行细分分析，一旦探索和暴露流量方面的问题，制定下一步可执行的策略。

按访问来源分析流量表现

那么在网站的流量分析中，一般分析维度包括访问来源、落地页、搜索词、广告等等。我们主要讲一下访问来源以及流量具体从哪里来。

从访问来源来讲，那么基本的访问来源，我们也可以叫一级访问来源，包括有直接访问、外链、搜索引擎和社交媒体。在每一类访问来源下，又存在多种形式和多种渠道。比如说社交平台和搜索引擎，就会有多个不同的平台。在这个框架下，我们需要去一层一层地进行拆解，从大类到具体的类别，再到具体的渠道来查看流量的表现。

举例子来讲GrowingIO的博客是一个以运营干货为主的网站，有部分用户会直接访问来查看我们博客内容更新。很多文章会进行外部的推广，在媒体进行转载引用。我们自己也会分享在不同的社交媒体中。就如图所示，我们拿社交媒体推广为例，其中访问量、访问用户、平均访问时长、跳出率等指标，我们可以直观地发现，相比较于微信和知乎、微博推广平台的流量质量是相对来说比较低的。

这个时候，当运营资源有限的情况下，我们的运营人员，就需要针对流量的基本表现，来进一步规划社交媒体推广的策略。

从流量入口分析流量表现

我们刚才讲的访问来源的分析中，讨论的更多是流量的来源。但仅仅考虑来源，我们就忽略了流量的另外的一个方面，也就是流量的入口。

所以对一般的网站来说，流量的入口，就是第一个到达我们网站的页面，也就是我们一般所讲的落地页。因此落地页的分析，对于流量质量的判断来说，也是十分重要的。用户到达网站的第一个网页，大部分是哪一个网页，是不是大部分流量被导入或者引流到了无效或者是不重要的页面，从而使用户丧失了进一步了解的兴趣，直接跳出了我们的网站。

通过访问量、跳出率等这些指标我们就可以对我们导流的落地页，有一个基本的判断。

分发渠道和版本

对于APP来讲，流量分析中主要的维度，应该包括的是分发渠道，还有APP的版本等。那么对于分发渠道来讲，我们需要监测用户下载的主要分发渠道。比如说小米应用市场、腾讯应用宝等等。

各个渠道中，除了活跃用户数，也就是我们讲的DAU或者访问用户量这样的指标外，新访问用户量也是一个很重要的指标。对于下载量较大的分发渠道，我们需要进一步去做分发渠道的这种ASO的优化。争取较好的推荐位等。

当然同时，如果当某个分发包出现问题，导致不能下载的时候，我们也可以及时地去发现问题。

在APP产品中，产品会经常去进行一些功能的优化调整，来进行新版本的发布。所以一段时间之内，会存在新版本和老版本APP被同时使用的情况。这个时候我们就需要在时间维度下，去监测不同版本的APP使用用户量占比的一个情况。也就是图中的这种APP版本更迭情况图，进一步地去了解我们的APP版本的更迭速度，以及目前大部分用户使用的是否是我们进行新版本优化的这样的一些情况等等。

在正常分发渠道之外，一般我们还会做一些比如说外部的推广活动，利用H5或者是外部链接等等，去进行APP的推广。对于这些外部链接，以及相应活动推广的这些渠道包，我们也要进一步甚至去重点关注他们的流量的基本表现。

3、流量激活及转化分析

流量的基本的分析，除了访问量、跳出率等指标以外，我们还应该和产品的具体目标结合起来。做流量或者渠道运营的童鞋，在拉新的基础上，更重要的是要找到对产品目标具有正向促进作用的渠道。所以还需要进一步激活。

在下图中，我们以激活来举例，当然激活在每个产品中的定义也是不一样的，有的和注册有关，有的会更深一步。比如说像做支付类产品，可能是做到实名认证等等。不管是什么样子的定义，激活一般是需要一定的流程和步骤的。我们可以按照激活的流程和步骤做一个漏斗分析，得到激活流程的整体转化率，以及每一步的流失情况。

4、综合流量大小、激活、转化等进行渠道的优化配置

接下来，我们就可以按照访问来源来分析每个渠道的激活转化率了。在上图的这个例子中，我们可以看到，对于不同渠道引流的用户，注册激活转化率有较大的差异。

通过这样的分析，我们就能够进一步深入了解不同渠道的差距。比如下图，这几个渠道中，除了好123以外，在转化的第二步之后的转化率的量级，其实是相差不多的。在第一步和第二步之间的这个转化率，有较大的差异。

转化的第一步，一般来讲是一个转化开始的意愿判断。所以我们可以大概地去定位客群特征，并去做推广话术和方法的差异化。对于比如说像好123这个渠道，是一个访问量很大，但是基本上没有转化的渠道。这个时候，我们就需要进一步去对比投放的目标，是想去增加大部分的曝光，还是希望能够精准触达目标的客群，来进一步进行渠道投放的评估。

除此之外，有时候不同渠道整体转化率的差异并不是很大，但是在每一步的转化率上面存在一些差异。尤其是一些垂直行业，特定的推广渠道，目标客群的需求和特征是不一样的。在一定程度上，这些目标客群的区别，就会影响这个核心的转化行为。

所以对转化漏斗分渠道进行分析，我们也可以进一步看到，不同的导流渠道来访的用户，中间的行为是否存在差异，甚至以此来推断客群的特征，并判断是否可以去做一些差异化的运营。

先给大家讲一个数据分析的小故事，发生于四百年前。

在中世纪，科学界最大的争论在于，到底是地球围绕太阳旋转，还是太阳围绕地球旋转。那时候有一位伟大的天文学家叫第谷·布拉赫，为了解决这个人类科学最初的大争论，开始了寻求数据支持的伟大征程。当时丹麦国王专门为他建了一个天文台，配备了齐全的观测仪器。从那时之后的20年里，第谷每天晚上风雨无阻地观测行星运动的轨迹，把每个行星每天晚上的位置，精确地记录下来，是天文史上第一个真正地开始收集大数据的天文学家，但是他没有足够的智慧从中发现行星运行的规律。 后来，第谷的学生开普勒拿到大量的数据之后，摒弃了每一天的视角，他从每一年的视角来看：地球每365天就会回到原点，而其他的行星还在自己的轨道上运动。他把行星运动的轨道画出来了，得出了所有行星围绕太阳运动的结论。在此基础上，开普勒提出了著名的行星运动三大定律，成就了近代天文学的开端。

这个故事告诉我们：

1、数据是数据分析的基础。如果没有第谷20年如一日的观测记录，开普勒不可能取得如今的成就；而如果没有开普勒，第谷的所有观测数据，都将成为一堆毫无用处的废纸。

2、要客观的分析数据，具备数据分析的视角和思维。第谷一直以“地心说”的思想观察数据变化，开普勒接受了哥白尼的“日心说”思想，在新的角度上结合观测数据才发现行星运动的定律。

3、要学会合理利用数据。开普勒通过每年的观测数据，才发现了行星运动规律，当我们面对海量数据的时候，最需要的是独具慧眼，在繁杂的数据中找到我们需要的数据，才能真正的将数据运用起来。

编者按：本文来自公众号秦路（ID：tracykanc），作者秦路；36氪经授权发布。

最近有不少同学在后台问我数据分析的职业发展相关，这里先列一个简易大纲。它更多是以我所在的互联网行业展开的。

入门和职业规划应该从两个角度考虑：领域和路线。

领域是不少新人常忽略的要素，其实数据分析不会脱离业务存在。你进入哪个行业，很大程度会决定你初期的技能树和技能点。譬如金融领域的风控模型、营销领域的生命周期、广告领域的点击率预估等，各有各的特色。

如果是一位应届生，不妨多了解自己感兴趣的领域，和专业相关是最好的，并且积累相关的经验，为面试做准备。

如果已经有一定行业履历，只是想要转岗数据分析师，那么跨岗不跨行，避免跳到一个陌生的领域。

领域经验太宽泛，我给不了太多的指点，主要也就三点：1.自己感兴趣的，2.自己擅长的，3.有钱途的。从职场生涯看，成为某领域的数据专家，会是一个更好的筹码。

而路线大致可以划分成四大方向：

数据分析，数据挖掘，数据产品，数据工程。

数据分析/数据运营/商业分析

这是业务方向的数据分析师。

绝大部分人，都是从这个岗位开始自己的数据之路，也是基数最大的岗位。

因为基数大，所以这类岗位通常鱼龙混杂。有些虽然叫数据分析师，但是每天只需要和Excel打交道，完成leader布置的表格整理工作就行。混个几年，成为一位数据分析主管，给下面的新人继续布置Excel任务。

又有一种数据分析师，岗位职责要求你掌握常用的机器学习算法，面试首先推导一个决策树或者逻辑回归。入职后也是各类代码，和分析打交道的情况不多。

都叫数据分析师，其实天差地别。

这里更多指互联网行业，偏业务的数据分析师，一般属于运营部门。不少公司也称数据运营或者商业分析。

这类岗位的职位描述一般是：

负责和支撑各部门相关的报表；

建立和优化指标体系；

监控数据的波动和异常，找出问题；

优化和驱动业务，推动数据化运营；

找出可增长的市场或产品优化空间；

输出专题分析报告；

实际情况是，不少业务端的数据分析师，主要工作只做第一点。别管它用汇总、分析、数据支持什么修饰词，基本是跑SQL，做报表。硬生生活成了业务端的表哥。

这是很常见的情况，也是入门新人的第一个坑。因为从头到尾，这类分析师，都没有解决问题。

业务部门往往更关心，某个指标为什么下跌或者上升。产品的用户是什么样的？怎么能更好的完成自己的KPI。

以活跃指标的下跌举例：

活跃指标下跌了多少？是属于合理的数据波动，还是突发式？

什么时候开始的下跌？

是整体的活跃用户下跌，还是部分用户？

为什么下跌？是产品版本，还是运营失误？

怎么解决下跌的问题

这是一套标准的解决思维。分别对应what、when、who、why、how，每一部分都不是三言两语可以解释清楚。不要看它简单，例如你通过多维分析，发现某个地区的活跃下跌了，不要急着把它作为分析的结论，这是不合格的数据分析。某地区的活跃下跌，只是现象，不是原因，把它作为结论提交，肯定会被骂的。

你要解决的是，为什么这个地区的活跃下跌了。是该地渠道，是该地竞争对手，是该地市场环境？这些问题都是细化深入的范畴。并且，它们要能以量化解释，而不是我认为。

做好了这点，才是一个真正的业务端的数据分析师。

当然，这一点看的是leader。leader能否带你进入业务分析的大门，决定你将来是不是成为一个表哥。新人切记切记。

解决问题是一方面工作，另外一方面，数据分析师的职责是将业务数据体系化，建立一套指标框架。活跃下跌的问题，本质上也是指标问题。什么时候开始下跌，哪部分下跌，都能转化成对应指标，如日活跃用户数，新老用户活跃数，地区活跃数。

你不能衡量它，就无法增长它，指的就是指标体系。指标体系可以是业务部门建立，但数据分析师也挺合适。一方面他们比数据挖掘这类技术岗位更贴合业务，一方面不像业务岗位对数据抓瞎。

两者结合，这岗位也能称为数据运营。

指标体系如果工程化自动化，也就是BI，所以数据分析师可以算半个BI分析师，这里不包括BI报表开发。BI如果采购第三方，数据分析师负责BI没问题，如果自有开发，那么BI岗技术的色彩更浓厚。

数据分析思维和业务的理解，是分析师赖以生存的技能。很多时候，工具是锦上添花的作用。掌握Excel+SQL/hive，了解描述统计学，知道常见的可视化表达，足够完成大部分任务。机器学习这类能力，对此类数据分析师不是必须的，Python也一样，只是加分项。毕竟为什么下跌，你无法用数据挖掘解答。

数据分析师是一个基础岗位，如果专精于业务，更适合往管理端发展，单纯的工具和技巧很难拉开差距。数据分析的管理岗，比较常见的有数据运营经理/总监，数据分析经理等，相对应的能力是能建立指标体系，并且解决日常的各类「为什么」问题。

商业/市场分析是另外一个方向，更多见于传统行业。你要开一家超市，你得考虑哪里开，这就要考虑居民密度，居民消费能力，竞争对手的多寡，步行交通距离，开车交通距离等。这些数据是宏观的大指标，往往靠搜索和调研完成，这是和互联网数据分析师最大的差异。

若往其他分支发展，比如数据挖掘工程师，则要继续掌握Python和机器学习等。从业务型发展上来的好处是接地气，具备商业洞察力（天天搞报表，怎么可能不熟），这点是直接做数据挖掘，或者程序员转岗，所不具备的。

新人，比较普适的发展路线是先成为一位数据分析师。积累相关的经验，在一两年后，决定往后的发展，是数据挖掘，还是专精数据分析成为管理岗。

学习资料：

这里对学习资料不再多做推荐，看历史文章：如何七周成为数据分析师

数据挖掘/算法专家

这是技术向的数据岗，有些归类在研发部门，有些则单独成立数据部门。

数据挖掘工程师要求更高的统计学能力、数理能力以及编程技巧。

从概念上说，数据挖掘Data mining是一种方式，机器学习Machine Learning是一门方法/学科。机器学习主要是有监督和无监督学习，有监督又可划分成回归和分类，它们是从过去的历史数据中学习到一个模型，模型可以针对特定问题求解。

数据挖掘的范围则大得多，即可以通过机器学习，而能借助其他算法。比如协同过滤、关联规则、PageRank等，它们是数据挖掘的经典算法，但不属于机器学习，所以在机器学习的书籍上，你是看不到的。

除此之外，还有一个领域，属于最优化问题的运筹学。现实中的问题往往有很多约束，比如护士排班，一共有三班（早、中、晚），现在要求每班满足最低护士人数，每位护士尽量不能连班，每位护士不能连续工作5天。每位护士的夜班数要均衡，每位护士每月的班数要均衡…这些问题很难用机器学习的方法完成，而在最优化领域，则有遗传算法、模拟退火算法、蚁群算法等。

实际的应用场景中，如外卖行业，如何寻找骑手效率最大化的最优路径，同样属于最优化，也是数据挖掘的工作范畴。

数据挖掘工程师，除了掌握算法，同样需要编程能力去实现，不论R、Python、Scala/Java，至少掌握一种。模型的实施，往往也要求Hadoop/Spark的工程实践经验，精通SQL/Hive是必须的。

常见数据挖掘项目的闭环如下：

定义问题

数据抽取

数据清洗

特征选取/特征工程

数据模型

数据验证

迭代优化

单看环节，数据挖掘对分析能力没有业务型那么高。这不代表业务不重要，尤其在特征选取方面，对业务的理解很大程度会影响特征怎么选取，进而影响模型质量。用户流失是一个经典的考题，如何选取合适的特征，预测用户会否流失，能够考察对业务是否深刻洞察。

数据挖掘的业务领域一样可以细分。金融行业的信用模型和风控模型/反欺诈模型、广告模型的点击预估模型、电商行业的推荐系统和用户画像系统。从需求提出到落地，数据挖掘工程师除了全程跟进也要熟悉业务。

因为要求高，所以数据挖掘的平均薪资高于数据分析师。

一个分工明确的团队，数据分析师负责将业务需求抽象成一个具体的数据假设或者模型。比如，运营希望减少用户流失，那么设立一个流失指标，现在需要预测用户流失率的模型。模型可以是数据分析师完成，也能是数据挖掘工程师。最终由数据挖掘团队部署到线上。

在一些公司，高级数据分析师会等价于数据挖掘工程师（其实行业内，对Title并没有严格的标准），只是工程能力可以稍弱，模型部署由专门的工程团队完成。

数据挖掘工程师，往后发展，称为算法专家。后者对理论要求更严苛，几乎都要阅读国外的前沿论文。方向不局限于简单的分类或者回归，还包括图像识别、自然语言处理、智能量化投顾这种复合领域。这里开始会对从业者的学校和学历提出要求，名校+硕士无疑是一个大优势，也有很多人直接做数据挖掘。

深度学习则更前沿，它由神经网络发展而来，是机器学习的一个子集。因为各类框架开枝散叶，诸多模型百花齐放，也可以算一个全新的分支。除了要求熟悉TensorFlow, Caffe, MXNet等深度学习框架，对模型的应用和调参也是必备的，后者往往是划分普通人和大牛的天堑。

算法专家和深度学习专家，薪资level会更高一级，一般对应于业务型的数据运营/分析总监。

数据科学家是上述岗位的最终形态之一，要么理论能力非常强，往往担任研究院的一把手。要么工程能力突出，上述的系统都能完成平台化的部署。

这类岗位对基础知识要求扎实，所以书籍需要比较大的阅读量，而且要保持领域新论文的吸收。

统计知识，除了「商务与经济统计」外，国外有一本「The Elements of Statistical Learning」，评价不错。

机器学习的入门，李航的「统计学习方法」，周志华的「机器学习」都是好书，英文好也能看PRML。

Python入门书籍的推荐太多，略过。「用Python进行数据分析」是必备的，当然这本书有点老，活用官网最新文档和stackoverflow，基本无碍。Python可视化查阅文档也够了，不用看书。

再进一步，则是机器学习的代码实现，比较知名的有「集体智慧编程」，「机器学习实战」等。其实最近还有不少新书，「Python DataScience Handbook」等，我当然不可能都看过，所以也不好推(hu)荐(you)。

除了基础，行业领域的也别落下，诸如推荐系统实战、计算广告…按需学习。如果你们公司对于人才有较高的挑战（一个人当两个人用），大概Spark/Hadoop机器学习相关的框架也得了解。

数据产品经理

这个岗位比较新兴，它有两种理解，一种是具备强数据分析能力的PM，一种是公司数据产品的规划者。

前者，以数据导向优化和改进产品。在产品强势的公司，数据分析也会划归到产品部门，甚至运营也属于产品部。这类产品经理有更多的机会接触业务，属于顺便把分析师的活也干了，一专多能的典型。

他们会运用不同的数据源，对用户的行为特征分析和挖掘，达到改进产品。最典型的场景就是AB测试。大到页面布局、路径规划、小到按钮的颜色和样式，均可以通过数据指标评估。

下图的案例，就是弱化心愿单按钮的存在感，让用户更多的聚焦在直接购买而不是收藏，最终让销售额提高了35%。

俗话说，再优秀的产品经理也跑不过一半AB测试。此类数据产品经理，更多是注重数据分析能力，擅长用分析进行决策。数据是能力的一部分。

后者，是真正意义上的数据产品经理。在公司迈大迈强后，数据量与日俱增，此时会有不少数据相关的产品项目：包括大数据平台、埋点采集系统、BI、推荐系统、广告平台等。这些当然也是产品，自然需要提炼需求、设计、规划、项目排期，乃至落地。

我们不妨看几个数据产品经理要求：

负责大数据产品的设计，输出需求文档、产品原型；

负责推荐算法的产品策略，完成相关推荐及个性化推荐产品的需求分析；

负责分析和挖掘用户消费内容的行为数据，为改进算法策略提供依据；

负责客户端数据需求的对接，制定相关埋点规范及口径，相关业务指标验证；

报表展示工具的落地和应用；

和C端注重用户体验不同，数据产品，更注重整体的分析能力和逻辑。除了产品经理最基础的Axure、Visio、MindManager等工具。往往还需要很多技术型的能力。比如了解BI/DW原理和实施、了解常用的推荐算法、了解机器学习模型等。这也很容易理解，C端要求你了解用户需求，而在数据端，主要用户就是数据。

这当然不是说，用户体验不重要，拿推荐算法来说，除了满足用户最基本的感兴趣，也要考虑时效性，考虑新兴趣的挖掘，考虑无数据时的冷启动问题…这些一样是用户体验，只是解决方案也得从数据出发。再多思考一步，模型是离线还是实时，实时怎么实现它？技术细则不用�...

文 | 帆软数据应用研究院 船长

数据分析就近几年看来，越来越有一种像通用技能发展的趋势，从生产、研发、市场、销售到运营，多多少会存在数据分析的需求。

关于数据分析，网络上有不少分析报告案例，但细细读来，好多都缺少辨证，逻辑不严谨，又或者分析得浅尝辄止。恰逢最近读了《大数据分析的道与术》，是一套很完整的理论书籍，结合自己多年的数据从业经验，积累了一些心得，想与大家分享。

作为一个唯物主义者，做事总是爱讲方法论。曾经“农村包围城市，武装夺取政权”作为方法论的代名词，总是挂在嘴边。那么数据分析工作，方法论是什么呢？是“先道后术，以道驭术”，也就是先了解数据分析的核心原则，再掌握数据分析的一些关键技术。

什么是数据分析？

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。其实简单理解，数据分析本身就是“数据”和“分析”两块工作。一方面是采集、加工、整理数据，另一方面是结合数据背景分析数据，从中提取出对业务有帮助的结论。

数据分析的成果通常是数据分析报告

。常见的就是带图、表的PPT、PDF文件，也有一些Web版的图表系统（有兴趣的，可以在应用商店搜索“数据分析”，有各类演示系统可以体验）。对于数据分析报告，类似议论文，分析是论点，数据就是论据。

数据分析有什么用呢？这个经常被问到，尤其当一篇花里胡哨的报告在网上发布，就有人说报告没用，顺带着撇一嘴数据分析也没用。

数据分析对企业的巨大价值体现在业务发展的前期（探索期）或阶段性改进期（颠覆期）。当探索和变革业务时，企业需要数据分析去明确业务中的问题、机遇及解决方案。企业最大的成本是决策成本，而数据分析是提高企业决策能力的关键；当业务模式相对成熟时，企业则需要数据建模来提升业务效率，减少运营成本等。

那，数据分析又有哪些普遍又典型的应用场景呢？笔者经验，主要是三个：掌握业务状态、分析业务潜力、评估业务进展。

场景-掌握业务状态

：我们需要通过对核心指标进行监控、解读和分析，掌握业务经营状况。比如某日销量出现异常波动，需要数据分析来定位原因。（产品A本周销量异常上涨10%，是什么原因？怎么分析？）在比如月末、季末部门做关键业务指标总结，并做业务发展趋势分析等。（本季度的关键数据指标如何？各项业务进展如何？都有哪些积极消极因素，具体多大影响，下个月、下个季度业务则呢么发展？）譬如下方用finereport搭建的数据平台，统计监测的业务数据。按照制定的业务分析规则展示，可以清晰地看到哪个环节出错。

销售额分析

销售团队分析

销售指标追踪

场景-分析业务潜力

：产品当前的主要问题是什么？下一步的发展潜力在哪里？从数据中挖掘问题原因并提出对策，指明产品的下一步改进方向。比如商品B近3个月流失了1000个会员，原因是什么（分析原因）？如何减少会员流失（找对策）？

场景-评估业务进展

：新上线的产品策略或新推进的运营活动，带来了多少业绩提升？项目的覆盖面和影响面如何？其中存在怎样的问题，如何进一步优化等等。比如针对部分客户，设计全新的促销策略，在本月执行后，如何评价促销策略带来的业绩提升？是否目标客户群比上个月购买额增长可以作为促销策略的成果？

既然数据分析有如此之多的应用场景和使用价值，那么怎么才能做好数据分析呢？只能说，太难，既需要工具技巧的掌握，又要有能明察秋毫洞若观火的业务经验。但相比而言，个人觉得后者更为重要，就像如果只知道方法论，但没有对业务的理解，如何实行的套路，数据分析只会浮于表面，既不能挖掘问题原因，也不能提供解决方案。

做好数据分析，不谈技术，先认清以下4个关键。

1、业务调研：理解业务是基础，否则分析是无本之木，甚至是个人意淫。

2、创新思考：广阔的知识面和积极的思考，是分析思路的源泉，数据分析的创新思考，实质上就是从更多的思路进行分析，找出最合理的思路。

3、逻辑推理：对数据指标作出正确的归因分析和判断。

4、可行建议：产生对业务切实有效的改进建议和执行方案。

“业务调研”是数据分析的起点，也是获取分析思路的基础，但是需要兼具深度和广度的“创新思考”，才能获取更独到的分析思路。分析思路也可以认为是统计数据的角度，完成数据统计后，需要“逻辑推理”来保证从数据到结论判断的正确性。最后，用“可行建议”来保证分析结论的落地执行，产生可量化的业绩。这就是数据分析从业务中来，回到业务中取得完成过程。

本文是笔者《大数据分析道与术》读书笔记第1篇，浅述了一下。下周将结合自身经验，对业务调研、创新思考、逻辑推理、可行建议逐一做解读分析。

文 |

帆软数据应用研究院

船长