对于具体的业务场景问题，我们该怎么办呢?我们以一个电子商务网站为例，用数据分析产品 GrowingIO 对该网站进行快速地数据采集、清晰和可视化展示，然后给大家分享这 8 种常见的数据分析方法。

1 数字和趋势

看数字、看趋势是最基础展示数据信息的方式。

在数据分析中，我们可以通过直观的数字或趋势图表，迅速了解例如市场的走势、订单的数量、业绩完成的情况等等，从而直观的吸收数据信息，有助于决策的准确性和实时性。

对于电子商务网站，流量是非常重要的指标。

上图中，我们将网站的访问用户量(UV)和页面浏览量(PV)等指标汇汇聚到统一的数据看板(Dashboard)，并且实时更新。

这样的一个数据看板，核心数字和趋势一目了然，对于首席增长官来说一目了然。

2 维度分解

当单一的数字或趋势过于宏观时，我们需要通过不同的维度对于数据进行分解，以获取更加精细的数据洞察。

在选择维度时，需要仔细思考其对于分析结果的影响。

举个例子，当监测到网站流量异常时，可以通过拆分地区、访问来源、设备、浏览器等等维度，发现问题所在。

3 用户分群

针对符合某种特定行为或背景信息的用户，进行归类处理，是我们常常讲到的用户分群(segmentation )的手段。

我们也可以通过提炼某一群用户的特定信息，创建该群体用户的画像。 例如访问购物网站、寄送地址在北京的用户，可以被归类为“北京”用户群体。

而针对“北京”用户群体，我们可以进一步观察他们购买产品的频度、类别、时间，这样我们就创建出该用户群体的画像。

在数据分析中，我们往往针对特定行为、特定背景的用户进行有针对性的用户运营和产品优化，效果会更加明显。

上图中，我们通过 GrowingIO 的用户分群功能将一次促销活动中支付失败的用户挑选出来，然后推送相应的优惠券。

这样精准的营销推广，可以大幅度提高用户支付的意愿和销售金额。

4 转化漏斗

绝大部分商业变现的流程，都可以归纳为漏斗。

漏斗分析是我们最常见的数据分析手段之一，无论是注册转化漏斗，还是电商下单的漏斗。

通过漏斗分析可以从先到后还原用户转化的路径，分析每一个转化节点的效率。　　其中，我们往往关注三个要点：　第一，从开始到结尾，整体的转化效率是多少?　　第二，每一步的转化率是多少?　　第三，哪一步流失最多，原因在什么地方?流失的用户符合哪些特征?

上图中注册流程分为 3 个步骤，总体转化率为45.5%;

也就是说有 1000 个用户来到注册页面，其中 455 个成功完成了注册。

但是我们不难发现第二步的转化率是 56.8% ，显着低于第一步 89.3% 和第三步转化率 89.7%，可以推测第二步注册流程存在问题。

显而易见第二步的提升空间是最大的，投入回报比肯定不低;如果要提高注册转化率，我们应该优先解决第二步。

5 行为轨迹

关注行为轨迹，是为了真实了解用户行为。

数据指标本身往往只是真实情况的抽象，例如，网站分析如果只看访问用户量(UV)和页面访问量(PV)这类指标，断然是无法全面理解用户如何使用你的产品。通过大数据手段，还原用户的行为轨迹，有助于增长团队关注用户的实际体验、发现具体问题，根据用户使用习惯设计产品、投放内容。

上图中展示了一位用户在某电商网站上的详细行为轨迹，从官网到落地页，再到商品详情页，最后又回到官网首页。

网站购买转化率低，以往的业务数据无法告诉你具体的原因;通过分析上面的用户行为轨迹，可以发现一些产品和运营的问题(比如是不是商品不匹配等等)，从而为决策提供依据。

6 留存分析

在人口红利逐渐消褪的时代，留住一个老用户的成本要远远低于获取一个新用户。

每一款产品，每一项服务，都应该核心关注用户的留存，确保做实每一个客户。

我们可以通过数据分析理解留存情况，也可以通过分析用户行为或行为组与回访之间的关联，找到提升留存的方法。

在 LinkedIn，增长团队通过数据发现，如果新用户进来后添加 5 个以上的联系人(上图红色线条)，那么他/她在 LinkedIn 上留存要远远高于那些没有添加联系人(上图绿色和紫色的线条)的留存。

这样，添加联系人称为 LinkedIn 留存新用户的最核心手段之一。除了需要关注整体用户的留存情况之外，市场团队可以关注各个渠道获取用户的留存度，或各类内容吸引来的注册用户回访率，产品团队关注每一个新功能对于用户的回访的影响等等，这些都是常见的留存分析场景。

7 A/B 测试

A/B 测试用来对比不同产品设计/算法对结果的影响。

产品在上线过程中经常会使用 A/B 测试来测试不同产品或者功能设计的效果，市场和运营可以通过 A/B 测试来完成不同渠道、内容、广告创意的效果评估。

举个例子，我们设计了两种不同的产品交互形式，通过比较实验组(A 组)和对照组(B 组)的访问时长和页面浏览量两个衡量指标，来评估哪一种交互形式更佳。要进行 A/B 测试有两个必备因素：

第一，有足够的时间进行测试;

第二，数据量和数据密度较高。

因为当产品流量不够大的时候，做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样大体量的公司，每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往在公司数据规模较大时使用会更加精准，更快得到统计的结果。

8 数学建模

当一个商业目标与多种行为、画像等信息有关联性时，我们通常会使用数学建模、数据挖掘的手段进行建模，预测该商业结果的产生。

作为一家 SaaS 企业，当我们需要预测判断客户的流失时，可以通过用户的行为数据、公司信息、用户画像等数据建立流失模型。

利用统计学的方式进行一些组合和权重计算，从而得知用户满足哪些行为之后流失的可能性会更高。

我们常常说，不能度量，就无法增长，数据分析对于企业商业价值的提升有着至关重要的作用。

当然，仅仅掌握单纯的理论还远远不够，实践出真知。数据分析的方法大家不妨在自己日常工作中，有分析相关项目里尝试使用，相信可以事半功倍，创造更多商业价值。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。

大数据在国内已经火热了一段时间，无论是政府还是企业都已开始重视大数据，纷纷设立大数据部门，数据之于企业的重要性不言而喻。因此优秀的企业为了分析收集来的海量数据，会毫不犹豫地雇佣专业级的数据分析师来帮助公司进行决策，创造价值。

据某招聘网站调查，一名有经验的数据分析师的年薪不低于20万。而数据工程师、数据科学家等则收入更高。作为数据分析师，无论最初的职业定位方向是技术还是业务，最终发到一定阶段后都会承担数据管理的角色。因此，一个具有较高层次的数据分析师需要具备完整的知识结构。大数据时代,数据分析对于企业决策和发展起到越来越重要的作用。

1.数据采集

了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题;同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。

在数据采集阶段，数据分析师需要更多的了解数据生产和采集过程中的异常情况，如此才能更好的追本溯源。另外，这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。

2.数据的加工整理

在明确数据分析目标基础上收集到的数据，往往还需要进行必要的加工整理后才能真正用于分析建模。数据的加工整理通常包括数据缺失值处理、数据的分组、基本描述统计量的计算、基本统计图形的绘制、数据取值的转换、数据的正态化处理等，它能够帮助人们掌握数据的分布特征，是进一步深入分析和建模的基础。

3.数据分析

数据分析相对于数据挖掘更多的是偏向业务应用和解读，当数据挖掘算法得出结论后，如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义，如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。

4.数据展现

数据展现即数据可视化的部分，数据分析师如何把数据观点展示给业务的过程。数据展现除遵循各公司统一规范原则外，具体形式还要根据实际需求和场景而定。基本素质要求如下：

工具：PPT、Excel、Word甚至邮件都是不错的展现工具，任意一个工具用好都很强大。

形式：图文并茂的基本原则更易于理解，生动、有趣、互动、讲故事都是加分项。

原则：领导层喜欢读图、看趋势、要结论，执行层欢看数、读文字、看过程。

场景：大型会议PPT最合适，汇报说明Word最实用，数据较多时Excel更方便。

最重要一点，数据展现永远辅助于数据内容，有价值的数据报告才是关键。

5.数据应用

数据应用是数据具有落地价值的直接体现，这个过程需要数据分析师具备数据沟通能力、业务推动能力和项目工作能力。

数据沟通能力。深入浅出的数据报告、言简意赅的数据结论更利于业务理解和接受，打比方、举例子都是非常实用的技巧。

业务推动能力。在业务理解数据的基础上，推动业务落地实现数据建议。从业务最重要、最紧急、最能产生效果的环节开始是个好方法，同时要考虑到业务落地的客观环境，即好的数据结论需要具备客观落地条件。

项目工作能力。数据项目工作是循序渐进的过程，无论是一个数据分析项目还是数据产品项目，都需要数据分析师具备计划、领导、组织、控制的项目工作能力。

数据分析师技能要求

1、数理统计基础

作为一名数据分析师，一定要掌握一些基础的、成熟的数学模型算法。例如：回归分析、因子分析、聚类分析、决策树、关联规则、神经网络等。同时建议多看一些博文，看别人对于这个方法的理解，怎么在实际业务中应用，以及如何优化等等。在算法上可以不做到用软件编写算法，但是一定要知道原理，知道怎么应用，怎么调整参数，参数的含义等等。

2、工具

对于一个初级的数据分析师要掌握的基础工具，Excel，SPSS，数据库（如mysql等），随着大数据的来临，传统的一些软件已经不足以支撑数据分析、数据挖掘了，随着工作年限的增长，工作内容的加深，R和Python一定要会一个，目前流行的很多机器学习算法要这些软件才能实现。现在机器学习很火，建议多研究一下这方面的内容，不论是对于自身的提升还是对职业发展都是非常有利的。

3、对行业的了解程度

对特定行业的了解可以帮助数据分析师尽快进入状态，加速决策的过程。如果缺少这一前提，你的数据分析师可能不得不花时间来先对整体行业有一个大概地认知，学习相关知识，然后才能投入其中。

4、沟通能力

现代社会，工作通常要通过分工合作来完成。沟通成为其中必不可少的一环。所以你想要雇佣的数据分析师在这方面有所建树的话，可以极大地提升工作效率。另外，拥有良好沟通能力的专家懂得合理地呈现数据可视化成果并且讲好数据故事。

要成为高级数据分析师的话，一方面是要强化对业务的理解，最好是做到通过数据分析帮助公司决策方向，或者说促进企业快速增长。另一方面，要加强机器学习/数据挖掘的专业知识学习，将机器学习成为数据分析的手段。最后，要强调的是，数据分析师是一个实践的职位，要在实际项目中不断的训练。

作者：吴彬彬

我们在生活中，会经常听说两种推理模式，一种是归纳 一种是演绎，这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累，在此基础上快速定位业务问题，提升分析效率，但是对于刚入门的数据分析师，在项目经验不足的前提下，如何快速完成项目的分析报告？ 这里引进一种外展推理的思维模式，方便入门分析师的完成日常的工作。

那什么是外展推理模式呢？

在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分：规则，情况以及结果。

规则: 通常是对这个世界的看法；情况：就是这个世界存在的已知事实；结果：将规则用于情况，预期要发生的事儿。

这三个任何一个实体都可以作为推理的起点，然而起点不同意味着，推理的方法也有所差异。

以规则为起点的推理方法可以称之为演绎推理。

举个例子，如果平时不努力，考试成绩将不及格(规则)；现实中a平时不努力(情况)；所以a考试不及格(结果)。

以情况为起点的推理方法就是归纳推理。

a平时不努力(情况)；a考试不及格(结果)；所以a考试不及格的原因可能是平时不努力。

以结果为起点的推理方法就是外展型思维方法。

a考试不及格(结果)，考试不及格通常是由于平时不努力(规则)，检查是否平时不努力(情况)。

从日常工作中，我们可以发现，外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式，是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑，那如何进行外展推理呢？外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因，之后的重点就是收集资料，以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段，按日常的工作可以简化如下三个流程：

将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较，分离不同层级的因素，合并同一层级中相同的因素，确保各因素的独立性。按照正确的逻辑关系，把各因素进行排列组合。

如下图：我们可以将问题进行分解，分解的原则为

各部分之间相互独立 （Mutually Exclusive）所有部分完全穷尽 （Collectively Exhaustive）

在此基础上按层级进行数据分析定位，找到最细的原因。

在工作中，我们主要会用到的分解方法有这两种，

按业务职能结构划分，比如渠道，运营，功能等相关模块，将相关指标映射到主要模块，通过简单快速的沟通，能快速的定位问题原因，但是缺点是分析结果不够直接，依赖外部资源信息搜集。按因果结构划分（指标分解）营收=日活*付费率*arpu等指标因果关系进行划分，通过定位指标波动，定位最细指标，辅助维度下转，能够清楚的问题原因，该方式是较为稳妥的方式，是日常工作中的主要方式，但是缺点是需要构建相对完整的指标逻辑体系。

如上两种分解方法针对不同的项目要求进行组合应用，但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛，在经过阶段训练后，逐步利用归纳和演绎的思维，提升业务熟悉程度，完成业务的初始积累后，后续的分析过程中就可以逐步减少拓展推理的层级及组合，逐步提升问题原因定位的效率。

网易有数：企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台，采用PPT模式的报告制作，更加易学易用，具备强大的探索分析功能，真正帮助用户洞察数据发现价值。可免费试用。

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享 IT 技术和行业经验，请关注-技术学派。

微信公众号发展至今，整体的产业已趋向成熟，市场对其运营框架也有了大致的共识，基本上可分为：内容运营、活动运营、用户运营，以及渠道运营和数据运营等几大模块。每个不同的运营模块，它们各自独立，同时又相互地影响。

本文侧重于对运营初学者来说，提供一套简易、有效的数据运营方法论。在开展数据运营工作之前，我们首先得了解数据在整个公众号运营工作中，究竟充当着什么样的角色？

我认为：“数据是运营的基础，就像一条绳索，贯穿整个运营工作。它既是运营KPI考核的直接呈现方式，同时也是运营方向的理论支撑点”

在新媒体的数据运营中，数据分析是至关重要的步骤，而数据分析有大概九类方法，你们知道吗？今天小天就来带大家了解一下这些干货吧！

数据分析的九类方法：直接评判法 — 对比分析法 — 结构分析法 — 分组分析法 — 平均分析法 — 矩阵分析法 — 漏斗图分析法 — 雷达图分析法 — 回归分析法

1.直接评判法

直接评判法即根据经验直接判断数据的好坏并给予评判，通常用于内部过往运营状况评估，如评估近期阅读量是否过低，评判近期销售量是否异常，评估当日文章推送量是否正常。

直接评判法有两个必要的条件：一是运营者有一定的新媒体运营经验，能够对跳出率，阅读量等有正确的评估；二是经过加工处理的数据足够直观，可以直接代表某项数据的优缺点。

2.对比分析法

对比分析法，是将两个或两个以上的数据进行对比，分析差异进而揭示这些数据所代表的规律。

对比分析法包括横向比较及纵向比较。横向比较即同一时间下不同总体指标的对比，如今日头条同领域作者文章阅读量对比，粉丝数对比等；纵向比较不同时间条件下同一总体指标的对比，如本月文章阅读量与上月阅读量进行对比，本月粉丝增长数与上月增长数进行对比等。

通过对比分析，可以直接观察到目前的运营水平，一方面找到当前已经处于优秀水平的方面，后续予以保持；另一方面及时发现当前的薄弱环节，重点突破。

3.分组分析法

分组分析法是指通过一定的指标，将对象统计分组并计算和分析，以便于深入了解所要分析对象的不同特征，性质及相互关系的方法。

分组分析法遵循相互独立，完全穷尽的枚举分析法原则。所谓相互独立，即分组之间不能有交叉，组别之间具有明显的差异性，每个数据只能归属于某一组；所谓完全穷尽，即分组中不要遗漏任何数据，保持完整性，各组的空间足以容纳总体的所有数据。

4.结构分析法

结构分析法是在统计分组的基础上，将组内数据与总体数据之间进行对比的分析方法。结构分析法分析各组部分占总体的比例，属于相对指标。

例如，新媒体运营团队可以统计粉丝所在的地域分布，统计出各个地方粉丝的占比情况，此情景便属于结构分析法。

5.平均分析法

例如，在分析今日头条的文章阅读量时，借助Excel导出的数据可以快速找到阅读量大于平均值的文章，接下来可以继续挖掘这些文章的标题，排版，配图等规律，便于后续内容质量的提升。

6.矩阵分析法

矩阵分析法是一种定量分析问题的方法，它是指以数据两个重要指标作为分析依据，并将这两个指标作为横，纵坐标轴，构成四个象限，从而找出解决问题的办法，为运营者提供数据参考。

例如，某餐饮企业的大众点评评价分析，可以借助四个象限“紧急且重要，重要但不紧急，紧急但不重要，不紧急也不重要”进行矩阵分析，并重点处理“紧急且重要”的事项。

7.漏斗图分析法

漏斗图分析法因展现形式如漏斗，故而得名。漏斗图可以对文章阅读量，产品购买量等情况进行逐层分析，展示整个关键路径中每步的转化情况。

重要强调的是，单一的漏斗图难以衡量各个环节的好坏，运营者可以结合本节介绍的“对比分析法”，对同一环节不同时间对比，评估运营效果。

8.雷达图分析法

雷达图常用于指数分析，即通过对新媒体账号的内容质量，领域专注等不同维度的计算而得出的客观评分结果。分数越高，代表账号的质量越好。可以利用雷达图进行分析的指数，包括今日头条指数，大鱼号星级指数，百家号指数等。

9.回归分析法

回归分析法是通过研究事物发展变化的因果关系来预测事物发展走向，它是研究变量间相互关系的一种定量预测方法，又称回归模型预测法或因果法。

例如，将今日头条粉丝数据导出到Excel表格，对累计粉丝数进行一元线性分析，就可以尝试预测某个时间的粉丝量。

关于数据分析，这里想站在更大却更为实际的角度讲一下。

这里要讲的数据分析可能并不是某一个细小的事件，更多的是站在一项业务上去考虑，流程和工作量都要更为庞杂些。

数据分析的方法论

讲方法论之前，先思考什么情况需要数据分析？通常情况下是当领导或者自己发现某个问题，比如这一阵销售额低迷，存货量居高不下，客户流失率只增不减……这样的一个一个问题，可以称之为“点”。于是，第一时间对比自己的目标，这个月的销售额是要达到多少多少万，但是目前的问题是完全不符合自己的KPI的，所以会促使你去分析原因，找到解决的措施。问题与目标对接，两点成为一“线”。撇开流程，在业务外，是否有外部因素影响到了数据，这也是需要考虑的，一条直线和直线外一点，构成“面”，这里就强调分析问题要全面。多面成体，如果说能够考虑到影响目标结果的各个因素点，那么体则是从多面角度出发，能够从“旁观者”的角度看待整个分析“体”，更多的是强调全局观。

以上就是针对实际业务的一个分析方法论，要形成体，一方面要梳理组织架构，让数据在各个环节流程上流通起来，另一方面则需要一套行之有效的方法体系，指导日常的运营分析，而这个方法论就是我要提出的“点、线、面、体，四位一体方法论”。

点

点，这里是指业务上的痛点或high点，进一步可理解为业务发展异常点或进阶发展点，未来业务拓展关键点和BOSS关注点等。在数据上则体现为业务发展趋势中的波峰、波谷和数据离散点。

点是我们在数据运营中首先要关注的地方，是整个数据运营分析中的起点和基础点，也是“点、线、面、体”四位一体方法论中最基础的元素，是整个数据运营进程的扩展点。例如我们平时在网站或APP分析过程中，发现某一天的访客数明显低于正常水平，那么是什么原因导致这个异常点出现呢？又比如当月的销售量，某日的销售量明显低于其他什么原因引起的？此时的这个点就是我们数据运营的切入点。

点的发现关键在于数据的统计整理，形成规范，找出规律和切入点。比如我关注流量这一指标，通过可视化分析工具将各时段的流量数据抽取出来，前端做成一个dashboard界面，利用时间和查询控件供自助查询。

线

两点成一线，推己及人，将业务中的异常点和我们日常运营目标有效的结合起来，就能形成一条清晰的数据运营分析线。除此之外，在数据运营数据积累过程中，随着时间的推进，也能形成一条它自己的“时间序列曲线”，进而在分析过程中实现数据的时间价值。线的分析是实现数据与数据关联的过程，是看趋势的过程，是实现数据的时间价值与串联识别价值的过程。

另一方面，线的分析是维度分析的基础，思考问题的开始，这个过程有如数据在数据库中实现上下钻取、OLAP分析的过程。理解线的分析，一方面通过对运营目标的分析，来反思影响这一目标的各指标权重影响，简单点说，哪个因素发生变化会对销售量产生巨大影响，那这个指标的权重就越大，需要控制好。另一方面，比如分析流量在某一天下滑对月度销售额的影响，从流量下滑这一点出发，到对目标结果影响这一点关联分析的过程。一个是从结果出发分析影响因素，一个是从过程出发预测对关注目标的影响。“线”的分析在数据分析操作上体现在分析模型的建立，各指标的关联。

面

面在“直线”分析的基础上将外部影响因素“点”考虑进来，形成对目标分析更周详的考虑。面的分析一线与多点的考虑，面比较点和线多的是辐射的影响与考量，是点、线分析整合的基础上引入了运营场景的考量，并将不同数据运营过程场景化，简单的讲，一个场景就代表一个面。

理解面的分析方法，应从应用场景方面考量，考量各方影响因素。因为“面”，所以有了数据的角色化、场景化。

同样是销售的分析，对内受一些列因素影响，比如营销力度、人员分布。但放到市场环境中也会受到来自同行或者同产业链的辐射影响。有些企业会将市场环境因素纳入到分析监控中。

体

多面成体。如果说面是考虑到了影响店与目标结果的各个因素，那么体则是从多面角度出发，能够从“旁观者”的角度看待整个分析“体”，更多的是强调全局观，是对整个分析体系的认知，是对点、线、面的全面整合，是完成的数据运营体系。

点、线、面、提“四位一体”方法论是一个层层递进的过程，是对运营业务场景分析从简单到复杂的过程，从局部到全局的过程，是利用数据运营的思维方法。

业务分析的流程

明确分析目的→梳理业务形成分析思路→搭建分析指标体系→收集数据→处理数据→制作分析模板→可视化管理。

明确分析目的&梳理业务

分析要有目的有方向。是对现在面对的某个问题分析，还是梳理整体的业务现状，抑或是对未来某个指标的预测监控。简单来讲，就是解惑、监控、预测，目的是提效、增益。

明确目的后，需要梳理思路，怎么梳理？如果是分析近一个月销售额普遍下降的原因点，就要从下至上，还原整个事情进展的过程。购买环节涉及成交量、客单价和折扣率，然后还要分各类产品；浏览环节涉及浏览量、PV/UV；用户维度还有流失率、活跃度、复购率等等，把分析目的分解成若干个不同的分析要点，然后针对每个分析要点确定分析方法和具体分析指标。

搭建分析指标体系

搭建分析指标体系就是分析整个“体”，将分析框架的体系化，明确每个点都是什么指标，任何一个分析路径都能对应到指标（当然现实是不会有这么完美的体系的）。

以电商为例，遵循“人货场”的思维逻辑。常用的业务分析场景有销售、商品、渠道、竞品、会员等等，而商品可进一步细分为商品的库存、商品的利润以及关联销售分析。在整个业务分析体系中，确保体系化，即先分析什么，后分析什么，使得各个分析点之间具有逻辑联系，使分析结果具有说服力。

如何取数？

SQL是最基本的数据库语言，无论从什么数据库、数据仓库、大数据平台取数，都需要掌握。

Hive和Spark都是基于大数据的，Hive可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计。

清洗和处理数据

原始数据来自于各个业务系统，指标口径对不上，总会出现不一致、重复、不完整（感兴趣的属性没有值）、存在错误或异常（偏离期望值）的数据。这些都可以通过

数据清洗：去掉噪声和无关数据

数据集成：将多个数据源中的数据结合起来存放在一个一致的数据存储中

数据变换：把原始数据转换成为适合数据挖掘的形式

数据归约：数据立方体聚集，维归约，数据压缩，数值归约，离散化和概念分层等

制作模板&可视化展示

分析模板多用excel或者报表工具。如果业务部分有设立数据分析岗或者集团有特定的数据中心团队，会通过搭建BI平台来完成针对性的业务分析。

使用常规Excel或者传统报表工具，可以将做成的图表贴至PPT中，涉及Excel的高级功能，就需要学习VBA和数据透视表，但Excel适合已经处理好的成品数据。一旦涉及大数据量或频繁链接数据库，一些带有接口的数据可视化工具或报表工具就比较适合。

按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊。

一、初创期

初创期的重点在于验证产品的核心价值，或者说验证产品的假设：通过某种产品或服务可以为特定的人群解决某个问题。这个阶段应当遵循MVP(Minimum Variable Product) 的思想，以最小的成本来验证创业的想法，并根据用户的反馈快速迭代以调整解决方案，最终在数据上得到验证。

案例：

拿之前做的某款国外移动端论坛社交应用为例，产品在idea时期(12,13年左右)发现了论坛用户经常在吐槽从移动端Wap页访问论坛速度慢、广告多、完全没有移动端适配，于是我们提出假设：做一个App，连接论坛系统与用户，让论坛用户在移动端也能享受流畅的论坛访问体验，并且用户愿意为了这种体验付费。

于是在初期，整个产品完全围绕看帖、发帖两个核心场景进行挖掘，在论坛里进行宣传，售价$18，发现有许多用户为之付费，且这些用户的留存率达到60%+(当然与用户付费了有关)，有一半的用户使用时长都超过了70分钟。当时没过多久陆续出来了一些竞品 (Vbulletin团队，当时最大的论坛系统，开发了一个移动端的App，意图解决同样的问题)，但是没过多久都远远落在了我们后面，就是因为整个团队遵循MVP的思想，按用户反馈专心反复打磨看帖、发帖的流畅体验，获得了非常好的用户口碑并领先市场，也获得了某著名硅谷投资机构的投资。

关键数据——目标人群画像

除此之外，初创期可以通过接入一些第三方的应用监测SDK来了解初期用户群体的画像，从侧面验证用户群体与假设的目标用户群体特征是否一致，常见的是人口学属性(性别、年龄、学历、地域)。

案例：

今年4月初在和国内某健身类的APP的产品经理聊到， 该APP最初是一款健身、运动记步的工具App，在产品前期新用户的次日留存处于业内平均水平，在其观察到目标用户群体的画像时，发现女性用户明显比男性用户要多，且女性用户留存明显比男性用户要高。于是决定在产品策略上向女性用户倾斜，主攻女性健身、减脂、美容方向的功能以及内容推荐，产品整体次日留存率相比之前增长近100%。

同样，最近服务了一个鹅厂内部客户，他们开发了一款新产品，意在面向年轻人群体，结果却发现其用户年龄分布以青少年和老年人居多：

这正好与他们的用户渠道相关，原来他们有一款面向青少年和老年人的产品，为了给产品带来第一批用户，他们直接从老的产品将用户引流过来，结果发现他们并非产品的目标用户。

关键数据——留存率

在当前用户符合目标受众特征时，核心关注这些用户的留存率、使用时长/频率、用户的黏性等指标，这里就留存率展开来讲。

留存率的维度分很多种(7日，双周，30日等)，依据产品特征来选择，若产品本身满足的是小众低频需求，留存率则宜选择双周甚至是30日;留存率高，代表用户对产品价值认可并产生依赖，一般来说，假设便能得到验证，通常低于20%的留存会是一个比较危险的信号。

介绍一个以数据为驱动的先行指标模型，可以通过找到先行性指标指导产品设计，从而提升留存率。先看下先行性指标的定义，先行性指标是指新用户在使用产品早期的一种产品行为，这个指标与用户的留存率指标之间存在着非常高的线性相关关系，可以预测用户是否会在产品中留存下来。

用自己总结的公式来描述，大致如下：

积极预测可能性(%)：表示用户执行了该行为，即可预测该用户留存活跃的可能性

消极预测可能性(%) ：表示用户如果不执行该行为，即可预测该用户不留存活跃的可能性

最终，先行性指标的可信度=积极预测可能性 X 消极预测可能性 ，我们直接看案例。

案例

拿之前的论坛社交App为假设，假设“用户在注册前10天内添加好友超过7个”为先行性指标，那么我们计算一组数据：

其中，用户前10天内添加好友超过7个，则其30日留存下来可能性为99%;若添加好友小于7个，则其30日不留存下来(流失)可能性为95%，综合指标可信度为0.9405。

同理，计算以下两个先行性指标可信度：

最终，我们得到对比：

以上只是假设的数据，实际上，我们需要对比十几个甚至是二十几个行为指标才能找出先行性可信度最高的行为。

这个模型中第一条“新用户在注册后的10天内添加好友超过7个”，也就是Facebook一个经典的“aha moments”，所谓”aha moments”即当用户意识到产品的核心价值的时刻，也就是我们的“先行指标”。

(Facebook，Instagram推荐好友截图)

除此之外，先行性指标应当满足以下条件：

二、快速成长期

经过了产品打磨的初始阶段，产品有了较好的留存率了，这个时候产品开始进入自发增长期。自发增长期的产品阶段，仍需要关注用户留存、用户时长、用户画像的变化等数据，但可以将侧重点关注在用户的整个生命周期的管理，其中以新用户的增长、激活、触发“aha moments”到产品稳定活跃用户的整个漏斗分析为主。

新用户的增长和激活

其中新用户的增长和激活一般有两种方式，第一种是构建产品的病毒性传播系数, 让产品自发增长，《精益运营数据分析》书中有提到的几个用户病毒式传播分类很有趣：

原生病毒性，即通过App本身的邀请好友功能而传播吸引的新用户的方式;

口碑病毒性，即通过口碑传播，用户主动通过搜索引擎成为的新用户;

人工病毒性，即通过人工干预，如有奖邀请等激励措施来鼓励用户进行邀请行为。

这里关注的一个指标称之为“病毒式传播系数”，感兴趣的同学可以自行深入了解。

新用户下载->激活->‘Aha Moments’->产品稳定活跃

产品开始进入自发增长期后，需要关注用户从新用户到活跃用户(留存后)、到核心用户的生命周期，并将每个过程的关键指标提炼并精细化。

案例

以之前的论坛社交APP为例，新用户进入产品会看到一个欢迎页(如左下图)，经过注册、登录后会看到产品的首页(如右下图的Feed流页面)，多数App都有类似的流程：

一个新用户从进入App欢迎页到最终成为核心用户大概是以下流程：新用户(探索发现产品价值中)-> 旁观者(逐渐认知产品价值并有一定的参与感)->生产者(认同产品价值并积极参与)：

按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊：

此时，对各个阶段的用户行为进行指标分解：

新用户&探索发现者：

欢迎页跳出率新用户注册率新用户引导流程转化率初始看到Feed页跳出率搜索结果转化率推送权限开通率

旁观者(路过者)：

平均每个用户关注板块数平均每个用户关注其他用户数平均每个活跃用户赞/分享数Feed卡片展示数Feed卡片点击数订阅内容推送点击率

内容生产者：

· 平均每个活跃用户发帖数

· 平均每个活跃用户发照片、视频数

· 平均每个用户在论坛内使用时长

· 活跃用户在论坛内行为分布

精细化的拆分用户生命周期前中期的行为指标，在产品快速增长期帮助了产品不断打磨细节，将用户从新进到成为核心用户体验不断完善。与此同时，在各节点数据提升并稳定后，产品运营的同学则开始进行各种推广、投放的宣传以扩大盘子、占领市场。

三、成熟期

随着用户快速增长，产品不断完善，产品在进入成熟期前后，数据运营关注的重心开始从用户生命周期的前半段(吸引、激活、留存)往后半段(流失、回流)开始偏移。

这里分享一个在增长期和成熟期关注的数据模板 Daily Net Change (应用自John Egan@Pinterest)，区别于只关注DAU、MAU数据，只关注活跃用户数的增减很多时候都是取悦自己，而这个模型能帮助直观地观察到用户增长的因子是什么，或者用户盘子变化的情况，通过一张图展示了产品的新增、回流和留存情况。

其中Net Change = 新增用户 + 回流用户 – 流失用户。

新增用户即当天有多少新用户加入

回流用户即多少老用户连续28天没有使用，今天又开始使用

流失用户即有多少已有用户刚好最后一次使用应用是在28天前

流失与回流

在关注流失回流的过程中，数据会揭示当前用户盘子的一个变化情况，具体分析流失原因则可以参考下方流程：

核心思路即，通过回访定性+数据验证为主要手段，确定流失原因，改变产品运营策略以预防用户流失或拉回用户，促进回流。

除此之外，对于一些稳定的投放渠道，普通的改善方法可能提升转化有限，此时可以进行更精细化的渠道分析来优化提升ROI：

案例：

提升ROI

四、衰退期

最终，产品进入衰退期，一般在进入衰退期前可以采取两种方式：

1、规模化

常出现在零售业中，如开一家按摩养生店，在一定范围内收获好评，那产品成熟的时候则可以开启连锁加盟模式，通过迅速而广泛的扩大市场形成品牌效应，以形成壁垒，此时衰退的风险则被抵御。

2、生态化

在产品增长或接近完善时，单一的产品很容易存在需求过于垂直、用户无法形成依赖的问题，可以开发具有协同能力的新产品以搭建完整的产品生态，使得在当前产品上无法被得到满足或失去兴趣的用户被引流到新产品，作为新产品的新用户;同时新产品的用户也能在新产品上被引流回老产品，产品之间形成互相依赖的链条，最终用户有效流转，形成生态。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

一、什么是数据分析？

二、数据分析的分类

数据分析的三大作用：现状分析、原因分析、预测分析。

三、数据分析的六部曲

1.明确目的和思路

首先先明确分析目的，然后梳理分析思路，并搭建分析框架，把分析目的分解成若干个不同的分析要点，即如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标（各类分析指标需合理搭配使用）。同时，确保分析框架的体系化和逻辑性。

2.数据收集

一般数据来源于四种方式：数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告、市场调查。

3.数据处理

数据处理主要包括数据清洗、数据转化、数据抽取、数据合并、数据计算等处理方法，将各种原始数据加工成为数据分析所要求的样式。

4.数据分析

常用的数据分析工具，掌握Excel的数据透视表，就能解决大多数的问题。需要的话，可以再有针对性的学习SPSS、R等工具。

数据挖掘是一种高级的数据分析方法，侧重解决四类数据分析问题：分类、聚类、关联和预测，重点在寻找模式与规律。

5.数据展现

一般情况下，数据是通过表格和图形的方式来呈现的。

常用的数据图表包括饼图、柱形图、条形图、折线图、气泡图、散点图、雷达图等。进一步加工整理变成我们需要的图形，如金字塔图、矩阵图、漏斗图、帕雷托图等。

一般能用图说明问题的就不用表格，能用表说明问题的就不用文字。

图表制作的五个步骤：

1、确定要表达主题

2、确定哪种图表最适合

3、选择数据制作图表

4、检查是否真实反映数据

5、检查是否表达观点

常用图表类型和作用：

6.报告撰写

一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。

结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。

好的数据分析报告需要有明确的结论、建议或解决方案。

四、数据分析的四大误区

1.分析目的不明确，为了分析而分析，这是菜鸟常常容易出现的问题；

2.缺乏行业、公司业务认知，分析结果偏离实际。数据必须和业务结合才有意义。摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解，再根据业务当前的需要，制定发展计划，归类出需要整理的数据。同时，熟悉业务才能看到数据背后隐藏的信息；

3.为了方法而方法，为了工具而工具，只要能解决问题的方法和工具就是好的方法和工具；

4.数据本身是客观的，但被解读出来的数据是主观的。同样的数据由不同的人分析很可能得出完全相反的结论，所以一定不能提前带着观点去分析。

内容来源：小蚊子数据分析

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。