当今时代信息化产业飞速发展，各类底层大数据平台百花齐放，亿级数据、秒级响应已经不再是当年的遥不可及的神话。然而对于企业来说，数据计算快仅仅是满足企业进行业务数据分析的硬件基础，如何发掘这些海量的数据产生应用价值，走好数据分析这最后一公里，引导企业进行战略决策却是至关重要的一步。

本文以互联网行业为数据业务分析背景，希望能跟大家交流一些数据分析方面的心得和体验。

——本文使用数据分析工具为FineBI 商业智能工具

数据分析的本质其实是做数据对比分析，没有数据对比，单一的指标统计往往难以发挥数据价值。像我们常见的数据对比分析方法有同比、环比、占比等一系列分析指标，那是不是所有的数据业务场景都可以直接进行套用分析呢？比如我们统计企业2018年1月29日的同比流量，是不是可以直接对比2017年1月29日？表面上看好像2017年1月29日确实就是2018年1月29日时间层面上的同比日期，但是我们仔细对比查看这两个日期会发现2018年1月29日是周一，2017年1月29日确是周日。对于很多行业的企业来说，非工作日和工作日的数据往往是有很大差异的，这个时候单纯从日期层面来进行对比其实是没有什么意义的，选择对比同是周一的2017年1月30日的流量数据进行同比计算可能会更加有价值。

目前互联网行业做搜索引擎的有Google、百度，做综合门户的雅虎、新浪，做即时通讯的主要是腾讯，电子商务方面的主要是阿里、京东、亚马逊等。不论是以上的哪家互联网企业，往往都需要有一套引流、转化、消费、留存方面的运营策略，平台的流量数据分析往往都是非常重要的。

互联网流量数据分析方面，总结主要有如下四种数据常用分析方法：

1.对比分析流量规律，针对时段进行企业服务以及推广活动调整；

2.对比分析结构占比，指导进行定向群体营销推广

3.对比分析异常情况，及时追责并且进行调整；

4.对比追踪活动流量变化，总结活动效果经验以便后续有针对性调整。

如上图所示，我们通过FineBI工具制作出以上的流量数据分析模板，接下来尝试着对数据做一些对比分析。

一、用户浏览量周分布

对于互联网企业来说，流量数据往往都会呈工作周相关。对此，我们可以先宏观地统计出周一到周日中的总的平台流量柱状图数据对比情况。首先我们可以仔细观察工作日和非工作日的数据，发现周末的平台流量较工作日流量要高，这在互联网行业来说都是一个比较普遍的现象。

用户流量的周分布规律之后，我们就大致有一个推广方向，周末休息时间用户群体较大，相较于工作日可以投入更多的和丰富有吸引力推广活动来进行新用户引流和老用户活跃。

接着我们可以进行下一步思考，那工作日和周末我们的活动推广时间如何制定？有的同学们可能会觉得全天活动都可以，不需要关注具体的活动时间。但是对于互联网行业来说，每个时间段的推广费用都是较为昂贵的，我们完全可以分析出工作日和周末的用户流量趋势，进行有针对性的时间段投入推广，通过更小的成本获取到更多的用户流入。

首先是工作日的时间段流量统计分布，我们通过BI工具分时间段作图得到如下所示的流量分布图。可以看出，工作日的流量主要集成在每日的9点（上班时间）、13点（午餐时间）、20点（晚间娱乐休息时间），那么在得到这样的一些用户流量规律之后，便可以在这些用户活跃高峰期时间段有针对性对白领群体多做一些相关商品推广活动，以实现最小时间成本和推广费用最大化用户引流效果。

再来看周末的各时间段流量分布走势，和工作日所不同的是，周末的流量早高峰期延后到了10点，这可能和各位小伙伴们周日作息较晚有关（同学们周末都是几点起床呢），除此之外，晚上的流量高峰退潮期也有延后。针对与周末用户流量分布的特性，互联网企业在周末时可以将活动开始时间和活动结束时间都适当进行延后，这个时候不能再套用工作日制定好的活动时间计划了，因为符合用户群体作息规律的推广促销活动才能达到更好的效果。

二、推广渠道流量分布

对于互联网行业的推广渠道分布主要分为三级渠道：线上渠道、线下渠道、新媒体营销等等。对比分析每个渠道对企业所带来的价值占比差异，以指导制定有针对性营销策略。

如上图所示，由于推广渠道是分多层级的，我们通过BI工具的多层饼图进行数据的分析统计再合适不过了。分析下图的数据我们可以看出，首先是一级渠道的主要战斗力来自于新媒体营销，当今的微信、今日头条等社交媒介社区时代受众广泛，用户群体非常庞大，是公司需要投入主要成本进行推广的。其次线上渠道的效果也不容忽视，对于互联网企业来说，做好百度、Google等SEO搜索引擎关键词推广也是很重要的一部分工作。相较于线上渠道和新媒体营销，线下渠道说所需要的经费和时间、人力成本较大，受众又相对较小，所以此类活动往往针对核心粉丝进行运营即可。

三、各月份指标对比走势

在分析各月份指标对比走势数据之前，先简单介绍下互联网营销常用的几个指标概念：

1.浏览量（pv）

2.访问次数（visits）

3.访客数（uv）

以上三个基础指标常用来衡量流量数据的多少。另外平均访问深度（总浏览量/访问次数）、平均停留时间（总停留时间/总浏览量）、跳失率（跳出次数/访问次数），这三个指标通常可用于衡量流量指标的优劣性。

我们仔细分析上图中的平台流量指标，可以发现10月份是2017全年的流量高峰期，应该跟企业在国庆黄金假期所做的促销引流活动有关。浏览量、跳失次数、访问次数分别为4941、1290、2182，对比计算可得到跳失率为59.12%，明显低于其他时间段的跳失率，说明10月份的活动效果还不错，其经验对以后的营销推广可以起到参考作用。

最后是访问深度用户群体分布分析（跳失率=跳出次数/访问次数），我们通过BI工具将企业的VIP用户、老用户、新用户分别进行分时间段的用户群体访问深度分析统计。总体来说可以发现平台的VIP用户访问深度较老用户以及新用户稍微高些，但是不是太明显，说明平台运营的VIP这部分群体的活跃度还有待提升。同时，平台老用户访问深度和新用户更是相差无几，公司对于用户这方面的活跃运营明显需要加油了，建议将平台的部分忠诚度较高的老用户以VIP用户组建起来，共建平台生态圈，增加整体的用户活跃度。同时可以向老用户以及VIP用户实施一些优惠政策，如定向商品折扣、根据用户画像进行喜好商品特惠推送等。

本次的数据分析经验心得分享暂时先写到这里，后续将继续给大家分享关于互联网数据运营方法的转化、消费、留存等方面的一些经验，欢迎大家一起共同交流探讨互联网运营之道。

在淘宝开店了以后，想要运营好店铺，是少不了数据分析的，淘宝店铺在进行店铺数据分析的时候，会使用到淘宝大数据分析平台，因为这些平台可以准确的帮您分析出数据，我们来看看淘宝怎么看商品的数据分析吧。

分析平台有以下4种：

1、生意参谋专业版：可以了解所属类目什么宝贝最好卖，了解热卖店铺和热销宝贝，关键词成交分析，宝贝取名等。

2、淘问卷：操作界面简单明了，有问题模板，帮助店主进行营销决策。

3、生意参谋市场行情：查询热卖宝贝行情，比较同类宝贝的价格和销量。

4、生意参谋店铺统计：店铺流量统计分析，店铺计数器等增值服务。

主要分析哪些方面：

总体来说可以分为商品分析、客户分析、地区分析、时间分析四大维度(参考数据雷达的分析思路)。在这里我重点说商品分析。

1、销售状况分析：主要分析本月销售情况、本月销售指标完成情况、与去年(或上月)同期对比情况。通过这组数据的分析可以知道同比销售趋势、实际销售与计划的差距。

2、销售毛利分析：主要分析本月毛利率、毛利额情况，与去年同期对比情况。通过这组数据的分析可以知道同比毛利状况，以及是否在商品毛利方面存在不足。

3、营运可控费用分析：营运可控费用分析就是指的每个月每个项目的费用明细分析，还会和去年的项目进行对比，这里的各项费用是指：员工成本、能耗、物料及办公用品费用、维修费用、存货损耗、日常营运费用(包括电话费、交通费、垃圾费等)。

4、橱窗效率：主要是本月橱窗效率情况、与去年同期对比。“日均橱窗效率”是指“日均每个橱窗平均销售额”，即：日均橱窗商品销售金额/橱窗个数。

感谢大家的耐心观看，在以上的内容中，小编为大家介绍了4种淘宝大数据分析平台，这四种平台一般都是最常用的，大家可以去试试看。

平时对于电子竞技比赛比较关注的玩家应该知道，每个电子竞技俱乐部，在每个电竞项目分部中都会有教练组和数据分析师团队。对于教练组很好理解，但是在数据分析师方面，很多玩家甚至不知道他们到底是做什么的。在这个团队当中，他们究竟是扮演着怎样的角色？

首先拿《英雄联盟》举个例子，中国LPL赛区拥有者最顶尖的选手，请来的教练也是拿到过诸多耀眼成绩的。但是为什么在S系列赛中的成绩一直让人非常不满意？似乎疯狂的“买买买”并没有起到什么质的改变。近两年的最好战绩均为S系列赛8强。这个时候就十分有必要聊聊了，一个非常容易让大家忽略的职业，但是却是电子竞技中最为重要的职业之一，数据分析师。

如果用一句简单明了的话来介绍这个职业：记录和分析每一场比赛的大小数据计。无论是对战双方的BP、擅长使用的英雄、版本强势英雄、counter英雄的选择、插眼的时间和位置、覆盖的区域、选手的习惯和小动作等等，均被一一记录加以分析。但究竟这么多数据是如何被加以记录并整理分析的呢？

其实对于90后玩家来说，其实在很小的时候便接触过“数据分析师”。玩家们有没有印象在《四驱小子》这部动画片第六集中，农村少年队所采用的超级计算机，对每个阶段的比赛进行数据分析，从而得出对应配置的四驱车的比赛胜率。简单来讲，这就是“数据分析师”的雏形。

就数据分析学习而言，需要的技能模块有统计基础+数据库知识+编程能力。其以后的的职业发展方向，一个是业务层面的方向，一个是数据挖掘层面的方向。今天科多大数据和你们一起来谈谈关于数据分析的学习。

1.统计基础

理工科的学生在本科阶段学习过概率论与数理统计，单从做数据分析的角度已经够用。其他方面，可以根据需要查看相关书籍，随时进行查漏补缺即可。个人推荐《深入浅出统计学》，可以让统计理论的学习有趣又自然。

2.数据库知识

关系型数据库很重要。在学习数据分析的初期甚至很长一段时间，你接触到的数据都存储在关系型数据库中，需要学习SQL语言进行数据查询。关于SQL语言，强力推荐《SQL必知必会》，整本书通俗易懂，是学习SQL语言的不二之选。

学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通，比如：SQL中对data进行group by的操作，这个在Excel里类似于透视表，在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程，你会接触到分布式数据库和所对应的no-SQL语句。

3.编程能力

Excel。 透视表（Pivot Table）是做数据分析的必备技能。透视表可以帮你迅速汇总数据，看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶，Excel自带的函数、各种插件，以及VBA也是很好的工具。

Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时，需要学些hardcore技能，即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python，一是代码简单易懂，容易上手；二是学习资料多，降低学习成本。推荐《利用Python进行数据分析》，涵盖了利用Python做数据清洗，数据可视化及分析的技能点，可以作为一本工具书随时查阅。

Python 是目前科多大数据分析课程里面非常重要的一项内容，下面这张图更能直观反映学习内容

当然需要特别指出，数据分析课程学习内容肯定不止python这一项内容，还包括数据分析基础，互联网电子商务、经济学基础，数据产品（可视化报表）等各个板块的学习。

文 | 邹昕-知乎

来源：再生谈|reborn_chat

受本人背景和知识水平所限，本答案局限性如下（包括但不限于）：

1. 更适用于中大型公司；

2. 更适用于互联网公司；

3. 可能更适用于美国的工作环境。

个人以为，一个三年工作经验的数据分析师应该具备以下方面的能力：对技术的掌握，对产品的理解，对数据的敏锐性，数据和产品之间互相转化的能力，分析思维的广度、深度和速度，数理统计的能力，沟通的能力，辅导新人的能力，面试把关的能力。

以下分开来说，同时举例的时候假设这个数据分析师是知乎这个产品的，目的是为了增长活跃用户。

【1】对技术的掌握

不一定需要非常高深的技术，但是基本的一定要过关。比如针对互联网行业的数据分析，SQL 是一定要过关的。在这基础之上，掌握公司惯用的BI工具或者报表工具，譬如帆软系列；Python / R 可以提高长期的工作效率，但在初期并不一定需要。

简单来说，技术能力决定了一名数据分析能力的下限，而对产品和业务的理解则决定了上限。

如果缺乏技术的支持，那就只能去当 CEO 了。

就好比在电影 Margin Call 里，底下的小兵负责分析数据，各种模型预测金融危机什么时候会发生。

而对于 CEO 来说，他的任务就是猜。

【2】对产品的理解

数据分析的目的是为了改进产品。如果缺乏对产品的理解，那么技术再好，也有可能像是无头苍蝇到处乱撞。

或者是变成 data dump，提供一堆一堆的图表，但其中有互相什么关联，能说明什么问题，提供什么样的建议，却并没有好的想法。

如果是初入行的话，这还是问题不大的。

因为新人可以有老板带着，或者是老人带着，但是如果想要更进一步，那就必须能够自己独立的做项目。

尤其是在互联网行业更是如此，除了新人之外，对大多数人的基本要求都是能单兵作战，不需要详细的指导。

同时在很多情况下，问题是很开放性的，对于如何解决并没有一个非常固定的套路，或者是因为这完全就是一个新的问题，或者因为不同产品之间套路无法直接套用，需要做大量的调整和创新。

比如这里面增长的例子，哪些是可以借用于知乎的，哪些是需要调整的，哪些是完全不适用的？

【3】对数据的敏锐性

对数据的敏锐性体现在两方面，一是在结果还不是那么清晰的时候，甚至根本就没有什么数据的时候，能够大致感觉往哪个方向深挖是更有可能出成果的；二是在数据出问题的时候，能够反应出来，及时找出原因。

比如做知乎的数据分析，目的是为了增长活跃用户，可以做的地方有很多，比如增加获新、增加内容、增加用户关注话题数、增加用户关注人数等等。一个经验丰富的老司机可以快糙猛的大概估算一下各个方面的机会有多大，大致的实施难度如何，风险是大是小，产品哪些方面是有缺陷可以改进的。

另一方面，是人就会犯错，最大的区别在于有的人可以很好的纠错，而有的人则需要别人提醒，还有的人即使别人提醒了也反应不过来。

【4】数据和产品之间互相转化的能力

在互联网行业，多数时候问题是很不清晰的，比如说问题可能是2017年新用户留存远差于2015年的用户，如何解决？

对数据分析师来说，并不会有一个详细的单子来告诉你都有哪些步骤，而是需要自己灵活处理。

一方面这些问题本身就比较新，虽然会有一个大致的套路，比如 AARRR 模型，解决增长需要先解决留存等等；然而再往下具体的时候，套路就没有那么固定了，因为不同的产品之间可以差别很大。

即使像是 Quora 和知乎这样理应非常类似的产品，也可能因为一些或大或小的差异，导致给分析数据也带来差别。

比如 Quora 的 upvote 并不完全代表赞同，而更多带有传播的意味。

而对于知乎来说，点赞即是赞同，传播只是副产品而已。

如果只懂数据不懂产品的话，很容易进入一个误区，要么产品/业务方追着问数据，要么没活儿干。

【5】分析思维的广度、深度和速度

速度这个比较好理解，尤其是在互联网行业，讲究快糙猛，没有时间精细打磨。

比如一个项目可以花两个月时间做出 95%，也可以花两周时间做 80%，那么多数时候都会是后者。

广度：产品的各个方面之间总是互相牵扯的。最简单的例子，如果知乎的拉新做得非常好，那么留存就有可能降低，用户活跃度也有会降低。

如何分析各者之间的关系，如何保持一个合理的平衡，如何增加其中一个不过于负面影响其它，这些数据分析都需要在广度上有一定的了解。

深度：有些问题一个人解决不了或者很难，多几个人就可以了，比如说搬砖，十人人搬总会比一个人搬快得多，哪怕不是十倍速度。而有些问题，靠堆人力是没用的。

【6】数理统计的能力

这一部分跟 1，3，5 是相关的。不一定需要特别高精尖，但是对于分析问题会有很大的帮助。比如说如何识别数据分析里可能出现的错误。

【7】沟通的能力

除非兼任软件工程师和产品经理的职，否则数据分析师总是需要通过说服产品和工程方面来改变产品，产生影响力。

有了好的结果是第一位，如何影响合作伙伴，让他们接受自己的建议甚至比有好的结果还重要。

毕竟，没有声音，再好的戏也出不来。

【8】辅导新人的能力

毛主席说过，人多力量大，要把敌人淹没在人民战争的汪洋大海中。

辅导新人，不只是团队 leader/manager 的要求，对于独立贡献者（inpidual contributor）也是一样重要的。

闻道有先后，术业有专攻。

一个人的力量终究是有限的，如果把自己的能力复制到整个团队甚至整个公司，是增大自己影响力最有效的办法之一。

【9】面试把关的能力

大多数人应该都希望自己的公司处于一个增长的状况，如果是高速增长那就更好不过了。

有增长，就必然要招人。

而招人并不是简单的招人来干活，而是招来更优秀的人进一步提高团队的水平。

这对于高速增长的团队来说是一个很大的挑战，所以提高面试技能和精准的判断面试者的能力，无疑是有效的扩张团队的不二法则。

【10】少睡的能力

比如说七周不睡觉，快速成为数据分析师（开玩笑的）。

大数据时代的到来，越来越多的人选择学习大数据，那关于大数据分析的六大基本方面是哪些，一起来了解一下

可视化分析

不管是对数据分析专家还是普通用户

数据可视化是数据分析工具最基本的要求

可视化可以直观的展示数据

让数据自己说话，让观众听到结果

数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的

集群、分割、孤立点分析还有其他的算法

让我们深入数据内部，挖掘价值

这些算法不仅要处理大数据的量

也要处理大数据的速度

预测性分析能力

数据挖掘可以让分析员更好的理解数据

而预测性分析可以让分析员根据可视化分析和数据挖掘的结果

做出一些预测性的判断

语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息

数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践

通过标准化的流程和工具对数据进行处理

可以保证一个预先定义好的高质量的分析结果

数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台

成都加米谷大数据科技有限公司

个人培训 丨 企业内训

成都市高新区天府二街蜀都中心1栋705

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

方法论在各种行业都是以各式各样的形式存在着的，他其实就是一个指南针，指导大方向。同样在数据分析中，如果方法论不正确或者不合理，后面的分析结果也就没必要看了，在一个不正确或不合理的方法论的指导下，得到的分析结果是不可能正确的。

数据分析方法论和数据分析法

数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几个方面来开展数据分析？各方面包含什么内容和指标。所以数据分析方法论是从宏观的角度指导如何进行数据分析，它就像是一个数据分析的前期规划，指导着后期数据分析工作的开展。而数据分析法是指具体的分析方法，如：对比分析、交叉分析、相关分析等数据分析方法。数据分析法主要从微观角度指导如何进行数据分析。

作用？

很多人在做数据分析时，经常不知道从哪方面入手进行分析的情况，分析内容和指标也常常被质疑是否合理、完整，而自己也说不出个所以然来。所以方法论这种东西，大部分觉得假大空的东西，其实是非常必要的，只有在营销、管理等方法和理论的指导下，结合实际业务情况，才能确保数据分析维度的完整性，分析结果的有效性和正确性。总结一下：

1、理顺分析思路，确保数据分析结构体系化

2、把问题分解成相关联的部分，并显示他们之间的关系

3、为后续数据分析的开展指引方向

4、确保分析结果的有效性及正确性

常用的数据分析方法论

1、PEST分析法

PEST分析是指宏观环境的分析，P是政治(politics)，E是经济(economy)，S是社会(society)，T是技术(technology)。在分析一个企业所处的背景的时候，通常是通过这四个因素来进行分析企业所面临的状况。

这个分析方法在网上一搜索就有一大堆的讲解，针对互联网行业的分析，我认为就可以采取这个分析法来整理思路。比如：中国网民与中国公民在人口规模、性别比例、年龄结构、人口分布、生活方式、购买习惯、教育状况、城市特征、宗教信仰等方面是否有区别。

2、5W2H分析法

5W2H分析法作为非常容易学习和操作的方法之一，他是以五个W开头的英语单词和2个H开头的单词进行提问，从回答中发现解决问题的线索，即何因（why）、何事（what）、何人（who）、何时（when）、何地（where）、何做（how）、何价（how much），这就构成了5W2H分析法的总体框架。比如O2O的优惠营销信息给用户看，需要搞清楚，用户为什么需要这些优惠，用户的目的是什么？我们提供的优惠是什么？与用户想的是否一致？谁是我们的用户？用户有什么特征？用户喜好在哪个时间段购买？我们的营销活动应该开展在什么时候？用户在线下哪儿去消费？每个地区的线下有什么区别？用户应该怎样去享受优惠？用户去购买花费的成本是多少？我们应该投入多少成本？等等。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。