一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

当我们拿到一个对象的引用时，如何知道这个对象是什么类型、有哪些方法呢？

使用type()

首先，我们来判断对象类型，使用type()函数：

基本类型都可以用type()判断：

如果一个变量指向函数或者类，也可以用type()判断：

但是type()函数返回的是什么类型呢？它返回对应的Class类型。如果我们要在if语句中判断，就需要比较两个变量的type类型是否相同：

判断基本数据类型可以直接写int，str等，但如果要判断一个对象是否是函数怎么办？可以使用types模块中定义的常量：

使用isinstance()

对于class的继承关系来说，使用type()就很不方便。我们要判断class的类型，可以使用isinstance()函数。

我们回顾上次的例子，如果继承关系是：

那么，isinstance()就可以告诉我们，一个对象是否是某种类型。先创建3种类型的对象：

然后，判断：

没有问题，因为h变量指向的就是Husky对象。

再判断：

h虽然自身是Husky类型，但由于Husky是从Dog继承下来的，所以，h也还是Dog类型。换句话说，isinstance()判断的是一个对象是否是该类型本身，或者位于该类型的父继承链上。

因此，我们可以确信，h还是Animal类型：

同理，实际类型是Dog的d也是Animal类型：

但是，d不是Husky类型：

能用type()判断的基本类型也可以用isinstance()判断：

并且还可以判断一个变量是否是某些类型中的一种，比如下面的代码就可以判断是否是list或者tuple：

来源：科多大数据

今天我们来聊一聊微信公众号统计版块中的菜单分析和消息分析，因为静静个人公众号功能比较简洁所以也并没有设计什么菜单和消息回复，所以可能大家今天这篇文章中看不到什么数据哈。好啦，我们先看看菜单分析后台是什么样的吧?

通过上图我们可以看出来菜单分析有三个运营指标，就是菜单点击次数、菜单点击人数以及人均点击次数，针对这三项数据我们也是可以通过时间段来查看的，7天、15天、30天或任意某个时间段的菜单点击情况都是可以看到的。

菜单是粉丝可以与公众号互动的一种方式，作为运营者可以通过菜单数据来了解用户的喜好以及对公众号的满意成都，点击次数越多说明越多人使用，说明使用人群月广泛，人均点击次数越大说明用户越活跃，所以如果运营者希望与用户多沟通、多互动，那么在制作菜单的时候就要注意菜单文案的写法了，尽可能的去吸引用户点击菜单，比如在用户点击菜单后可以设置有趣的彩蛋，这样就很容易吸引用户有点击的欲望了。所以菜单数据分析可以帮助我们更好的了解用户的喜好，在做微信公众号数据分析的时候不要遗漏了它哈。

接下来我们看看消息分析，在消息分析中又分成了两部分，一部分是消息分析，另一部分是消息关键词，在消息分析中我们可以选择小时报、日报、周报以及月报等时间维度，查看消息发送人数、消息发送次数以及人均发送次数等相关数据。同时也可以通过时间查看具体某个时间段的数据。

消息分析这方面主要与运营者在后台设置的关键词回复有一定关系，对关键词回复的分析，有助于运营者了解用户对于公众号内容的喜好，从而再后续的内容中可以尽可能推送相关内容。怎么说呢菜单分析和消息分析并非是可有可无的数据，在整个公众号运营中也起到了一定的决定性作用，所以大家不要觉得它们不重要哈！好啦，本期分享就到这里了，我们下期继续！

数据分析和作图是科研狗们的必备技能。近几年，随着数据类型的增多，excel、SPSS等常用软件已经不能满足科研需求了。

R语言以其方便、快捷的优势，迅速获得许多编程技术不好的科研狗的青睐。凭借短短几行代码，就能完成各种高大上的数据分析，关键还能做出漂亮的图。

但天天跟代码打交道也颇为头疼，作为一般的科研人员，并不需要完全掌握代码，只要会使用工具就差不多了。

下面小博给大家介绍一个基于云的在线生物信息学数据分析和作图工具：

OmicShare tools，让你从此不跟代码打交道。

OmicShare tools包含37种不同的数据分析作图工具，常用的韦恩图、PCA图、柱形图、火山图等都能找到。

小博试用后发现，OmicShare tools提供详细的教程，确实方便快捷，大概一分钟左右就能做出图，同时提供下载（svg格式）。

Omicshare不仅提供在线工具，还分享很多实用的生物信息学知识，有问题随时找小博！

海关数据是大数据时代下外贸企业发展成长中不可缺少的分析型数据，通过大数据分析转变了外贸人对的海关数据传统理念，帮助外贸人学会了去挖掘、去分析数据。网舟科技为大家分享：大数据如何对海关信息进行市场分析。

那么什么是海关数据？

海关数据是指从世界各国海关的“关单，提单，商检”中提取的真实的单证记录。企业通过海关数据，可以开拓市场，制订生产计划，寻找国外买家，了解竞争对手，监控客户动态。海关数据可以说是外贸企业必不可少的贸易协助工具。

中国进出口海关数据分析以中国进出口8位或10位海关统计数据为基础，通过分析、整理、统计，是企业分析行业宏观市场，全球市场定位，全面监控同行进出口情况的有力武器。一般适用企业：出口商、进口商、物流公司、咨询公司、律师事务所等。

海关数据里包含的字段：

中国8位进出口数据: 日期、出口、HS编码、商品名称、金额、数量、单价、单位、产销国、海关口岸、贸易方式、运输方式、中转国、企业编码、企业名称、企业性质、收发货地、联系方式

中国10位进出口数据: 日期、进口、HS编码、商品名称、金额、数量、单价、单位、原产国、海关口岸、贸易方式、运输方式、中转国、企业编码、企业名称、企业性质、收发货地、联系方式、品牌、型号等产品功能分析市场对企业关心的产品进行全球市场定位，精准了解全球每个国家采购金额、采购数量、采购均价。动态分析数据近几年数据分析每个国家市场增长情况，及时发现新兴增长市场。

海关数据的作用：

1、了解行业市场信息，掌握趋势

通过海关数据的交易记录可以找出各个采购商的全球供货商及其供货量，并可以适时地掌握商品的交易状况，从而掌握产品的总市场需求量、全球范围内的竞争对手、自己所占的比例，配额的使用情况，未来的市场走向等信息，为外贸企业的市场决策提供关键信息。

2、掌握行业细微变化，洞察需求

进口海关数据上的“规格”内容详细描述了产品规格，外贸企业可以了解到买家和目标国家市场对产品款式、花色等品质要求以及变化，也可以了解到该国的产品的包装和工艺情况。通过分析不同国家或地区的具体规格描述，外贸企业可以了解不同国家或地区的消费者对产品质量的不同要求和变化，有利于外贸企业有的放矢的推介其产品。同时也可以及时发现新产品或新材料的应用，及时把握目标市场的品质要求，调整设计和产品线，与国际市场同步，满足细分市场的变化需求，提高企业市场竞争力。

3、了解行业变化信息，调整战略

外贸企业通过监测目标国家或地区的发货单位名称变化，可以了解该行业和市场是否有新的参与者或是有退出者，竞争的激烈程度如何，这些现象可以提醒外贸企业该行业的竞争变化。如当新的参与者持续增多时，说明此行业利润有可能很大，从而不断的吸引着新的参与者，但对于现有外贸企业来说，这便意味着该行业的竞争加剧，外贸企业也要随行业的竞争程度调整市场战略。

外贸企业通过海关数据监测某一地区的出口或进口数量，可以了解目标市场所处的生命期阶段：即萌芽期、发展期、成熟期和衰退期，从而便于外贸企业决定是否进入以及如何进入等。当市场需求增大时，进出口的数量就会增大，这表明该产品的市场正处于发展期，这样外贸企业制定较为激进的市场战略，重点发展该目标市场 。

PS：网舟科技长期专注于金融保险、通信、航空、互联网、旅游酒店等行业的电子渠道大数据运营，为客户提供全球领先的电子渠道转型咨询、大数据挖掘和应用定制服务，助力客户互联网转型，提升数字化运营和数据营销能力。

数据营销时代，越来越多人开始接受用数据指导广告投放。但很多人并不知道，数据可以指导投放的前提是数据分析师/广告优化师能够正确的解读数据。

同样的数据，通过不同方式的解读，给投放带来的指导作用天差地别。

是帮助广告主更好的实现KPI？还是把营销带入另一个无底深渊？本文将从数据分析的角度出发，聊聊各种数据分析乱象，旨在提醒诸位如何避免拿数据耍流氓的行为。

数据分析五大乱象

乱象一：数据本身造假

最常见也是最初级的耍流氓行为就是数据造假。

比如，为了让广告主对投放工作表示满意，或者说服广告主继续投放广告，投放方会在结案报告里对数据做一些处理，从曝光量到点击量到点击率都做一遍美化，让广告主觉得这钱花得挺值，甚至愿意继续投。

此前国内某地产大腕就因为发现某一个视频平台曝光数据作假，一气之下把与他合作的线上平台统统查了个遍，闹得各个平台的经手人心惶惶，毕竟一年下来也能投好多万的广告，如果因为数据作假进了信用黑名单，以后再想合作就基本不可能了。

也正是因为数据作假越来越常态，更多的广告主开始监测广告投放。

那么没有对广告流量做监测的广告主该如何识别数据作假呢？

这里分两种情况：

一种，广告主本身并不懂数据分析，那么可以通过了解、分析一下行业的行情，看看和同行的数据相比，你的数据表现会不会太好、或者“超出想象”。

如果你拿到的数据非常好，最好能够让投放方给出对应的定向、创意等足以支撑数据表现那么好的理由，然后，再决定是否要继续投放。

另一种，是广告主本身懂数据分析，那么通过了解投放背景、根据指标之间的耦合关系等就可以识别出数据是否有问题。

所谓耦合关系，在数据分析领域指的是各个数据指标间的关系并不是孤立的，比如如果落地页的停留时间非常短，那么你的落地转化率通常也不会好到哪里去，因为用户根本没看全你的落地页在说什么，点开落地页即有转化动作的用户基本不会出现在信息流广告里。

除了关注耦合关系，还可以参考其他的一些分析方法。比如通常来说，某些数据指标的取值分布是有规律可循的，像有些广告类目的访客高峰期可能是在上午的十点左右和下午的三点左右，晚上的访问高峰期在睡前九、十点钟，如果半夜三点流量莫名其妙的多起来，你就要注意了，分析看看这个异常现象是因何而起。

乱象二：指标定义不一

指标是说明总体数量特征的概念。很多公司都有自己的投放KPI指标体系，简单来说就是通过几个关键指标来衡量公司广告投放情况的好坏，比如点击率、曝光量、转化率、下载量、ROI 等，都是信息流广告的考核指标之一。

通常情况下，指标需要在一定的前提条件下进行汇总计算才能得出，诸如时间、地点、范围等都可以作为指标统计的前提条件，也就是我们常说的统计口径与范围。

举例来说，我们要统计某公司2017年的销售额，那么“销售额”就是指标，“某公司”、“2017年”都是统计的前提条件，对于这个指标的获取，需要我们把某公司2017年里每个月的销售流水加到一起才能得出，而最后统计得出的数额就是指标值。

在实际工作中，因为没搞清楚指标的定义而对指标值出现误判的情况经常出现。

比如我们经常在线下沙龙里听到同行在一起闲聊：“我们的平均获客成本只要120元。”

一起参加沙龙的朋友一听，心想你们好牛逼啊，“我们一个获客要400元啊！差距好大啊！你指点指点啊！”

指点了一番之后，获客成本400元的老兄才幡然醒悟，其实大家都是400元，只不过刚刚那位120元的老兄说的是销售线索的成本，而不是实际成交的订单成本。

120元和400元这两个指标值的差别，其实就是因为指标的前提条件，也就是口径和范围不统一造成的误会，如果不了解清楚就进行比较，那比较本身就没有意义。

再比如电商都有DAU(日活跃用户) MAU（月活跃用户）的指标，可是对于这两个指标每家电商的定义可能不一样，有的只要客户登录就算是活跃，而有的定义可能是买了才算活跃，要求更严的是买了以后确认收货才算是活跃用户。所以当我们谈论指标的时候，一定搞清楚大家对指标的定义是否一致，否则这样的比较和讨论就没有意义了。

乱象三：隐藏关键信息

这种情况通常出现在别人想要说服你接受某个指标的时候。

比如公司管理层要给广告投放定一个KPI指标，号称Bench marking （标杆管理）的方法开始被用起来。

Bench marking（标杆管理），又称“基准管理”，其本质是不断寻找最佳实践，以此为基准不断地“测量分析与持续改进”。 比如，优化师经常会听领导说，某家同行的ROI能做到1:10，你看我们公司也不比他们差，我们产品质量还比他们的好， 所以我们不能低于1:10——这种想法对吗？

我们说，这是典型的只知其一不知其二其三的盲目跟风现象。

为什么？ 因为我们压根儿不知道同行的1：10是怎么投出来的，怎么跟进？怎么超越呢？

当我们要进行标杆管理的时候，起码得知道别人家的1:10是基于什么原因做到的，是做了大规模的促销？还是在用媒体组合拳抢占市场？像上述般不知道营销大背景，单看一个渠道的投放结果就盲目追随标杆是不足取的，这也会给优化师的工作带来巨大的困难。

项目内部自己定指标的时候也容易出现这种问题。比如某个生鲜电商APP公司在给客户发放大额优惠券时，投放信息流广告之后获得的下载率、注册率和订单转化率自然会比没发券时要好，但如果公司拿发券时的投放指标考核优化师日常投放工作的话，就是拿数据耍流氓了。

为什么呢？因为发券行为大多是短期营销刺激，在刺激退去之后，用户的响应概率自然会大幅度下降。如果某些投放指标的获得并非自然增长，而数据报告里却又对这些影响指标的关键因素只字未提，在隐藏了关键背景的背景下提出的指标要求，就属于典型的耍流氓行为。

这里面提到的自然增长，是指没有营销因素刺激的情况下，生意本来的运营情况。

所谓影响指标的关键因素，是指对某一个指标结果影响比重较大的因素，比如产品，品牌，价格、促销等都在某些背景条件下都属于关键指标。

我们认为，合理的定指标的基准是自然增长，也就是说把促销的因素排除在外之后再来评估指标才是合理而可行的。

再比如刚刚过去的双11，某一家天猫店说自己家的业绩是多么牛逼，一天卖出去六七百万的销售额，可他没告诉你的是，后续的退货率可能高达25%。

这里的退货率就是关键指标，因为卖多少出去固然重要， 更重要的是买家要确认接受你交付的货物才能算是真实成交——这种忽略了关键背景、只告诉你销售额的行为，同样也是一种耍流氓。

以我自己多年运营天猫的经验看， 某些类目，比如配饰，退货率20%以上都属于正常的。但你如果不知道，你就无法准确解读别人的牛逼，或许还会盲从，说“那么牛逼，我也去开个天猫店吧！”或者“那么牛逼，你能不能帮我来做运营啊！”之类的。

所以，当你看到一个指标特别好，或是特别差的投放的时候，要搞清楚相关的关键背景信息，否则就有可能产生误判，造成更多的损失。

乱象四：乱搞因果关系

我们先来看个调查：

某大数据显示，医院是排在心脏病、脑血栓之后的人类第三大死亡原因。

我就问你，看了这个调查，你还敢去医院吗？

实际上我们都知道，死于医院的原因是这些人本来就有病，碰巧在医院死亡，并非医院导致其死亡，医院和死亡建立的是一种相关关系，不存在因果关系。

所以，“医院是排在心脏病、脑血栓之后的人类第三大死亡原因”的这个结论很可笑，他混淆了因果和相关关系。

同样混淆的经典搞笑案例还有：

睡眠时间越短的人，收入越高（所以我们以后都不要睡觉了）

游泳溺亡的人越多，雪糕卖得越好（实际上是因为天热）

……

为什么会产生这两种关系的误读呢？

因为我们在做归因的时候，只看到了数据上变化关系，忽视了事物之间的本质联系。特别是做数据分析时，往往只看到数字，没看到过程，导致我们认为，某一问题的产生就是其中一个问题导致的，即因果关系。

一旦混淆了因果关系与相关关系，会直接影响我们的判断，做出错误的广告投放决策。比如信息流广告投放里常见的价格导致成交的因果关系问题。

我们曾对多个投放婚纱摄影广告的优化师做过访谈，询问他们为什么都会用“这样一套婚纱多少钱”的创意来做投放，他们的回答惊人的一致：“因为客户就关心价格啊，他们都会问价格，价格合适了就会成交啊！”

也就是说，在优化师和一线销售看来，价格是影响成交的唯一诱因，所以他们选择用价格这个方向做投放创意。

那么事实呢？

我们从常识出发，稍微有点消费经历的朋友都会知道，问价格是成交前的必经步骤，也确实是会因为价格合适才会有下一步的消费决策，但，你是因为价格才进店的吗？你进店只关心价格吗？你最后下单只是因为价格合适吗？

同样的，对婚纱摄影有兴趣的目标客户一进店、一接咨询电话就只问了价格吗？其他什么问题都没问吗？

并不是吧。他们还会关心拍摄风格、拍摄场景、服装、妆容等等，只是，用户关心的这些不一定以提问的形式表达出来，不提问不代表不关心。

所以，单纯认为最终的购买决策是由问价直接导致的是有问题的，归根结底，价格只是客户满意的一个部分，还有更多的的原因导致最后的成交，我们需要了解影响目标客户做决策的各个相关因素，针对性的去做创意。

乱象五：以局部论整体

我们说因变量的影响因素其实有很多，但分析师往往只看到其中一两个，就草率的认为因变量的变化就是某个或者某几个变量的变化造成的，通常来说，由这个做法得出的结论都是片面的。

比如在信息流广告投放中，经常会有朋友吐槽XX渠道效果好差，不如XX平台，刚上线就有咨询。撇除平台本身的一些差别，我们从广告投放规律来看这个问题，你会发现，效果好坏的评估需要考虑多个因素。

之前我在给一个电商项目做投放的时候，老板说明星店铺的广告ROI 比钻展还有其他直通车广告都要来得更硬朗，所以“把其他广告都撤了吧，把钱都砸到明星店铺上去！”

那么我们应该听话的把所有广告费都花到明星店铺上吗？

我们用一个例子来说明：假设我想买个手机：

午休的时候我在公司电脑上打开京东网站看了一圈各个品牌手机的介绍；

回家的路上我在公交车站台等车看到了VIVO的全面屏手机广告，才知道是明星鹿晗代言的；

坐车的时候我用头条刷资讯，刷到了一条VIVO手机的测评，于是点击进去看看。

看完测评没多久，我在头条刷到了VIVO的广告，时间关系，没有点进去看。

双11前，我上淘宝搜了一下VIVO全面屏，从明星店铺的广告入口进入到落地页之后，发现全面屏手机在大促，于是点击进去，下单，付款等收货。

这5步是一个典型的购买历程。从产生兴趣到信息搜寻到备选品牌评估，最后到购买决策，我同时受了好几个广告的影响，但并没有为这些广告买单，直到通过点击明星店铺广告，我才有了消费。那么，是不是其他广告都没有必要存在？步步高公司可以把除了明星店铺之外的广告全部撤销呢？

当然不是。我最终的购买，是之前多个广告对我共同影响的结果。

这也是我们常说的多渠道归因（Attribution Modeling），即，消费者的购买决策并不单单受到最后一个媒介广告的影响，媒介和媒介之间是有交互关系的。

做过电商投放的朋友大都有这样的经验，就是去掉了那些看似ROI不高的渠道以后，以为能省下不少广告费，却发现原来ROI好的那几个渠道也莫名其妙的不好了，这其实就是各个渠道在触发用户转化时扮演的角色不同：

有些广告是用来打品牌认知基础的，

有些广告是强化品牌认知作为助攻的，

有些广告是促进销售引导转化的，

……

孤立的评价哪个渠道效果好或者不好，是不符合消费者购买的行为规律的。

那么同样的，当你在评价信息流某个或某些个平台效果不好、但其他渠道效果好的的时候，可以试着从多渠道归因的角度综合考量，看看效果不好的那个平台有没有可能是触发最后购买决策的某一根稻草，如果经过分析，确定这个效果不好的平台不能为你的绩效带来任何帮助，再考虑是不是要取消投放，不要单单凭转化不好这点就草率的做决定。

数据分析三大建议

建议一：切勿预设立场

数据解读最起码的要求是不能预设立场。

举个非常常见的例子，比如我们办公室的小姑娘刚来应聘的时候，看到我用的手机是白色，开的车也是白色的，就问我，“是不是男生喜欢白色？我看到很多男生都是用白色的手机，开白色的车。”

我们说这个姑娘的结论就是典型的可获得性偏见。也就是，当你预设了某个�...

产品概述

合理界定城市人口规模，优化人口结构，建立全口径人口管理和服务体制，促进人口结构、产业结构、城市空间布局的联动调整，形成与现代化城市相适应的人口发展环境是城市发展的基础。目前各地市在公安、统计、卫生、民政、人力资源和社会保障等相关行业领域已积累了人口变动、婚姻、就业、教育、资源利用、城市化、经济社会等与人口相关的信息，但由于缺乏信息共享和整合的平台机制，客观上形成了一个个“信息孤岛”，既不利用提高统计效率，也不利于形成统一、高质量的人口宏观信息资源。以致政府管理部门难以全面、准确地掌握城市人口数据信息。 为了解决上述问题，急需建立全口径人口数据集成与分析应用系统。通过建立全口径人口数据集成与分析应用系统，推动人口基础数据的整合共享，为区域资源承载能力、实有人口统筹管理、人口全生命周期管理、人力资源能力素质、社会就业形势等的监测分析和评价决策提供信息支持，提高城市管理、服务和决策水平。

功能框架

系统通过数据交换平台将各职能局的相关业务数据和移动数据传送到交换库中，数据处理平台定时对交换库中的数据进行清洗比对关联获得基础库数据，基础库数据经过进一步的关联分析计算，生成特定的主题数据。系统利用GIS平台接口和HTML5等技术在手机、平板电脑、笔记本、PC机等多种平台上通过图表、地图等方式展现人口数据。

产品特点

1、通过数据整合、转化建立各类人口主题库

（1）建立城市全口径人口数据库：系统收集城市各职能局的业务数据，对数据进行清洗、比对、关联，获得人口空间数据，建立行政登记人口数据库。

（2）建立城市社会事业数据库：系统收集教育、卫生、民政及文体公共服务设施的数据，通过 对数据清洗、对比、关联，建立社会事业数据库。

（3）建立移动人口数据库：基于移动手机数据，实时测算分析城市区域动态人口数量和人口变动情况。结合城市网格区域定义，提供动态人口承载数据。

2、通过大数据分析平台，建立移动时点承载人口数据分析模型。

区域内移动电话的使用数量和区域内的人口数量有很强的关联性，通过特定的转换算法可以基本准确的从移动电话的使用数量计算出区域内的人口数量。由此计算出的人口数量反映了某时点该地区内的实际存在人数，因此称为“时点承载人口数量”。

3、为人口管理提供公共服务及科学决策依据

利用综合使用全口径人口数据库和社会事业数据库，可以对政府公共服务的当前状况做出科学评估，并对未来的发展建设提供数据分析基础；利用全口径人口数据库，可以随时获取城市人口结构、变化等数据，为政府人口管理提供科学依据。

4、实现人口信息共享

系统的数据交换平台可以在保证安全的前提下实现人口信息共享，满足不同部门、不同类型的电子政务对人口数据的需要。

成功案例

深圳市改革和发展委员会

2017 年马云在某次年会演讲中提到一件让他惊讶的事情。

在西湖边上他曾看到乞丐在用支付宝收款码进行乞讨，从界面操作上看该乞丐还能熟练应用支付宝提供的「生意通」功能，研究本周的乞讨收入趋势以及单位小时的乞讨金额，从而为自己制定更加高效的的乞讨策略。

图片来源于网络

乞丐都在用数据分析来武装自己了，身为互联网从业者，你还敢落后？为了让你感知到数据分析对工作效率提升价值，我们来看一个真实的运营案例。

你为什么要学习数据分析

运营研究社在 2018 年以前，公众号图文的推送时间是不固定的，在早上、中午、下班时间、深夜都有过推送，所以相应的阅读量的波动也非常大。

在今年年初我提出了一个假设“如果把推送时间固定的话，会不会对图文打开率（阅读量）的提升有促进作用”。

为了检验这一设想，当时我需要解决的第一个问题是：

“运营研究社的公众号黄金推送时间在哪？”

我导出了运营研究社过去 1 年里的图文数据，并拿推送时间、打开率、标题 3 个数据字段来构建散点图。

运营研究社过去半年图文数据

从过去 1 年的推送时间和打开率的散点分布图来看，高打开率的图文主要集中在中午 12 点、13 点两个个时间段，于是我把将这两个时间点定义成运营研究社图文推送的黄金时间。

在实践中也证明了“在固定时间推送内容有利用提升打开率”假设是正确的，从阅读数据上的反馈就是我们的阅读量在 3 个月时间里提升了 200%。

无论是在生活还是工作，数据分析已是一项必备技能。

我在招聘网站上研究了近 100 个运营岗位的职责要求，用户运营、内容运营、产品运营、社群运营、渠道运营，它们几乎都会在靠前的位置写上这样一行文字：

“通过有效的数据分析（点击率，访问，转化率等），研究分析用户的需求制定运营策略”。

为了让你能够掌握最实用的数据分析技能，本篇文章将带你了解数据分析字段与产品指标、熟知数据驱动运营的底层方法。

“竟巧妇难为无米之炊”，为了让小伙伴们赢在起跑线，下面将开始系统讲解数据分析里的底层元素——数据字段。

你的基础数据字段足够全嘛？

2015 年我在百度贴吧在内容运营，当时的我们核心 KPI 是将次日留存率提升至 45%，于是我就想研究用户首次登入的内容消费量与次日留存的关系，以期通过优化内容推荐系统来提升次日留存。

想法很好，现实却很悲剧，我在给技术同学提数据分析需求时，他们很佛性的回了句：

“抱歉，我们没有统计用户的内容消费数据”。

由于缺乏用户的内容消费数据，我当时只能搁置这套数据分析方案了（在补充统计用户消费字段的 1 个月后才最终落地执行）。

跟大家分享这个案例，主要是希望大家能够理解，数据分析的底层关键支撑是基础数据字段，没有基础数据字段你的任何数据分析方案都执行不了，没有基础数据字段，你再老司机也无法用数据驱动运营。

所以，为了能够做好数据分析，你需要尽可能全面的提出你的数据字段需求，具体来说包括如下 2 类基础数据字段：

1）用户信息数据字段

它指的是用户的社会信息数据，比如姓名、性别、出生年月、籍贯、婚姻、学历，手机、邮箱等字段

对于电商和母婴类产品来说，还需要基于「用户行为数据」推导家庭类型、家庭人数、家庭小孩标签、工作岗位、所处行业等高级用户信息数据字段。

2）用户行为数据字段

用户行为数据字段在记录时的格式通常是User id（哪个用户）+Active（哪种操作）+Time（何时产生）。

比如今天上午，我在贴吧客户端首页看了一篇与 China Joy 有关的的贴子，并且还对妹子们的颜值留进行了评轮。那么贴吧官方会将我的看贴行为数据，以如下格式被统计下来。

用户行为数据字段是每一位用户在产品上操作行为的数据记录，不同产品类型需要的需要记录的用户行为是不一样的。

阅读内容、点赞、评论、分享是社区产品的关键用户行为字段，点击产品、添加购物车、下单、付费、评价是电商产品的关键用户行为字段……

相比于用户信息数据而言，用户行为数据是数据分析的重中之重，可以基于用户行为数据的处理加工，分析出每天产品的登入用户总量（DAU）、新用户留存以及评论用户总量等产品数据指标。

促进数据增长指标都有那些?

有两位内容运营的同学，有一天领导问他们最近的产品情况怎么样。

其中一位运营说产品表现很不错，每天都有很多人互动和称赞，另外一位运营回答说产品有问题，用户都不怎么会将内容分享出去。

如果你作为老板，你应该相信谁？

我想这两位同学你应该都不会相信，甚至还会很生气，因为你的员工没有一点点的数据分析意识。

现代管理学之父彼得·德鲁克说过一句很经典的话：

如果你不能衡量它，那么你就不能有效增长它。

为了能够让数据驱动业务增长，我们需要制定业务的衡量标准，用统一的衡量标准来定义和评价业务，这个统一的标准在数据分析中叫做指标。

案例中的两位内容运营如果能够以互动率和点赞率、分享率这 3 个产品数据指标来向领导汇报自己的运营工作的话，或许就能够在领导心中留个好印象了。

了解和使用指标是数据分析思维的第二步，我们需要基于具体的业务需求设定能够驱动产品增长的指标。（Ps：数据指标是由用户基础数据字段处理加工而成）

按照比较受大家认可的 AARRR 产品增长模型，我们可以将指标分为五大类：拉新指标、活跃指标、留存指标、转化指标、传播指标。

5个产品的拉新指标

运营通过渠道投放让“用户”接触到产品，当“用户”觉得产品不错就会去下载它，打开产品发现里边的内容蛮适合自己，“用户”就会注册产品，最终成为产品真正的用户。

以上是绝大部分运营都会经历的拉新过程，如果你想监控整个过程，并且评估拉新的执行效果，那么你就需要设置如下数据指标。

1）浏览量

俗称曝光量，指的是产品的推广信息在朋友圈、搜索引擎、应用商店等渠道渠道中被多少用户看到。与浏览量相对应的是点击量，它们俩的比例在业内有一个专业词汇 CTR（CTR=点击量/浏览量），很多广告平台会用 CTR 来评估广告质量。

2）下载量

指的是 App 的安装次数，是衡量拉新效果的结果指标。不过，App 下载其实是一个中间态，为了让产品从曝光到下载有一个高转化，你需要注意应用大小、介绍文案的打磨。

比如游戏类 App，为了避免怕漫长的下载时间造成玩家流失，会选择让用户下载后以补丁形式完成全部素材的加载。

3）新增用户

下载并不是意味着就是用户，如果某个“用户”只下载了并没有注册，那它就是一个无效的用户。对于用户的界定，每个产品是不一样的，大部分的产品是用户注册了 App，就被定义为用户了，比如知乎、微博、小红书、百度贴吧。

4）获取成本

用户获取必然涉及成本，而这是运营新手最容易忽略的。目前常见的成本的计算方式有 CPM（千次曝光成本）、CPC（单次点击成本）、CPA（单次获客成本）。

5个产品的活跃指标

相比于下载量和用户量而言，在人口红利消失后，大家开始更关注实实在在的东西了——你到底有多少活跃用户。

用户活跃作为运营的核心工作，不论移动端、网页端或者微信端，都有相关指标可以衡量。

1）活跃用户数

DAU 指的是日活跃用户数量，指的是在 24 小时内活跃用户的总量。把时间周期拉长的还有周活跃 WAU 和月活跃 MAU。（MAU 指的是一个月时间周期里去重后的活跃用户总和）

Ps：与活跃用户相对应的还有流失用户、忠实用户、回流用户，其中流失用户是长期不活跃，忠诚用户是长期活跃，回流用户是曾经不活跃或流失，后来又再次打开产品的活跃用户。

2）活跃率

活跃用户数衡量的是产品的市场体量，活跃率看的则是产品的健康。

比如说某款产品的 DAU 是 100 万，可能你觉得还不错，但是我跟你说它的总注册用户是 1 亿，活跃率仅为 1%，你的感受可能就是这款产品很不错了。

3）在线时长

现在数据分析也越来越注重用户行为了，为了深入研究一款 App 的活跃健康度就需要去研究在线时长（它是视频类网站的核心数据指标）。

不同产品类型的访问时长不同，社交肯定长于工具类产品，内容平台肯定长于金融理财，如果你是做内容的产品的，发现大部分用户访问时长只有几十秒，那么最好分析一下原因。

4）启动次数

它体现的是用户的使用频率，用户的日均启动次数越多，说明用户对产品的依赖性越高，活跃度也就越好。

社交产品的人均启动次数会在 3-5 次之间，是通互联网中在启动次数指标中数值最高的。

5）页面浏览量

PV（PageView）是页面浏览量，UV（Unique Visitor）是一定时间内访问网页的人数，用户在网页的一次访问请求可以看作一个 PV，用户看了十个网页，则 PV 为 10。

PV 是互联网早期 Web 站点时代的活跃指标，也可以理解为网页版活跃。

5个产品的留存指标

如果说活跃数和活跃率是产品的市场大小和健康程度的话，那么用户留存衡量产品是否产品能够可持续发展，如果你是早期产品就更应该关注是留存指标了。

1）用户留存率

留存率 = 留存用户 / 当初的总用户量

用户在某段时间使用产品，过了一段时间后，仍旧继续使用的用户，被称为留存用户。

假设产品某天在某渠道新增了用户 1000 个，第二天仍旧登入产品的用户有 350 个，第 7 天仍旧登入产品的有 100 人，那么这个渠道获取来的用户次日留存率有 35%，那么称七日留存率为 10%。

Facebook 有一个著名的 40-20-10 法则，即新用户次日留存率为 40%，七日留存率为 20%，三十日留存率为 10%，有此表现的产品属于数据比较好的。

2）用户流失率

用户流失率和留存率恰好相反，如果某产品新用户的次日留存为 30%，那么反过来说明有 70% 的用户流失了。

流失率在一定程度能预测产品的发展，如果产品某阶段有用户 10 万，月流失率为 20%，简单推测，5 个月后产品将失去所有的用户。

Ps：这里可以引出一个公式，生命周期 = （1 / 流失率）*流失率的时间维度。比如产品的周流失率为 50%，那么平均用户生命周期为 14 天。

15个产品的转化指标

运营而言，拉新和活跃、留存都只是手段，最终衡量你工作业绩的是你手上掌握了多少有价值的用户。

运营就像用户成长路上的指引者，指引者产品里的用户成为能够产生价值的超级用户，即回归商业的本质。

交易类产品转化指标

1）GMV

它是一个虚荣指标，只要用户下单，生成订单号，便可以算在 GMV 里，不管用户是否真的购买了，京东在双十一对外发布的战报是 GMV。

2）成交额

成交金额指的是用户付款的实际流水，是用户购买后的消费金额，天猫在双十一对外发布的战报是成交额。

3）销售收入

它指的是成交金额减去退款后剩余的金额，属于内部机密数据了。

如果把上述的三个指标看作用户支付的动态环节，则能再产生两个新指标。

成交金额与 GMV 的比率，实际能换算成订单支付率，它体现的支付的流畅度；销售收入和成交金额，也涉及到了退款率，它体现的是产品质量。

4）付费用户量

在产品里边产生过交易行为的用户总量，同活跃用户一样，交易用户也可以区分为首单用户（第一次消费），忠诚消费用户（持续购买的用户），流失消费用户（流失后又回来的用户）等。

同时，为了研究用户的付费潜力，你还可以研究下产品的付费用户比例：

付费用户比例 = 付费用户 ÷ 总注册用户

5）ARPU

在单个促销活动中，它指的是每一笔用户订单的收入，总收入/订单数。而在整个产品生命周期中，我们更关注用户平均付费，总收入/用户数。

ARPU 可以再一步细分，当普通用户占比太多，往往还会采用每付费用户平均收入：ARPPU = 总收入÷ 收费用户数

6）复购率

和新增用户一样，获得一个新付费用户的成本已经高于维护熟客的成本。复购率更多用在整体的重复购买次数统计：单位时间内，消费两次以上的用户数占购买总用户数。

比如运营研究社的技能训练营在第一季度有 1789 个付费用户，购买次数在两次以上的有 657 人，那么我们季度复购率是 36%。

社区型产品转化指标

社区型产品的首要目的是将用户聚集在一起，并且引入用户生成内容，它的核心关键在于培养一个能够生成内容的活跃用户社区。

1）内容生成者

参与内容生存的用户�...

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

数据分析，是运营中很重要的阶段，是信息流推广中一个非常关键的工作，拥有一套清晰的账户数据表，能让你的数据分析过程，轻松自如、得心应手。

笔者在进行数据分析的时候，一般会用到五张表，这五张表进行分析汇总，然后发现账户中的问题，最终解决问题，让账户效果变得更好。

1、营销流程数据表

2、计划消费数据表

3、搜索词报告表

4、多维度数据表

5、关键词报告

营销流程表格

统计营销流程数据（包括各账户展现、点击、消费、平均点击价格）、统计商务通有效对话、统计预约系统的预约量和到诊量，这些全部放在一张表格上，方便计算预约率和到诊率，也方便对比近期的数据，及时发现波动和异常。

如果经常账户提前下线，或者钱花不出去，就要看看是不是市场有波动，或者竞争对手有大动作，还是账户哪里出了问题。都可以在营销流程数据表中找到问题。只有细心的统计数据，才能为以后的优化方向做好铺垫。

昨日计划消费数据报表

统计昨日计划消费数据，把咨询和预约归类在这张表上统计，可以直观的看出消费、对话成本、预约成本和到店成本。

如果某计划成本过高，就要看一下这个计划的投产比合理不合理。短平快、风险小、利润大的计划，会比其他成本要高，这个要结合公司的经营方向来做调整，把成本控制在一个可以接受的范围里。

搜索词报告

搜索词报告，一般1周统计一次，数据量大的时候3天一次，然后把搜索词报告和和关键词报告进行合并统计。可以很直观的看出某个词的展现或者点击。把这些词在账户里重点标记，或者单独管理，对账户优化有很大意义。

这样结合来看，可以让你对整个账户关键词和数据方面了解会非常清晰。再结合数据分析思路，持续优化账户，往好的方面发展，往高质量方面走。这就是小编整理的数据分析所用到表格的分析。希望能帮到正在竞价一线奋斗的竞价员们。

多维度数据表

多维度数据表是把账户数据和客服转化数据结合起来的一个非常重要的表格，我的习惯是把关键词、搜索词、展现、点击、消费、对话词，通过EXCEL的（vlookup）函数调用，把这些数据全部展现在一张表里，这样就不用看好几张报表，劳神劳力还容易迷糊。

通过这张表，可以直观的看出该关键词的展现量、点击量、消费情况以及是否产生对话。针对这些数据，可以很直观的看出来很多问题，调价、添词、否词、优化账户，基本上全靠这张表。

竞价员可能要看好几张表格，而且容易混乱，很难发现问题，所以在这里笔者着重推荐多维度数据表，然后结合关键词报告，这两张表是较为重要的。

关键词报告表

高消费的词通常是核心词，这种词出价都高，但只要着陆页问题不大，转化还是不错的。这种词，可以往上抢一抢，这类词虽然出价高，但点击总体不会太多，消费一般在一半以上，在账户预算够的情况下，尽力保证排名。如果预算不足，就找出主推项目和利润最大的项目来调整。

一般关键词报告是结合搜索词报告一起看的。每天在筛选完这张表之后，根据关键词的数据分析，如果实在没有点击，那就直接否掉。否掉一批词，再往账户里新增一批词，把该否的否掉，该删的删掉，注入新鲜血液，账户才更有活力。