国产〇〇柒

前几天朋友给了一组行业同行表现数据，让帮忙分析一下自己的店铺问题所在和表现如何。今天我通过这个小示例来跟大家简单分享一下一些基础的分析方法。

（开始之前先跟小伙伴们说明一下，本案例是一个简单的基于一组数据而进行的分析，并通过这个给大家一个相对比较概括的方法介绍，实际分析操作中会遇到更复杂的情况，而且实际分析中的挖掘深度要比本案例要深）

下边是朋友提供的一组数据：

图片：基础数据表01.png

为了保护隐私避免侵权，公司名称这里就以字母替代

通过上图我们可以看到这是几组非常简单的数据，这些数据我们都可以在自己的店铺采集到，但是我们也可以看到这组数据有一个问题，多数数据缺乏一个时间参数，从表格中我们只能看到最后两项有一个准确的时间界定，其他项数据均没有这个界定。不过这里我们采用对比模糊分析的方法，不用考虑数据是否精确，只需要进行对比即可，所以缺乏时间参数问题也不太大。接下来我们通过以下几个步骤进行分析。

一，做筛选

首先我们要对这些数据进行筛选，只留可对比的数据组，剔除无用的数据。方法很简单，这里我们通过公司名称进行检测，进行主营产品类目检查（这里我是以朋友公司产品类目对基础的），通过分析发现C、G、M三个公司的产品与其他不符，这里我们就直接剔除这三家的数据不做参考。

整理后的数据如图：

图片：整理后的数据02.png

（再更复杂的分析中，剔除噪音数据并非这么简单，这里是用这个简单的方式说明一下这个操作步骤，大家在操作中要根据自己实际情况进行数据甄别，甄别的过程是非常复杂和繁琐的，如果这一步出错，做出的分析结果的准确性就很难得到保障）

二，做归类

无用的数据剔除之后，接下来我们就是要对现有的数据进行归类处理。

通过图表数据的阅读，我们可以把里面的数据简单的归为三类：交易数据、回复率、行为数据。交易数据这里主要就是包含前三项，一达通和信保；回复率就是询盘回复率的表现数据；行为数据这里主要是指人的行为，访客和季度、月询盘数。归类后如图：

图片：归类后的数据03.png

这三类数据是有区别的，交易数据和回复率我们可以统一称之为“操作数据”或“加权数据”，因为这些数据的控制权基本掌握在我们手里，我们在这部分数据的积累上有较大的主动权。行为数据可以称之为“结果数据”，这部分数据的直接控制权来自于客户行为，我们无法直接去干预，我们只能通过提升“操作数据”的方法去影响这个“结果数据”。我们之前的操作都是为了这个“结果数据”有较好的表现。

数据归类之后，我们开始分析

三，做分析

由于上面拿到的三类数据有两类属于“操作数据”，这两类对“结果数据”只能产生部分影响，这里我们就不关注这两项数据了（在全局分析中，这些局部数据都可以作为一个参数加入到分析的行列）。这里我们只关注结果数据。这里的结果数据中虽然有三组数据，由于其中一项数据缺少时间参数，所以我们可以把三项数据当作两项去分析，季度和月询盘量可以当作一个有效参数，这个时候我们就把数据优化成两类：访客和询盘。当看到这两个数据的时候我们很简单的就会联想到由他们而衍生出来的一个数据：“转化率”，这个数据能够比较真实的反馈平台效果。接下来我们计算出每一组的“转化率”数据如图（按照月度参数计算）：

图片：转化率04.png

从上图可以看出“转化率”排名如下：

H > K > P > A = F > B > D = E > I = O > J > L >N

当然，转化率高并不代表代表一个店铺的表现就是第一名，这个数据只能判断该店铺引流的精准程度（当然如果需要更深入的分析精准度是需要深入到询盘质量和成交转化中去的，这里不做过多介绍）。我们可以观察一下N店铺的转化率，0.43%的数据与其他店铺相比较差距较大，该店铺的访客流量占据第一位，但是反馈数据在该表中与其他几家并列最后一名，该店铺就需要认真的分析访客来源和未转化的原因（这里就牵扯到了其他数据的数据分析，这里不多介绍）。

当然，从数据组中我们一共可以看到这些数据条件，也可以计算出一个数据进行比较。但是这并不太说明什么太多的问题。接下来我们用加入条件的方法来进一步深入分析。这里我加入的数据是店铺的产品”上架产品数量“这个参数。加入数据到图标（实际操作中我们可以加入更多的可参考数据进行数据分析），如图：

图片：加入产品数量条件05.png

从表格中可以看出产品数量过万的有A B J N ，产品数量5000以上的有D I K L O P，产品数量低于5000的有E F H。从阿里规则上来说，店铺产品数量过多，店铺过于臃肿并不太好，但是这并不代表不用去发布产品了，其实我们真正要做到的是产品数量适中，做到全覆盖即可。从以上店铺的产品数量数据表现可以看出来，该行业的产品数量需要大于5000以上，如果低于5000，应该做不到全覆盖，可能会浪费很多流量（这里是从数据表大致得出结论，如要深入分析具体多少产品数量合适，还需要从其他方面进行综合分析）。我们也可以看到低于5000的几个店铺的访客量分别为：4000，7000，9000（里面有P4P引流数据，所以该数据仅作参考，不可作为实际数据参考），这个数据量并不算高，特别是H，访客是最少，产品数量也是最少，但是我们可以发现H的转化率是最高的，我们这里假设，H拥有A的产品数量（覆盖面），保持转化率不变，其他条件随覆盖面递增，这个时候我们可以看到H的数据应该是这样的，如图：

图片：修改数据后转化询盘06.png

当然这是一个理想的假设状态，覆盖，访客，转化这些数据都是的动态的，越是大的数据体量对转化率的控制难度越大，但是不可否认的是，如果产品覆盖能够达到一定程度的话，对访客和询盘转化肯定是有益处的，示例中虽然达不到492条的完美状态，但是询盘数量增加2倍应该还是有保障的。从这些数据的表现我们也可以看到覆盖的重要性（其实覆盖是一个很复杂的事情，并不是咱们想象的那种把产品和关键词上传上去就完事儿的事情，有时间可以跟大家深入交流关于覆盖的问题）。其实这些数据中还有很多可以对比解读的地方，我们今天先这里，以覆盖落幕。

【IT168 评论】这是一个用数据说话的时代，也是一个依靠数据竞争的时代。各大互联网公司都在不断完善自己的数据分析团队，数据分析师的薪酬也是水涨船高。业内人士透露，应届毕业生的平均薪资大概在6K左右，1至3年经验的大概在10K到20K之间，5至10年经验的大概在25K以上。薪资还是十分诱人的，那么，如何快速成长为一名年薪百万的数据分析师呢?快来看看，以下30道数据分析相关面试题，你会多少?

1、分析数据还要写java代码是不是效率有点低?

2、成为一名数据分析师需要具备哪些技能?

要成为一名数据分析师，需要掌握丰富的报告软件包(Business Objects)，编程语言(XML，Javascript或ETL框架)，数据库(SQL，SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计，数据模型，数据挖掘等方面的技术知识以及分析大型数据集(SAS，Excel，SPSS等)的统计软件包知识。

3、分析项目的各个步骤是什么?

分析项目的各个步骤包括：

·问题定义

·数据挖掘

数据准备

模型化

数据认证

实施跟踪

4、分析的结果数据特别大，在线请求这些结果数据扛不住了，咋搞?

5、列出数据清理的最佳实践?

一些数据清理的最佳实践包括：

按不同的属性排序数据

对于大数据集，逐步清理并改进数据，直到获得良好的数据质量

对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度

要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值

如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题

分析每列的汇总统计数据(标准差，均值，缺失值的数量)

保持对每一个清理操作的跟踪，以便可以根据需要更改或删除操作

6、海量日志数据，提取出某日访问百度次数最多的那个IP。

7、可用于数据分析的一些最佳工具清单有什么?

Tableau

RapidMiner

OpenRefine

KNIME

Google Search Operators

Solver

NodeXL

io

Wolfram Alpha’s

Google Fusion tables

8、数据挖掘和数据分析之间的区别是什么?

数据挖掘和数据分析之间的区别在于：

数据分析：针对个别属性的实例分析。提供有关属性的各种信息，如值范围，离散值及其频率，空值的发生，数据类型，长度等。

数据挖掘：重点关注聚类分析，异常记录检测，依赖关系，序列发现，多个属性之间的关系控制等。

9、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

10、用于处理分布式计算环境中应用程序大数据集的Apache框架有哪些?

Hadoop和MapReduce是由Apache开发的用于处理分布式计算环境中应用程序大数据集的编程框架。

11、腾讯面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在40亿个数当中?

12、解释KNN插补方法是什么?

在KNN插补中，通过使用与其值缺失的属性最相似的属性值来推断缺少的属性值。通过使用距离函数，确定两个属性的相似度。

13、数据分析师使用的数据验证方法是什么?

通常，数据分析师用于数据验证的方法是数据筛选和数据验证。

14、解释应该如何处理可疑或缺失数据?

准备提供所有可疑数据信息的验证报告。它应该提供信息，如失败的验证标准以及发生的日期和时间

有经验的数据分析师应该检查可疑数据以确定其可接受性

应该找出无效数据并用验证码替换

对缺失数据进行处理，使用最佳分析策略，如删除，单一插补方法，基于模型的方法等。

15、如何避免过拟合?

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化：增大数据集，正则化

16、解释异常值是什么?

异常值是分析师使用的一个术语，指的是一个远远超出样本总体模式的值。有两种类型的异常值：

Univariate

Multivariate

17、解释分层聚类算法是什么?

分层聚类算法结合并划分现有的组，创建分层结构并展示组划分或合并的顺序。

18、解释K均值算法是什么?

K均值是一种著名的分区方法。对象被分类为属于K个组中的一个，k是先验选择的。

在K均值算法中：

簇是球形的：簇中的数据点以该簇为中心

簇的方差/扩展是相似的：每个数据点属于最接近的簇

19、数据分析师所需掌握的关键技能是什么?

数据科学家必须具备以下技能：

数据库知识

数据库管理

数据混合

数据查询

数据操作

预测分析

基本描述性统计

预测建模

高级分析

大数据知识

大数据分析

非结构化数据分析

机器学习

演示技巧

数据可视化

报告设计

20、解释协同过滤是什么?

协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。

协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块，该模块通常会获取用户的浏览记录信息，以弹出用户可能喜欢或需要的商品。

21、大数据中通常会使用到哪些工具?

大数据中使用的工具包括：

Hadoop

Hive

Pig

Flume

Mahout

Sqoop

22、解释什么是KPI，实验设计和80/20规则?

关键绩效指标(KPI)：它代表关键绩效指标(Key Performance Indicator)，它是关于业务流程的报告或图表

实验设计：这是用于分解数据，采样和建立数据以进行统计分析的初始过程

80/20规则：这意味着你收入的80%来自客户的20%

23、解释Map Reduce是什么?

Map-Reduce是一个处理大型数据集的框架，可以将它们分解成子集，在不同的服务器上处理每个子集，然后混合每个子集上获得的结果。

24、解释聚类是什么?聚类算法的属性?

聚类是一种应用于数据的分类方法。聚类算法将数据集划分为自然组或集群。

聚类算法的属性是：

Hierarchical or flat

Iterative

Hard and soft

Disjunctive

25、对数据分析师有用的统计方法是什么?

对数据科学家有用的统计方法是

贝叶斯方法

马尔科夫过程

空间和集群进程

统计数据，百分位数，异常值检测

计算技巧等

简单的算法

数学优化

26、时间序列分析是什么?

时间序列分析可以在频域和时域两个域中完成。在时间序列分析中，可以通过指数平滑，对数线性回归等各种方法分析数据，来预测特定过程输出。

27、解释空间自相关分析是什么?

空间自相关分析是地理空间分析的常用形式。它由一系列为不同空间关系计算的估计自相关系数组成。当原始数据表示为距离而不是单个点的值时，它可以用于构建基于距离的数据相关图。

28、散列表是什么?散列表冲突是什么?如何避免?

在计算中，哈希表(散列表)是键值对的映射，这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引，从中可以获取所需的值。

当两个不同的键散列到相同的值时，发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。

为了避免散列表碰撞，有很多技巧，这里列出两个：

分离链接：它使用数据结构来存储散列到同一个插槽的多个项目。

再探测：在找到查找位置的index的index-1，index+1位置查找，index-2，index+2查找，依次类推。这种方法称为线性再探测。

29、解释 imputation是什么?列出不同类型的插补技术?哪种插补方法更有利?

在插补过程中，我们用替代值替换丢失的数据。插补技术涉及的类型有：

单一插补

热点插补：从随机选择的类似记录中推断缺失值

冷却板插补：与热点插补相同，但更先进，从其他数据集中选择供体

平均估算：在所有其他情况下，用该变量的平均值代替缺失值

回归插补：用基于其他变量的变量预测值替换缺失值

随机回归：与回归插补一样，但它将平均回归方差加入到回归估计中

多重插补：与单个插补不同，多重插补会多次估计值

虽然单一插补法被广泛使用，但并不能反映随机丢失数据所造成的不确定性。因此，在数据丢失的情况下，多重插补更有利。

30、解释N-gram是什么?

N-gram是来自给定序列文本或语音的n个项目的连续序列。这是一种以(n-1)形式预测下一个项目的概率语言模型。

方法论在各种行业都是以各式各样的形式存在着的，他其实就是一个指南针，指导大方向。同样在数据分析中，如果方法论不正确或者不合理，后面的分析结果也就没必要看了，在一个不正确或不合理的方法论的指导下，得到的分析结果是不可能正确的。

数据分析方法论和数据分析法

数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几个方面来开展数据分析？各方面包含什么内容和指标。所以数据分析方法论是从宏观的角度指导如何进行数据分析，它就像是一个数据分析的前期规划，指导着后期数据分析工作的开展。而数据分析法是指具体的分析方法，如：对比分析、交叉分析、相关分析等数据分析方法。数据分析法主要从微观角度指导如何进行数据分析。

作用？

很多人在做数据分析时，经常不知道从哪方面入手进行分析的情况，分析内容和指标也常常被质疑是否合理、完整，而自己也说不出个所以然来。所以方法论这种东西，大部分觉得假大空的东西，其实是非常必要的，只有在营销、管理等方法和理论的指导下，结合实际业务情况，才能确保数据分析维度的完整性，分析结果的有效性和正确性。总结一下：

1、理顺分析思路，确保数据分析结构体系化

2、把问题分解成相关联的部分，并显示他们之间的关系

3、为后续数据分析的开展指引方向

4、确保分析结果的有效性及正确性

常用的数据分析方法论

1、PEST分析法

PEST分析是指宏观环境的分析，P是政治(politics)，E是经济(economy)，S是社会(society)，T是技术(technology)。在分析一个企业所处的背景的时候，通常是通过这四个因素来进行分析企业所面临的状况。

这个分析方法在网上一搜索就有一大堆的讲解，针对互联网行业的分析，我认为就可以采取这个分析法来整理思路。比如：中国网民与中国公民在人口规模、性别比例、年龄结构、人口分布、生活方式、购买习惯、教育状况、城市特征、宗教信仰等方面是否有区别。

2、5W2H分析法

5W2H分析法作为非常容易学习和操作的方法之一，他是以五个W开头的英语单词和2个H开头的单词进行提问，从回答中发现解决问题的线索，即何因（why）、何事（what）、何人（who）、何时（when）、何地（where）、何做（how）、何价（how much），这就构成了5W2H分析法的总体框架。比如O2O的优惠营销信息给用户看，需要搞清楚，用户为什么需要这些优惠，用户的目的是什么？我们提供的优惠是什么？与用户想的是否一致？谁是我们的用户？用户有什么特征？用户喜好在哪个时间段购买？我们的营销活动应该开展在什么时候？用户在线下哪儿去消费？每个地区的线下有什么区别？用户应该怎样去享受优惠？用户去购买花费的成本是多少？我们应该投入多少成本？等等。

　　提起SEM，不可避免的要谈到数据分析。“对数据变化敏感，具有一定的数据分析能力“是所有公司都会提到的硬性要求。那么，SEM的数据分析到底应该怎么做呢?利用SEM数据分析又能起到怎样的效果呢?从数据分析的”意义“、”维度“和”结果“这三个方面来考虑，这些问题就不难回答。

SEM数据分析的意义

　　首先，我们要明确为什么要做SEM数据分析。SEM数据分析的最大意义在于总结过去，预判未来，改善投放。然后通过一系列的改善，使账户的投放运作走上良性循环。很多人认为，一个好的数据分析能把一个巨亏的差账户变为巨盈的优账户——事实上，这虽然存在理论可能，但更多的是痴人说梦。

　　例如，气象学的数据分析，凭借丰富的经验和高科技的仪器，人类已经拥有了预测未来天气变化的能力。但是人类仅仅是分析预测，并不能彻底改变未来的天气变化。因为该下雨时还是要下雨，该干旱的时候还是会干旱。通过数据分析和预测，我们只是能在下雨前准备好伞，在干旱前储存好足够的水罢了。

　　同理，SEM的数据分析也是如此，我们只是通过数据分析在行业低谷到来前避免潜在的无效投放，在行业高峰来临之际，做好充足准备。如此进退有度，SEM效果也会随之提升。

SEM数据分析的维度

　　几乎所有SEM推广账户的后台都能为用户提供数据统计和下载服务。面对琳琅满目的数据记录，不少SEMER会看花眼。我们该看哪些数据呢?这就要求SEMER拥有一定对数据维度筛选的能力。我们需要根据自己投放SEM的目的来筛选需要的维度去看数据，这样不但不会让人头晕，更能提高我们数据分析的效率。

　　目前，SEM的投放目的基本可以分为效果投放和品牌宣传两类。其中，效果转化是指以咨询量、订单量等为目的的投放。从结果倒推回去看，这样我们会发现要有咨询和订单需要用户访问我们的网站，而让王虎访问我们的网站则需要网站有展现，并且要有足够的出价来确保其必要的排名，这样能保证一定的点击量。所以，效果投放的账户往往需要关注点击量、展现量、点击率、消费、平均排名等相关维度的数据。另外，还要根据咨询收益、订单收益计算投入产出。更细化的数据，还可以关注到每一个页面的转化率等。

　　品牌宣传更注重网站品牌的曝光率。这就需要我们更关注网站的展现量，以及不同关键词和搜索词的具体展现和点击等。如果想进一步了解网民对品牌的认知度，还可以观察每个访客的访问深度，以及各个页面的停留时长等。

　　此外，要真正做好SEM的数据分析，SEMER还需要根据各自的情况，关注推广账户外的数据。通过其他终端各维度的数据反馈和整合，做好SEM的数据分析。

SEM数据分析的结果

　　如前文所说，SEM的数据分析可以改善投放效果。但是，SEM最终的结果其实可以包含更多。比如，SEM的数据分析可以为SEO提供更多帮助。

　　众所周知，SEO的操作要通过较长的时间来体现效果。因此，选词、站内布局都必须慎重。若一开始就错了，那么后面无论是终止，还是修改，都会造成时间、人力等成本的浪费。可谓“一步走错，全盘皆输”。而SEM的投放只要审核通过后便开始进入数据收集和反馈阶段。通过SEM投放，我们很快就能知道关键词的搜索量如何，转化如何，有没有其他相关关键词等。凭借SEM投放得到的数据，加以分析和筛选，再交由SEOER去操作，这样能更明确操作方向，并节省不少摸索的时间。

　　一个SEMER在做SEM数据分析的时候该做些什么呢? SEMER们既可大张旗鼓的做上几十页数据报表并加以分析陈述，也可以简单的只花几分钟汇总一下某个时段的投放数据。SEM的数据分析犹如人的一生，或浓郁烈酒，或淡如白水，关键是从中能得到什么。

本文作者：袁帅，互联网数据分析运营实践者，智能一体化会展活动运营服务平台会点网事业合伙人/运营负责人。CEAC国家信息化计算机教育认证：网络营销师，SEM搜索引擎营销师，SEO工程师。中国电子商务协会认证：中国电子商务职业经理人，畅销书《互联网销售宝典》联合出品人之一。中国国际贸易促进委员会:今日会展会员联盟VIP个人会员，全经联园区委秘书处成员，中国低碳智慧园区联盟理事，周五咖啡媒体人俱乐部发起合伙人。互联网数据官（iCDO）原创作者，互联网营销官CMO原创作者，执牛耳媒体特约撰稿人。

毫无疑问，机器学习和预测分析已经进入了公众意识。有几件事使这成为可能：

首先，计算能力变得更快、更经济，数据传输速度和存储成本大幅提高，所有这些都使得人工智能(AI)算法能够向高度美化的大数据扩展。但是，企业在涉足人工智能领域之前，应该警惕术语和它的万灵药承诺。尽管商业领袖可能对他们想要的结果有很好的认识，但他们中的许多人对实现目标所需的知识缺乏了解，比如数据源和类型的差异，以及不同类型机器学习模型的细微差别。

随着越来越多的供应商加入到人工智能的大潮中，许多术语，如预测分析和机器学习，已经成为非常流行的营销标签，企业在寻找预测分析解决方案时应该记住这一点。理解这些标签是克服炒作的关键，并通过真正的自助服务解决方案为您的运营团队直接管理他们的业务挑战获得真正的价值。

路灯的效果

有一个古老的笑话——我听过很多版本——讲的是一个人在路灯柱周围的地上搜索。一个朋友过来问他在做什么。“找我的钥匙。”他指着灌木丛说。“那你为什么要看这里?”他的朋友问。“光线更好，”那人说。这个被称为“街灯效应”的故事描述了一种被称为“观察偏差”的现象，指的是人们在最容易搜索的地方寻找东西的习惯。在谈论预测分析和机器学习时，这也是一个值得考虑的问题。当算法被应用到开发者认为他们能找到最好的洞察力的地方或者他们能找到问题的地方时，街灯效应就会在预测分析中显现出来。

例如，如果一家公司说它正在应用机器学习，但它只是一个很小的功能，开发者仍然需要手动配置搜索参数(比如游戏开发中的“bug”检测)，那么分析师的功能和操作只会受到很小的影响。直到最近，大多数机器学习模型准确地预测了他们所接受的训练，所以他们的预测仅仅和他们训练所用的数据一样好。新一代真正的机器学习算法，不需要被告知在哪里观察和从经验中学习，承诺将彻底改变多少企业将运营。最终，它们将为分析师提供真正的自助操作预测，而不依赖于数据科学和数据操作团队。你得到了什么?

静止数据还是实时数据?

另一个大问题是数据源本身正在迅速变化。直到最近，我们还局限于使用“静态数据”——自包含且固定的数据集。“静止数据”提供了有价值的历史背景，使基于过去的经验进行业务预测成为可能。但是，物联网(物联网)技术、传感器之类的连接数据源和社交媒体feed现在为我们提供了有意义的新数据来源，而且随着时间的推移会发生变化。

实时数据的应用为预测分析开辟了一个令人兴奋的新分支，称为异常(或异常值)检测，即在异常行为发生时识别异常行为的能力。当我们谈论企业的数据驱动洞察力时，这种发现你不知道的问题的能力可能会出现，并且可能导致将来不得不处理的问题，这显然是很有价值的。

异常检测如何改善你的驾驶体验

事实上，异常检测已经在发挥作用。广受欢迎的大众共享导航系统Waze最近求助于一家名为Anodot的Tel aviv公司，帮助其发现无法预料的问题。“Anodot公司帮助我们发现了一些异常现象，并发现了一些司机可能感觉不到的问题，但是当我们从整体来看时，我们可以看到区别，”分析集团经理Orna Amir博士说。“这些变化不会让驾驶变得更快。但是，使用Anodot公司可以帮助公司了解用户的喜好，比如检测某些国家的趋势，或者功能没有充分发挥潜力，这将帮助我们为用户提供更好的体验。

Anodot公司的平台全面观察了数据的全貌。机器学习系统分析所有的数据历史和数据流，以发现任何异常，而不是被告知去哪里查找，然后发出警报，以采取进一步行动。

工作场所的预测分析

航运巨头UPS最近也宣布，他们已经开始使用新一代的实时预测分析算法来优化包裹在其配送网络中的移动。UPS早在2016年就推出了自己的ORION算法，但这款内部开发的新型协调企业分析工具，现在将提供过去在不同应用程序间推广的功能。

UPS首席信息官胡安佩雷斯(Juan Perez)对《华尔街日报》表示:“如今，我们广泛使用数据进行计划。”“但是，我们对包状态的实时数据获取得越多，我们就能更好地了解网络中的任何异常，从而帮助我们制定出更好的计划来管理整个网络。”“预测分析将使UPS能够预测需求，这样它就可以将卡车和飞机运往最需要它们的地方，以改善服务并节省开支。”该公司表示，下一个版本将使用人工智能来实时确定最佳行动，以消除决策过程中的人为瓶颈。

你知道的越多，结果就越好

尽管取得了这些成功，麦肯锡全球研究所(McKinsey Global Institute) 2017年的一项研究发现，许多商界领袖仍不确定基于人工智能的技术究竟能为他们带来什么。好消息吗?同样的研究发现，“与只尝试或部分采用人工智能的公司相比，人工智能采用者报告使用人工智能来扩大市场的可能性要高出27%，报告使用人工智能来提高市场份额的可能性高出52%。”

关键是知识。随着预测性分析的不断进步，商业领袖学习和理解所有的定义，并从现实中区分炒作是很重要的。如果一个供应商告诉你它正在使用机器学习，找出机器将要做什么，你仍然在做什么，以及如何帮助你的运营和分析师。不要犹豫问问题，清楚地表达你的目标。

你对预测分析的了解越多，你就能更快更有效地优化你的商业成果。

1 用于展示数据分析结果的表格

以下是同样的数据、不同的格式所展示出的数据可读性：

很明显，第二份表格更具有可读性，显得一目了然，而不是杂乱无章。

是怎么做到的呢？

1.1 行高设为“18”（字体“11”保持默认）；

1.2 数字字体设为Arial；

1.3 项目下的细项进行了缩排（缩进栏宽设为“1”）；

1.4 数字列调整为相同宽度，其他列视内容调整宽度。且在上、下、左、右都有空白；

1.5 表格框线：上下粗，其余细或虚，保留横线，去掉竖线，具不显示网格线；

1.6 文字靠左对齐，数字靠右对齐；

1.7 善用背景色凸显重点；

1.8 一列数据尽量不要包括复合的内容，如将“单位”放到单独的列。

2 内容按手动输入、引用、公式区分字体颜色

举例

字体颜色

手动输入的数字

50

黑色

计算公式的数字

=A1+A2

绿色

引用其它工作表的内容

=Sheet3!A1

蓝色

如：

3 用于进行数据分析的事务性数据

具体内容请见《Excel技巧 | 高效的数据分析需要良好的制表习惯》。

点击上方

蓝色文字

关注公众号

快节奏的今天，越来越多企业客户需要的是能够为他带来直接价值的东西，往往忽略报告给企业带来的实际价值。然而事实上一份有效的大数据分析报告能够对企业产生很大的价值。

大数据分析报告不仅能够对某个具体领域的宏观经济趋势进行判断和预测；还可以把我们的触角深入到某一个社区、某一类人群、某一个具体的产品，来了解他们的真实情况；同时，我们还能够借助大数据分析的结果来制定精细化的线上广告投放策略或是做针对性的地面推广活动；而最终，我们把大数据分析的成果以大数据工具的形式固化，才能让我们的大数据效力持续。

也就是说，真正有价值的大数据分析报告能够在中宏观规划、微观/细分市场分析、方案执行和策略部署等方方面面为企业带来价值。

一、大数据报告怎么做出来的？认识大数据分析流程！

首先，我们要理解大数据分析的基本流程，一个完整的大数据分析流程包含了商业问题理解、数据理解、数据准备、数据分析、产出分析报告、提出解决方案6个环节，并且是一个闭环、不断优化的过程。对于企业，可能不需要掌握高难度的分析处理能力，但是掌握数据分析思路、数据思维和意识都是非常重要的。

二、大数据报告究竟研究了什么东西？解密大数据分析思路！

大数据报告根据功能来分，可分为4个常见类型：

1. 市场/行业分析：对某一个行业、细分领域的市场现状的分析、发展趋势预测；

2. 用户画像：了解用户的人群特征、某个产品的不同群体的用户行为差异；

3. 竞品监测：对同类产品的用户使用情况、市场情况、功能性能进行对比研究；

4. 经营分析/业务问题专题：企业经营中重大战略决策的分析或针对某具体业务问题进行专题分析，如营销效果评估等。

大数据是新生事物，所以很多人对大数据分析报告缺乏概念，所以我来对4种典型分析报告的分析思路进行一次解密，看看每一类的数据分析报告到底需要包括哪些因素（指标仅为列举，无法全面涵盖）：

市场/行业分析

用户画像

竞品监控

营销效果评估

三、数据来自哪里？不同数据渠道和来源的优劣势对比

数据来源分为内部和外部，内部数据是企业有意识进行埋点、收集、整合与储存所获得的数据资产。一般来说，我们还会通过一些外部渠道获取数据：

1. 网页爬虫数据：通过程序在网页上把相关的信息采集下来；

2. SDK数据：游戏等应用中SDK自动打包回传的数据，像友盟、talkingdata，主要是基于SDK数据进行整合和处理分析；

3. 运营商数据：三大运营商运营、业务和管理三大领域大量的客户属性和上网行为数据，祥运大数据平台的核心数据来源之一；

4. 咨询公司加工数据：咨询公司大量的调研活动所产生的统计级数据；

5. 定制数据：向数据拥有者/采集者提需求，根据你具体的条件再进行数据的采集工作；

一份报告的价值很大程度收数据源质量影响，因此我们需要注意是数据是否靠谱。检查数据是否靠谱最简单的方式是借助你熟悉的数据进行对比，验证数据口径和数据范围。其次，就是对数据采集的对象、过程和处理方法进行评估，看数据是否具有时效性、代表性。

四、大数据报告能够怎么用？场景应用列举

祥运网未来也会陆续不断地给大家分享关于大数据的干货和有趣的、典型的案例。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。

威斯布鲁克上个赛季拿到场均三双的数据可以说是很霸气，本赛季似乎也有机会拿到场均三双的数据。今天就来分析一下其是否能拿到此数据，都需要哪些因素。（下文数据截至3月2日）

先说一下上个赛季数据，威少出战81场，场均拿下31.6分10.7篮板10.4助攻，总数是2558分864个篮板840个助攻。截止3月2日，威少出战61场，场均拿下24.6分9.6篮板10.3助攻，总数为1519分585个篮板629个助攻。雷霆还有19场比赛要打，估计威少会在剩余的19场比赛中全部出战。所以，威少要想拿到场均三双的数据（得分已经达标），必须在剩下的比赛中拿到至少215个篮板，171个助攻。每场平均下来就是11.32个篮板和9个助攻。

威少本赛季场均数据

威少本赛季总数据

上文已经列出已有的数据，和所要达到目标的基本要求，那威少本赛季能再次拿到场均三双的数据吗？助攻数据这个方面，威少绝对是没有问题的，场均9个对他来说如同砍瓜切菜。但是篮板方面，威少则需要继续努力。场均11.32个篮板对于内线球员来说没有太大的问题，对于本赛季的威少来说就有点困难了。当然，威少也不是没有可能拿到这么多的篮板。雷霆本赛季进季后赛是没有问题的，现在就看队友帮不帮威少卡位刷篮板了。记得上一个赛季，队友经常会给威少卡位，让其抢篮板。有很多个镜头都是内线的亚当斯给威少卡好位，等待其上去轻松拿到篮板。有时候即便是掉下来的篮板，亚当斯也都会让给威少。

如果天时地利人和，威少再次拿到场均三双的数据是没有问题的，否则的话就会差一点，估计也就是0.5个左右。如果差0.5个左右，那就很遗憾了。当然了，如果威少再次拿到场均三双的数据，那绝对是前无古人后无来者的球员。值得一提的是，即便威少拿到场均三双的数据，本赛季的MVP一定不会是他的。

2017-2018赛季常规赛所剩无几，关于威少是否能够拿到场均三双的数据，球迷是怎么看的呢？

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...