5月16日，《2017中国留学白皮书》在北京发布，通过网络媒体在全国范围内的线上调研、覆盖全国40个城市及地区的线下调研，共计回收有效样本6217份；此外还通过涵盖数万家媒体的网络数据监测等形式，基于收集的大量数据分析得出。

此次白皮书总体分为五个部分：第一部分为2017年度中国留学现状；第二部分为最新各国留学教育体制及趋势；第三部分为最新各国留学考试指导；第四部分为中国留学生海外消费调查；第五部分为中国留学生归国就业调查。

本科阶段留学占比仍然最高，毕业后留学人群占比上升;另一方面，在留学人群中，目前正就读于中学及以下的计划留学群体，达到全部调研人群的30%，对比2016年增长了5%。总体而言，留学人群仍呈年轻化。

美国连续三年是留学首选，英联邦国家紧随其后，且占比均高于2016年。德国、中国香港、新西兰和法国的占比也有小幅提升，留学目的国分布格局较稳定。

商科作为中国学生的首选留学专业，其热度较去年再次有了明显上涨——达33%，可见专业扎堆的现象依然非常严重。除商科外，今年倾向选择工科专业的学生比例也有提升，而文科、理科、艺术类以及医科的所占比例则有不同程度下降。

今年在调研中发现，决定留学人群出国留学的因素主要来自于内在自我提升的驱动：拓展国际视野与丰富人生经历是出国留学最主要的目的。相较之下，应试压力、周围人的影响、气候等外在压力因素则处于次要位置。

73%的留学人群计划完成学业后归国就业，相比2016年占比明显上升。这说明，随着中国综合国力的提升与国家地位的崛起，以及国内经济的迅速发展带来了更多就业机会，留学人群对就业的规划更加明确，更多学生愿意归国就业。

和2016年相比，留学咨询服务机构仍是计划留学人群准备留学申请的主流方式，但比例从60%上升至74%，说明越来越多的人选择专业的留学服务机构，DIY留学人群仍是少数。

以上内容来自网络

在一些新闻报道和商业杂志上，会经常看到一些运用地图来分析展示商业现象，这样一种利用地图来反映和分析数据的形式叫数据地图。在商业数据分析过程中，数据地图是很直观的可视化的表达形式，比如利用地图展示各区域销售额、利润等；比如展示全国仓库分布和运输和以优化运输网络；又比如统计商场人流量及分布，用热力地图展示，指导门店分布和引流措施以及投放精准广告。

类似以上的场景，地图的展示无疑会比单纯的表格直观形象得多，作为更专业的应用，数据地图在以下方面有着广泛的分析应用。

1、人群分布

根据人口统计数据如年龄、性别、收入水平、教育程度等，在地图上对不同区域 / 社区的客户进行剖析与分类，数据分析他们的生活方式、兴趣、购物习惯等。

2、市场容量预测

在地图上分析各网点的资源投入、销售收入、产品的销售情况，预测整个市场的容量，从而将资源科学地配置到市场潜力最大的区域。

3、物流路径规划和供应链管理

比如通过这样一个数据地图，可以了解到订单的分布情况，仓储设置是否合理，分析如何优化物流路线。

4、门店选址分析

连锁门店、餐饮店铺的选址通常要考虑很多空间因素，使用地图可以将客流量、单平方容纳量等指标直观的展示，是进行市场规划的很好的方式。

分布型

这类地图的做法是根据数据的大小，在对应的区域添上不同的颜色，或者不同程度的颜色，颜色深浅反映数值大小，譬如下图。

就上图来看，目前展示的是单一维度的数据，比如全国销售额分布，如果要细分到比如陕西西安的销售额，技术上可以通过钻取获得，多粒度分析数据。

标记型

标记类地图就是起到一个位置提醒的作用，用点用图形都可以，让读者将所阅读的内容形象地与其地理位置对应起来。这样的地图本身并不反映数量信息，反映的可能是一个地点，一个流向，密集程度的分布，但是降低了数据分析的抽象性。

图表型

图表型地图是在全部或部分区域上显示一个简单的图表，如柱形图、饼图、气泡图，变相多增加一个基础维度，让数据结果一目了然。图表用于直接展示该区域的数据趋势，比较或构成关系。下图是区域地图+气泡图的结合，气泡明暗代表数值大小。图表型地图的图表不宜复杂，注意比例。复杂可采用数据钻取功能。

其他

数据地图还有其他的复杂样式，比如热力地图、自定义的区域地图。

综合运用型

这种做法对以上地图形式进行综合运用，加入动态地图、动态图表，或者与其他图表结合构成一个可视化的大屏。

按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊。

一、初创期

初创期的重点在于验证产品的核心价值，或者说验证产品的假设：通过某种产品或服务可以为特定的人群解决某个问题。这个阶段应当遵循MVP(Minimum Variable Product) 的思想，以最小的成本来验证创业的想法，并根据用户的反馈快速迭代以调整解决方案，最终在数据上得到验证。

案例：

拿之前做的某款国外移动端论坛社交应用为例，产品在idea时期(12,13年左右)发现了论坛用户经常在吐槽从移动端Wap页访问论坛速度慢、广告多、完全没有移动端适配，于是我们提出假设：做一个App，连接论坛系统与用户，让论坛用户在移动端也能享受流畅的论坛访问体验，并且用户愿意为了这种体验付费。

于是在初期，整个产品完全围绕看帖、发帖两个核心场景进行挖掘，在论坛里进行宣传，售价$18，发现有许多用户为之付费，且这些用户的留存率达到60%+(当然与用户付费了有关)，有一半的用户使用时长都超过了70分钟。当时没过多久陆续出来了一些竞品 (Vbulletin团队，当时最大的论坛系统，开发了一个移动端的App，意图解决同样的问题)，但是没过多久都远远落在了我们后面，就是因为整个团队遵循MVP的思想，按用户反馈专心反复打磨看帖、发帖的流畅体验，获得了非常好的用户口碑并领先市场，也获得了某著名硅谷投资机构的投资。

关键数据——目标人群画像

除此之外，初创期可以通过接入一些第三方的应用监测SDK来了解初期用户群体的画像，从侧面验证用户群体与假设的目标用户群体特征是否一致，常见的是人口学属性(性别、年龄、学历、地域)。

案例：

今年4月初在和国内某健身类的APP的产品经理聊到， 该APP最初是一款健身、运动记步的工具App，在产品前期新用户的次日留存处于业内平均水平，在其观察到目标用户群体的画像时，发现女性用户明显比男性用户要多，且女性用户留存明显比男性用户要高。于是决定在产品策略上向女性用户倾斜，主攻女性健身、减脂、美容方向的功能以及内容推荐，产品整体次日留存率相比之前增长近100%。

同样，最近服务了一个鹅厂内部客户，他们开发了一款新产品，意在面向年轻人群体，结果却发现其用户年龄分布以青少年和老年人居多：

这正好与他们的用户渠道相关，原来他们有一款面向青少年和老年人的产品，为了给产品带来第一批用户，他们直接从老的产品将用户引流过来，结果发现他们并非产品的目标用户。

关键数据——留存率

在当前用户符合目标受众特征时，核心关注这些用户的留存率、使用时长/频率、用户的黏性等指标，这里就留存率展开来讲。

留存率的维度分很多种(7日，双周，30日等)，依据产品特征来选择，若产品本身满足的是小众低频需求，留存率则宜选择双周甚至是30日;留存率高，代表用户对产品价值认可并产生依赖，一般来说，假设便能得到验证，通常低于20%的留存会是一个比较危险的信号。

介绍一个以数据为驱动的先行指标模型，可以通过找到先行性指标指导产品设计，从而提升留存率。先看下先行性指标的定义，先行性指标是指新用户在使用产品早期的一种产品行为，这个指标与用户的留存率指标之间存在着非常高的线性相关关系，可以预测用户是否会在产品中留存下来。

用自己总结的公式来描述，大致如下：

积极预测可能性(%)：表示用户执行了该行为，即可预测该用户留存活跃的可能性

消极预测可能性(%) ：表示用户如果不执行该行为，即可预测该用户不留存活跃的可能性

最终，先行性指标的可信度=积极预测可能性 X 消极预测可能性 ，我们直接看案例。

案例

拿之前的论坛社交App为假设，假设“用户在注册前10天内添加好友超过7个”为先行性指标，那么我们计算一组数据：

其中，用户前10天内添加好友超过7个，则其30日留存下来可能性为99%;若添加好友小于7个，则其30日不留存下来(流失)可能性为95%，综合指标可信度为0.9405。

同理，计算以下两个先行性指标可信度：

最终，我们得到对比：

以上只是假设的数据，实际上，我们需要对比十几个甚至是二十几个行为指标才能找出先行性可信度最高的行为。

这个模型中第一条“新用户在注册后的10天内添加好友超过7个”，也就是Facebook一个经典的“aha moments”，所谓”aha moments”即当用户意识到产品的核心价值的时刻，也就是我们的“先行指标”。

(Facebook，Instagram推荐好友截图)

除此之外，先行性指标应当满足以下条件：

二、快速成长期

经过了产品打磨的初始阶段，产品有了较好的留存率了，这个时候产品开始进入自发增长期。自发增长期的产品阶段，仍需要关注用户留存、用户时长、用户画像的变化等数据，但可以将侧重点关注在用户的整个生命周期的管理，其中以新用户的增长、激活、触发“aha moments”到产品稳定活跃用户的整个漏斗分析为主。

新用户的增长和激活

其中新用户的增长和激活一般有两种方式，第一种是构建产品的病毒性传播系数, 让产品自发增长，《精益运营数据分析》书中有提到的几个用户病毒式传播分类很有趣：

原生病毒性，即通过App本身的邀请好友功能而传播吸引的新用户的方式;

口碑病毒性，即通过口碑传播，用户主动通过搜索引擎成为的新用户;

人工病毒性，即通过人工干预，如有奖邀请等激励措施来鼓励用户进行邀请行为。

这里关注的一个指标称之为“病毒式传播系数”，感兴趣的同学可以自行深入了解。

新用户下载->激活->‘Aha Moments’->产品稳定活跃

产品开始进入自发增长期后，需要关注用户从新用户到活跃用户(留存后)、到核心用户的生命周期，并将每个过程的关键指标提炼并精细化。

案例

以之前的论坛社交APP为例，新用户进入产品会看到一个欢迎页(如左下图)，经过注册、登录后会看到产品的首页(如右下图的Feed流页面)，多数App都有类似的流程：

一个新用户从进入App欢迎页到最终成为核心用户大概是以下流程：新用户(探索发现产品价值中)-> 旁观者(逐渐认知产品价值并有一定的参与感)->生产者(认同产品价值并积极参与)：

按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊：

此时，对各个阶段的用户行为进行指标分解：

新用户&探索发现者：

欢迎页跳出率新用户注册率新用户引导流程转化率初始看到Feed页跳出率搜索结果转化率推送权限开通率

旁观者(路过者)：

平均每个用户关注板块数平均每个用户关注其他用户数平均每个活跃用户赞/分享数Feed卡片展示数Feed卡片点击数订阅内容推送点击率

内容生产者：

· 平均每个活跃用户发帖数

· 平均每个活跃用户发照片、视频数

· 平均每个用户在论坛内使用时长

· 活跃用户在论坛内行为分布

精细化的拆分用户生命周期前中期的行为指标，在产品快速增长期帮助了产品不断打磨细节，将用户从新进到成为核心用户体验不断完善。与此同时，在各节点数据提升并稳定后，产品运营的同学则开始进行各种推广、投放的宣传以扩大盘子、占领市场。

三、成熟期

随着用户快速增长，产品不断完善，产品在进入成熟期前后，数据运营关注的重心开始从用户生命周期的前半段(吸引、激活、留存)往后半段(流失、回流)开始偏移。

这里分享一个在增长期和成熟期关注的数据模板 Daily Net Change (应用自John Egan@Pinterest)，区别于只关注DAU、MAU数据，只关注活跃用户数的增减很多时候都是取悦自己，而这个模型能帮助直观地观察到用户增长的因子是什么，或者用户盘子变化的情况，通过一张图展示了产品的新增、回流和留存情况。

其中Net Change = 新增用户 + 回流用户 – 流失用户。

新增用户即当天有多少新用户加入

回流用户即多少老用户连续28天没有使用，今天又开始使用

流失用户即有多少已有用户刚好最后一次使用应用是在28天前

流失与回流

在关注流失回流的过程中，数据会揭示当前用户盘子的一个变化情况，具体分析流失原因则可以参考下方流程：

核心思路即，通过回访定性+数据验证为主要手段，确定流失原因，改变产品运营策略以预防用户流失或拉回用户，促进回流。

除此之外，对于一些稳定的投放渠道，普通的改善方法可能提升转化有限，此时可以进行更精细化的渠道分析来优化提升ROI：

案例：

提升ROI

四、衰退期

最终，产品进入衰退期，一般在进入衰退期前可以采取两种方式：

1、规模化

常出现在零售业中，如开一家按摩养生店，在一定范围内收获好评，那产品成熟的时候则可以开启连锁加盟模式，通过迅速而广泛的扩大市场形成品牌效应，以形成壁垒，此时衰退的风险则被抵御。

2、生态化

在产品增长或接近完善时，单一的产品很容易存在需求过于垂直、用户无法形成依赖的问题，可以开发具有协同能力的新产品以搭建完整的产品生态，使得在当前产品上无法被得到满足或失去兴趣的用户被引流到新产品，作为新产品的新用户;同时新产品的用户也能在新产品上被引流回老产品，产品之间形成互相依赖的链条，最终用户有效流转，形成生态。

基于统计学方法的耕地数量空间分布规律探析

云南省位于我国西南边疆，土地总面积38.32万km2。全省以山原地形为主，山地占全省土地总面积的84%、高原占94%；因此，全省广泛分布着大量的坡耕地。以地面坡度为依据，可将云南省土地划分为小于8°、8°～15°、大于15°～25°、大于25°～35°、大于35°这5个坡度等级[1]。这种山地多，平地少的地形特点，极大地影响了云南省的耕地数量分布和耕地质量。1指标界定、数据来源与研究方法　　1.1指标界定数量和质量是衡量耕地的2个标准，数量主要指地类面积，如水田面积、菜地面积等，而质量则主要体现为各类等级耕地，如一等地、二等地、三等地和不宜耕地。因此，耕地分布也可分收集整理为耕地数量的分布和耕地质量的分布，耕地数量分布多的地区，其耕地质量不一定好，而耕地数量分布少的地区其耕地质量也不一定差。基于云南省的地形地貌特点，该研究将分析云南耕地数量空间分布的指标确定为6项：耕地总面积、土地垦殖率、水田面积、大于6°坡耕地面积、大于25°坡耕地面积以及人均耕地面积。　

1.2数据来源以2006年云南省土地变更调查资料为基础数据，共涉及126个区县。　　1.3研究方法 选用统计学的次数分布原理进行分析。将总体的所有单位按组归类整理，并按一定顺序排列，形成总体中各个单位在各组间的分布，称为次数分布。分布在各组的个体单位数叫次数，各组次数与总次数之比叫比率，又称频率[2]。次数分布可以反映总体的结构分布状况和分布特征[2]。该研究以SPSS为分析工具，文中的次数表示在该组范围内的区县数量。分析步骤如下：　　（1）求全距。在原始数据中，找出最大数和最小数，两者之差即为全距。　　（2）定组数。定组数是根据全距将原始数据分为若干组，关键是使数据在分组后能较好的表现其显著的分布规律和变化趋势，分组时应根据研究区域的实际情况以及经验判断来确定组数。但应遵循的一个原则是：组数不小于5，且不大于20[3]。　　（3）求组距。组距就是每组的间隔，由全距大小和组数多少决定。一般情况下，应尽可能对所有组使用相同的组距，建议使用奇数或者取5、10、50、100、500等数的倍数[3]。　　根据126各区县的基础数据，求得6个指标样本的最大值、最小值、全距，并计算出它们的组距（表1）。经反复比较分析，确定将样本分为10组能反映出各指标的总体分布规律，因此将计算次数分布的组数定为10组。其中，大于25°坡耕地面积采用的是异组距的划分方法，即每组的组距不全相等，各组的次数受不同组距的影响[2]。人均耕地面积由于数值都是小数，为使分组数据能包含126个区县的数据，更好地反映实际情况，在此作了一些调整，将组距定为0.04。

（4）确定组限，计算组中值。每个组的最大值为组上限，最小值为组下限。如组限表示为“80～90”，根据常用的组限表达方式，该研究约定该组是指由80（含80）直到89.99…，即略小于90的数，“80”归入该组，“90”归入下一组。同时应注意：最小组的下限的选取应使最小观测值包含在该组中，最大组的上限的选取应使最大观测值包含在该组中；最小组的下限应尽量靠近最小测量值，最大组的上限应尽量靠近最大测量值[3]。每组的中间数值即为组中值，它作为相应组限的代表数值。通常可用公式表示为：　　组中值=（上限+下限）/2　

（5）归类。根据已经确定好的组距、组限、组中值，把原始数据归类于相应的组内，并统计出在每组内的次数。通常用次数分布表来显示归类结果，包含组限、组中值、次数、累计次数和累积百分比5项。　　此外，根据次数分布表可绘制出累计次数曲线图。通过图示可以直观地反映出统计数据的总体分布规律和各个数据在整体中的水平。　　2结果与分析　　2.1耕地总面积空间分布规律根据云南省126个区县的耕地总面积，得出云南省耕地总面积的次数分布（表2）和累计次数曲线图（图2）。由表2可知，云南省耕地数量分布主要集中在中低水平上，或者说大多地区的耕地数量都较少。126个区县耕地面积较少的大概占20%，低水平的共占到72%，耕地面积较多的区县数量较少。　　2.2土地垦殖率空间分布规律土地垦殖率是反映土地农业开垦利用的重要指标，一般用耕地面积占土地总面积的百分比表示。从表3和图2可看出，云南省绝大多数区县土地垦殖率都比较高，有21个区县垦殖率低于10%，约有39%的区县垦殖率高于20%。就全省范围内比较，云南省垦殖率处于一个偏高的状态。对于以山地高原为主的云南省来说，垦殖率偏高，表明不少地方毁林开荒、陡坡垦殖较为严重，同时也使生态环境日益恶化。　　2.3水田面积空间分布规律水田包括灌溉水田和望天田。从表4和图3可看出，云南省101个区县的水田分布面积在80%的等级范围内，但是这些区县的水田面积都相对较少，只有少量的区县分布有较多的水田。与耕地相比，水田面积较少的区县更多，从次数分布也可看出，中低水平次数分布更多更明显。　　2.4坡度大于6°坡耕地空间分布规律该研究中的坡耕地包括坡地、梯地、轮歇地和菜地。由表5和图4可知，坡度大于6°坡耕地较耕地总面积、土地垦殖率和水田面积这3个指标，空间分布更为集中。这也体现了云南的山区特征，由于山高坡大，坡耕地分布相当广泛。

2.5坡度大于25°坡耕地空间分布规律坡度大于25°坡耕地采用异组距的划分方法。由于最大值和最小值相差巨大，如果按照常规等组距分组得到的信息不能较好地反映实际情况，两者会产生较大差异。因此，根据样本数据的特点，采用异组距划分得次数分布（表6）。由于异组距分组使各组的次数统计不具有同一标准，在统计学上图示就不具有意义，因此只能利用次数分布表进行分析，但这也同样能反映出大于25°坡耕地的空间分布规律。　　由表6可知，坡度大于25°坡耕地同样遍布云南省每一个区县，并且，最小值和最大值之间相差巨大。大于25°坡耕地面积最少的是曲靖市陆良县，为8.47 hm2；最多的是思茅地区墨江县，为40 452.89 hm2，两者相差4 776倍。　　2.6人均耕地空间分布规律从表7和图5所显示的信息可判断，云南省人均耕地中低水平分布比较明显。说明云南省大部分区县人均拥有的耕地面积都处于较低水平。云南省人均耕地较少的地区主要有昆明市、大理州、玉溪市和楚雄州，说明人均耕地数量不仅与地形有关，而且与人口分布、经济发展也有着密切的关系。图4坡度大圩6°坡耕地面积累计次数曲线。　　3.1多耕地分布区耕地主要分布在滇西南的普洱市、临沧市，滇东曲靖市，滇南红河州，滇东南文山州。滇西北怒江州和迪庆州为高山峡谷与高山高原区，又因耕地少，土地垦殖率为全省最低。而水田面积较多的是滇南红河州、滇东南文山州和滇西南普洱市。红河州、文山州大部属于滇东南中低山岩溶山原区，各种岩溶地形充分发育，有湖泊和盆地分布。而普洱市位于滇西南中低山盆谷区，分布有低山宽谷盆地。滇西南普洱市、临沧市、滇东北昭通市、滇东南文山州坡度大于6°坡耕地分布较多。滇东北昭通市、滇西南地形坡度较大的普洱市则大于25°坡耕地分布广泛。虽然普洱市地处滇西南中低山盆谷区，但普洱市是该区内总体地形坡度较大的地区。人均耕地较多的地区是滇西南临沧市和普洱市。　　3.2少耕地分布区受滇西北高山高原峡谷区地貌特征影响，滇西北迪庆州和怒江州是云南省耕地面积最少的2个州，各占全省耕地面积比例约为1%。土地垦殖率最高的为图6云南省多耕地分布图7云南省少耕地分布滇东北昭通市和滇东曲靖市，其中昭通市位于滇东北高原北部，山高谷深，地形坡度大，加之人口密度大，坡地开垦非常普遍，因此，垦殖率相当高。水田分布较少的地区有滇西北迪庆州、怒江州、丽江市、滇东北昭通市。水田的分布受地形影响非常大，迪庆州、怒江州及丽江地区的大部地区属滇西北高山高原峡谷区，而昭通市则是滇东北中山山原区的主体，地处滇东高原北部。这2个地区都受高山峡谷的地形制约，因此，水田分布相当少。滇西北迪庆州和怒江州坡度大于6°坡耕地分布较少。滇西楚雄州、德宏州，滇西南西双版纳州，滇中昆明市、玉溪市、滇东曲靖市等滇中湖盆高原区坡度大于25°坡耕地分布较少。人均耕地较少的地区主要有滇中昆明市、玉溪市和滇西大理州。人均耕地面积不仅与地形有关，而且与人口分布、经济发展也有着密切关系。 　

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

众所周知，科技是第一生产力。科技兴，则民族兴；科技强，则国家强。

大家也认同，人才资源是第一资源。人才是创新的根基，创新驱动实质上是人才驱动。

中国是人口第一大国，也是人力资源大国。据中国科协、科技部的数据， 2014年我国科技人力资源总量达到8100万人，按人头统计我国R&D人员总数为535.1万人，按全时当量统计R&D人员为371.1万人年，均居世界首位。

随着科研队伍规模快速壮大，我们进入了“不患寡而患不均”的时代，不论是政府、企业还是学术界将关注的焦点逐渐转移到科研队伍的质量和结构问题，有关科研人员的地域分布与流动趋势也愈加成为社会讨论的热点。

为此，科学家在线联合中国科协创新战略研究院，从大数据的视角，利用可靠的动态实证数据和科学的量化研究方法，深入分析中国科研人员的学术分层、领域分布、机构分布、地理分布及其流动变化趋势，探寻人才结构与科技创新、社会经济发展之间的相互关系，为政府、企业、机构和个人决策提供参考。本报告选取2006-2016年这十年之间有成果产出的科研人员作为分析对象，共计2469025人（约240万人），涉及自然科学、农业科学、医药科学、工程与技术科学、人文与社会科学等所有学科分类。

“科研人员”是指从事科研活动并取得成果专业技术人员。从职业来看，通常包括科研院所的研究人员，高校教师和研究生，企业的研究开发、设计和工程人员，医疗机构的卫生技术人员等。

“科研机构”指的是科研人员所在的组织机构。一般来说，科研机构有明确的研究方向和任务、有一定水平的学术带头人和一定数量、质量的研究人员，并且有开展研究工作的基本条件、能长期有组织地从事研究与开发活动。

“数据来源与研究方法”利用数学建模、数据挖掘和网络关系分析技术，整合众多异构来源数据，构建科研人员数据库。

下图是科学家在线建立中国科研人员数据库的系统架构。

一、从“H指数”看科研人员的学术分层

我们采用 “H指数”方法来计量科研人员的学术水平和能力。一名科学家的H指数是指其发表的N 篇论文中有H篇每篇至少被引h次，而其余N-H篇论文每篇被引均小于或等于H次。

我们按照H指数将数据库中的科研人员划分为四级：

1. H指数处于0-5定义为“其初级科研人员”，其人数为1996040人。

2. H指数处于6-15定义为“中级科研人员”，其人数为425004人。

3. H指数处于16-25定义为“高级科研人员”，其人数为38699人。

4. H指数大于25定义为“杰出科研人员”，其人数为9258人。

各阶层所占总数百分比如图所示：

数据结果显示，我国科研队伍呈现出典型的金字塔结构：初级层次的科研人员达80%，占绝大多数；而高级和杰出层次的科研人员比例不到2%，可谓凤毛麟角。当前我国科技事业发展正从以跟踪模仿为主的“跟跑”向“并跑”、“领跑”转变，需要大批能够参与全球竞争的高素质人才，这对我国优化科研人员结构提出了更高要求。

二、近十年中国科研人员数量及层级流动趋势

近十年来，我国科研人员的总量（注：根据本研究所定义的数量）从06年的不足150万人增至15年的逾240万人，增长了惊人的60%，这反映出我国在建设创新型国家背景下，科研队伍规模快速发展，为产业结构转型升级提供了人才保证和智力支持。从人员分层来看，十年间我国杰出及高级科技人员的数量出现成倍增长，反映出我国近十年来综合科研水平和国际影响力不断上升。如下图所示：

下图以科研人员学术层次为维度，分别展现了2015我国初级、中级、高级、杰出、四种层次的科研人员的地理分布情况。

从上图可以看出，我国初级与中级科研人员分布基本趋于一致。分布总体为东密西疏，主要集中于京津冀地区，山东半岛，辽东半岛，长三角地区，珠三角地区以及中原地区，高水平（高级和杰出）科研人员多集中于华北、华东、华南及东北地区。这与我国重点大学、重点科研单位的地理分布保持一致，一定程度上反映了我国在经济和科学教育上的区域不均衡发展，以及我国的科研资源的不均衡分配。

三、全国各级科研人员的地理分布和动态分析

我们截取2006、2015年两个时间节点，利用地理信息系统系统，分别对各个阶层的科研人员在全国范围内的空间分布以及流动的情况进行了动态分析。

初级科研人员：流动变化微乎其微

从上图可以看到，占到全体科研人员总数80%的初级科研人员分布和总体分布是高度类似的。在两个时间节点上，相对于其庞大的基数，其流动变化可以说是微乎其微，在地图上并不能看到很明显的变化。这说明了底层科研人员想要流动上升成为具有学术影响力的科研人员非常困难。

高级科研人员：区域分布日益均衡

总体上而言，除陕西以外的中西部地区都长期处于高级科研人员匮乏的状况；北京，上海，江苏，广东，陕西，武汉、浙江等地区一直较为稳定处于第一梯队上。北京高级科研人才在2006年占到了全国总数的44%，到2015年，尽管出现幅度下降，仍占27%，一骑绝尘。

但近十年来，我国高级科研人才在地域上的分布呈现显著的日益均衡发展趋势，各个地区间的相对差距在减小。东北三省所占全国高级科研人员比例逐步增加，从2006年三省合计不足4.2%到了15年的7.4%，增幅可观。同时，在山东、湖南、重庆等地区也观察到了相同的现象。

杰出科研人员：从沿海到内陆扩散

从上图可见，在2006年之初，北京、陕西，江苏，上海，黑龙江以外的地区，几乎都未能拥有杰出科研人才。随着时间推移，杰出科研人才渐渐开始从沿海向内陆扩散，相对于高级人才而言，杰出人才的扩散程度更高。而北京杰出科研人才比例上依旧占有主导地位，但是并不像高级人才领域一样占据压倒性优势。上海，江苏两地大有与其分庭抗礼之势。另一方面，广大中西部地区对最高层次的科研人才还是不具备吸引力。

四、科研人员空间分布研究：

两极分化严重，不均衡度下降

我们通过集中度指标及均衡度指标来测算我国科研人员空间分布。其中，集中度指标是用来分析某种经济或科技等活动在地理空间上集中的程度；均衡度指标是用来分析某种经济或科技活动在地里空间上均衡分布的程度。

假定均衡状态下各省市科研人员平均分布，计算出实际情况下各区域人数和分布的基尼系数，并作出洛伦兹曲线，测算结果显示如下所示：

高级科研人员空间分布：不均衡性下降

以上两张图是基于2006-2015年我国高级科研人员的地区分布而做出的洛伦兹曲线，可以明显的发现图形中的弓形面积在减小，这也就说明了我国高级科研人员在地区上分布的不均衡在下降。

杰出科研人员空间分布：不均衡性下降

2006-2015年，我国杰出科研人员的地区分布的洛伦兹曲线也显现了相同减少的趋势。

全国科研人员空间分布：

两极分化严重，层次高者分化明显

借助洛伦兹曲线，我们得以计算2006-2015年来，我国高端和杰出科研人才以及总科研人员分布的基尼系数变化，结果如下表：

2006-2015年，我国高杰出科研人才以及总科研人员分布的基尼系数变化

由此可见，我国人才分布呈现着极端的两级分化现象，而且层次越高的科研人才两极分化的程度越明显。集中度和基尼系数的测算表明，我国科研人员的区域集中度均较高，区域配置存在较大的不均衡性。尤其是在高端和杰出人才的分布上，存在明显的不平等。而且越是层次高的科研人员分布越是不均衡。

小结：

上述数据表明，我国科研人员的区域集中度较高，区域配置存在较大的不均衡性：科研人员多集中在经济发达的东部地区，如北京、江苏、广东、山东、上海等地区，这些地区的经济收入水平相对较高，受强市场竞争力的驱动，企业对创新人才需求旺盛，再加上科研环境和工作条件较优厚，市场对人力资源的配置能力较强，因此，对科技人员的吸引力也更强。中西部由于经济发展水平较低，企业对科技创新的重视程度还不高，政府对科技的投入力度也相对较小，因而致使科研人员的工资待遇、发展机遇和科研环境及创新氛围等均不如东部沿海发达地区，对科技人员的吸引力也较低，导致中西部地区科技人力资源十分缺乏。

另一方面，科学系统主要按科学家能力的高低和对科学贡献的大小来分配资源和奖励回报。但科研界客观存在资源不平等、产出不平等以及回报不平等。这集中表现为我国的科研人员区域不均衡，无论是质量、数量还是递增，都存在着东强西弱、少数一线城市强多数城市弱的现象。科技人员的不均衡性很大程度上决定了区域科技创新能力的不均衡性，进而传导到经济与社会发展领域，致使区域经济发展和管理呈现出巨大的不均衡性。

但是，随着时间的推移，这样的不均衡状况有着显著的缩小趋势。这表明随着教育资源进一步的合理化分配，各级政府对科技知识的重视并积极引进人才，各地中小型企业为了突破相关瓶颈而积极招揽人才等，科技人员开始逐渐向二三线城市移动，使得科研人员分布不均衡状况趋于缩小。

“科学家在线”即是针对我国科研资源及人才分布不均衡现状，通过大数据的精确匹配与线下全流程服务，着力打通科研智力供给与企业市场需求之间的信息壁垒，打破地域限制，为科研技术对接企业需求，为科研人员提供成果转化。欢迎登陆scientistin，注册或认领个人主页，一起为知识寻找价值！

本文是科学家在线与中国科协创新战略研究院联合撰写的《大数据视角下的中国科研人员状况系列研究报告》中的部分章节，接下来，我们将陆续发布报告的其他内容，从大数据的角度为大家呈现中国科研的发展图景，敬请期待。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

来自：数据观 https://shujuguan

DT时代，我们每天都会收获来自各种渠道的海量数据，它们是对我们上一步行动的反馈，但人脑消化数据的能力却是有限的——如何及时洞察数据中的涵义，就需要数据可视化工具的帮助了。然而，图表的类型非常丰富，如何做出正确的选择，达到“一图胜千言”的效果呢？

［数据的五种关系］

首先，我们需要了解，数据通常包含五种相关关系：构成、比较、趋势、分布及联系。

构成

主要关注每个部分所占整体的百分比，如果你想表达的信息包括：“份额”、“百分比”以及“预计将达到百分之多少”，这时候可以用到饼图。

比较

可以展示事物的排列顺序——是差不多，还是一个比另一个更多或更少呢？“大于”、“小于”或者“大致相当”都是比较相对关系中的关键词，这时候会首选条图。

趋势

是最常见的一种时间序列关系，关心数据如何随着时间变化而变化，每周、每月、每年的变化趋势是增长、减少、上下波动或基本不变，这时候使用线图更好地表现指标随时间呈现的趋势。

分布

是关心各数值范围内各包含了多少项目，典型的信息会包含：“集中”、“频率”与“分布”等，这时候使用柱图；同时，还可以根据地理位置数据，通过地图展示不同分布特征。

联系

主要查看两个变量之间是否表达出我们预期所要证明的模式关系，比如预期销售额可能随着折扣幅度的增长而增长，这时候可以用气泡图来展示，用于表达“与……有关”、“随……而增长”、“随……而不同”变量间的关系。

对信息中包含的5种关系，可以简单归纳如下：

构成：占总体的百分比

比较：项目的排名

趋势：如何随着时间变化

分布：项目的频率情况

联系：变量之间的关系

［图表的具体适用场景］

下面，我们具体来看一下图表特点及适用场景：

以下图表均制作于数据观

条图

条图表达比较关系，按照强调的方式可以排列任何顺序，适用于高亮Top3或Top5数据，如在零售行业中统计畅销品的销售情况就是很好的应用。它是最通用的一种图表，应在所有的图集使用中占到25%。

柱图

柱图用高度反映数据差异，用来展示有多少项目（频率）会落入一个具有一定特征的数据段中，比如分析公司人员构成是否存在老龄化现象，可以通过柱图看到25岁以下的员工有多少，25岁到35岁之间员工有多少等这种年龄的分布情况。同时，柱图还可以用来表示含有较少数据值的趋势变化关系。

分析图形有单指标柱图、多指标柱图以及堆叠柱图类型。

（1）、单指标柱图

（2）、多指标柱图

（3）、堆叠柱图

线图

线图可用来反映随时间变化而变化的关系，尤其是在趋势比单个数据点更重要的场合。

在柱图与线图的选择过程中，可以考虑数据的本质。柱图强调的是数量的级别，它更适合于表现在一小段时间里发生的事件，产量的数据很适合这个领域。线图强调的是角度的运动及图像的变换，因此展示数据的发展趋势时最好使用它，存货量就是一个很好的例子。柱图和线图的使用应占到图集看板的50%左右。

线图类型中可以有单线图，还可以在图中进行多指标趋势性比较。

（1）、单线图

（2）、多指标趋势性比较

饼图

构成比例关系时，最好使用饼图，给人一种整体的形象，可以展示每一部分所占全部的百分比，比如产品A预计销售额占到所有产品销售额的最大份额。

为了使饼图尽量发挥作用，在使用中不宜多于6种成分。人的眼睛比较习惯于按顺时针方向进行观察，所以应该讲最重要的部分放在紧靠12点钟的位置，如果没有哪一个部分比其他部分更加重要，那么就应该考虑让它们从大到小的顺序排列。

数据观除了有标准饼图，还提供中空饼图和环形饼图两种类型。

（1）、标准饼图

（2）、中空饼图

（3）、环形饼图

Attention！不适用饼图的情况

饼图是通过面积呈现数据的变化，当各指标所占比例接近时，无法直观的判断面积的大小，此时选择条图来呈现，规律就更加清晰。饼图是应最少使用的图表，在所有的陈述和报告中其使用率应少于5%。

错误的图表类型：

正确的图表类型：

气泡图

气泡图判断两个变量之间是否存在某种关系，可反映五维数据。每个气泡的不同颜色或标签，以及气泡点大小，都可以反映一个维度。一般使用率为10%。

KPI图

最直接显示结果，适用于高亮关注指标值或者差异，可以通过主要指标和次要指标进行体现。信息量避免过多，越直观越好。

面积图

与折线图较为类似，面积图强调变量随时间而变化的程度，也可用于引起人们对总值趋势的注意。用填充了颜色或图案的面积来显示数据，面积片数不宜超过5片。

漏斗图

漏斗图用来表示逐层分析的过程，从一个总值（最顶端），不断除去不关心的部分，最终得到关心的值的过程。

多用于业务流程比较规范、周期长、环节多的流程分析，通过比较各个环节宽窄大小，能够直观地发现和说明问题所在。常见应用场景：电商网站、营销推广、CRM等。

1）电商网站：通过转化率比较能充分展示用户从进入网站到实现购买的最终转化率。2）营销推广：反映搜索营销的各个环节的转化，从展现、点击、访问、咨询，直到生成订单过程中的客户数量及流失。

3）CRM：销售漏斗图用来展示客户各个阶段转化比较。

金字塔图

金字塔图用于展示类似金字塔的层级结构和数据量。例如某个国家的收入分配，金字塔顶部显示高收入类别，逐渐降低到代表低收入的底部。

雷达图

雷达图可以用来表现一个周期数值的变化，也可以用来表现特定对象主要参数的相对关系。

雷达图多用于在财务分析中，用来分析企业负债能力、运营能力、盈利和发展能力等指标。

地图

地图是信息密度最大的数据可视化方式，人们在日常生活中就使用地图，所以能直观理解地图。

数据观基于不同的视觉化原理提供三种地图：区域地图、散点地图和热力地图。

（1）、区域地图

区域地图是按照国家、省市行政区划分，用来展现地理信息，以及与地理位置有关的信息，指标的多少可以用颜色深浅区分。

（2）、散点地图

散点地图基于高德地图实现，通过定位经纬度，用散点来表示所在位置的信息指标。

（3）、热力地图

热力地图以特殊高亮的形式显示访客所在的地理区域的图示，不同颜色反映不同区域密度的分布。

表格

表格可以通过拖拽所关心的指标，如通过一级、二级分类，了解更加明细的数据，起到数据透视表功能。

综合使用

饼图、柱图、条图、线图、气泡图可以组成可视化报告90%图形，其他视觉化展示可以将图表组合起来综合使用。

以上就是为大家提供的图表基本使用原则，适用于日常工作中大多数的图表制作。

最后，希望大家都可以需要根据自己想要表达的信息选择合适的图表，让数据可视化帮助我们的大脑减负，替我们的数据说话。

当今时代信息化产业飞速发展，各类底层大数据平台百花齐放，亿级数据、秒级响应已经不再是当年的遥不可及的神话。然而对于企业来说，数据计算快仅仅是满足企业进行业务数据分析的硬件基础，如何发掘这些海量的数据产生应用价值，走好数据分析这最后一公里，引导企业进行战略决策却是至关重要的一步。

本文以互联网行业为数据业务分析背景，希望能跟大家交流一些数据分析方面的心得和体验。

——本文使用数据分析工具为FineBI 商业智能工具

数据分析的本质其实是做数据对比分析，没有数据对比，单一的指标统计往往难以发挥数据价值。像我们常见的数据对比分析方法有同比、环比、占比等一系列分析指标，那是不是所有的数据业务场景都可以直接进行套用分析呢？比如我们统计企业2018年1月29日的同比流量，是不是可以直接对比2017年1月29日？表面上看好像2017年1月29日确实就是2018年1月29日时间层面上的同比日期，但是我们仔细对比查看这两个日期会发现2018年1月29日是周一，2017年1月29日确是周日。对于很多行业的企业来说，非工作日和工作日的数据往往是有很大差异的，这个时候单纯从日期层面来进行对比其实是没有什么意义的，选择对比同是周一的2017年1月30日的流量数据进行同比计算可能会更加有价值。

目前互联网行业做搜索引擎的有Google、百度，做综合门户的雅虎、新浪，做即时通讯的主要是腾讯，电子商务方面的主要是阿里、京东、亚马逊等。不论是以上的哪家互联网企业，往往都需要有一套引流、转化、消费、留存方面的运营策略，平台的流量数据分析往往都是非常重要的。

互联网流量数据分析方面，总结主要有如下四种数据常用分析方法：

1.对比分析流量规律，针对时段进行企业服务以及推广活动调整；

2.对比分析结构占比，指导进行定向群体营销推广

3.对比分析异常情况，及时追责并且进行调整；

4.对比追踪活动流量变化，总结活动效果经验以便后续有针对性调整。

如上图所示，我们通过FineBI工具制作出以上的流量数据分析模板，接下来尝试着对数据做一些对比分析。

一、用户浏览量周分布

对于互联网企业来说，流量数据往往都会呈工作周相关。对此，我们可以先宏观地统计出周一到周日中的总的平台流量柱状图数据对比情况。首先我们可以仔细观察工作日和非工作日的数据，发现周末的平台流量较工作日流量要高，这在互联网行业来说都是一个比较普遍的现象。

用户流量的周分布规律之后，我们就大致有一个推广方向，周末休息时间用户群体较大，相较于工作日可以投入更多的和丰富有吸引力推广活动来进行新用户引流和老用户活跃。

接着我们可以进行下一步思考，那工作日和周末我们的活动推广时间如何制定？有的同学们可能会觉得全天活动都可以，不需要关注具体的活动时间。但是对于互联网行业来说，每个时间段的推广费用都是较为昂贵的，我们完全可以分析出工作日和周末的用户流量趋势，进行有针对性的时间段投入推广，通过更小的成本获取到更多的用户流入。

首先是工作日的时间段流量统计分布，我们通过BI工具分时间段作图得到如下所示的流量分布图。可以看出，工作日的流量主要集成在每日的9点（上班时间）、13点（午餐时间）、20点（晚间娱乐休息时间），那么在得到这样的一些用户流量规律之后，便可以在这些用户活跃高峰期时间段有针对性对白领群体多做一些相关商品推广活动，以实现最小时间成本和推广费用最大化用户引流效果。

再来看周末的各时间段流量分布走势，和工作日所不同的是，周末的流量早高峰期延后到了10点，这可能和各位小伙伴们周日作息较晚有关（同学们周末都是几点起床呢），除此之外，晚上的流量高峰退潮期也有延后。针对与周末用户流量分布的特性，互联网企业在周末时可以将活动开始时间和活动结束时间都适当进行延后，这个时候不能再套用工作日制定好的活动时间计划了，因为符合用户群体作息规律的推广促销活动才能达到更好的效果。

二、推广渠道流量分布

对于互联网行业的推广渠道分布主要分为三级渠道：线上渠道、线下渠道、新媒体营销等等。对比分析每个渠道对企业所带来的价值占比差异，以指导制定有针对性营销策略。

如上图所示，由于推广渠道是分多层级的，我们通过BI工具的多层饼图进行数据的分析统计再合适不过了。分析下图的数据我们可以看出，首先是一级渠道的主要战斗力来自于新媒体营销，当今的微信、今日头条等社交媒介社区时代受众广泛，用户群体非常庞大，是公司需要投入主要成本进行推广的。其次线上渠道的效果也不容忽视，对于互联网企业来说，做好百度、Google等SEO搜索引擎关键词推广也是很重要的一部分工作。相较于线上渠道和新媒体营销，线下渠道说所需要的经费和时间、人力成本较大，受众又相对较小，所以此类活动往往针对核心粉丝进行运营即可。

三、各月份指标对比走势

在分析各月份指标对比走势数据之前，先简单介绍下互联网营销常用的几个指标概念：

1.浏览量（pv）

2.访问次数（visits）

3.访客数（uv）

以上三个基础指标常用来衡量流量数据的多少。另外平均访问深度（总浏览量/访问次数）、平均停留时间（总停留时间/总浏览量）、跳失率（跳出次数/访问次数），这三个指标通常可用于衡量流量指标的优劣性。

我们仔细分析上图中的平台流量指标，可以发现10月份是2017全年的流量高峰期，应该跟企业在国庆黄金假期所做的促销引流活动有关。浏览量、跳失次数、访问次数分别为4941、1290、2182，对比计算可得到跳失率为59.12%，明显低于其他时间段的跳失率，说明10月份的活动效果还不错，其经验对以后的营销推广可以起到参考作用。

最后是访问深度用户群体分布分析（跳失率=跳出次数/访问次数），我们通过BI工具将企业的VIP用户、老用户、新用户分别进行分时间段的用户群体访问深度分析统计。总体来说可以发现平台的VIP用户访问深度较老用户以及新用户稍微高些，但是不是太明显，说明平台运营的VIP这部分群体的活跃度还有待提升。同时，平台老用户访问深度和新用户更是相差无几，公司对于用户这方面的活跃运营明显需要加油了，建议将平台的部分忠诚度较高的老用户以VIP用户组建起来，共建平台生态圈，增加整体的用户活跃度。同时可以向老用户以及VIP用户实施一些优惠政策，如定向商品折扣、根据用户画像进行喜好商品特惠推送等。

本次的数据分析经验心得分享暂时先写到这里，后续将继续给大家分享关于互联网数据运营方法的转化、消费、留存等方面的一些经验，欢迎大家一起共同交流探讨互联网运营之道。

; ; ; ; 随着大数据发展走入我们视野的职业，应该可以算得上是程序员的一个进化分支吧。跟着小编一起用大数据分析一下，高大上的数据分析师的“钱途”究竟如何！

分析师职位的行业分布情况

　　数据显示，数据分析师职位主要集中在互联网、金融、消费品、制药/医疗等行业，其中互联网和金融行业的分析师职位数占比超过了80%，这源于该几类行业已在短期内无论是产品端、用户端、运营端等都实现了大数据的原始积累，且数据增长速度依然可观。此外也说明“数据驱动决策”的趋势在当下变得尤为重要。

分析师职位的地区分布情况

　　从数据分析师职位的区域分布来看，“北上广深杭”等特大一线城市合计占据88.5%的职位份额，单单北京地区占比就超过四成。对于数据分析师的职业发展来说，“坚守而不是逃离一线城市”才是明智的选择。

互联网行业数据分析职位的特征

　　互联网行业数据分析的主要对象是产品、运营和用户，其次是市场和客户。以数据为依据，为产品策略、运营战术、用户研究、市场趋势、客户画像等企业关键领域提供必要决策支持。

金融行业数据分析职位的特征

　　金融行业普遍重视产品与运营层面的数据分析，除此之外最为重视对客户的分析。而对于风险、信用、信贷与投资领域的分析则是金融行业特色，反映出数据分析已在金融核心业务线上都发挥着重要作用。

企业为分析师职位提供的薪酬（上限）

　　无论是初级还是高级岗位，企业都愿意为分析师提供高于行业平均水平的薪酬。同时，随着工作年限的增加，分析师薪酬与行业平均薪酬的差距逐渐拉大，在15年工作年限时，薪资差距拉大到近20万。

高薪分析师职位在不同行业的分布

　　互联网行业年薪超过50万元的分析师职位数最多，占比超过五成；其次为金融行业的21%。巨大的数据量、复杂的数据结构以及结合不同业务而进行的复杂数据开发，造成了数据分析师高端岗位的紧俏。同时也反映出，越来越多的企业（具有大数据基础的）愿意付出高薪解决企业自身数据方面存在的问题。

高级分析师职位在不同地区的分布

　　年薪50万以上的分析师职位主要分布在北京、上海、深圳、杭州、广州。其中北京高端分析师职位最为集中。

分析师的教育专业背景

　　数据分析师从业者的专业背景中，计算机、统计、数学、信息管理等专业的占比相对较高，但其他专业也不少。从另外一个角度来看，无论你是学什么专业出身的，都有新专业、新领域的知识要学。

高级分析师职位的技能要求

　　小·结

　　大数据具有数量大（Volume）、高速率（Velocity）、多样性（Variety）、真实性（Veracity）等特点，这就要求从事中高端数据分析的人员除了具有高超的业务理解能力和沟通能力之外，;还必须具有以下四大综合性能力：

　　1.卓越的数据处理能力，包括收集、清洗、存储、查询技术等。

　　2.数据分析能力，如数学建模、算法设计、文本挖掘、机器学习、统计软件应用等。

　　3.数据可视化能力，如基于几何的技术、面向像素技术、基于图标的技术、基于层次的技术、基于图像的技术和分布式技术等。

　　4.数据变现能力，如企业运营、产品策略、市场研究、品牌管理、需求分析等。

　　据分析，到2018年，我国数据分析师的职位空缺将达到近40000人，而且各行各业均会对数据分析挖掘相关岗位产生很大的需求。