记得小时候，大概是1996年左右的样子，老家的池塘里水很多，每年冬天，上面都结了很厚的冰。有的地方特别厚的，都可以在上面来回行走，可以骑自行车。记得一个小伙伴还掉进了冰窟里。早上洗衣洗红薯的时候，都是在池塘里洗，洗衣服也是在池塘里洗，洗麦子。早上洗红薯的时候由于结冰，村里人都用铁锹把冰打破。夏天也有很多的水，放学之后就去偷偷的洗澡。雪地里去撵兔子，都已经成了过去的记忆。

不知道什么时候，气候原因慢慢的变化了。村子里的水慢慢的变少了，雪也越来越少了。记得2000--2003年，夏天地里的棉花和玉米都干的要死，没有水，就用喷灌从地下抽水。慢慢的地下水也被抽没了，有的井打了50米深还是没有水。

到了2008年在春运出了雪灾，然后导致国内大面积铁路民航受阻，造成了损失，我们回顾一下2008年的雪灾图片。

随着近几年政府的不断努力，雾霾天气慢慢变少了，村子里的水也慢慢的多了，当然，雪也越来越多了。相信通过大家的努力，让世界的环境越来越好，生态越来越和谐。十年前你们的村子里是什么样子？请留言评论欢迎转载。

记得小时候，大概是1996年左右的样子，老家的池塘里水很多，每年冬天，上面都结了很厚的冰。有的地方特别厚的，都可以在上面来回行走，可以骑自行车。记得一个小伙伴还掉进了冰窟里。早上洗衣洗红薯的时候，都是在池塘里洗，洗衣服也是在池塘里洗，洗麦子。早上洗红薯的时候由于结冰，村里人都用铁锹把冰打破。夏天也有很多的水，放学之后就去偷偷的洗澡。雪地里去撵兔子，都已经成了过去的记忆。

不知道什么时候，气候原因慢慢的变化了。村子里的水慢慢的变少了，雪也越来越少了。记得2000--2003年，夏天地里的棉花和玉米都干的要死，没有水，就用喷灌从地下抽水。慢慢的地下水也被抽没了，有的井打了50米深还是没有水。

到了2008年在春运出了雪灾，然后导致国内大面积铁路民航受阻，造成了损失，我们回顾一下2008年的雪灾图片。

随着近几年政府的不断努力，雾霾天气慢慢变少了，村子里的水也慢慢的多了，当然，雪也越来越多了。相信通过大家的努力，让世界的环境越来越好，生态越来越和谐。十年前你们的村子里是什么样子？请留言评论欢迎转载。

文 | 邹昕-知乎

来源：再生谈|reborn_chat

受本人背景和知识水平所限，本答案局限性如下（包括但不限于）：

1. 更适用于中大型公司；

2. 更适用于互联网公司；

3. 可能更适用于美国的工作环境。

个人以为，一个三年工作经验的数据分析师应该具备以下方面的能力：对技术的掌握，对产品的理解，对数据的敏锐性，数据和产品之间互相转化的能力，分析思维的广度、深度和速度，数理统计的能力，沟通的能力，辅导新人的能力，面试把关的能力。

以下分开来说，同时举例的时候假设这个数据分析师是知乎这个产品的，目的是为了增长活跃用户。

【1】对技术的掌握

不一定需要非常高深的技术，但是基本的一定要过关。比如针对互联网行业的数据分析，SQL 是一定要过关的。在这基础之上，掌握公司惯用的BI工具或者报表工具，譬如帆软系列；Python / R 可以提高长期的工作效率，但在初期并不一定需要。

简单来说，技术能力决定了一名数据分析能力的下限，而对产品和业务的理解则决定了上限。

如果缺乏技术的支持，那就只能去当 CEO 了。

就好比在电影 Margin Call 里，底下的小兵负责分析数据，各种模型预测金融危机什么时候会发生。

而对于 CEO 来说，他的任务就是猜。

【2】对产品的理解

数据分析的目的是为了改进产品。如果缺乏对产品的理解，那么技术再好，也有可能像是无头苍蝇到处乱撞。

或者是变成 data dump，提供一堆一堆的图表，但其中有互相什么关联，能说明什么问题，提供什么样的建议，却并没有好的想法。

如果是初入行的话，这还是问题不大的。

因为新人可以有老板带着，或者是老人带着，但是如果想要更进一步，那就必须能够自己独立的做项目。

尤其是在互联网行业更是如此，除了新人之外，对大多数人的基本要求都是能单兵作战，不需要详细的指导。

同时在很多情况下，问题是很开放性的，对于如何解决并没有一个非常固定的套路，或者是因为这完全就是一个新的问题，或者因为不同产品之间套路无法直接套用，需要做大量的调整和创新。

比如这里面增长的例子，哪些是可以借用于知乎的，哪些是需要调整的，哪些是完全不适用的？

【3】对数据的敏锐性

对数据的敏锐性体现在两方面，一是在结果还不是那么清晰的时候，甚至根本就没有什么数据的时候，能够大致感觉往哪个方向深挖是更有可能出成果的；二是在数据出问题的时候，能够反应出来，及时找出原因。

比如做知乎的数据分析，目的是为了增长活跃用户，可以做的地方有很多，比如增加获新、增加内容、增加用户关注话题数、增加用户关注人数等等。一个经验丰富的老司机可以快糙猛的大概估算一下各个方面的机会有多大，大致的实施难度如何，风险是大是小，产品哪些方面是有缺陷可以改进的。

另一方面，是人就会犯错，最大的区别在于有的人可以很好的纠错，而有的人则需要别人提醒，还有的人即使别人提醒了也反应不过来。

【4】数据和产品之间互相转化的能力

在互联网行业，多数时候问题是很不清晰的，比如说问题可能是2017年新用户留存远差于2015年的用户，如何解决？

对数据分析师来说，并不会有一个详细的单子来告诉你都有哪些步骤，而是需要自己灵活处理。

一方面这些问题本身就比较新，虽然会有一个大致的套路，比如 AARRR 模型，解决增长需要先解决留存等等；然而再往下具体的时候，套路就没有那么固定了，因为不同的产品之间可以差别很大。

即使像是 Quora 和知乎这样理应非常类似的产品，也可能因为一些或大或小的差异，导致给分析数据也带来差别。

比如 Quora 的 upvote 并不完全代表赞同，而更多带有传播的意味。

而对于知乎来说，点赞即是赞同，传播只是副产品而已。

如果只懂数据不懂产品的话，很容易进入一个误区，要么产品/业务方追着问数据，要么没活儿干。

【5】分析思维的广度、深度和速度

速度这个比较好理解，尤其是在互联网行业，讲究快糙猛，没有时间精细打磨。

比如一个项目可以花两个月时间做出 95%，也可以花两周时间做 80%，那么多数时候都会是后者。

广度：产品的各个方面之间总是互相牵扯的。最简单的例子，如果知乎的拉新做得非常好，那么留存就有可能降低，用户活跃度也有会降低。

如何分析各者之间的关系，如何保持一个合理的平衡，如何增加其中一个不过于负面影响其它，这些数据分析都需要在广度上有一定的了解。

深度：有些问题一个人解决不了或者很难，多几个人就可以了，比如说搬砖，十人人搬总会比一个人搬快得多，哪怕不是十倍速度。而有些问题，靠堆人力是没用的。

【6】数理统计的能力

这一部分跟 1，3，5 是相关的。不一定需要特别高精尖，但是对于分析问题会有很大的帮助。比如说如何识别数据分析里可能出现的错误。

【7】沟通的能力

除非兼任软件工程师和产品经理的职，否则数据分析师总是需要通过说服产品和工程方面来改变产品，产生影响力。

有了好的结果是第一位，如何影响合作伙伴，让他们接受自己的建议甚至比有好的结果还重要。

毕竟，没有声音，再好的戏也出不来。

【8】辅导新人的能力

毛主席说过，人多力量大，要把敌人淹没在人民战争的汪洋大海中。

辅导新人，不只是团队 leader/manager 的要求，对于独立贡献者（inpidual contributor）也是一样重要的。

闻道有先后，术业有专攻。

一个人的力量终究是有限的，如果把自己的能力复制到整个团队甚至整个公司，是增大自己影响力最有效的办法之一。

【9】面试把关的能力

大多数人应该都希望自己的公司处于一个增长的状况，如果是高速增长那就更好不过了。

有增长，就必然要招人。

而招人并不是简单的招人来干活，而是招来更优秀的人进一步提高团队的水平。

这对于高速增长的团队来说是一个很大的挑战，所以提高面试技能和精准的判断面试者的能力，无疑是有效的扩张团队的不二法则。

【10】少睡的能力

比如说七周不睡觉，快速成为数据分析师（开玩笑的）。

本文来自：北风网职位画像项目组

本期看点

数据分析岗位薪水趋势数据分析职位量发展趋势数据分析职位就业指导

薪酬—北上深平均月薪10K+

薪酬地图：从职位薪水来看，数据分析行业的高薪主要分布在长三角、珠三角和京津地区。北京、上海和深圳的薪水位列第一方阵，均薪在10k+；杭州、宁波和广州位列第二方阵，均薪在9k+；其他沿海及内陆区域中心城市，如南京、重庆、苏州、无锡等位于第三方阵，均薪在8k左右。

薪水地图

职位量—北京职位量3W+

职位量地图：从职位量来看，北京、上海、深圳和广州位列第一方阵，职位量在30000+，杭州、成都、南京和天津位列第二方阵，职位量在20000+，武汉、西安、郑州等区域中心或省会城市对数据分析职位的需求也相对较高，职位量在10000+。

职位量地图

薪水&职位量趋势

薪水趋势：

2017年数据分析行业职位薪水总体趋势波动不大，平均最低月薪基本在7k左右，平均最高月薪能达到10.9k，2018年呈上升趋势，发展“钱”途良好。

薪水趋势图

职位量趋势：

受春季及招聘季影响，2017全年数据分析职位量存在一定波动，但总体需求呈上升趋势，预计2018年1季度需求量有明显上升。

职位量趋势图

热门职位TOPN

TOPN热门职位：薪水一般都在8k+，其中高级数据分析师均薪在15k+；职位需求量方面，产品经理、数据分时和运营经理排名前三，可见数据分析在产品运营方面的重要性。

热门职位

稀缺职位TOPN

TOPN稀缺高端职位：薪水一般都在15k+，其中以高级运营管理类职位居多；职位需求量一般都在20以下。

稀缺职位

六维薪水概况

行业维度：基金/证券等金融行业薪水相对较高，其次是IT服务和咨询行业

公司规模维度：公司规模与薪酬关系并不明显，但大公司薪水相对高出10%左右

公司性质维度：合资、外资和国企平均薪水福利较好

职位级别维度：高级比中级薪水高出80%左右，可见数据分析行业经验的重要性

工作经验维度：5~10年是涨薪关键时期

学历维度：学历越高，薪水越高，其中博士和硕士差距最大

稀六维薪水概况图

六维职位量概况

行业维度：互联网/电子商务需求量最大，占数据分析行业40%+

公司规模维度：中小创公司人才需求量巨大，占总职位的60%左右

公司性质维度：民营企业消化了市场近60%的职位

职位级别维度：大部分(79%+)公司对职位没有没有明确的级别定义

工作经验维度：求才若渴，不限和1~3年占77%左右

学历维度：大专及本科占总职位量的70%左右，其中以大专居多

六维职位量概况图

热门职位TOP10薪水趋势图

TOP1-5

薪水趋势：

除运营总监外，其他职位薪水相差不大，全年薪水趋势较为平稳，预计2018年会稳中有升。

2018年Top1-5薪水趋势

TOP6-10

薪水趋势：

2017全年各职位薪水存在一定波动，其中9月份薪水相对较高，预计2018年1季度薪水会有一定程度上升。

2018年Top6-10薪水趋势

热门职位TOP10职位量发展趋势

TOP1-5

职位需求趋势：

受春节及招聘季影响，各职位招聘需求存在较大波动，其中5月、8月及10月职位有明显上升。

2018年Top1-5职位量趋势

TOP6-10

职位需求趋势：

受春节及招聘季影响，Q1职位量低于Q2职位量，职位全年Q2、Q4职位量较高；8月，10月各职位均呈上升趋势。

2018年Top6-10职位量趋势

职位技能图谱

对招聘需求进行分词和词频统计，通过绘制词云图可以看出，Excel、Python、Hadoop、Oracle、Spss、Linux是数据分析行业的主流技能。

职位技能图

就业指导

薪水维度：建议在2月、10月、12月找工作

职位量维度：5月、10月、11月职位量比较多

月份薪水&职位量雷达图

薪水维度：二线城市与热门一线城市相差25%左右

职位量维度：去掉一线热门城市，其他可以考虑杭州、成都、南京、天津和武汉等城市

城市薪水&职位量雷达图

薪水维度：推荐重点关注1000以上大公司

职位量维度：推荐重点关注100~499中小规模或20~99初创公司

公司规模薪水&职位量雷达图

薪水维度：推荐关注基金/证券等金融行业

职位量维度：推荐关注互联网/电子商务类公司

行业薪水&职位量雷达图

北风网保留所有权

8月20日中国互联网络信息中心发布第42次《中国互联网络发展状况统计报告》，报告显示，截止2018年6月，中国网民规模达到8.02亿人，2018上半年新增网民数量为2968万人，与2017年相比增长3.8%，互联网普及率为57.7%。

数据来源：cnnic、中商产业研究院整理

在手机网民方面，数据显示，截止2018年6月，中国手机网民规模达到7.88亿人，2018上半年新增手机网民数量为3509万人，与2017年相比增长4.7%。值得一提的是，在手机网民占网民数量的比重持续攀升，2018年占比已高达98.3%。

数据来源：cnnic、中商产业研究院整理

在城乡网民结构方面，截止2018年6月，中国城镇地区互联网普及率为72.7%，农村地区互联网普及率为36.5%。

数据显示，2018上半年，中国农村网民规模为2.11亿人，占整体网民数量的26.3%，与2017年末相比增长204万人，增幅为1.0%。城镇网民规模为5.91亿人，占整体网民数量的73.7%，与2017年末项目增长2764万人，增长率为4.9%。随着中国城镇化进程的不断推进，城镇人口不断增加，预计城镇网民规模将进一步增长。

数据来源：cnnic、中商产业研究院整理

在网民性别结构方面，截止2018年6月，中国网民中男性占比为52%，与2017年末的52.6%下降6个百分点，女性占比为48%，与2017年末的47.4增长0.6个百分点。

数据来源：cnnic、中商产业研究院整理

目前，中国网民主要以青少年、青年和中年群体为主。数据显示，截止2018上半年，10-39群体占整体网民规模的70.8%，其中20-29岁占比最高，占比为27.9%，其次为30-39岁群体，占比为24.7%，其后为10-19岁群体，占比为18.2%。

数据来源：cnnic、中商产业研究院整理

截止2018年6月，初中、高中/中专/技校学历网民占比分别为37.7和25.1%，大专、本科及以上教育的网民占比分别为10.0%和10.6%。由此可见，目前，中国网民主要为中等教育水平为主。

数据来源：cnnic、中商产业研究院整理

截止2018上半年，中学生网民群体占比为24.8%，占比排名第一，其次为个体户/自由职业者，占比为20.3%，排名第三的是企业/公司的管理人员和一般职员占比为12.2%。

数据来源：cnnic、中商产业研究院整理

在网民收入结构方面，数据显示，2018上半年，月收入在2001-3000,3000-5000元的网民占比分布为15.3%，21.5%，值得一提的是，中国无收入人群和高收入人群网民占比有所提升，其中无收入网民占比与2017年末相比增长2.7%，而月收入在5000元以上的网民占比与2017年末增长4.5%。

数据来源：cnnic、中商产业研究院整理

（来源：中商产业研究院）

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。

随着大数据技术的飞速发展，大数据已经融入到各行各业。2017年中国的大数据行业发展趋势是什么？大数据行业整体市场规模如何?大数据行业前景如何?请看大讲台老师的分析。

（一）大数据行业整体市场规模及预测

整体来看，2017 年中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了 234 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。

（二）大数据在各行业应用状况

（1）企业哪些方面需要大数据?

根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。

（2）多少企业应用到了大数据?

大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据;34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。

（3）这些企业如何使用大数据?

根据数据显示，38.8%的企业使用实时动态处理大数据并提供分析结果;37.5% 的企业分析历史数据;通过机器学习，辅助企业管理者更好地决策的企业占比为22.5% 。

（三）各行业大数据的发展水平如何?

我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。

（四）大数据助力企业发展

（1）企业在哪些领域会应用大数据?

大数据应用广泛的top3领域是营销分析、客户分析和内部运营管理。其中，营销分析占比6成以上;50.2%的企业使用大数据进行客户分析;48.4% 的企业运用大数据进行内部运营管理。 大数据应用对企业的影响

（2）这么多企业应用大数据，大数据将会为这些企业带来什么收益呢?

55.8%的企业表示应用大数据后实现了更智能的决策;应用大数据提升了运营效率的企业占比为48.2%，这两个影响较为显着。应用大数据更好的管理风险，创造新的业务收入，增强生产能力的企业也占有一定比重。

随着三大运营商6月运营数据报表公布，2018年已经过了一半，这半年来，流量漫游费取消、不限量套餐盛行、提速降费进一步实现。不过，当我们把时间点拉长，放眼看这半年的运营数据来看，发现我国4G用户数量已经突破11亿，固网宽带接入用户总数达到了3.78亿户，4G和宽带用户存量日渐接近“天花板”。

中国电信4G用户连续3个月增速第一

通过统计今年1－6月份的经营情况，我们发现中国移动的移动用户净增和4G用户净增都已最少，与中国电信的新增用户份额相差了二十个百分点，在4月份移动4G用户还出现负增长，让业内人士大跌眼镜。

与之相对的是中国电信，电信近三个月的4G用户净增量都是第一。6月份净增移动用户549万户，累计达2.8162亿户；4G用户净增567万户，累计用户数达2.1731亿户。观察中国电信的4G用户走势图可以发现，在这一业务上，中国电信始终保持着平稳的发展。

中国电信能让中国移动从“头把交椅”上赶下来，与中国电信积极响应今年“两会”上所提出的提速降费和取消漫游费的要求有很大关系。另外，中国电信率先在全国范围内推广49元全国流量不限量，更是推出了免费体验3个月的活动。电信在不限量上的领跑实际上就是变相取消了流量漫游费，更用低价策略占据了竞争的主动权，留给中国移动去解决自身的营收减损难题。

目前中国电信已经拥有较高的4G用户渗透率和较低的网络资源利用率，其必须通过近一步释放网络资源，以扩大用户盘子不断提升4G用户规模。在经营策略上，中国电信可以借鉴中国联通的经验，集中主要精力在移动业务上攻城略地，或许这才是中国电信流量业务一系列激进措施背后的现实支撑。

中国移动在固网宽带上寻求突破

从工信部近日发布的数据显示，三大运营商固定互联网宽带接入用户总数达3.78亿户，上半年净增2974万户。具体来看，截至2018年6月底，中国移动有线宽带用户总数达到1.35073亿，6月份净增客户数462.5万，本年累计净增客户数2238.6万。中国电信有线宽带用户净增134万户，累计1.4062亿户。中国电信及本公司的母公司之有线宽带用户总数合计为1.64亿户。中国联通固网宽带用户6月净增29.7万户，累计达7891.6万户。

在固网业务上，中国电信一直都是引领者，但今年来，中国移动4G业务爆冷，要想提高业务能力必须另寻突破口。

中国移动之所以能在短时间内在固网业务上逐渐拉近和中国电信的距离，主要来自三方面因素。据C114通讯网分析，一是中国移动手机用户群体庞大，通过捆绑销售等可以迅速获得用户；二是，低价甚至是免费的策略，吸引用户使用；三是，中国移动对固网的大规模投资建设，让中国移动宽带覆盖和接入速率不断提升。

接下来，用户基数最多的中国移动可以继续利用捆绑销售，如通话套餐、额外电视频道、或由于订购了固网宽带服务而获得额外的移动数据流量等，增加多项服务的收益，减少用户流失率。

通讯行业发展至今，市场已经趋向饱和。这点上，中国电信自己有清醒且深刻的认识。在今年举办的“世界移动大会·上海”主题论坛演讲中，中国电信前总经理刘爱力用“一碗汤、汤一碗”的故事生动地讲述了通信行业价值下降的过程。接下来的下半年甚至未来，各大运营商如果继续通过无休止的低价竞相来争抢用户，只会造成增量难增收的重压局面！

本文根据具有十七年数据分析行业经验的嘉宾陈晨的纪实采访整理。

本期专访嘉宾：陈晨

简历：现任电通安吉斯 – 美库尔(DAN – Merkle) 中国(上海/南京) 数据与分析部高级总监，兼任Merkle南京公司总负责人。十七年以上美国、加拿大及中国咨询业及行业领先公司数据营销、风险分析、定量模型，客户关系管理策略的经验，拥有市场营销、定量方法 、经济计量和统计学方面坚实基础，和建立银行/金融/零售业营销模型和信用评分模型的丰富项目背景。

Q：如果企业想要挖掘数据价值，但由于种种原因，导致数据本身维度不完备，或缺失较多等情况。您能利用多年项目经验，跟我们分享一下这类企业应该怎样有效利用数据吗？

陈晨：对于广告营销而言，有用的数据维度是越多越好。即使企业自身CRM做得非常完备，有了其他数据源的补充，对于理解现有客户群体，如何进行下一步营销活动的准备都是非常有好处的。

事实上，没有任何一家数据提供商能够满足品牌所有的营销信息需求，品牌需要的是因地制宜地购买、结合与其最相关的高质量数据内容。Merkle可以利用其购买力和强大的合作伙伴网络，帮助品牌在全球范围内找到需要的数据，再结合数据整合和落地效果分析，为客户创造了战略优势。

按照Merkle常用的用户生命周期来说，我们把用户的生命周期分成接触潜在用户(获客阶段)、老客维护(互动阶段)及留存分析(促使回购阶段)。在获客阶段，Merkle可以结合其他数据来源，丰富数据维度。比如我们在为某知名在线英语教育品牌服务中，由于客户本身数据不足以支撑建模，我们就利用运营商数据和某知名科技公司数据为客户做了数据增强，用户画像及建模准确度都提高了不少。

而且和运营商数据做对接有个好处，运营商天然有接触消费者的渠道，所以这个项目的第二阶段，我们会应用模型挑选最有可能转化的消费者，通过发短信、弹窗的形式，在合适的触点做营销活动。

如果是在互动阶段，数据维度越多，我们越能基于用户行为/状态对用户分群，实现个性化交互。举例来说，我们曾为NBA提供了Loyalty Plus平台解决方案，帮助客户打造出“NBA球迷圈“。”球迷圈”是Merkle通过收集、清洗和整合多个数据源的顾客数据，确立会员策略，为NBA中国建立的客户忠诚度系统，从而可以基于球迷的行为和状态建立球迷分群，个性化地实施与球迷的有效交互。

目前该忠诚度系统已有超过60万球迷注册，活跃用户达到64%，收集到的会员交互数据将用于客户分群和定制化的服务，实现营销上升闭环的效果。对于留存分析而言，更多的做竞品分析，了解用户为何流失。

在用户生命周期的不同时段，不同对应策略

Q：什么情况下公司会考虑利用数据分析/模型来做优化，具体怎么操作，落地效果又是如何评估的呢？

陈晨：从根本来说，数据分析/建模/统计等都是用来更科学的衡量数据资产的一些方法。就我的角度来讲，只要有数据，有余力，都可以尝试从数据中感知用户，提升营销效果。

我们姑且把公司分为两类，一类是注重用户增长型的企业，一类是注重客户维系的企业，当然这个划分不是很严格的，许多企业是两者并重的。注重用户增长意味着获客，获客没有哪个企业是不需要的，但是随着互联网的兴起，数据的兴起，获客在具体做法上有了很大的改变。

互联网刚兴起的时候，大家会发现网上获客又简单又便宜，比如在搜索引擎上投一投付费广告，或者做做SEO，效果很显著。

现在呢？网上的流量越来越贵，对于某些特定行业，比如汽车或者教育，一个销售线索的成本达到了几十甚至到几百人民币，所以如何在当下环境找到有效、便宜的方法来接触到更多的潜在消费者对企业来说是很重要的。

我们现在的做法是帮助客户量身打造一个精准获客的策略和完整的CRM(CustomerRelationship Marketing客户关系营销)解决方案。

首先了解到客户现有的获客流程，基于行业和客户自身特点提出解决方案，落地之后还可以通过与历史数据对比来看效果如何，在这个过程中我们又学习到什么，再去调整具体的操作或者实施步骤，形成闭环优化的结果。以某著名电脑品牌客户为例，原来的获客方法就是做线上线下活动，网上购买一些用户资源，但是我们可以帮他做细，我们可以通过模型来挑选出对品牌感兴趣的人群，在此基础上再做活动，省钱省力。

之后在转化阶段，原先客户的方法就是通过电话中心接触，或者直销的形式，我们可以丰富这些手段，比如可以结合数据来核实用户的真实意图和具体需求，在接触到的时候做到个性化推荐；或者可以用模型对这些用户做分群，之后再促进转化，都是非常好的方法。

Merkle CRM解决方案流程图

对于注重客户维系的企业，我们可以帮助企业建立用户价值和生命周期的体系。用户价值的主要目标是作为投资标准，而对用户的投资有多种形式：比如为高价值用户提供更频繁、便利的服务；在营销活动中为不同用户提供定制化的接触策略等。

我们在确定用户价值时会考虑很多因素，比如考虑到任期，流失，风险，营销和服务成本，交易历史以及预期的未来盈利能力和收入。而且用户价值会随着其生命周期的改变而改变，这是一个动态的过程，完全可以在这种变化中放大营销效果和增加决策正确性。还是举电脑行业的例子，我们可以结合用户历史购买/保修/网上浏览等行为，给每一个用户一个生命周期所在阶段，然后在合适的时间点接触到用户。

Q：能否给志在从事大数据行业的年轻人一些您的意见？

陈晨：我觉得从事大数据行业首先要可以沉得下心来，必须能够掌握一两种常用的数据分析工具，比如R，Python等，能够进行一定程度的编程，这样才能对数据理解和分析有一个直观的学习深入过程，也可以训练新人的数学和逻辑思维能力。

当然这是进入行业的基本前提。然后是要有一定的统计学基础和商业分析能力，能够迅速地从数据分析的结果中得出对商业运用或其他相关专业领域的洞察和应用方向。简单地说不是把模型跑出来，图表画出来就完事儿了，还需要能够从模型结果和数据可视化呈现中推断总结出后面真正的故事和意义。

在这些基本的能力和技能掌握后，要保持持续学习的心态，不断追随和了解行业最新动态和趋势，并能够横向进行多产业方向的融汇贯通。另外，大数据分析专业往往需要和不同部门，不同类型的客户进行沟通、讲解，所以如果在职业生涯的后端需要保持持续发展的竞争力，能用专业和非专业的语言和不同层次背景的合作方进行有效沟通也是必不可少的技能。

这次的访谈到此结束，谢谢陈晨分享关于数据整合/增强、数据分析和建模的一些项目经验。

End.