【摘要】：结合实际数据分析工作，简要介绍了VLOOKUP函数的基础应用，重点介绍亲测高效有难度的VLOOKUP函数高级应用。最后分享我运用Excel的一点技巧。

毕业后，第一份工作是在一家互联网公司做数据分析。

尽管和所学专业没那么匹配，但我还是挺满意。因为向来对数字很敏感，对常用统计软件也都有所了解。

正式入职，发现面试时说的什么SPSS，Eviews统统都不用，基本就是用Excel。对于研究生毕业，第一份工作，我多少有些落差。既来之则安之，我心想用什么工具最方便，工作中应该可以自己选择。对于word和ppt还算熟练，Excel也就一般。多学点总不会差。

开始工作，我发现Excel的功能简直太强大，我之前了解的仅是皮毛。尤其在更新到2013版后，操作更智能和快捷，数据量大时计算较费时。对于日常工作影响倒不大，借助Excel我的数据分析工作也很快上手。

除了宏不太会，工作之余也会多琢磨一些公式和操作。以至于同办公室的同事，甚至外部门的同事都来找我帮忙解决Excel的问题。时间久了，领导特意让我在部门内部定期做教学分享。

我确实喜欢和数据打交道的感觉，从冗杂的繁琐数据中分析出最终的结果相当有成就感。在简书上也看到了许多实用的Excel操作指南或技巧。

今天分享一个职场中最常用，功能强大，却少有人掌握的VLOOKUP函数。很多文章都提到过这个函数的基础应用，此外还有一个高级应用，是我在工作中遇到，亲测高效快捷的有力工具。

VLOOKUP函数---最最最常用的查找函数

四个必备参数=（要查找的值，要查找的区域，返回数据在查找区域的第几列数，逻辑值）

注： FALSE或0，则返回精确匹配，如果找不到，则返回错误值 #N/A（首选）

TRUE或1，则返回近似匹配值，如果找不到，则返回小于第一个参数的最大值。

VLOOKUP函数的基础应用：一对一的匹配

理解上述文字很晦涩，用实例来说明。

例1： 下图中左表为源数据：各类产品在三个城市的日销售数据。

需求：查询产品B和F在上海的销售额。

因为提供的数据量很少，人工查找就能完成。但实际工作中数据量很庞大，人工查找费时费力且准确率低。这时用VLOOKUP一秒搞定。

做法：在G2单元格内，输入公式，见红框内。回车后，出现结果；将公式复制或下拉至G3，同理可得结果。

参数解释：

（1）“F2”为我们要查找的参照值，即在源数据第一列查找“产品B”。当公式下拉复制时，自动切换为查找F3。

（2）“A：C”指我们要在此范围内查找数据。该参数也可写为“$A$2：$C$9”，即绝对引用。这样可保证无论公式如何拖拽复制，数据源始终固定引用该区域。

（3）参数“3”指在选择的数据源“A列-C列”范围内，要查询的销量在引用的第三列，即C列。

（4）FALSE，即精确查找。

这样，通过应用该函数，实现了产品型号和销量一对一的匹配查找。

应用该公式的硬性条件：

（1）必须保证需要查找的参照值与源数据格式一致。

即例1中：F列与A列完全一致，不仅内容相同，尤其保证单元格格式一致，否则只会返回错误值 #N/A。如不一致，查找前需转换成一致的格式。有时较难分辨。

（2）必须保证源数据表中的第一列没有重复项。

即A列中没有出现重复的产品类型。假如源数据中出现了多行“产品B”，那么在查找时只能返回第一次“产品B”出现时对应的销量。

当（2）无法满足时，查找不再是一对一，而是一对多的匹配。需要对VLOOKUP函数进行扩展才得以实现查找功能。

VLOOKUP函数的高级应用：一对多的匹配

例2：下图左表为客服中心的每日工作记录，日积月累，这个表数据量庞大且信息冗杂。

需求：王丹和张鹏岗位变动，需将他们接待过的全部客户汇总转交其他同事维护。

数据量小手动筛选即可，使用透视表也可完成。这里我借助简单的例子，介绍如何使用VLOOKUP完成。当数据量庞大，这是较便利的方法。

做法：

第一步：将A列排序，在A与B列间新插入两列。

第二步：计数。在B2输入公式=COUNTIF(A$2:A2,A2)，回车，下拉即可。

目的是对A列中同一个名字的出现次数进行计算。如图李珊出现了四次。

第三步：构建辅助列。在C2输入公式=A2&B2，回车，下拉即可。目的在于将A列B列的内容合并。这时C列即为辅助列。保证了源数据的唯一性，此时已满足VLOOKUP基础应用的第二个硬性条件。

第四步：进行匹配查找。在H2输入公式=VLOOKUP($G2&H$1,$C$2:$D$18,2,FALSE)， 复制公式至其他单元格即可得到结果。

与基础应用相比，仅参数1有变化，涉及相对引用和绝对引用问题。

参数1：将“客服姓名&序号“合并作为第一个参数。公式向右向下复制后，“客服姓名”行变列不变，所以锁定列。“序号”列变行不变，所以锁定行。即为：“$G2&H$1”。锁定即绝对引用。（此处较难理解，操作中通过尝试能够理解透）

参数2：绝对引用C2至D18区域。即为：“$C$2:$D$18”，新数据源。

参数3：返回所选区域C2至D18中的第2列数据。即为：客户姓名

参数4：FALSE，即精确查找。

第五步：将H2中的公式向下向右复制至K3，即得全部结果。可对比源数据表验证是否正确。

在序号为4的单元格内出现了#N/A值。表明没有找到“王丹4”和“张鹏4”对应的内容，说明这两人接待的客户仅有3人。

这样，通过其他功能辅助，实现了客服与客户一对多的匹配查找。

总结：VLOOKUP的高级应用是在基础应用的基础上，借助了COUNTIF和&函数，构建辅助列，使得源数据表中第一列无重复。四个必备参数中仅参数1涉及绝对引用和相对引用，略有难度。

应用Excel的技巧

1.填充了公式的单元格，在得到结果后，最好将计算结果转换为“值”。

两个好处：一是避免源数据的任何变动再次影响公式的计算结果；二是Excel本身计算较费时。如公式一直存在，每次打开该文件，或是刷新时都会重新计算，严重影响Excel运算速度。

2.Excel的数据承载量相对较小。2013版每个sheet能够填充接近105万行。

如果涉及较多sheet,数据量可想而知。因此在上一条的基础上，必须及时保存，否则数据量大时Excel难免会出现重启。毕竟多数人用的都是免费版，为了避免做无用功，及时保存很重要。这可是次次抓狂的经验教训。

3.Excel的功能很丰富，没有哪一本书或是哪一个老师能够完全教会所有功能。

更实际的是，从点到面去学习。比如说我介绍了VLOOKUP函数的应用，其中涉及到了绝对引用的概念，以及countif函数的应用，这时就引导你去学习新知识。

任何功能的组合都能起到耳目一新的作用。

4.Excel做不到死记硬背，多练习才利于掌握。

比如说，在工作中我给同事教过无数次VLOOKUP函数的应用，当时似懂非懂，勉强会用。想不到的是他们下一次遇到早已忘得一干二净。在我看来是很简单的一个公式而已，仅需掌握四个参数。关键是他们不常用，而我几乎天天用。

任何技能都是如此。孰能生巧，才能更快掌握更多功能。哪怕是多记几个快捷键，都会为你使用Excel加分不少。

多学一点技能，就能少求助别人，且让别人来求助于你。普通离优秀，永远差一项技能。

写出来为分享，也为记录。

PS：如果没有看懂，或是觉得现在用不到我介绍的公式。没关系，请收藏，因为工作后，无论做什么工作一定一定一定会用到VLOOKUP。

请尊重原创的辛苦。欢迎分享，欢迎交流。

前言

你的假设可信吗？在我们实际工作中，事物的个体差异总是客观存在的，抽样的误差也就无可避免。当一些样本均数与已知的总体均数有很大的差别时，一般来说有两点主要原因：一是抽样误差的偶然性，二是样本来自不同的总体，而使试验因素不同。这个时候，我们运用假设检验方法就能够排除误差的影响，区分差别在统计上是否成立，并了解误差时间发生的概率。

参数估计和假设检验

统计推断是由样本的信息来推测母体性能的一种方法，它又可以分为两类问题，即参数估计和假设检验。

参数估计（parameterestimation）是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

在数据分析工具中，假设检验也被称为显著性检验，是统计推断中的一种重要的数据统计方法。它首先对研究总体的参数做出某种假设，然后从总体中抽取样本进行观察，用样本提供的信息对假设的正确性进行判断，从而决定是否成立。若观察结果与理论不符，则假设不成立，若观察结果与理论相符，则认为没有充分的证据表明假设错误。假设检验一般有如下三个步骤：

1、建立假设，确定检验水平。2、选定检验方法，计算统计量大小。3、根据统计量确定P值，做出推断统计。

在这三个步骤中，第2个步骤中的检验方法是十分重要的、因为检验的样本类型、自变量的分布情况、研究的目的都不同，所以只有选择合适的检验方法才能计算出来统计量。

假设检验的主要方法

假设检验的方法主要可分为：t-检验、z-检验和F-检验。（建议查看统计学相关知识）

t-检验：T检验，亦称studentt检验（Student'sttest），主要用于样本含量较小（例如n<30），总体标准差σ未知的正态分布资料。t检验是用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著。

z-检验：Z检验（ZTest）是一般用于大样本（即样本容量大于30）平均值差异性检验的方法。它是用标准正态分布的理论来推断差异发生的概率，从而比较两个平均数的差异是否显著。在国内也被称作u检验。

当已知标准差时，验证一组数的均值是否与某一期望值相等时，用Z检验。

z检验又叫u检验

F-检验：F检验又叫方差齐性检验。在两样本t检验中要用到F检验。

从两研究总体中随机抽取样本，要对这两个样本进行比较的时候，首先要判断两总体方差是否相同，即方差齐性。若两总体方差相等，则直接用t检验，若不等，可采用t检验或变量变换或秩和检验等方法。

其中要判断两总体方差是否相等，就可以用F检验。

实例应用

实例应用：应用t-检验分析新药的有效性

1、案例描述

某药厂研发了一种能够降低血压的新药，现在为了了解该药的疗效，随机抽取了15名高血压患者，并得到他么在使用该药治疗前后的舒张压数据，如下图所示，现在需要判断：该药是否有效？如果有效，是否能够让高血压患者的舒张压平均降低6.5mmHg？

2、案例分析

根据上面的数据，我们可以使用Excel中的假设检验方法来判断（以前我用手算过，好累呀，有了Excel等工具，很简单方便，省时省力）。分析工具中的假设检验方法有多种，使用不同的方法，观察值在检验前后的关系就不同，所以需要先选择合适的方案。

3、操作分析

由于样本量较小，且样本值中的观察值存在治疗前后的配对关系，所以可先使用“t-检验：平均值的成对二样本分析”方法判断该药的有效性，我们首先假设该药无效（一般先否定，然后计算检验否定原假设（如果正确的话）），然后进行假设检验。

第1步：选择分析工具（老朋友了）。“数据分析”——“分析工具”——“t-检验：平均值的成对二样本分析”，确定即可。如下图所示：

第2步：设置相关参数。在“t-检验：平均值的成对二样本分析”对话框中，设置“输入”组中“变量1的区域”为“$B$2:$B$17”，“变量2的区域”为“$C$2:$C$17”，选择“标志”复选框，设置“α”值为“0.05”，在“输出选项”下单击“输出区域”，设置为“$E$2”，最后确定。如下图所示：

第3步：设置假设平均差。重复上一步骤，其他参数不变，这次设置“假设平均差”为“6.5”，“输出区域”为“$I$2”。这一步，“假设平均差”为期望中的样本均值的差值，如果该值设为0，即假设样本均值相同。

第4步：显示分析结果。做完之后，我们就可以看到t-检验的结果：H列左侧为第2步中检验该药是否有效的数据结果，H列右侧为第3步中检验该药是否能让舒张压降低6.5mmHg的检验结果。如下图所示：

4、决策分析

上面的案例中，由于没有充分的理由判断该药治疗后的总体均数会大于或小于治疗前的舒张压均值，所以在检验过程中，前面的t-检验我们采用的是双侧检验。

从分析结果看到：H列左侧的检验结果中，tStat=4.211，P双尾=0.00087，t双尾临界=2.145，当t双尾临界时，假设成立，而这个案例中，检验结果tStat>t双尾临界，说明该结果拒绝原假设，也就是说该药有效，此外，我们还能看到P双尾=0.00087<α=0.05，这一比较结果也说明该结果拒绝原假设，同样说明该药有效。

由于已经确定该药有效，那么再判断该药能否将舒张压平均值降低6.5mmHg，所以，后面的t-检验采用的是单侧检验，这里我们设置了假设平均差，上图中红框内，检验结果tStat=0.205α=0.05也说明了该假设成立。

小结

今天学习一下Excel中如何进行t-检验，数据分析更进一步。希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

上一篇给大家分享了一下筛选功能的使用，特别要注意不能随意复制粘贴的原因和解决办法。有兴趣的朋友们可以点击或关注百家号，进去查看历史文章。

那么，今天给大家分享下EXCEL透视表功能的简单使用。通常情况下，我们需要做批量数据的统计、用excel出图表等等的时候，需要计数或者求和的结果作展示的时候都会用到。可以说是在大数据分析以及展示结果的时候，所必须会使用到的一个功能。

在此，让我们一起通过一个实例来看一下，excel数据透视表的具体使用方法。只需要简单几步，就可以完成一个简单的数据透视！

首先，我们打开一个要处理的EXCEL，比如需要统计各部门总工资。如下图的数据。通过1月到5月每个人的工资记录，来计算出部门工资的总数及每个月的走势。

第一步：选定A列到H列，即包含所有数据的列。

第二步：点击插入-数据透视表，出现一个创建数据透视表的小窗口，直接点击确定。

此时出现了一个新的sheet页，如下图。这里为了方便大家看全，我把表格横向缩小到了一起。实际上数据透视表字段是在EXCEL最右侧。

第三步：新sheet页的最右侧数据透视表字段，有一个选择要添加到报表的字段，可以看到原始表格的标题列。继续往下看，有四个区域，分别为筛选器，列，行，值。我们把月份点住，拖动到列的区域中。

再分别把部门、姓名拖动到行，部门在上。最后把工资拖动到值。

第四步：值里边默认是计数项，我们需要修改一下，工资是以求和来统计。点击计数项：工资，会出现值字段设置。打开后，选择求和，然后点击确定。

第五步：此时已经可以看到表中的数据都已经出现，每个部门每个人1月到5月工资以及总计的工资。可以点击技术部、科研部、运营部前边的-号，代表隐藏姓名；最后一列的总计，每一行代表这一行数据的总计，比如第一行代表技术部1月到5月的总计工资数目；最后一行的总计，每一列代表的是这一列数据的总计，比如1月的那一列代表1月各个部门的总计工资。这样就满足我们的需求了，可以看到每个部门在每个月以及合计的工资数目。

习惯而言，统计的数据都喜欢有高低顺序来浏览，方便一眼看出哪个部门的工资总额高低。我们可以再点击一下总计那列，然后点击排序，选择降序排列。这样就可以看到一个按高到低排序的工资图表了。

好了，本篇就给大家讲到这里，大家可以自己试着随意在四个区域里，把其他的标题也拖进去，看看会出现什么变化？其实看似枯燥的Excel工具也有非常有趣的一面，更多的技巧就留给大家自己开发吧！有什么问题欢迎留言给我们哦！

1、一列数据同时除以10000

复制10000所在单元格，选取数据区域 - 选择粘性粘贴 - 除

2、同时冻结第1行和第1列

选取第一列和第一行交汇处的墙角位置B2，窗口 - 冻结窗格

3、快速把公式转换为值

选取公式区域 - 按右键向右拖一下再拖回来 - 选取只保留数值。

4、显示指定区域所有公式

查找 = 替换为“ =”（空格+=号） ，即可显示工作表中所有公式

5、同时编辑所有工作表

全选工作表，直接编辑，会更新到所有工作表。

6、删除重复值

选取数据区域 - 数据 - 删除重复值

7、显示重复值

选取数据区域 - 开始 - 条件格式 - 显示规则 - 重复值

8、把文本型数字转换成数值型

选取文本数字区域，打开左上角单元格的绿三角，选取 转换为数值

9、隐藏单元格内容

选取要隐藏的区域 - 设置单元格格式 - 数字 - 自定义 - 输入三个分号;;;

10、给excel文件添加密码

文件 - 信息 - 保护工作簿 - 用密码进行加密

11、给单元格区域添加密码

审阅 - 允许用户编辑区域 - 添加区域和设置密码

12、把多个单元格内容粘贴一个单元格

复制区域 - 打开剪贴板 - 选取某个单元格 - 在编辑栏中点击剪贴板中复制的内容

13、同时查看一个excel文件的两个工作表

视图 - 新建窗口 - 全部重排

14、输入分数

先后输入 0 ，再输入 空格， 再输入分数即可

15、强制换行

在文字后按alt+回车键即可换到下一行

16、删除空行

选取A列 - Ctrl+g打开定位窗口 - 定位条件：空值 - 整行删除

17、隔行插入空行

在数据表旁拖动复制1~N，然后再复制序号到下面，然后按序号列排序即可。

18、快速查找工作表

在进度条右键菜单中选取要找的工作表即可。

19、快速筛选

右键菜单中 - 筛选 - 按所选单元格值进行筛选

20、让PPT的图表随excel同步更新

复制excel中的图表 - 在PPT界面中 - 选择性粘贴 - 粘贴链接

21、隐藏公式

选取公式所在区域 - 设置单元格格式 - 保护：选取隐藏 - 保护工作表

22、行高按厘米设置

点右下角“页面布局”按钮，行高单位即可厘米

23、复制时保护行高列宽不变

整行选取复制，粘贴后选取“保持列宽。

24、输入以0开始的数字或超过15位的长数字

先输入单引号，然后再输入数字。或先设置格式为文本再输入。

25、全部显示超过11的长数字

选数区域 - 设置单元格格式 - 自定义 - 输入0

26、快速调整列宽

选取多列，双击边线即可自动调整适合的列宽

27、图表快速添加新系列

复制 - 粘贴，即可给图表添加新的系列

28、设置大于72磅的字体

excel里的最大字并不是72磅，而是409磅。你只需要输入数字即可。

29、设置标题行打印

页面设置 - 工作表 - 顶端标题行

30、不打印错误值

页面设置 - 工作表 - 错误值打印为：空

31、隐藏0值

文件 - 选项 - 高级 - 去掉“显在具有零值的单元格中显示零”

32、设置新建文件的字体和字号

文件 - 选项 - 常规 - 新建工作簿时....

33、快速查看函数帮助

在公式中点击下面显示的函数名称，即可打开该函数的帮助页面。

34、加快excel文件打开速度

如果文件公式过多，在关闭时设置为手动，打开时会更快。

35、按行排序

在排序界面，点击选项，选中按行排序

36、设置可以打印的背景图片

在页眉中插入图片即要

来源：网络整理

百家号-【袁帅数据分析运营】运营者：袁帅，会展业信息化、数字化领域专家。新社汇平台联合创始人，永洪数据科学研究院MVP。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。

Excel的数据透视表功能很强大，但从办公的角度来说，可能还是繁琐了一点。以下图为例，现在我们希望得到每个产品的数量及占比：

如果使用Excel的数据透视表，需要先“创建数据透视表”：

然后设置要统计的字段列和数值列：

由于需要在绝对值列的基础上，再多个“占比”，因此，还要在“数量”列上点右键选择“添加到值”，这样增加了一个“求和项”：

如要将“求和项：数量2”显示为百分比，可在“数量2”上单击，选择“值字段设置--值显示方式”中的“列汇总的百分比”，如下图：

这样的透视表终于生成：

现在我们如果改用国产软件foxtable，那就简单了。点击菜单“数据统计-分组统计”，如下图：

点击“统计”后直接得到结果：

同时统计多列？很简单，加上相应的分组列和统计列即可：

生成结果如下图：

如果按日期统计，还可以自动生成同比和环比数据：

生成结果如下图（由于原始表的数据都是1999年的，因而无法生成同比数据）：

以上还仅仅只是简单演示了分组统计方面的部分功能，更强大的“交叉统计”留到后面再说。

相信大家对即将讲述的数据分析内容很感兴趣，想知道Excel数据分析包含哪些知识？本文就言简意赅地后面的系列文章会涉及到的一些内容，在这里进行一下简单的概括，大致分为八大部分分别如下：

第一部分引入数据挖掘的概念。简要介绍什么是数据挖掘，介绍Excel强大的数据挖掘功能，excel不支持的功能需要使用“加载宏”。

第二部分介绍简单的数据挖掘和问卷调查；介绍最基本的数据挖掘方法，即利用“平均数”这种最简单的数据统计模型，分析身边的数据或少量数据，介绍问卷调查这种收集数据的常用手段的设计技巧。通过预测商品预期价格。证明从少量样本中也能提取重要信息。

第三部融入案例预估二手车价格，介绍使信用回归分析进行预测和因子分析的知识，多重回归分析是预估数值和分析因子时非常有效的统计方法，是多变量分析中最常用的统计方法之一．本章以“拍卖行的二手车数据”为例对其进行解说。数据包含定性数据和定量数据，统称为“混合型数据”、经常出现在商务领域中。

第四部分内容涉及求最优化的问题“规划求解”。Excel支持“规划求解”这个强大的工具。本章介绍用“规划求解”求最优化问题的方法。经营管理中经常遇到如何利用有限的资源，实现营业额和利润最大化，以及费用和成本最小化的问题．用一次方程表示约束条件和目标叫做线性规划，求解方法叫做线性规划法。 “规划求解”不仅适合线性规划法，也适合非线性规划法。还支持整数规划法（这些统称为数理规划法或最优化规划法）．本章通过具体实例说明“规划求解”的使用方法。

第五部分一起来学习分析交叉表，介绍用交叉表判断属性（年龄、性别、职业等）是否有差异的方法。用Excel的函数功能求解；用大量实例详细说明。

第六部分会通过开发畅销产品的概念组合的案例介绍联合分析，消费者选择或决定购买商品时最重视什么？若能预知消费者重视的内容，就能开发山非常畅销的产品。“联合分析”是以“开发畅销产品的概念组合”为目的。为了把把握消费者和巾场的动向，被广泛运用在市场营销领域中的一种分析方法。计多企业都采用这种调查方法．联合分析也可以用Excel数据分析。

第七部分通过软件故障何时了的案例，来介绍用规划求解制作生长曲线，预估故障总数，生长曲线可以根据初始数据对商品的需求趋势，未来的人口数量和知识的掌握程度等的变化结果进行预测。本章用规划求解得出最优生长曲线。介绍预测软件停止发生故障的时间的方法。

最后一部分就也很有趣，是经典的求最优投资组合问题。近年来，对股票感兴趣的人越来越多．投资者最关心资产的运营安全。大部分人都希望：（ａ）收益越高越好（ｂ）风险越低越好．但是，鱼与熊掌难以兼得。投贤中最基础的理论是“高风险、高收益”，“低风险、低收益”。本章介绍能够兼得鱼与熊掌的“投资组合”方法。即将资产划分成几部分，使各部分之间的正负变动相抵消，尽量降低投资风险。

以上就是Excel数据分析包含哪些知识的一个概要介绍，当然内容远远不止这些，在接下来的系列精彩文章会运用大量实例介绍了许多数据挖掘的方法。小编希望通过普及这些方法，使所有人都能够将其灵活运用到自己的工作或研究中．这将是我们最大的愿望

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

一、描述统计

在数据分析的时候，一般首先要对数据进行描述性统计分析（Descriptive Analysis），以发现其内在的规律，再选择进一步分析的方法。描述性统计分析要对调查总体所有变量的有关数据做统计性描述，主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布、以及一些基本的统计图形，常用的指标有均值、中位数、众数、方差、标准差等等。

数据的集中趋势一般采用平均值、中位数表示。数据的离散程度一般采用方差、标准差表示。数据的分布情况一般采用直方图表示。

案例：北京房屋价格（数据文件：house_price.xlsx）

分析问题:

1)北京市政府为调控房地产价格，希望知道北京各小区房屋价格的分布，请分析房地产价格的集中趋势，并选择合适的图形呈现。

2)房地产商想知道北京各个环线房屋装修状况的对比情况，以便进行产品设计和市场拓展，计算指标并设计合适的图形呈现结果，最后给房地产商一些建议。

3)选择合适的图形反映北京各个区住宅区房屋分布情况

操作步骤：

1)基本描述统计

打开excel数据文件house_price.xlsx

选择描述统计，单击“确定”按钮。

2)直方图

根据描述统计的结果，在空白列构造间隔为0.5的等差数列作为接收区域D1:D19，最大值为9,最小值为0。

选择数据，单击“数据”选项卡，选择“数据分析”选项框中的“直方图”选项

输入区域选择房屋价格avgprice列$B$2:$B$186，接收区域选择第一步构造的接收数据，即D1:D19数据。

输出区域选择G3，勾选图表输出，然后单击“确定”按钮。

选中整个直方图，右键单击选择“设置数据系列格式”，单击“系列选项”，分类间距设为0。

备注：

基本概念：数据的集中趋势 离散程度 数据分布情况 透视表 直方图 柱形图 饼形图 堆积柱形图

二、排位与百分比排位

“排位与百分比排位”分析工具可以产生一个数据表，在其中包含数据集中各个数值的顺序排位和百分比排位。该工具用来分析数据集中各数值间的相对位置关系。该工具使用工作表函数 RANK 和 PERCENTRANK。

例：10名同学统计学考试成绩如下：

试进行排位和百分比排位。

（1）在EXCEL数据分析工具库中选择“排位与百分比排位”，弹出对话框如下：

排位与百分比排位对话框设置

（2）单击“确定”生成排位结果如图。

排位与百分比排位结果

（3）其中的百分比排位为：小于该值的个数/（小于该值的个数+大于该值的个数）

如88，小于该值的有7个，大于该值的有2个，百分比排位为7/9＝77.78%，该工具截去了十分位数。

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

每周2-3场免费数据领域公开课，每月线下活动，欢迎关注！

我一直是网易云课堂的重度用户，从大二开始就一直在上面学习各种技能类课程，作为互联网在线教育的知名品牌，云课堂在某种程度上弥补了我们从校园到职场过渡过程中，很多技能类知识不足的缺口。

今天这一篇是接着上一篇云课堂Excel课程板块爬虫数据进行多角度的可视化分析，上次的爬虫一共爬取了425条课程信息，一共提取了9个字段。

以上是本次爬取的字段描述，按照这些字段属性，结合我个人的需求以及云课堂的课程评价体系，我将本次分析的目标及思路梳理如下：

课程来源分析

课程来源

作者贡献数

课程内容分析

高频技能需求

课程价格分析

折扣率分析

均价

课程知名度分析

用户数分析

课程口碑分析

评分分析

根据以上几个模块，我们开始今天的可视化分析之旅！

首先分析课程数量分析，我感兴趣的是在这425门Excel在线课程中，哪些作者发布课程频率最高，排在最前列的分别是那些机构或者个人，在所有作者中，多少是机构名义讲课，多少是以个人名义讲课。

课程来源分析

以下是云课堂Excel课程模块的高频课程作者统计：

排在前五位的老师是刘万祥老师、杨文星老师、Excel报表顾问、肖邦主、远目教育。前十名老师中，也能看到一些耳熟能详的名字：在PowerBI领域颇有建树的刘凯老师、秦川老师和小蚊子数据分析以及PowerPivot工坊的赵文超老师。

其中刘万祥老师在一共发布了17门课，夺得Excel板块最勤奋讲师桂冠，刘老师的多产与勤奋实在让人佩服。

前十位位作者中，有7位老师的课程发布量都在10门以上，从课程发布频数的累计分布图中可以看到，累计频数分布图走势先陡峭后平缓，这反映了什么呢，说明课程资源的集中程度很高，想想前十位作者大部分都发布了10门以上的课程。

我按照五门课程的分割点对课程作者进行了切分，结果发现，有29名老师曾发布过5门以上的课程，占比21.64%，发布课程不足5门的老师一共105人，占比78.36%。

其中发布过5门以上课程的老师发布课程总计为242门，占总课程比率57.21%，发布课程不足五门的老师累计发布了181门课程，占比42.79%。这进一步验证了上面的结论，即Excel板块的课程来源集中度很高，将近20%的高频作者贡献了将近60%的课程资源。

按照课程发布作者和机构分类，以个人名义发布课程的作者一共271人，占比63.8%，而以机构名义发布课程的作者仅占36%左右。

这个说明什么呢，说明在当今网络无处不在的时代，个体的崛起以及个人品牌的塑造，已经渗透到互联网在线教育行业。真正掌握资源和技能的个体，完全可以依靠互联网完成技能输出和品牌塑造。

课程内容分析

关于课程内容方面，我的原始数据中仅有课程名称和课程描述涉及到课程内容，暂时想不到很好地内容分析方法，课程描述的文本非常杂乱，使用文本分词暂时个人还处理不好（哪位文本分析的大神感兴趣可以来挑战下），这里仅就课程名称词频做一下简要分析：

library("wordcloud2")

library("ggplot2")

mydata<-read.csv("E:/微信公众号/公众号——数据小魔方/2017年9月/20170918/Excel技能需求频率统计.csv",stringsAsFactors = FALSE,check.names = FALSE)

library(wordcloud2)

wordcloud2(mydata, size = 1, fontFamily = "微软雅黑",minRotation = -pi/6, maxRotation = -pi/6,rotateRatio = 1)

ggplot(mydata[1:10,],aes(reorder(x,Freq),Freq))+

geom_bar(stat="identity",fill="#B1DB85")+

geom_text(aes(label=Freq))+

coord_flip()+

ggtitle("Excel课程高频需求技能频率分布")+

theme_void(base_size=25)%+replace%

theme(axis.text=element_text(size=15))

从分词结果上来看，函数、VBA、图表、数据透视表、数据处理需求占了巨大部分词频，函数高居榜首，高达32次，VBA、图表、数据透视表、数据处理则各有千秋，相差不大。

而PowerBI、PowerPivot、PowerQuery、动态图表、信息图表等需求也很强劲。由此可见，商务智能工具PowerBI的问世，给商务场景下业务需求带来了巨大便利的同时，也激发了新的技能学习需求。

即将进入职场的小白领们一定要注意了，传统的函数、透视表、图表技能固然重要，及时关注商务智能工具也将是今后让你独具优势、弯道超车的潜在路径。

课程价格分析

在所有课程中，有354门付费课程，占课程总数的83.29%，其中付费课程中有折扣优惠的课程有185门，占所有付费课程的比重为43.53%，平均折扣率为55%。

免费课程的平均学习人数为27000人，付费课程的平均学习人数为270，天哪这个数字太巧合了，刚好相差100倍。

还是提醒广大Excel在线学习者，不要只顾着课程价格就盲目的去选择课程，不要抱着一种占便宜的心态，无论免费还是付费，你的时间都是无价的，学了对你没有任何用处的免费课程，浪费的是你自己的宝贵时间。倘若你想入门，可以谨慎选择那些与自己技能需求匹配的课程，倘若想要进阶或者在某一个领域深入学习，付费课程是难免的，为知识付费是一种很值得骄傲的事情。

我详细统计了付费课程价格TOP20的折扣率变化、课程类型以及最具价值课程作者信息。

结果呈现如上，在12门最具价值的课程中，刘万祥老师一个人包揽了7个，其中最为知名的课程要属《向经济学人学图表》《向华尔街日报学图表》系列课程，这些系列我个人都买过，确实不错，刘老师在商务图表领域的积淀有目共睹，其核心实力也得到了市场的检验以及大家的认可。

课程知名度分析

对于课程知名度的分析，主要基于学习者数量这个指标，我简略统计了以下所有免费课程和付费课程的学员数量排名。

在最受学员欢迎的付费课程TOP20中，秋叶老师的和秋叶一起学习Excel独占鳌头，学员人数高达14419，当然考虑到秋叶老师是团队化运作，而这里没有区分个人和机构，所以仅从学员人数规模评价受欢迎程度可能有失偏颇，仅供参考。

这里还有一个很有趣的现象是在最受欢迎的TOP20课程中，同样有作者一人包揽多门课程的情况，刘万祥老师和PowerPivot工坊的赵文超老师分别占据了4门课程，令人包揽最受欢迎的TOP20中的40%，秋叶老师团队和李则见老师分别占据两门课程。在所有TOP20课程中，学员人数均在1000以上，可以说真正有颜有料有干货的课程，还是能够吸引大家的兴趣的。

课程口碑分析

从课程口碑分析中，网易云课堂课程评价实行的5分制，区分度并不是很高。

不过从得到大于4.9分的近22个课程分布来看，刘万祥老师仍然牢牢把握着Excel高品质高口碑课程的头把交椅，一共占了7席4.9分高质量课程，累计评分树状图分布显示，刘万祥老师总分58.1，排名前五的分别是刘万祥、肖邦主、上海职领网络科技、刘凯老师、第五位（未知），第六位PowerPivot工坊的赵文超老师也表现出色。

以上便是本次云课堂爬虫数据分析的全部，由于对在线教育行业了解并不是十分深入，特别是指标构建，分析角度、可视化逻辑上有诸多不成熟之处，还望各位数据分析行业前辈高人多多指点。

最后感谢网易公司对中国在线教育行业的贡献，相信凭着丁磊先生的个人远见和网易公司的社会责任感，网易云课堂可以为中国在线教育行业提供更多优质学习资源。

Excel课程选择与学习建议：

（个人建议，仅供参考，并不代表云课堂官方排名）

商务图表类：

刘万祥ExcelPro

透视表与函数：

肖邦主

商务智能工具类：

刘凯

赵文超

以上分析和建议仅供各位想要在职场充电的Excel学习者参考，因为数据爬取无法保证客观，因而结论无法保证客观公允，请大家谨慎参考。

本文作者：天善智能社区 杜雨数据小魔方

小编：tianshansoft06，邀请加入数据分析交流群。

每个人都会有机会进行数据展示，为什么别人展示永远获得正视，而我的展示永远只有自己愿意去看，别人在看手机？那怎样做数据图表分析呢请看以下步骤：

如何对表格进行修饰，本次小编带来两个技巧，一是使用“套用表格格式”，和使用“条件格式”。二是带领大家学会养成修饰表格的思维。

第一步是对表格进行粗略的修饰调整，思维：行高、列宽、对齐方式、表格线等；

使用“套用表格格式”、“条件格式”之后看数据不再枯燥无味，而且还更有看头。“条件格式”可以将筛选条件转换为颜色可视化，从而达到一目了然的效果。

第一个技巧，①“套用表格格式”。方法：任一单元格→开始→套用表格格式。

②“条件格式”，方法：选中单元格区域→开始→条件格式。

条件1：高于平均值

条件2：数据条

条件3：色阶

第二个技巧：养成修饰图表的思维。这次举例柱形图的修饰例子，其他希望大家动用类似的方法进行模拟实践。

步骤一：根据销售数据建立柱状图，建立方法可参考。选择数据源→插入→柱状图→选择数据源→编辑坐标

步骤二：添加辅助线。选择数据源→→添加→点击柱体右键，设置数据系列格式→次坐标轴→选中柱体，右键更改图表类型→折线图。

希望回答对你能有所帮助，如果觉得不错就来点个赞或关注吧，感谢各位了！