随着数据量的增大，数据统计分析的计算量和复杂性也随之剧增，所以需要借助各种统计分析软件来提高运算效率与分析准确性。

　　Excel也提供一组数据分析工具，包含常用的数据统计分析工具，能够满足基本的数据分析需求。只需为每一个分析工具提供必要的数据和参数，该工具就会使用适宜的统计或工程函数，在输出表格中显示相应的结果，某些工具在生成输出表格时还能同时生成图表。

　　一、常用的函数

　　1、Vlooup()：它可以帮助你在表格中搜索并返回相应的值。让我们来看看下面Policy表和Customer表。在Policy表中，我们需要根据共同字段 “Customer id”将Customer表内City字段的信息匹配到Policy表中。这时，我们可以使用Vlookup()函数来执行这项任务。

　　2、CONCATINATE()：这个函数可以将两个或更多单元格的内容进行联接并存入到一个单元格中。例如：我们希望通过联接Host Name和Request path字段来创建一个新的URL字段。

　　3、LEN()-这个公式可以以数字的形式返回单元格内数据的长度，包括空格和特殊符号。

　　4、LOWER()， UPPER() and PROPER()—这三个函数用以改变单元格内容的小写、大写以及首字母大写(即每个单词的第一个字母)。

　　5、TRIM()：这是一个简单方便的函数，可以被用于清洗具有前缀或后缀的文本内容。通常，当你将数据库中的数据进行转储时，这些正在处理的文本数据将会保留字符串内部作为词与词之间分隔的空格。并且，如果你对这些内容不进行处理，后面的分析中将产生很多麻烦。

　　二、由数据得出结论

　　1. 数据透视表：每当你在处理公司的数据时，你需要从“北区分公司贡献的收入是多少?”或“客户购买产品A订单的平均价格是多少?”以及许多类似的其它问题中寻找答案。

创建数据透视表的方法： 第一步：点击数据列表内的任何区域，选择：插入—数据透视表。EXCEL将会自动选择包含数据的区域，包括标题名称。如果系统自动选择的区域不正确，则可人为的进行修改。建议将数据透视表创建到新的工作表，点击New Worksheet（新工作表），然后点击OK。

第二步：现在，你可以看到数据透视表的选项板了，包含了所有已选的字段。你要做的就是把他们放在选项板的过滤器中，就可以看到在左边生成相应的数据透视表。

从上图可以看到，我们将“Region”放入行，“Productid”放入列中，“Premium”放入值中。现在，数据透视表中展示了“Premium”按照不同区域、不同产品费用的汇总情况。你也可以选择计数、平均值、最小值、最大值以及其他的统计指标。

2.创建图表：在EXCEL里面创建一个图表，你只要选择相应的数据，然后按F11，就会自动生成系统默认的图表。除此之外，你可以手工改变不同的图表类型。如果你倾向于在当前工作表中生成图表，可以按ALT+F1，而不是F11。

当然，在任何一种情况下，只要你创建了图表，就可以通过定义特定数据源来展示期望的信息。

三、数据清洗

1.删除重复值：EXCEL有内置的功能，可以删除表中的重复值。它可以删除所选列中所含的重复值，也就是说，如果选择了两列，就会查找两列数据的相同组合，并删除。

如上图所示，可以看到A001 和 A002有重复的值，但是如果同时选定“ID”和“Name”列，将只会删除重复值（A002，2）。

按照下列步骤操作可以删除重复值：选择所需数据-转到数据面板-删除重复值

2.文本分列：假设你的数据存储在一列中，如下图所示：

如上如所示，我们可以看到A列中单元格内容被“；”所区分。我们需要将其进行分列，建议使用EXCEL的文本分列功能。按照下面的步骤可以实现分列：1.选择A1：A62.点击：数据—分列

上图中，有两个选项，“分隔符号”和“固定宽度”。我选择“分隔符号”是因为有分隔符“；”。如果我们希望按照宽度分列，例如：前四个字符为第一列，第五到第十个字符为第二列，则可以选择按固定宽度分列。3.点击下一步—点击“分号”，然后下一步，然后点击完成。

评语：EXCEL作为使用最广泛的数据统计分析软件，无论你是小白还是资深用户，总会有一些东西值得你去学习。

这年头，不会点数据分析，都不好意思投简历找工作。

可是说起来容易做起来难，数据分析究竟是什么鬼？

不会HPCC也不会Hadoop，只会Excel可以吗？——答案是，可以！

对于非科班出身的人来说，Excel就是最接地气的数据分析工具。Excel中有自带的数据分析工具箱，只不过默认情况下，这个工具箱不在菜单栏中，要自己把它找出来哦。

在Excel工具箱中有多个数据分析，有相关系数、协方差、指数平滑等。看到这些名称先别晕，其实这些工具的使用方法很简单。不信？那么今天就来看看，如何通过相关系数分析，找出影响销量下降的原因。

第1步：在Excel表格中输入数据。例如你怀疑影响销量的原因可能有售价、客流量、促销折扣，但是不知道究竟哪个原因是罪魁祸首。

第2步：现在需要调出数据分析工具箱。如下图所示，单击【文件】菜单中 的【选项】选项。

第3步：在【加载项】菜单中选择【Excel加载项】，然后单击【转到】按钮。

第4步：选择【分析工具库】选项，单击【确定】按钮。此时就成功将分析工具添加到菜单栏中了。

第5步：单击【数据】选项卡下的【数据分析】按钮，这就是前面步骤中添加的数据分析工具库。

第6步：选择【相关系数】分析工具，单击【确定】按钮。

第7步：在【相关系数】对话框中设置数据区域。在【输入区域】中选择表格中的所有数据区域，分组方式为【逐列】，因为表格中，每一列为一组数据。选择【标志位于第一行】，这样分析结果中才会有标题字段。设置一个输出区域，例如选择G2单元格，表示要将输出结果放到G2单元格开头的单元格中。

第8步：此时就可以查看分析结果了。因为我们需要判断影响销量的因为，所以只需要在I列中，看销量与其他因素的相关系数值就可以了。负数表示负相关，正数表示正相关，正数正大和负数越小都表示相关系数很大。

例如在下图中，销量与促销折扣的相关程度是最大的，为-0.763，说明折扣是影响售价的最大因素。此外第二个因素是售价，为-0.3389。

虽然今天的案例比较简单，但是使用相关系数工具的思路却可以用到其他复杂的案例上。大家只要将各因素的数据列出来，使用相关系数分析，找到相关系数最大或最小的那个值就可以了。

快捷键

Excel的快捷键很多，以下主要是能提高效率。

Ctrl+方向键，对单元格光标快速移动，移动到数据边缘（空格位置）。

Ctrl+Shift+方向键，对单元格快读框选，选择到数据边缘（空格位置）。

Ctrl+空格键，选定整列。

Shift+空格键，选定整行。

Ctrl+A，选择整张表。

Alt+Enter，换行。

Ctrl+Enter，以当前单元格为始，往下填充数据和函数。

Ctrl+S，快读保存。

Ctrl+Z，撤回当前操作。

如果是效率达人，可以学习更多快捷键。Mac用户的Ctrl一般需要用command替换。

格式转换

Excel的格式及转换很容易忽略，但格式会如影随形伴随数据分析者的一切场景。

通常我们将Excel格式分为数值、文本、时间。

数值常见整数型 Int和小数/浮点型 Float。两者的界限很模糊。

文本分为中文和英文，存储字节，字符长度不同。

时间格式在Excel中可以和数值直接互换，也能用加减法进行天数换算。

时间格式有不同表达。例如2016年11月11日，2016/11/11，2016-11-11等。当数据源多就会变得混乱。我们可以用自定义格式规范时间。

数组

数组很多人都不会用到，甚至不知道有这个功能。。

数组由多个元素组成。普通函数的计算结果是一个值，数组类函数的计算结果返回多个值。

数组用大括号表示，当函数中使用到数组，应该用Ctrl+Shift+Enter输入，不然会报错。

先看数组的最基础使用。选择A1

1区域，输入={1,2,3,4}。记住是大括号。然后Ctrl+Shift+Enter。我们发现数组里的四个值被分别传到四个单元格中，这是数组的独有用法。

我们再来看一下数组和函数的应用。利用{}，我们能做到1匹配a，2匹配b，3匹配c。也就是一一对应。专业说法是Mapping。

=lookup(查找值，{1,2,3}，{"a","b","c"})

分列

Excel可以将多个单元格的内容合并，但是不擅长拆分。分列功能可以将某一列按照特定规则拆分。常常用来进行数据清洗。

上文我有一列地区的数据，我想要将市和区分成两列。我们可以用mid和find函数查找市截取字符。但最快的做法就是用“市”分列。

合并单元个格

单元格作为报表整理使用，除非是最终输出格式，例如打印。否则不要随意合并单元格。

一旦使用合并单元格，绝大多数函数都不能正常使用，影响批量的数据处理和格式转换。合并单元格也会造成Python和SQL的读取错误。

数据透视表

数据透视表的主要功能是将数据聚合，按照各子段进行sum( )，count( )的运算。

下图我选择想要计算的数据，然后点击创建透视表。

此时会新建一个Sheet，这是数据透视表的优点，将原始数据和汇总计算数据分离。

数据透视表的核心思想是聚合运算，将字段名相同的数据聚合起来，所谓数以类分。

列和行的设置，则是按不同轴向展现数据。简单说，你想要什么结构的报表，就用什么样的拖拽方式。

删除重复项

一种数据清洗和检验的快速方式。想要验证某一列有多少个唯一值，或者数据清洗，都可以使用。

条件格式

条件格式可以当作数据可视化的应用。如果我们要使用函数在大量数据中找出前三的值，可能会用到rank( )函数，排序，然后过滤出1，2，3。

用条件格式则是另外一种快速方法，直接用颜色标出，非常直观。

冻结首行首列

Excel的首行一般是各字段名Header，俗称表头，当行数和列数过多的时候，观察数据比较麻烦。我们可以通过固定住首行，方便浏览和操作。

Header是一个较为重要的概念。在Python和R中，read_csv函数，会有一个专门的参数header=true，来判断是否读取表头作为columns的名字。

自定义下拉菜单（数据有效性）

数据有效性是一种约束，针对单元格限制其输入，也就是让其只能固定几个值。下拉菜单是一种高阶应用，通过允许下拉箭头即可。

自定义名称

自定义名称是一个很好用的技巧，我们可以为一个区域，变量、或者数组定义一个名称。后续要经常使用的话，直接引用即可，无需再次定位。这是复用的概念。

我们将A1:A3区域命名为NUM

直接使用=sum(NUM) ，等价于sum(A1:A3)。

查找公式错误

公式报错也不知道错在哪里的时候可以使用，尤其是各类IF嵌套或者多表关联，逻辑复杂时。查找公式错误是逐步运算的，方便定位。

分组和分级显示

分组和分级显示，常用在报表中，在报表行数多到一定程度时，通过分组达到快速切换和隐藏的目的。越是专业度的报表（咨询、财务等），越可以学习这块。在数据菜单下。

分析工具库

分析工具库是高阶分析的利器，包含很多统计计算，检验功能等工具。Excel是默认不安装的，要安装需要加载项，在工具菜单下（不同版本安装方式会有一点小差异）。

分析工具库是统计包，规划求解是计算最优解，类似决策树。

内容来源：网络整理

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

互联网人员，每日或者每周都是需要做一些数据分析，方便后续工作来做出相应的调整，那么，如果数据很多或者繁琐怎么办呢？下面举个例子，主要是针对功能方面的使用，例如各种产品1~9月份的出口数据。由于数据太多，很难看出每个产品一年来的数量变化情况。

我们可以借助2个excel的功能，让表格马上变得直观起来。（一点就通，希望对各位有所帮助！）

功能一、条件格式的色阶

根据颜色深浅，可以很清晰的看出某种产品在一年中的出口变化情况。

制作演示：

功能二、迷你图

同样，通过在单元格中添加微型折线图，同样可以看出每一种产品在一年中的出口变化情况。

制作演示：

评语：这个两个方法针对的更多是一个趋势，比如一年的销量情况，竞价消费情况，推广情况等等，当然还有其他方面功能来做数据分析，那么更多的方法可以评论区，大家一起交流学习。

Excel的数据透视表功能很强大，但从办公的角度来说，可能还是繁琐了一点。以下图为例，现在我们希望得到每个产品的数量及占比：

如果使用Excel的数据透视表，需要先“创建数据透视表”：

然后设置要统计的字段列和数值列：

由于需要在绝对值列的基础上，再多个“占比”，因此，还要在“数量”列上点右键选择“添加到值”，这样增加了一个“求和项”：

如要将“求和项：数量2”显示为百分比，可在“数量2”上单击，选择“值字段设置--值显示方式”中的“列汇总的百分比”，如下图：

这样的透视表终于生成：

现在我们如果改用国产软件foxtable，那就简单了。点击菜单“数据统计-分组统计”，如下图：

点击“统计”后直接得到结果：

同时统计多列？很简单，加上相应的分组列和统计列即可：

生成结果如下图：

如果按日期统计，还可以自动生成同比和环比数据：

生成结果如下图（由于原始表的数据都是1999年的，因而无法生成同比数据）：

以上还仅仅只是简单演示了分组统计方面的部分功能，更强大的“交叉统计”留到后面再说。

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

每周2-3场免费数据领域公开课，每月线下活动，欢迎关注！

我一直是网易云课堂的重度用户，从大二开始就一直在上面学习各种技能类课程，作为互联网在线教育的知名品牌，云课堂在某种程度上弥补了我们从校园到职场过渡过程中，很多技能类知识不足的缺口。

今天这一篇是接着上一篇云课堂Excel课程板块爬虫数据进行多角度的可视化分析，上次的爬虫一共爬取了425条课程信息，一共提取了9个字段。

以上是本次爬取的字段描述，按照这些字段属性，结合我个人的需求以及云课堂的课程评价体系，我将本次分析的目标及思路梳理如下：

课程来源分析

课程来源

作者贡献数

课程内容分析

高频技能需求

课程价格分析

折扣率分析

均价

课程知名度分析

用户数分析

课程口碑分析

评分分析

根据以上几个模块，我们开始今天的可视化分析之旅！

首先分析课程数量分析，我感兴趣的是在这425门Excel在线课程中，哪些作者发布课程频率最高，排在最前列的分别是那些机构或者个人，在所有作者中，多少是机构名义讲课，多少是以个人名义讲课。

课程来源分析

以下是云课堂Excel课程模块的高频课程作者统计：

排在前五位的老师是刘万祥老师、杨文星老师、Excel报表顾问、肖邦主、远目教育。前十名老师中，也能看到一些耳熟能详的名字：在PowerBI领域颇有建树的刘凯老师、秦川老师和小蚊子数据分析以及PowerPivot工坊的赵文超老师。

其中刘万祥老师在一共发布了17门课，夺得Excel板块最勤奋讲师桂冠，刘老师的多产与勤奋实在让人佩服。

前十位位作者中，有7位老师的课程发布量都在10门以上，从课程发布频数的累计分布图中可以看到，累计频数分布图走势先陡峭后平缓，这反映了什么呢，说明课程资源的集中程度很高，想想前十位作者大部分都发布了10门以上的课程。

我按照五门课程的分割点对课程作者进行了切分，结果发现，有29名老师曾发布过5门以上的课程，占比21.64%，发布课程不足5门的老师一共105人，占比78.36%。

其中发布过5门以上课程的老师发布课程总计为242门，占总课程比率57.21%，发布课程不足五门的老师累计发布了181门课程，占比42.79%。这进一步验证了上面的结论，即Excel板块的课程来源集中度很高，将近20%的高频作者贡献了将近60%的课程资源。

按照课程发布作者和机构分类，以个人名义发布课程的作者一共271人，占比63.8%，而以机构名义发布课程的作者仅占36%左右。

这个说明什么呢，说明在当今网络无处不在的时代，个体的崛起以及个人品牌的塑造，已经渗透到互联网在线教育行业。真正掌握资源和技能的个体，完全可以依靠互联网完成技能输出和品牌塑造。

课程内容分析

关于课程内容方面，我的原始数据中仅有课程名称和课程描述涉及到课程内容，暂时想不到很好地内容分析方法，课程描述的文本非常杂乱，使用文本分词暂时个人还处理不好（哪位文本分析的大神感兴趣可以来挑战下），这里仅就课程名称词频做一下简要分析：

library("wordcloud2")

library("ggplot2")

mydata<-read.csv("E:/微信公众号/公众号——数据小魔方/2017年9月/20170918/Excel技能需求频率统计.csv",stringsAsFactors = FALSE,check.names = FALSE)

library(wordcloud2)

wordcloud2(mydata, size = 1, fontFamily = "微软雅黑",minRotation = -pi/6, maxRotation = -pi/6,rotateRatio = 1)

ggplot(mydata[1:10,],aes(reorder(x,Freq),Freq))+

geom_bar(stat="identity",fill="#B1DB85")+

geom_text(aes(label=Freq))+

coord_flip()+

ggtitle("Excel课程高频需求技能频率分布")+

theme_void(base_size=25)%+replace%

theme(axis.text=element_text(size=15))

从分词结果上来看，函数、VBA、图表、数据透视表、数据处理需求占了巨大部分词频，函数高居榜首，高达32次，VBA、图表、数据透视表、数据处理则各有千秋，相差不大。

而PowerBI、PowerPivot、PowerQuery、动态图表、信息图表等需求也很强劲。由此可见，商务智能工具PowerBI的问世，给商务场景下业务需求带来了巨大便利的同时，也激发了新的技能学习需求。

即将进入职场的小白领们一定要注意了，传统的函数、透视表、图表技能固然重要，及时关注商务智能工具也将是今后让你独具优势、弯道超车的潜在路径。

课程价格分析

在所有课程中，有354门付费课程，占课程总数的83.29%，其中付费课程中有折扣优惠的课程有185门，占所有付费课程的比重为43.53%，平均折扣率为55%。

免费课程的平均学习人数为27000人，付费课程的平均学习人数为270，天哪这个数字太巧合了，刚好相差100倍。

还是提醒广大Excel在线学习者，不要只顾着课程价格就盲目的去选择课程，不要抱着一种占便宜的心态，无论免费还是付费，你的时间都是无价的，学了对你没有任何用处的免费课程，浪费的是你自己的宝贵时间。倘若你想入门，可以谨慎选择那些与自己技能需求匹配的课程，倘若想要进阶或者在某一个领域深入学习，付费课程是难免的，为知识付费是一种很值得骄傲的事情。

我详细统计了付费课程价格TOP20的折扣率变化、课程类型以及最具价值课程作者信息。

结果呈现如上，在12门最具价值的课程中，刘万祥老师一个人包揽了7个，其中最为知名的课程要属《向经济学人学图表》《向华尔街日报学图表》系列课程，这些系列我个人都买过，确实不错，刘老师在商务图表领域的积淀有目共睹，其核心实力也得到了市场的检验以及大家的认可。

课程知名度分析

对于课程知名度的分析，主要基于学习者数量这个指标，我简略统计了以下所有免费课程和付费课程的学员数量排名。

在最受学员欢迎的付费课程TOP20中，秋叶老师的和秋叶一起学习Excel独占鳌头，学员人数高达14419，当然考虑到秋叶老师是团队化运作，而这里没有区分个人和机构，所以仅从学员人数规模评价受欢迎程度可能有失偏颇，仅供参考。

这里还有一个很有趣的现象是在最受欢迎的TOP20课程中，同样有作者一人包揽多门课程的情况，刘万祥老师和PowerPivot工坊的赵文超老师分别占据了4门课程，令人包揽最受欢迎的TOP20中的40%，秋叶老师团队和李则见老师分别占据两门课程。在所有TOP20课程中，学员人数均在1000以上，可以说真正有颜有料有干货的课程，还是能够吸引大家的兴趣的。

课程口碑分析

从课程口碑分析中，网易云课堂课程评价实行的5分制，区分度并不是很高。

不过从得到大于4.9分的近22个课程分布来看，刘万祥老师仍然牢牢把握着Excel高品质高口碑课程的头把交椅，一共占了7席4.9分高质量课程，累计评分树状图分布显示，刘万祥老师总分58.1，排名前五的分别是刘万祥、肖邦主、上海职领网络科技、刘凯老师、第五位（未知），第六位PowerPivot工坊的赵文超老师也表现出色。

以上便是本次云课堂爬虫数据分析的全部，由于对在线教育行业了解并不是十分深入，特别是指标构建，分析角度、可视化逻辑上有诸多不成熟之处，还望各位数据分析行业前辈高人多多指点。

最后感谢网易公司对中国在线教育行业的贡献，相信凭着丁磊先生的个人远见和网易公司的社会责任感，网易云课堂可以为中国在线教育行业提供更多优质学习资源。

Excel课程选择与学习建议：

（个人建议，仅供参考，并不代表云课堂官方排名）

商务图表类：

刘万祥ExcelPro

透视表与函数：

肖邦主

商务智能工具类：

刘凯

赵文超

以上分析和建议仅供各位想要在职场充电的Excel学习者参考，因为数据爬取无法保证客观，因而结论无法保证客观公允，请大家谨慎参考。

本文作者：天善智能社区 杜雨数据小魔方

小编：tianshansoft06，邀请加入数据分析交流群。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

每个人都会有机会进行数据展示，为什么别人展示永远获得正视，而我的展示永远只有自己愿意去看，别人在看手机？那怎样做数据图表分析呢请看以下步骤：

如何对表格进行修饰，本次小编带来两个技巧，一是使用“套用表格格式”，和使用“条件格式”。二是带领大家学会养成修饰表格的思维。

第一步是对表格进行粗略的修饰调整，思维：行高、列宽、对齐方式、表格线等；

使用“套用表格格式”、“条件格式”之后看数据不再枯燥无味，而且还更有看头。“条件格式”可以将筛选条件转换为颜色可视化，从而达到一目了然的效果。

第一个技巧，①“套用表格格式”。方法：任一单元格→开始→套用表格格式。

②“条件格式”，方法：选中单元格区域→开始→条件格式。

条件1：高于平均值

条件2：数据条

条件3：色阶

第二个技巧：养成修饰图表的思维。这次举例柱形图的修饰例子，其他希望大家动用类似的方法进行模拟实践。

步骤一：根据销售数据建立柱状图，建立方法可参考。选择数据源→插入→柱状图→选择数据源→编辑坐标

步骤二：添加辅助线。选择数据源→→添加→点击柱体右键，设置数据系列格式→次坐标轴→选中柱体，右键更改图表类型→折线图。

希望回答对你能有所帮助，如果觉得不错就来点个赞或关注吧，感谢各位了！

下面为各种产品1~9月份的出口数据。由于数据太多，很难看出每个产品一年来的数量变化情况。

我们可以借助2个excel工具，表格马上变得直观起来。（2010以前版本无法使用）

1、条件格式的色阶

根据颜色深浅，可以很清晰的看出某种产品在一年中的出口变化情况。

制作演示：

2、迷你图

同样，通过在单元格中添加微型折线图，同样可以看出每一种产品在一年中的出口变化情况。

【摘要】：结合实际数据分析工作，简要介绍了VLOOKUP函数的基础应用，重点介绍亲测高效有难度的VLOOKUP函数高级应用。最后分享我运用Excel的一点技巧。

毕业后，第一份工作是在一家互联网公司做数据分析。

尽管和所学专业没那么匹配，但我还是挺满意。因为向来对数字很敏感，对常用统计软件也都有所了解。

正式入职，发现面试时说的什么SPSS，Eviews统统都不用，基本就是用Excel。对于研究生毕业，第一份工作，我多少有些落差。既来之则安之，我心想用什么工具最方便，工作中应该可以自己选择。对于word和ppt还算熟练，Excel也就一般。多学点总不会差。

开始工作，我发现Excel的功能简直太强大，我之前了解的仅是皮毛。尤其在更新到2013版后，操作更智能和快捷，数据量大时计算较费时。对于日常工作影响倒不大，借助Excel我的数据分析工作也很快上手。

除了宏不太会，工作之余也会多琢磨一些公式和操作。以至于同办公室的同事，甚至外部门的同事都来找我帮忙解决Excel的问题。时间久了，领导特意让我在部门内部定期做教学分享。

我确实喜欢和数据打交道的感觉，从冗杂的繁琐数据中分析出最终的结果相当有成就感。在简书上也看到了许多实用的Excel操作指南或技巧。

今天分享一个职场中最常用，功能强大，却少有人掌握的VLOOKUP函数。很多文章都提到过这个函数的基础应用，此外还有一个高级应用，是我在工作中遇到，亲测高效快捷的有力工具。

VLOOKUP函数---最最最常用的查找函数

四个必备参数=（要查找的值，要查找的区域，返回数据在查找区域的第几列数，逻辑值）

注： FALSE或0，则返回精确匹配，如果找不到，则返回错误值 #N/A（首选）

TRUE或1，则返回近似匹配值，如果找不到，则返回小于第一个参数的最大值。

VLOOKUP函数的基础应用：一对一的匹配

理解上述文字很晦涩，用实例来说明。

例1： 下图中左表为源数据：各类产品在三个城市的日销售数据。

需求：查询产品B和F在上海的销售额。

因为提供的数据量很少，人工查找就能完成。但实际工作中数据量很庞大，人工查找费时费力且准确率低。这时用VLOOKUP一秒搞定。

做法：在G2单元格内，输入公式，见红框内。回车后，出现结果；将公式复制或下拉至G3，同理可得结果。

参数解释：

（1）“F2”为我们要查找的参照值，即在源数据第一列查找“产品B”。当公式下拉复制时，自动切换为查找F3。

（2）“A：C”指我们要在此范围内查找数据。该参数也可写为“$A$2：$C$9”，即绝对引用。这样可保证无论公式如何拖拽复制，数据源始终固定引用该区域。

（3）参数“3”指在选择的数据源“A列-C列”范围内，要查询的销量在引用的第三列，即C列。

（4）FALSE，即精确查找。

这样，通过应用该函数，实现了产品型号和销量一对一的匹配查找。

应用该公式的硬性条件：

（1）必须保证需要查找的参照值与源数据格式一致。

即例1中：F列与A列完全一致，不仅内容相同，尤其保证单元格格式一致，否则只会返回错误值 #N/A。如不一致，查找前需转换成一致的格式。有时较难分辨。

（2）必须保证源数据表中的第一列没有重复项。

即A列中没有出现重复的产品类型。假如源数据中出现了多行“产品B”，那么在查找时只能返回第一次“产品B”出现时对应的销量。

当（2）无法满足时，查找不再是一对一，而是一对多的匹配。需要对VLOOKUP函数进行扩展才得以实现查找功能。

VLOOKUP函数的高级应用：一对多的匹配

例2：下图左表为客服中心的每日工作记录，日积月累，这个表数据量庞大且信息冗杂。

需求：王丹和张鹏岗位变动，需将他们接待过的全部客户汇总转交其他同事维护。

数据量小手动筛选即可，使用透视表也可完成。这里我借助简单的例子，介绍如何使用VLOOKUP完成。当数据量庞大，这是较便利的方法。

做法：

第一步：将A列排序，在A与B列间新插入两列。

第二步：计数。在B2输入公式=COUNTIF(A$2:A2,A2)，回车，下拉即可。

目的是对A列中同一个名字的出现次数进行计算。如图李珊出现了四次。

第三步：构建辅助列。在C2输入公式=A2&B2，回车，下拉即可。目的在于将A列B列的内容合并。这时C列即为辅助列。保证了源数据的唯一性，此时已满足VLOOKUP基础应用的第二个硬性条件。

第四步：进行匹配查找。在H2输入公式=VLOOKUP($G2&H$1,$C$2:$D$18,2,FALSE)， 复制公式至其他单元格即可得到结果。

与基础应用相比，仅参数1有变化，涉及相对引用和绝对引用问题。

参数1：将“客服姓名&序号“合并作为第一个参数。公式向右向下复制后，“客服姓名”行变列不变，所以锁定列。“序号”列变行不变，所以锁定行。即为：“$G2&H$1”。锁定即绝对引用。（此处较难理解，操作中通过尝试能够理解透）

参数2：绝对引用C2至D18区域。即为：“$C$2:$D$18”，新数据源。

参数3：返回所选区域C2至D18中的第2列数据。即为：客户姓名

参数4：FALSE，即精确查找。

第五步：将H2中的公式向下向右复制至K3，即得全部结果。可对比源数据表验证是否正确。

在序号为4的单元格内出现了#N/A值。表明没有找到“王丹4”和“张鹏4”对应的内容，说明这两人接待的客户仅有3人。

这样，通过其他功能辅助，实现了客服与客户一对多的匹配查找。

总结：VLOOKUP的高级应用是在基础应用的基础上，借助了COUNTIF和&函数，构建辅助列，使得源数据表中第一列无重复。四个必备参数中仅参数1涉及绝对引用和相对引用，略有难度。

应用Excel的技巧

1.填充了公式的单元格，在得到结果后，最好将计算结果转换为“值”。

两个好处：一是避免源数据的任何变动再次影响公式的计算结果；二是Excel本身计算较费时。如公式一直存在，每次打开该文件，或是刷新时都会重新计算，严重影响Excel运算速度。

2.Excel的数据承载量相对较小。2013版每个sheet能够填充接近105万行。

如果涉及较多sheet,数据量可想而知。因此在上一条的基础上，必须及时保存，否则数据量大时Excel难免会出现重启。毕竟多数人用的都是免费版，为了避免做无用功，及时保存很重要。这可是次次抓狂的经验教训。

3.Excel的功能很丰富，没有哪一本书或是哪一个老师能够完全教会所有功能。

更实际的是，从点到面去学习。比如说我介绍了VLOOKUP函数的应用，其中涉及到了绝对引用的概念，以及countif函数的应用，这时就引导你去学习新知识。

任何功能的组合都能起到耳目一新的作用。

4.Excel做不到死记硬背，多练习才利于掌握。

比如说，在工作中我给同事教过无数次VLOOKUP函数的应用，当时似懂非懂，勉强会用。想不到的是他们下一次遇到早已忘得一干二净。在我看来是很简单的一个公式而已，仅需掌握四个参数。关键是他们不常用，而我几乎天天用。

任何技能都是如此。孰能生巧，才能更快掌握更多功能。哪怕是多记几个快捷键，都会为你使用Excel加分不少。

多学一点技能，就能少求助别人，且让别人来求助于你。普通离优秀，永远差一项技能。

写出来为分享，也为记录。

PS：如果没有看懂，或是觉得现在用不到我介绍的公式。没关系，请收藏，因为工作后，无论做什么工作一定一定一定会用到VLOOKUP。

请尊重原创的辛苦。欢迎分享，欢迎交流。