数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息！

在我过去的博客文章中，我们已经介绍了数据分析的一些基本原理和陷阱。在这篇博文中，我们专注于数据科学中会遇到的四种数据分析：描述性分析，诊断性分析，预测性分析和规范性分析。

当我与刚刚进入数据科学世界的年轻分析师相遇时，我经常会问他们 “你认为数据科学家最重要的技能是什么？”。他们的答案是非常多样。

我对他们的回馈是：数据科学家最重要的技能应该是将数据转化为非定量的、清晰的、有意义的见解的能力。瑞典统计学家汉斯·罗斯林（Hans Rosling）为此而闻名。这是一个经常被忽视的技能。

围绕今天主题，非常有必要为大家详细介绍一些帮助个人如何使用分析相关的知识提炼出有价值的见解的工具。其中的一款工具就是四维范式分析。

简单地，可以将数据分析分类成四个主要类型。下面我将会详细介绍里面的细节。

一、描述性分析：发生了什么？

这是所有形式中最常见的。在业务中，它为分析人员提供了业务中关键指标和措施的视图。

例如公司每月的收支表。类似地，分析师可以获得大量客户的数据。了解客户的人口统计信息（例如我们的客户的30％是个体经营者）将被归类为“描述性分析”，利用有效的可视化工具可以增强描述性分析的信息。

二、诊断性分析：为什么发生？

这是数据分析的复杂性的下一步是诊断性分析。在对描述性数据进行评估时，诊断分析工具将使分析师能够深入到细分的数据，从而隔离出问题的根本原因。

精心设计的商业信息（BI）仪表板包含读取时间序列数据（即多个连续时间点的数据），并具有过滤器和钻取能力，可进行此类分析。

三、预测性分析：将发生什么？

预测分析是关于预测的。无论是将来发生事件的可能性，预测可量化的数量还是估计可能发生事件的时间点。这些都是通过预测模型完成的。

预测模型通常利用各种可变数据进行预测。组件数据的变异性将与可能预测的关系（例如，一个较老的人，他们对心脏病发作的敏感程度越高 - 我们会说年龄与心脏病发作风险呈线性相关），然后将这些数据一起编译成分数或预测。

在一个很大的不确定性的世界中，能够预测能够做出更好的决定。预测模型是许多领域中最重要的一些模型。

这是预测中需要避开的坑：http://insights.principa.co.za/the-top-predictive-analytics-pitfalls-to-avoid

四、规范性分析：需要做什么？

在价值和复杂性方面的下一步是规范性模式。规范模型利用对发生的事情的理解，为什么发生了这种情况以及各种“可能发生的”分析，以帮助用户确定采取的最佳行动方案。规定性分析通常不仅仅是一个单独的行动，而且实际上是其他一些行动。

一个很好的例子是一个交通应用程序，帮助您选择最佳路线回家，并考虑每个路线的距离，每个路上可以行驶的速度，以及当前的交通限制。

另一个例子可能是制作考试时间表，使得各个班级的学生没有冲突的时间表。

总结

虽然不同形式的分析可能为企业提供不同数量的价值，但它们都具有自己的位置。

【教你写好一份数据分析报告】1、好的框架；2、每个分析都有结论且要明确；3、分析结论要精且要基于紧密严禁的数据分析推导过程；4、可读性；5、图表化；6、逻辑性；7、基于可靠的数据源；8、一定要有解决方案和建议方案；9、不要害怕或回避“不良结论”；10、要感谢。

版权声明：如涉及版权问题，请作者持权属证明与本网联系

来源：电商报

每个人都会有机会进行数据展示，为什么别人展示永远获得正视，而我的展示永远只有自己愿意去看，别人在看手机？那怎样做数据图表分析呢请看以下步骤：

如何对表格进行修饰，本次小编带来两个技巧，一是使用“套用表格格式”，和使用“条件格式”。二是带领大家学会养成修饰表格的思维。

第一步是对表格进行粗略的修饰调整，思维：行高、列宽、对齐方式、表格线等；

使用“套用表格格式”、“条件格式”之后看数据不再枯燥无味，而且还更有看头。“条件格式”可以将筛选条件转换为颜色可视化，从而达到一目了然的效果。

第一个技巧，①“套用表格格式”。方法：任一单元格→开始→套用表格格式。

②“条件格式”，方法：选中单元格区域→开始→条件格式。

条件1：高于平均值

条件2：数据条

条件3：色阶

第二个技巧：养成修饰图表的思维。这次举例柱形图的修饰例子，其他希望大家动用类似的方法进行模拟实践。

步骤一：根据销售数据建立柱状图，建立方法可参考。选择数据源→插入→柱状图→选择数据源→编辑坐标

步骤二：添加辅助线。选择数据源→→添加→点击柱体右键，设置数据系列格式→次坐标轴→选中柱体，右键更改图表类型→折线图。

希望回答对你能有所帮助，如果觉得不错就来点个赞或关注吧，感谢各位了！

今天端午节，小2哥祝所有商家和网友节日快乐，端午安康，对于做淘宝的人来说，是没有节日这个概念的，我今天也继续奋斗在工作岗位，闲暇之际，抽点时间来和大家分享分享自己的一些对数据分析的感悟。

我在很多场合经常听到有人说：数据有毒

其实，有毒的不是数据，而是我们不懂的分析数据，只知道看表面的数据，没有理解出数据背后的东西。

我在书友会和书友们说：很多的时候，如果你没有跟着我学数据分析的时候，你凭借着你的经验和第一直觉做可能你还会做的更好一点，但是如果你跟了我学数据分析之后，可能你反而会做的越来越差？

因为有很多人他第一直觉和经验其实比较好的，不听数据分析他做的决策反而可能正确一些，但是自从他听了我的数据分析之后，他开始不相信自己的直觉和经验，他只相信数据了，特别是看到那些直观的图表的时候，他更愿意去相信数据，可是遗憾的是他只看到了数据表面的东西，并没有把隐藏在数据背后的东西挖出来了，所以他反而让数据表现的东西给误导了，做出了错误的决策。

我们来看看那些经常因为数据误导我们的案例，这里先举一个例子，很多人经常会去分析关键词的人群画像，下面这个数据来自的是"长袖T恤女"这个关键词的数据

从这个数据我们可以看到的是18-25岁的人占比最高。所以很多人说，这个关键词背后搜索和喜欢的人群是18-25岁

其实，如果你说关键词背后搜索人数最多的是18-25岁，那么这句话肯定是对的，这数据也肯定能说明的，但是你没办法说明长袖T恤最受欢迎的人群是18-25岁

我们再来看一个图，这个图是2015年6月和2016年6月网民的年龄结构分布图，当然，很遗憾的是我没找到今年淘宝网民年龄的结构分布数据。但是从上面这个图里面我们可以看出40-49岁的网民只占了总网民的百分之13%左右，而这个数据还是网民数据，不是淘宝用户的数据，淘宝用户的数据只会比这个数据低很多，因为现在很多40-49岁的人都会玩微信，他们算网民，但是这里面有很多的人从来是不淘宝购物的，他们就算不上淘宝用户，特别是广大农村地区，这个年龄阶段的人用微信的特别多，但是用淘宝的非常小，

这个时候我们再回过头来看第一个数据，搜索长袖T恤女这个关键词占比最多的人群是18-25岁，但是这个只能说明搜索这个关键词人数最多的是18-25岁人群，并不能说明长袖T恤在18-25岁的人群里面更受欢迎。因为本身这个18-25岁人群在淘宝用户中基数就是最大的，同样的我们再看，40-49岁的这个人群，他虽然只占比16%，比起其他的年龄阶段来说人群占比算比较低的，但是他在淘宝用户这个人群中占比也是非常小的。如果这个数据换一种表达方法，就是每个占比只以各自的年龄阶段为基础，那么估计40-49岁的数据就要比18-25岁的数据大很多了。

我们继续来看另外的一个案例，很多人都喜欢做市场容量的分析图，去分析市场的容量，他会把过去一段时间的支付金额做成饼图，然后分析根据这个图的占比来分析他的市场容量

例如，我们在图上看到裤子的市场容量占比是10%，而T恤的市场容量占比是8%，如果从表面上来看，裤子的市场容量是比T恤要更大，但是如果你仔细了解一下背后的数据来源你可能就会有不一样的答案，裤子的数据是有打底裤，休闲裤，西装裤，棉裤/羽绒裤等多个子类目组成，而T恤下面并无子类目，他的所有数据都是来自T恤这个子类目，而且，T恤主要是集中在夏季这一个季节，到了冬季的时候，虽然也有长袖T恤，但是那个占比已经比较少了。而裤子不同，长裤，短裤都是裤子类目，除了牛仔裤外，其他的子类目裤子都是在裤子这个类目，因此，如果你完全根据这个数据的大小去选择市场容量的话，你可能就会出现问题

有些人在选择市场切入的时候，喜欢选择这种数据大的市场容量的市场，不会去选择数据小的市场容量的市场，他们认为数据小的说明没有市场。

其实，这里面也是会经常误读的，例如上图，有一个抹胸市场容量占比是0%，可能很多人会觉得这个类目没有什么市场，不值得的去做。

但是你搜索抹胸这个关键词然后按照销量排名，你觉得这个市场容量会小吗？

很多的时候我们就是容易让数据表面给误导，例如抹胸我们做的图之所以市场容量为0%，是因为第一个我们统计的数据是按照支付金额统计的，而抹胸因为客单价非常低所以他的支付金额特别比较低，可能三四件抹胸的都没有一件T恤的价格高，这也就导致了他的支付今天看起来比较低，如果你换成的是成交件数，那么肯定你就会得出另外一种结果，另外，0%不代表是真的0，而是因为四舍五入最后的结果是0%。0.4%的结果也是0%，可能很多人还是会说0.4%还是比较低，其实，低和高要看你的基数有多大，如果你的基数是100000亿，那么这个0.4%的数量也不少了的。

继续再来看一个例子，我们在优化标题的时候都喜欢去看关键词的搜索指数，很多人只要看到搜索指数低的人就认为是没有人在搜索，这种词就不应该用

例如大家看到上面这个图，可能很多人会觉得这个词带不来流量，因为都没有人搜索，而我曾经有一个宝贝前期就是靠这个关键词带来流量的，虽然每天没有太多，就那么几十个，但是，因为这个词特别精准，我的宝贝竟然每天能成交那么一两单，对于前期来说，这个数据已经非常好了。

其实，这个也是很多人对数据没有去了解他背后造成原因导致的结果，他把搜索人气零当成了是没有人搜索，其实根本就不是这个意思，搜索人气是根据统计周期内的用户搜索人数拟合出的指数类指标，也就是说，这个数据让淘宝处理了，0只是代表他趋势很小，相对其他的关键词来说，他的这个搜索人数可以忽略不计。但是并不代表他完全没有搜索，中国好几亿的淘宝用户，每天如果只有几十百来个人在搜索，这个数据相对于整体来说基本可以忽略不计，但是如果没有人和你竞争，那么这几十百来个流量也就是你一个人了，对于很多新店铺来说，前期每天能有几十百来个流量也是好的，最关键的是因此词精准，转化率高，虽然每天只能带来一两单，但是相对那些一天一单都带不来的商家，这个数据也算好的。

举例了这么多，其实都只是想说明一个点，在分析数据的时候，一定要重点分析的是数据背后的东西，他是怎么造成这个数据的，要从多个维度去分析数据。而不是简单的只看看表现的数据，然后根据表面的数据就下决定。

大家好，我是零一。这一篇给大家介绍聚类/分类。

我们先讲一讲聚类。

上一篇的探索关系，很多朋友反映说非常有趣，这一篇，聚类分析也是相当有趣的。

聚类分析简称聚类，俗话说物以类聚，人以群分，聚类就是划分子类的过程。算法上面多用k-means和k-medoids，当然，大家可以跳过这些算法的过程，用程序来完成即可。

说简单一点，通过聚类，可以将我们的数据进行分类，并且描述每个类的特征。

聚类应用非常广泛，包括在电商领域的应用也是多不胜数。比如

（1）对客户数据进行聚类分析得到多个客户群组，并且得到各个群组的特征，这可以帮助我们发现客户的共性和差异性；

（2）竞争对手数据进行聚类分析得到多个对手群组和各自的特征，这一样可以让我们找到对手们的共性和差异性；

（3）对行业数据进行聚类分析得到多个行业群组和各自的特征，这个可以来发现不同行业之间的共性和差异性

（4）对销售数据进行聚类分析（比如以其中的地域聚类），可以告诉我们那些地域之间的共性和差异性

不难发现，我举的4个例子都是在发现共性和差异性。对的！我们了解了这些信息，可以指导我们的运营决策，对不同群组制定不同的策略。

下图是对地域数据做的聚类分析，得到的一个谱系图，我们从上往下看，首先是分成两大类

广东，天津，浙江，北京和上海这五个省市为一类，其余的多省为一类。

再往下看又分成了四大类，西藏作为单独一个分类，广东也作为单独的一个分类，天津和浙江为一类，北京和上海为一类。

从上往下，越分越细。红色的边框把多个省市划分成5个分类。一般没必要分得太细，这个数据目测是分成了20个细分的分类，除非是确实是需要细分到很细的时候，才需要看最低层的分类。

当我们知道天津和浙江聚为一类的时候，他们必然存在共性，才会聚在一起。当我们知道天津-浙江类和北京-上海类，作为两个不同的群组聚集，它们之间肯定是存在某种差异。

=======================================

下面，我们用上篇共享的数据，跟大家一起探讨聚类，和寻找他们的共性和差异性。

先处理下缺失值，选择清除数据里面的离群值

中间要选择需要处理的字段，选择好后，进入以下界面，也一样下一步即可

选择删除包含离群点的行（因为这里数据量不少，可以删了）

一般情况下，我们都避免直接修改源数据，需要新建一个变量或者空间或者工作表来存放处理过后的数据。这里选择复制到新的工作表就可以了。

数据处理好后，就可以进行聚类分析了。在数据挖掘套件里面直接选择聚类分析即可。

选择需要的数据进入模型里面

点击参数，然后就会看到下图这个对话框，可以手动输入数字来更改聚类算法，可以看到微软提供的聚类算法有4种，分别是可变的EM，固定的EM，可变的K-means跟固定K-means（EM是最大期望算法，K-means是K平均值算法，可变的是可以伸缩调整的，固定的就是固定不可调整的）

这里我输入4，选择固定的K-means算法

下图是选择测试集的比例，默认是30%。【测试集】是数据挖掘特有的名词，数据挖掘里头将数据集一分为二，大头的部分用来训练建立模型，称之为【训练集】，小的部分就用来测试模型，称之为【测试集】。这是数据挖掘和统计学最大的差异之一。统计学是通过统计方法来验证模型是否可靠，而数据挖掘技术是利用测试集来验证模型的可靠性。一般用于预测模型，聚类分析其实可以不用测试集，可以把数值改为0。但我就不改了。就用随机抽取出来的70%的数据来建立模型。

完成后，就会进入模型浏览界面，我们看到共有划分了7个，这有点儿多，我们可以在选择输入列的时候指定分类的数量，刚才我们是选了自动检测来着。

线粗代表两个分类之间的关系的强度，越粗关系越强。分类的颜色代表密度，颜色越是深蓝代表这个分类的数据个数越多。那非常明显，系统把大部分的数据归入分类1里头了。

下面是分类的剖面图，每个分类对应的指标范围在这里一览无遗。

简单解读一下上面这个分类情况

【分类1】包含2768个数据，最鲜明的是30天成交量偏大，价格偏低的这一个群组，是中低端爆款类

【分类2】只有246个数据，这个群组比较失败，发货分丶服务分丶好评率都偏低，销量偏低，价格偏高一点，典型就是卖货不卖服务类

【分类3】只有187个，集中在广东深圳，DSR很好，评价很好，价格很高，但退款率也很高，应该是高端市场的卖家，标准的价格高，服务好，但不知为何退款率也高，可能是买家收到了，觉得不划算吧，这一类是高端类，但产品或品牌的价值感可能没有做好。

【分类4】只有65个，也是DSR超好，价格中档，产品的价值完美体现，退款率不错，同样集中在广东深圳，是中档性价比类。

【分类5】只有61个，这个群组很惨，集中在浙江金华（估计是义乌），价格超低，DSR超烂，好评率很惨，是低端烂货类

【分类6】和【分类7】规模很小，就不解读了。以上解读仅供参考。一般分个4-5个群组就差不多了，如果数据量确实大，可以考虑分细一些。

每一个分类都可以单独提取出这个分类下的数据的。

下图是分类的一些特征，每个特征的概率情况

下图是分类间的差异性，通过对比可以发现，分类1多是天猫，非分类1的多是C店。

下面我着重看下分类3和分类4的区别，因为分类3败在退款率上面，而分类四就解决了这个问题。

我大致上看出来了，分类3的服务（DSR,退款速度）没有分类4的做得好，但分类4的价格又要比分类3低，并且包邮。那作为消费者，肯定选个价格中肯，服务又好的店家。而且分类4的销量还不低，有少部分是心店，我对心店的印象就是心店的服务一般要比大店的要好。

以上就是对这儿聚类分析结果的简单解读，具体的，亲们实操一下吧。

=============================================

下面说说分类。

聚类和分类，从语义来讲，看似很像，但有一点重要的差异。分类是指定了我们要分析的列（维度），然后通过决策树算法（默认方法是用贝叶斯分类器），来告诉我们，影响这个目标的维度有哪些。下面我们看下过程。

选择要分析的列，我这里选择的是30天销量，看下会影响销量的是什么因子。

下图是结果，告诉我们，收藏很重要！收藏跟销量有很强的关系。同样第一张图是决策树，一样有分组的作用。

决策树一般用来分析影响客户下单或者流失的因子有哪些。有兴趣的朋友可以自己倒腾一下。试下会有哪些意外的收获。

===========================================

下面，告诉大家测试集的使用方法。

选择准确性图表

选择模型，一般用于预测模型，刚才的决策树是属于预测模型，而聚类就不属于，因此聚类的模型不可用于准确性图表。

选择要预测的区间，我选择的是30天成交大于122的情况

我们之前保留的测试集，就在这里出现了，默认会选择测试集来验证准确性。

在上图点了完成后，就会得到这样的一个结果（部分截图），会有一个指标， “分类 30天成交”模型提升144.11%，这个数值越大代表模型的准确性越高。但我一般看下面的ROC图。

蓝色代表没有模型的结果，红色代表理想的结果。而绿色代表我们测试得到的结果。

绿色的线越接近红色的就代表越好，一般情况下，只要不要太接近蓝色的线（或者低于蓝色的线），就好了。如果接近蓝色的线或者在蓝色线下面，那就不如不用模型了，此时这个模型就没什么存在的意义，如果硬要用那就只是为了做模型玩玩而已了。

做数据分析首先得要有一个完整的思路。《谁说菜鸟不会数据分析》书中举了一个很生动的例子。做数据分析就好比做一件衣服，首先的先有设计图，然后在根据设计图分步骤的去制作成成品。今天我们说的数据分析的完整思路就相当于衣服的设计图，有了完整的思路，才不至于漫无目的的，没有一个清晰的目标去做分析。

那么我们如何才能建立一个完整的数据分析的思路呢呢？《谁说菜鸟不会数据分析》给大家提供了几种数据分析方法论来助力大家形成完整的数据分析思路。主要有PEST分析法，5W2H分析法，逻辑树分析法，4P营销理论（现在用的比较多是4C），用户行为理论。下面呢，我就以5W2h分析方法，给大家详细的说明一下怎么建立完整的数据分析思路。

首先，先介绍一下什么是5W2H。

（1）WHAT——是什么？目的是什么？做什么工作？

（2）WHY——为什么要做？可不可以不做？有没有替代方案？

（3）WHO——谁？由谁来做？

（4）WHEN——何时？什么时间做？什么时机最适宜？

（5）WHERE——何处？在哪里做？

（6）HOW ——怎么做？如何提高效率？如何实施？方法是什么？

（7）HOW MUCH——多少？做到什么程度？数量如何？质量水平如何？费用产出如何？

例如要不要增加一个推广渠道，我们来形成一个完整的分析思路。

WHAT：一个引流的渠道，对这个渠道要有一定认识。

WHY ：目前其他的渠道的流量不能满足，做了渠道之后可能会增加多少流量。

WHO：是直接让其他渠道的人来负责，还是重新招一个操作过这个渠道的人。

WHEN：如果要做这个渠道，有没有时间来做，什么时候开始实施。

WHERE：如果是大公司，要考虑是总公司来做，还是分公司来做。

HOW：怎么做，是否有详细的解决方案，是否先参考同行竞争对手。

HOW MUCH：新增加的这个渠道，需要投入多少成本，人力成本，广告成本等等。

对每个环节进行分析，评估，然后综合每个环节，看看这个渠道是否值得开发。

一、什么是数据分析？

二、数据分析的分类

数据分析的三大作用：现状分析、原因分析、预测分析。

三、数据分析的六部曲

1.明确目的和思路

首先先明确分析目的，然后梳理分析思路，并搭建分析框架，把分析目的分解成若干个不同的分析要点，即如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标（各类分析指标需合理搭配使用）。同时，确保分析框架的体系化和逻辑性。

2.数据收集

一般数据来源于四种方式：数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告、市场调查。

3.数据处理

数据处理主要包括数据清洗、数据转化、数据抽取、数据合并、数据计算等处理方法，将各种原始数据加工成为数据分析所要求的样式。

4.数据分析

常用的数据分析工具，掌握Excel的数据透视表，就能解决大多数的问题。需要的话，可以再有针对性的学习SPSS、R等工具。

数据挖掘是一种高级的数据分析方法，侧重解决四类数据分析问题：分类、聚类、关联和预测，重点在寻找模式与规律。

5.数据展现

一般情况下，数据是通过表格和图形的方式来呈现的。

常用的数据图表包括饼图、柱形图、条形图、折线图、气泡图、散点图、雷达图等。进一步加工整理变成我们需要的图形，如金字塔图、矩阵图、漏斗图、帕雷托图等。

一般能用图说明问题的就不用表格，能用表说明问题的就不用文字。

图表制作的五个步骤：

1、确定要表达主题

2、确定哪种图表最适合

3、选择数据制作图表

4、检查是否真实反映数据

5、检查是否表达观点

常用图表类型和作用：

6.报告撰写

一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。

结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。

好的数据分析报告需要有明确的结论、建议或解决方案。

四、数据分析的四大误区

1.分析目的不明确，为了分析而分析，这是菜鸟常常容易出现的问题；

2.缺乏行业、公司业务认知，分析结果偏离实际。数据必须和业务结合才有意义。摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解，再根据业务当前的需要，制定发展计划，归类出需要整理的数据。同时，熟悉业务才能看到数据背后隐藏的信息；

3.为了方法而方法，为了工具而工具，只要能解决问题的方法和工具就是好的方法和工具；

4.数据本身是客观的，但被解读出来的数据是主观的。同样的数据由不同的人分析很可能得出完全相反的结论，所以一定不能提前带着观点去分析。

内容来源：小蚊子数据分析

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

国产〇〇柒

前几天朋友给了一组行业同行表现数据，让帮忙分析一下自己的店铺问题所在和表现如何。今天我通过这个小示例来跟大家简单分享一下一些基础的分析方法。

（开始之前先跟小伙伴们说明一下，本案例是一个简单的基于一组数据而进行的分析，并通过这个给大家一个相对比较概括的方法介绍，实际分析操作中会遇到更复杂的情况，而且实际分析中的挖掘深度要比本案例要深）

下边是朋友提供的一组数据：

图片：基础数据表01.png

为了保护隐私避免侵权，公司名称这里就以字母替代

通过上图我们可以看到这是几组非常简单的数据，这些数据我们都可以在自己的店铺采集到，但是我们也可以看到这组数据有一个问题，多数数据缺乏一个时间参数，从表格中我们只能看到最后两项有一个准确的时间界定，其他项数据均没有这个界定。不过这里我们采用对比模糊分析的方法，不用考虑数据是否精确，只需要进行对比即可，所以缺乏时间参数问题也不太大。接下来我们通过以下几个步骤进行分析。

一，做筛选

首先我们要对这些数据进行筛选，只留可对比的数据组，剔除无用的数据。方法很简单，这里我们通过公司名称进行检测，进行主营产品类目检查（这里我是以朋友公司产品类目对基础的），通过分析发现C、G、M三个公司的产品与其他不符，这里我们就直接剔除这三家的数据不做参考。

整理后的数据如图：

图片：整理后的数据02.png

（再更复杂的分析中，剔除噪音数据并非这么简单，这里是用这个简单的方式说明一下这个操作步骤，大家在操作中要根据自己实际情况进行数据甄别，甄别的过程是非常复杂和繁琐的，如果这一步出错，做出的分析结果的准确性就很难得到保障）

二，做归类

无用的数据剔除之后，接下来我们就是要对现有的数据进行归类处理。

通过图表数据的阅读，我们可以把里面的数据简单的归为三类：交易数据、回复率、行为数据。交易数据这里主要就是包含前三项，一达通和信保；回复率就是询盘回复率的表现数据；行为数据这里主要是指人的行为，访客和季度、月询盘数。归类后如图：

图片：归类后的数据03.png

这三类数据是有区别的，交易数据和回复率我们可以统一称之为“操作数据”或“加权数据”，因为这些数据的控制权基本掌握在我们手里，我们在这部分数据的积累上有较大的主动权。行为数据可以称之为“结果数据”，这部分数据的直接控制权来自于客户行为，我们无法直接去干预，我们只能通过提升“操作数据”的方法去影响这个“结果数据”。我们之前的操作都是为了这个“结果数据”有较好的表现。

数据归类之后，我们开始分析

三，做分析

由于上面拿到的三类数据有两类属于“操作数据”，这两类对“结果数据”只能产生部分影响，这里我们就不关注这两项数据了（在全局分析中，这些局部数据都可以作为一个参数加入到分析的行列）。这里我们只关注结果数据。这里的结果数据中虽然有三组数据，由于其中一项数据缺少时间参数，所以我们可以把三项数据当作两项去分析，季度和月询盘量可以当作一个有效参数，这个时候我们就把数据优化成两类：访客和询盘。当看到这两个数据的时候我们很简单的就会联想到由他们而衍生出来的一个数据：“转化率”，这个数据能够比较真实的反馈平台效果。接下来我们计算出每一组的“转化率”数据如图（按照月度参数计算）：

图片：转化率04.png

从上图可以看出“转化率”排名如下：

H > K > P > A = F > B > D = E > I = O > J > L >N

当然，转化率高并不代表代表一个店铺的表现就是第一名，这个数据只能判断该店铺引流的精准程度（当然如果需要更深入的分析精准度是需要深入到询盘质量和成交转化中去的，这里不做过多介绍）。我们可以观察一下N店铺的转化率，0.43%的数据与其他店铺相比较差距较大，该店铺的访客流量占据第一位，但是反馈数据在该表中与其他几家并列最后一名，该店铺就需要认真的分析访客来源和未转化的原因（这里就牵扯到了其他数据的数据分析，这里不多介绍）。

当然，从数据组中我们一共可以看到这些数据条件，也可以计算出一个数据进行比较。但是这并不太说明什么太多的问题。接下来我们用加入条件的方法来进一步深入分析。这里我加入的数据是店铺的产品”上架产品数量“这个参数。加入数据到图标（实际操作中我们可以加入更多的可参考数据进行数据分析），如图：

图片：加入产品数量条件05.png

从表格中可以看出产品数量过万的有A B J N ，产品数量5000以上的有D I K L O P，产品数量低于5000的有E F H。从阿里规则上来说，店铺产品数量过多，店铺过于臃肿并不太好，但是这并不代表不用去发布产品了，其实我们真正要做到的是产品数量适中，做到全覆盖即可。从以上店铺的产品数量数据表现可以看出来，该行业的产品数量需要大于5000以上，如果低于5000，应该做不到全覆盖，可能会浪费很多流量（这里是从数据表大致得出结论，如要深入分析具体多少产品数量合适，还需要从其他方面进行综合分析）。我们也可以看到低于5000的几个店铺的访客量分别为：4000，7000，9000（里面有P4P引流数据，所以该数据仅作参考，不可作为实际数据参考），这个数据量并不算高，特别是H，访客是最少，产品数量也是最少，但是我们可以发现H的转化率是最高的，我们这里假设，H拥有A的产品数量（覆盖面），保持转化率不变，其他条件随覆盖面递增，这个时候我们可以看到H的数据应该是这样的，如图：

图片：修改数据后转化询盘06.png

当然这是一个理想的假设状态，覆盖，访客，转化这些数据都是的动态的，越是大的数据体量对转化率的控制难度越大，但是不可否认的是，如果产品覆盖能够达到一定程度的话，对访客和询盘转化肯定是有益处的，示例中虽然达不到492条的完美状态，但是询盘数量增加2倍应该还是有保障的。从这些数据的表现我们也可以看到覆盖的重要性（其实覆盖是一个很复杂的事情，并不是咱们想象的那种把产品和关键词上传上去就完事儿的事情，有时间可以跟大家深入交流关于覆盖的问题）。其实这些数据中还有很多可以对比解读的地方，我们今天先这里，以覆盖落幕。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...