统计数据分析技术

普遍的定义认为，统计学是关于数据的科学，研究如何收集数据，并科学地推断总体特征。大数据和统计学还是存在一定区别的，其一是数据分析时不再进行抽样，而是采用population（n=all）；其二是分析方法，侧重所有变量之间的相关性，而不再根据背景学科理论筛选变量，进行假设检验。

现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。

普查和抽样调查是传统的两大数据收集方法。普查不需要统计学方法进行推断估计，因为通过普查，已经取得了所有个体数据和总体的实际分布，这也是为什么人类开始懂得计数就开始进行普查。抽样调查是利用抽样理论解决如何科学设计样本，取得样本个体数据，并科学地推断总体分布及特征。无论是普查还是抽样调查，其核心问题之一是要取得准确的“个体数据”。但在大数据时代，一切皆可量化，一切皆可记录，如何利用更全面、更及时、更经济的网络电子化数据，以及通过对这些数据使用新的分析及挖掘技术，产生新的见解和认识，是我们面临的重大机遇。

大数据的应用可以说是在减少人类处理数据时带入的主观假设的影响，而完全依靠数据间的相关性来阐述。而由于消除人为因素带入的误差，已经分析人员作出假设的限制（如果教育背景和保险购买额是相关的，而分析人员没想到，那这个结论就不会被分析出来，这在实际案例中是很容易发生的，大数据的核心也就在于它能更充分的发掘数据的全部真实含义。

在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。

西线学院培训机构提供良好的教学环境，良好的师资以及行业资源，使得西线学院教学永远都是跟随行业进步的步伐。说了这么多，其实就是想让你更加了解大数据。如此优秀的资源和别人望眼欲穿的实习机会，再不行动就要被后来居上的技术人员拍死在沙滩上了。

统计学方法在数据挖掘中的应用探究

数据挖掘就是指从众多实际应用数据中获取批量大、有噪声、且随机性强的数据，将潜在的信息与数据提取出来，就是从数据中挖掘有价值的知识，而大多数原始数据具有一定的结构化特征，比如，关系数据库中的数据；也可以通过文本、图形、图像等半结构化发掘有用知识，这些知识可以是数学的也可以是非数学形式的；数据挖掘能以归纳形式存在，能够被广泛应用到信息查询、信息管理、信息决策控制中，方便数据的维护与管理。由此可见，数据挖掘是一门交叉性强的学科，加强对其的研究非常有意义，下面将对统计方法在数据挖掘中的具体应用进行分析。　

　一、数据挖掘与统计学的关系　　（一）数据挖掘的内涵　　通常来说，数据挖掘的定义较为模糊，没有明确界定，大部分对其的定义只是停留在其背景与观点的内容上。通过对不同观点的统一整理，人们最终将其描述为：从大量多样化的信息中发现隐晦性、规律性等潜在信息，并对这些信息进行创造、加工的过程。数据挖掘作为一门重要的交叉学科，能够将数据库、人工智能、机器学习、统计学等众多的科学融入到一起，从而实现技术与理论的创新与发展[1]。其中，数据库、人工智能与统计学是数据挖掘当中的三大支柱理论。数据挖掘的目的是从数据库当中发掘各种隐含的知识与信息，此过程的方法非常多，有统计学知识、遗传算法、粗集方法、决策法、模糊逻辑法等，还可以应用向邻近的可视技术、模式识别技术等，在以上所有技术的支持上能够使数据挖掘更为科学、有序。　　（二）数据挖掘与统计学间的关系　　通常来说，统计学的主要功能是对统计原理与统计方法进行研究的科学。具体来说就是指对数字资料进行的收集、整理、排序、分析、利用的过程，数字资料是各种信息的归纳与总结，可以将其作为特性原理的认知、推理方法[2]。而统计学则表示的是使用专业的统计学、概率理论原理等对各种属性关系的统计与分析过程，通过分析成功找到属性间的关联与发展的规律。在此过程中，统计分析方法是数据挖掘最为重要的手段之一。

　　在数据挖掘这一课题被提出来之前，统计分析技术对于人们来说更熟悉，也是人们日常开展工作、寻找数据间规律最常使用的收集整理方法。但是不能简单的将数据挖掘作为统计学的延伸与替代工具，而是要将两者的区别认识到位，再结合两者间的不同特点分析其应用特点[3]。大部分的统计学分析技术都是建立在数学理论与技巧上的，预测通常较为准确，效果能够让大部分人满意。数据挖掘能够充分借鉴并吸收统计学技术，在融入到自身特点以后成为一种数据挖掘技术。　　统计学与数据挖掘存在的目标都是一致的，就是不断对数据结构进行发掘。鉴于统计学与数据挖掘在目标上的一致性，致使很多研究学者与专家将数据挖掘作为了统计学的一个分支机构[4]。但是这种认知非常不正确，因为数据挖掘不仅体现在与统计学的关系上还体现在思想、工具与方法上，尤其是在计算机科学领域对数据挖掘起到的作用非常大。比如，通过借助数据库技术与人工智能的学习，能够关注到更多统计学与数据挖掘上的共通点，但是两者存在的差异依然非常大。数据挖掘就是指对大量的数据信息不断挖掘的过程，DM能够对数据模式内的数据关系进行充分挖掘，并对观测到的数据库处理有着极高的关注度。　　二、数据挖掘的主要过程　　从数据本身出发探讨数据挖掘过程，数据挖掘的过程分为信息的收集、数据集成、数据处理、数据变换、数据挖掘实施等过程。

　首先，要将业务对象确定下来，明确不同业务定义，并认清数据挖掘的目的，这是做好数据挖掘最关键的一步，也是最重要的一步，虽然挖掘的结果不能被准确预测到，但却需要对问题的可预见性进行探索[5]。其次，还要做好数据准备工作，包含数据清理、数据变换等工作，数据清理的实际意义是将噪声与空缺值补全，针对这一问题，可以使用平滑技术，而空缺值的处理则是属性中最常见的，可以将统计中最可能出现的值作为一个空缺值[6]。　　信息收集指的是按照特定的数据分析对象，可以将分析中需要的特征信息抽象出来，并在此基础上选择出较为科学、适合的信息收集方法，将全部的信息全部录入到特定的数据库中。如果数据量较大，则可以选择一个专门的管理数据的仓库，实现对信息的有效保护与管理；数据集成就是指将来源不同、格式不同、性质不同、特点不同的数据集成到一起，进而为企业提供更为全面、系统的数据共享平台；数据变换就是通过聚集、概化、规范化等方式对数据进行挖掘，对于一些实用数据，则可以通过分层与分离方式实现对数据的转换；数据挖掘就是结合数据仓库中的数据信息点，并选择正确的分析方法实现对有价值数据的挖掘，事例推理、规则推理、遗传算法等都是应用较多的方法[7]。　　三、统计学方法中的聚类分析　　在统计学聚类方法基础上能够构建出潜在的概率分布假设，可以使用试图优化的方法构建数据与统计模型的拟合效果。基于统计学聚类方法当中，Cobweb方法是在1987年由Fisher提出的，能够以分类树作为层次聚类创建的方法，在分类树上，每一个节点都能代表着一个概念，该方法就是对节点概率描述的过程。Cobweb方法还使用了启发式估算方式，使用分类效用对分类树的构建进行指导，从而实现对最高分类的划分目的，能够将不同分类对象全部归类到一个类别中，并依据这些内容创建出一个新的类别。但是这种方法也存在一定局限性，局限性在于假设的属性概率分布都是独立的，并不能始终处于成立状态中。

这篇文章是俺2009年在博客里写的多变量分析方法介绍之一，今天在微信公号分享！

综合排名问题是一个多变量分析技术！

近一时期排名非常时髦，形成了排名经济，比如：胡润富人排行榜，财富500强，慈善排名，城市竞争力排行，MBA商学院排名，大学排行榜等等！最近刚刚完成广播电视节目综合评估体系客体评估项目，其中也涉及到电视节目的综合评估问题，特别是综合排名问题。大部分情况下综合评价问题都会涉及到排名，多指标排名问题。

记住：市场研究或作研究的人从来不排名，只是做研究往往需要排名！

综合排名是一项系统综合评估研究方法，焦点是如何科学、客观地将一个多维度、多评价指标问题综合成为一个单指标形式，利用产生的综合评价指数进行排名和评价。

综合排名的的形成需要研究人员对评价对象进行大量基础性数据分析基础上，并依据专业知识和评价方法的认识，确定评估指标体系，对每个评价指标在综合评价体系中的重要程度进行测算。研究人员需根据各指标的重要性确定了权重，据此对每项不同测量尺度指标进行修正后加权并标准化无量纲，最终采用多元统计分析方法对评价指标进行了系统最佳综合，形成最终综合评价。

主要包括以下几个方面：

综合评估问题涉及面比较广，下面我们仅仅就综合排名问题讲讲，我们采用大学研究生排行榜的数据进行综合排名！我收集了某年的大学研究生排行榜，因为显示的问题我仅仅截取了前20名，

人民大学

提到了前面进入第20名！（数据源已经记不清楚出处了）

从上面我们可以看到：20家大学研究生院的综合排名情况，最左边一列是最初的排名，这个排名名次是按照六个指标得到了，六个指标分别是：

我这里并不关心这六个指标如何获得，和数据准确性问题，我们只关心应该如何在现有指标下进行综合排名问题！

当然，大家要关注这六个指标的测量尺度，取值范围，量纲的大小等，你将来总不希望把吨和克进行相加吧！

方法一：等权重求和法 T1

我们先来看看，把现在六个指标求和，得到T1=P1+P2+P3+P4+P5+P6，然后按T1降序排名；

看到了吗？该排行榜的发布就是用的加法，最简单的方法！

从数据看以看出，指标P6与其它指标单位差异较大，简单相加有缺陷，但是这种方法是大家最常用的，比如：高考录取分数就是各门考试成绩加总，得到总成绩（

高考成绩

），根据录取人数取得分位点，然后确定录取分数线，并排名从高到底录取；当然硕士研究生录取也是这种方法！

为什么要用这种方法呢？如果用复杂多变量方法，得到总指标排名，估计家长们或学生都要疯了，都不知道自己如何能够被录取，

算法

不懂，怎么被录取！显然，其它方法是不能采用的，这是最好的可执行方案！

方法二：主观加权求和法 T2

但是，录取单位总是想能不能把偏科的人录取，比如我看重数学、物理，这两个指标应该权重更大些，比如我们假设考了6门课，我们根据经验、主观判断、领导指示或专家评估最终确定：30:25:20:15:10:5的权重！

再次计算；T2=p1 * 0.30 + p2 * 0.25 + p3 * 0.20 + p4 * 0.15 + p5 * 0.10 + p6 * 0.05

我们按照T2降序排列，看一下排名，基本次序是一致的，只是在15名附近发生一点改变！

如果按照这种方式排名，首先所有指标应该在同一个量纲上，经常是在指标都是在100分制下，并且权重最好合计为1，最终得到的排名总分也是同样量纲和尺度！

这种情况最适合综合评价方式，加权平均啦！当然如何确定权重就成为关注的要点，科学性、合理性都需要明确！大部分综合评估方法在最后都是采用这种排名方法！

方法三：秩综合排名法 T3

什么是秩，秩序就是求次序！所有我们可以计算每个指标的秩，然后根据秩的大小进行求和！

从

SPSS软件

可以选择个案排秩，指定最大值=1，我们可以得到六个指标的秩指标次序！我们采用简单加法求和和排名，看看结果如何？

计算 T3=Rp1 + Rp2 + Rp3 + Rp4 + Rp5 + Rp6，按照T3升序排列！

从T3升序排列看，这时候大致排名与原始没有发生颠覆性变化，只是在前后名次上有了一定改变！

这种方法也是一种排名方法，经常用在比如

世界杯

最佳阵容或最佳球队评选上，假如有六个记者或专家给所有球队或球员选出最佳阵容或球队时，往往比较可操作的方法是让所有评价者给评价对象打分或者排名，排名更好操作，然后求和！

注意：往往评价者只会评出他最熟悉的，可能会产生缺省值问题，所以要根据每个评价者的情况和缺失情况进行缺省值处理！然后进行求和！

方法四：主成分排名法 T4

这种方法就是多变量分析技术了，

主成分分析

方法经常用来进行综合评估和排名！有关主成分分析技术的相关内容我将在主成分分析专题讲，这里还是关注如何进行排名！

主成分分析是根据指标和数据得到第一主成分，并根据第一主成分得分进行排名的方法！因为，第一主成分往往是凝聚了所有变量的最大变差，也就是解释了6个指标的最大差异（解释度），或者说最大综合成分，排名就是找差异吗？据此排名！

SPSS软件

没有专门命名主成分分析，是与因子分析整合的，在选择因子分析后，只要不进行旋转，就可以得到

主成分分析

结果，记住把得分保存下来，我们可以要求保存所有主成分，六个指标得到六个主成分，但我们只要保存前两个就可以了！

从主成分可以看出：第一主成分解释了6个指标变差的72.409%，把保存的第一主成分按降序排列，我们看一下排名情况；

从排名顺序我们看到，这种方法与方法二加权排名几乎一样，当然与简单求和也基本一致！这说明，这种方法是能够得到理想的综合排名的！（理论上说，如果排名对象差异很大，不同方法得当的结果基本一致！）

同时，你可以看到，成分得分

系数矩阵

的第一主成分列，实际上就是基于数据驱动的权重啦，所以这种方法不需要事先得到主观权重，完全数据驱动！但是，得到的只是排名，具体的排名得分没有实际意义了，如果你希望得到排名的得分具有实际意义，显然该方法会把人搞糊涂！但是我们也可以把主成分得分进行数值变化或映射，得到指数或什么规范得分！

说明：你也可以按照第二主成分进行排名，但这个时候完全不同了！

这里我们可以得到另外一种收获，就是可以按照第一主成分和第二主成分进行散点图分析，得到直观分析！

你会看这种图吗？

方法五：主成分综合加权法 T5

我们从上面一种排名方法看到，虽然按照第一主成分进行了排名，但第二主成分也解释了21.894%，如果综合将可以解释数据的94.303%；（学术研究有时候更追求高解释度），好了，现在我们可以按照主成分的解释度作为权重，把两个主成分进行加权求和！

计算：T5=FAC1_1 * 72.409 + FAC2_1 * 21.894

我们看看排名情况：

对照着第一列的原始排名，这时候排名结果发生了改变，特别是

人民大学

前进了几名！

这时候，我们要看看排名的指标对排名的意义和影响了，我们可以分析看出，6个评价排名指标实际上主要是两个维度，简单说就是自然科学和社会科学维度，前面四种排名方法基本上权重都在自然科学维度上，第五种方法考虑了社会科学维度！

我们看一下因子分析结果，采用最大方差旋转！

显然，第一因子我们命名为：自然科学，第二因子命名：社会科学

所以，我说我们学校总是不能进入排行榜呢？原来所谓的排行榜就是看自然科学（工科类）的排名啊！哈哈！

针对我们文科和艺术类学校，只能垫底啦！下次我要是排名，一定想法用复杂的排名技术，把我们学校排进去，相信我能做到这一点！或者咱们来个分类排名，反正咱有技术！开玩笑啦！

记住一点：方法五在采用的时候一定格外小心，因为主成分是正交的，不同方向能否综合要记住，也就是数值越大越表示好，也就是两个指标具有数值同向，才有可能满足线性可加性！不行还是方法四比较妥当！

方法六：乘法原则

在指标同是正向，我们也可以将各个指标相乘，值越大排名考前！乘法原则主要用在：一票否决，或某些指标是另一个指标的修正因子！

方法七：其它方法

你还可以采用部分乘法原则与加法原则综合法，也可以因子得分进行排名，因子得分加权排名，所有主成分或因子加权排名等等！

排名方法大致就介绍到这里了，我的工作也就完成了！

至于排行榜的发布，商业的、行政的、领导的、媒体的、企业的各种因素都会最终影响排名和结果的发布~！到底最后怎么发布也有学问，大家好好学吧！

加法原则：取长补短，互有补充！

乘法原则：一损俱损，不可或缺！

上面的排名还没有考虑指标的标准化问题，以及如何标准化：插值法，最大值最小值法，理想点法等等！

排名是技术，发布是艺术！

沈浩老师

——————

中国传媒大学新闻学院教授、博士生导师

中国传媒大学调查统计研究所所长

大数据挖掘与社会计算实验室主任

中国市场研究行业协会会长

欢迎关注沈浩老师的微信公共号

_2001

数艺智训

DAtraining

欢迎关注：灵动数艺

——数艺智训

数据艺术家

TableauHome

1、一列数据同时除以10000

复制10000所在单元格，选取数据区域 - 选择粘性粘贴 - 除

2、同时冻结第1行和第1列

选取第一列和第一行交汇处的墙角位置B2，窗口 - 冻结窗格

3、快速把公式转换为值

选取公式区域 - 按右键向右拖一下再拖回来 - 选取只保留数值。

4、显示指定区域所有公式

查找 = 替换为“ =”（空格+=号） ，即可显示工作表中所有公式

5、同时编辑所有工作表

全选工作表，直接编辑，会更新到所有工作表。

6、删除重复值

选取数据区域 - 数据 - 删除重复值

7、显示重复值

选取数据区域 - 开始 - 条件格式 - 显示规则 - 重复值

8、把文本型数字转换成数值型

选取文本数字区域，打开左上角单元格的绿三角，选取 转换为数值

9、隐藏单元格内容

选取要隐藏的区域 - 设置单元格格式 - 数字 - 自定义 - 输入三个分号;;;

10、给excel文件添加密码

文件 - 信息 - 保护工作簿 - 用密码进行加密

11、给单元格区域添加密码

审阅 - 允许用户编辑区域 - 添加区域和设置密码

12、把多个单元格内容粘贴一个单元格

复制区域 - 打开剪贴板 - 选取某个单元格 - 在编辑栏中点击剪贴板中复制的内容

13、同时查看一个excel文件的两个工作表

视图 - 新建窗口 - 全部重排

14、输入分数

先后输入 0 ，再输入 空格， 再输入分数即可

15、强制换行

在文字后按alt+回车键即可换到下一行

16、删除空行

选取A列 - Ctrl+g打开定位窗口 - 定位条件：空值 - 整行删除

17、隔行插入空行

在数据表旁拖动复制1~N，然后再复制序号到下面，然后按序号列排序即可。

18、快速查找工作表

在进度条右键菜单中选取要找的工作表即可。

19、快速筛选

右键菜单中 - 筛选 - 按所选单元格值进行筛选

20、让PPT的图表随excel同步更新

复制excel中的图表 - 在PPT界面中 - 选择性粘贴 - 粘贴链接

21、隐藏公式

选取公式所在区域 - 设置单元格格式 - 保护：选取隐藏 - 保护工作表

22、行高按厘米设置

点右下角“页面布局”按钮，行高单位即可厘米

23、复制时保护行高列宽不变

整行选取复制，粘贴后选取“保持列宽。

24、输入以0开始的数字或超过15位的长数字

先输入单引号，然后再输入数字。或先设置格式为文本再输入。

25、全部显示超过11的长数字

选数区域 - 设置单元格格式 - 自定义 - 输入0

26、快速调整列宽

选取多列，双击边线即可自动调整适合的列宽

27、图表快速添加新系列

复制 - 粘贴，即可给图表添加新的系列

28、设置大于72磅的字体

excel里的最大字并不是72磅，而是409磅。你只需要输入数字即可。

29、设置标题行打印

页面设置 - 工作表 - 顶端标题行

30、不打印错误值

页面设置 - 工作表 - 错误值打印为：空

31、隐藏0值

文件 - 选项 - 高级 - 去掉“显在具有零值的单元格中显示零”

32、设置新建文件的字体和字号

文件 - 选项 - 常规 - 新建工作簿时....

33、快速查看函数帮助

在公式中点击下面显示的函数名称，即可打开该函数的帮助页面。

34、加快excel文件打开速度

如果文件公式过多，在关闭时设置为手动，打开时会更快。

35、按行排序

在排序界面，点击选项，选中按行排序

36、设置可以打印的背景图片

在页眉中插入图片即要

来源：网络整理

百家号-【袁帅数据分析运营】运营者：袁帅，会展业信息化、数字化领域专家。新社汇平台联合创始人，永洪数据科学研究院MVP。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。