前言

之前在给公司的程序员培训机器学习专题实战的时候，发现他们听的认真，也非常想学，但是每当问他们有哪里不懂的时候，他们总是回答不出哪里不懂，识懂非懂的状态，后来我总结了一下原因，1.机器学习领域跟程序开发的区别非常大，机器学习属于一个交叉学科，即需要数学也需要计算机学，难度相对与单学科要大些，2.机器学习领域有很多专业词汇与术语，之前程序员都没听说过和接触过，即使当时讲解的时候讲的非常细，也很难接触的过来，需要有个消化过程。

本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语，希望能在机器学习路上的你带来帮助，假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。

一．基础

1.数据集（DataSet）

数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。

程序员可以简单的理解成数据库表。

2.变量（variable）

变量来源于数学，是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。

可以理解为字段。

3.向量（Vector）

在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。

4.X变量（Independent variable）

又称自变量，自变量一词来自数学。在数学中，y=f（x） 。在这一方程中自变量是x，因变量是y。将这个方程运用到心理学的研究中，自变量是指研究者主动操纵，而引起因变量发生变化的因素或条件，因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中，性别被称为了自变量，而白细胞数则为因变量。

可以理解成我们在机器学习中需要分析的变量叫做X变量。

5.Y变量（dependent variable）

又称因变量，可以理解为结果变量，如我们在金融贷款项目中预测某人是否可以放款，是否可以放款这个变量就叫做因变量。

6.连续变量

在统计学中，变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。如:年龄、体重等变量。

7.离散变量

离散变量的各变量值之间都是以整数断开的，如人数、工厂数、机器台数等，都只能按整数计算。离散变量的数值只能用计数的方法取得。

8.二元变量

通常可以理解成哑变量或虚拟变量，虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量，用以反映质的属性的一个人工变量，是量化了的自变量，通常取值为0或1。

9.定性变量

统计学概念，定性变量（qualitative variable）又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时，一般是用非数字来表达其类别，这样的观测数据称为定性变量。可以理解成可以分类别的变量，如学历、性别、婚否等。

10.均值

即平均值，平均数是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。

11.中位数

对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。

12.缺失值

它指的是现有数据集中某个或某些属性的值是不完全的。

13.缺失率

某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数

14.异常值

异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。

15.度量

度量（metric）亦称距离函数，是度量空间中满足特定条件的特殊函数，一般用d表示。度量空间也叫做距离空间，是一类特殊的拓扑空间。弗雷歇（Fréchet，M.R.）将欧几里得空间的距离概念抽象化，于1906年定义了度量空间。

16.矩阵

在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的。

矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。

即可以看成一个方便用来计算的数组。

17.方差

（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

方差是衡量源数据和期望值相差的度量值。

18.标准差

标准差（Standard Deviation） ，中文环境中又常称均方差，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。

19.皮尔森相关系数

皮尔森相关系数（Pearson correlation coefficient）也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ，是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示，其中n为样本量，分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。

20.相关系数

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。

21.特征值

特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

22.特征向量

矩阵的特征向量是矩阵理论上的重要概念之一，它有着广泛的应用。数学上，线性变换的特征向量（本征向量）是一个非简并的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值（本征值）。

23.求导

求导是微积分的基础，同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。

24.MSE(Mean Square Error 均方误差）

均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。

25.LMS(LeastMean Square 最小均方)

最小均方算法，简称LMS算法，是一种最陡下降算法的改进算法， 是在维纳滤波理论上运用速下降法后的优化延伸，最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征，“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性，使LMS算法成为自适应算法中稳定性最好、应用最广的算法。

26.LSM(Least Square Methods 最小二乘法)

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

27.MLE(MaximumLikelihood Estimation最大似然估计)

最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

28.QP(Quadratic Programming 二次规划)

二次规划是非线性规划中的一类特殊数学规划问题，在很多方面都有应用，如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里，二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。

29.CP(Conditional Probability条件概率)

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

30. JP(Joint Probability 联合概率)

联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。

31.MP(Marginal Probability边缘概率)

边缘概率 Marginal Probability 是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。

这称为边缘化（marginalization）。A的边缘概率表示为 P(A)，B 的边缘概率表示为 P(B)。

32. Bayesian Formula(贝叶斯公式)

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。

贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则， 尽管它是一个数学公式，但其原理毋需数字也可明了。如果你看到一个人总是做一些好事，则那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。

L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)

L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化(sparsity)，从而方便人们提取特征。

GD(GradientDescent 梯度下降)

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组。

34. SGD(Stochastic Gradient Descent 随机梯度下降)

随机并行梯度下降算法（stochastic parallel gradient descent algorithm），简称SPGD算法。作为一种无模型优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。

35.QR-decomposition(QR分解)， 矩阵分解

矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分解法 (Singular Value Decomposition)。

36.Quantile (分位数)， 分位数

分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。

37.协方差

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变...

当下，人工智能、大数据等热门词汇频频出现在人们的视野中。作为万物分析的大数据更是站在互联网的风口浪尖上，直接催热了大学里的大数据专业。

从IT时代进入DT时代，高校在大数据方向上设置了什么专业，具体学什么，就业怎么样，作为新兴专业，考生如何报考?今天，就来谈一谈这个大家关注的热门专业。

1.什么叫大数据？

进入互联网时代，中国的网民人数已超7亿，大数据的应用涉及到生活的方方面面。例如，你在网站上买书，商家就会根据你的喜好和其他购书者的评价给你推荐另外的书籍；手机定位数据和交通数据可以帮助城市规划；甚至用户的搜索习惯和股市都有很大关系。

在谈到大数据的时候，人们往往知道的就是数据很大，但大数据≠大的数据。大数据，就是存储在各种存储介质中的海量的各种形态数据，具有5V特点，即：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。大数据之“大”，不仅在于其“大容量”，更在于其“大价值”，并已成为除人力、土地、财务、技术之外的另一种重要的基础资源。对各种存储介质中海量信息的采集、存储、分析、整合、控制而得到的数据就是大数据。大数据技术的意义不在于掌握庞大的数据信息，而在于对这些数据进行专业化处理，通过“加工”实现数据的“增值”，更好地辅助决策。

2.数据科学与大数据技术专业

本科专业中和大数据相对应的是“数据科学与大数据技术”专业，它是2015年教育部公布的新增专业。2016年3月公布的《高校本科专业备案和审批结果》中，北京大学、对外经济贸易大学和中南大学3所高校首批获批开设“数据科学与大数据技术”专业。随后第二年又有32所高校获批“数据科学与大数据技术”专业。两次获批的名单中显示，该专业学制为四年，大部分为工学。

数据科学与大数据技术是个交叉性很强的专业，很难说完全归属于哪个独立的学科。所以，不同的学校有的是信息学院申报，有的是计算机学院牵头申报，有的设在统计学院，还有的在经管学院。像北京大学这个专业是放在理学下，授予理学学位。大多数是设在工学计算机门类下，授予的是工学学位。数据科学很早就存在，是个比较经典的学科，现在和大数据技术结合形成了这个专业。目前教育部设定的本科专业名称为“数据科学与大数据技术”，专科名称是“大数据技术与应用”。

3.数据科学与大数据技术学什么？

以对外经济贸易大学该专业为例，专业知识结构包括数学、统计、计算机和大数据分析四大模块，具体课程设置如下：

数学：数学分析一、数学分析二、高等代数、离散数学。统计学：概率论与数理统计、多元统计分析、随机过程。计算机：数据机构、计算机组成原理、操作系统、数据库系统原理、C++程序设计、Java程序设计、Python与大数据分析、科学计算与Matlab应用、R语言等。大数据分析：数据科学导论、机器学习与数据挖掘、信息检索与数据处理、自然语言处理、智能计算、推荐系统原理、大数据分析技术基础、数据可视化、大数据存储与管理、大数据分析实践等课程。

数据科学与大数据技术是一门实践性很强的新兴交叉复合型学科：以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。根据各校偏重的专业方向，课程设置有所差异，感兴趣的同学可以具体查看各校的专业和课程设置情况。

1.行业增速快 人才缺口大

随着移动互联网和智能终端的普及，信息技术与经济社会的交汇融合，引发了数据迅猛增长。新摩尔定律认为，人类有史以来的数据总量，每过18个月就会翻一番。而海量的数据蕴含着巨大生产力和商机。

2011年至2014年四年间，我国大数据处于起步阶段，每年均增长在20%以上。2015年，大数据市场规模已达到98.9亿元。2016年增速达到45%，超过160亿元。预计2020年，我国大数据市场规模将超过8000亿元，有望成世界第一数据资源大国。但数据开放度低、技术薄弱、人才缺失、行业应用不深入等都是产业发展中亟待解决的问题。

根据领英发布《2016年中国最热职位人才报告》显示，有六类热门职位的人才当前都处于供不应求状态，稀缺程度各有不同，其中，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。

目前的当务之急是解决大数据人才瓶颈问题，相关调查显示，未来3-5年大数据人才缺口达到150万之多。，但截至目前，中国大数据从业人员只有约30万人。同时，大数据行业选才的标准也在不断变化。初期，大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域，以IT、计算机背景的人才居多。随着大数据往各垂直领域延伸发展，对统计学、数学专业的人才，数据分析、数据挖掘、人工智能等偏软件领域的需求加大。

数据分析师现在需求就很旺盛了，2年工作经验的月薪可达到8K，硕士学历的数据分析师月薪可达到12K，5年工作经验的可达到40万至60万元。

2.大数据主要就业方向

2015年9月国务院印发《促进大数据发展行动纲要》，系统部署大数据发展工作。《纲要》明确提出了七方面政策机制，其中第六条就是加强专业人才培养，建立健全多层次、多类型的大数据人才培养体系。目前，大数据主要有三大就业方向：大数据系统研发类、大数据应用开发类和大数据分析类。具体岗位如下：

1.大数据系统架构师

大数据平台搭建、系统设计、基础设施。

2.大数据系统分析师

面向实际行业领域，利用大数据技术进行数据安全生命周期管理、分析和应用。

3.hadoop开发工程师。

解决大数据存储问题。

4.数据分析师

不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。

作为一名数据分析师，至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。

5.数据挖掘工程师

做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++，我自己用Python或者Java比较多。有时用MapReduce写程序，再用Hadoop或者Hyp来处理数据，如果用Python的话会和Spark相结合。

6.大数据可视化工程师

随着大数据在人们工作及日常生活中的应用，大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是幕后的英雄。

1.院校开设情况

大数据人才的典型胜任特征：善于做需求分析、写代码;善于与人沟通，喜欢探索未知;需要根据数据推演、分析、提出解决方案，有数据思维;需要持续保持学习状态;内性格上能动能静。

不同办学层次的院校开设此专业，培养模式会有差异。例如，高职类院校学生由于数学基础相对薄弱，会跟多偏向于工具的使用，如数据清洗、数据存储以及数据可视化等相关工具的使用;本科院校会倾向于大数据相关基础知识全面覆盖性教学，在研究生段则会专攻某一技术领域，比如数据挖掘、数据分析、商业智能、人工智能等。

在“教育部2015年度普通高等学校本科专业备案和审批结果”中北京大学、中南大学、对外经贸大学成为首批开设 “数据科学与大数据技术”本科专业的高校，随后中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。至去年上半年，我国已有35所高校获批“数据科学与大数据技术”本科专业。经过一年的发展，申请院校成井喷式的增长，全国高校大数据教育联盟通过教育部公示的申请2017年“数据科学与大数据技术”专业的院校来看，2017年申请院校高达263所，其中工学190所，理学73所。

数据科学与大数据技术是个交叉性强、跨学科的专业，很难说是完全归属与那个独立的学科。高校牵头申报的学院不同，培养重点和授予的学位可能不一样。因为课程来自于不同的学院，也有高校是联合一些学院单独成立机构来申报。从名单可以看出，在大部分开设院校中该专业都属于工学类，有个别院校将其归属在理学门类，授予理学学位。

有志于学习数据科学与大数据技术专业的学生，可以从大学的传统优势领域和行业背景考虑选择。比如，复旦大学的大数据技术本科专业是设在大数据学院下；北京大学是在数学院开设了该专业，偏数学的内容更多一些。对外经济贸易大学该专业设在信息学院，因为财经是学校传统优势，专业还会偏重经济、金融等相关学科领域的知识。

2.报考注意事项

了解了大数据行业和大数据专业后，对于考生填报与大数据相关的热门专业，需要注意以下几点：

1.报考热门专业和就业热的专业并不一定是重合的，比如软件、计算机、金融，这些专业的就业率实际并没有那么高，地质勘探、石油、遥感等专业，虽然报考时是冷门，但行业需求大，就业率更高。

2.选择热门专业，更需要考虑就业质量。专业就业好，是统计学意义，指的是平均收入水平高，比如金融专业的收入，比其他纯文科专业的平均收入较高，但落实到个体层面，就业情况就不一样了，尤其像金融专业是典型的名校高学历好就业，但对于考试成绩较低的同学来说，如果去一些普通院校、专科院校学习金融，最后就业情况可能还不如会计专业。

3.志愿填报，除了专业，城市因素也很重要：如果想从事金融、互联网的工作，更适合去一线城市，如果是去三、四线大学的学生可以考虑应用面比较广的专业，就是各行各业都能用到的专业，比如会计专业，专科层次的会计和985层次的会计都有就业渠道。如果先选择报考城市，也可以针对所在城市的行业特点选择专业，比如沿海城市外贸相对发达，选择国际贸易、外语类专业就业情况更好，比如武汉有光谷，选择光电类专业更好就业。

4.最终家长和考生更需要考虑个人与专业匹配的问题，金融、计算机等热门专业不是所有人都适合学，好专业不见得对所有个体都是好的。

5.最后，考生报考时要注意，有的高校大数据专业是按大类招生，即按计算机大类，且只招理科生。

下面是人大、北邮、中南大学三校2017年数据科学与大数据技术专业在五个省市的录取数据。其中，人大的大数据专业归统计学大类；北邮的大数据专业归计算机大类。

两个分类变量间的关系，无法直接使用常见的皮尔逊相关系数来表述，多采用频数统计、交叉表卡方检验等过程进行处理，当分类变量的取值较多时，列联表频数的形式就变得更为复杂，很难从中归纳出变量间的关系。

对应分析，则是解决分类变量间关系这个复杂问题的有力武器。也称为相应分析，是一种多元统计分析方法，目的是在同时描述各变量分类间关系时，在一个低维度空间中对对应表中的两个分类变量进行关系的描述。

常见应用领域如市场研究分析、竞争分析等。

先看一个案例

对于男性而言，个人职位是否与吸烟有关，假设有人收集了这样的一组数据，如下：

数字表示人数，仅从交叉表内数据大小按照热度区分的话，效果大概是这个样子，红色越深的格子表示人数越多：

我们发现初级雇员普遍吸烟，中度最多，其他的表现并不明显，总体上很难发现什么规律。

除了热图之外，还可以考虑常见的条形图，效果如下：

可视化的效果要比前面热图好很多，给人的直观感觉是，职位较高的男性，重度吸烟的比例较低，多数从不吸烟。

经过以上两种图示化方法的预处理，我们能从其中总结职位和吸烟关系的把握并不大。

SPSS交叉表卡方检验

熟悉SPSS统计分析的人可能还会想到，是否可以先采用交叉表卡方检验来观察职位和吸烟之间的关系呢？

在SPSS的数据视图下，对数据按频数变量进行加权，然后依次点击【分析】→【描述统计】→【交叉表】，在【交叉表：统计】对话框内勾选【卡方】，其他参数默认设置。来看结果：

原假设职位和吸烟两个变量间相互独立，渐进显著性小于0.01，说明两个变量间不完全独立，存在某种关系。

卡方检验的结果给我们吃下一颗放心丸子，职位和吸烟之间的关系值得深入研究，但它们之间的关系到底应该如何描述呢？前面尝试的热力图、条形图、交叉表卡方检验均没有给出完美结论。

SPSS简单对应分析

之所以前面先讲述三种方法，主要目的是告诉大家，对应分析实际上也是一种数据可视化的技术，同时它也能输出卡方检验，下面具体来看。

步骤1：案例数据导入SPSS软件

SPSS对应分析对数据的要求是按变量存储，一般包括三个变量，两个名义变量和一个频数变量，如果原始数据在Excel文件中是一个二维表，需要首先将其转换为一维表格，再导入SPSS软件。

小蚊子老师主编的畅销书《谁说菜鸟不会数据分析》（P164）中介绍过实用方法，在Excel数据文件中，采用【数据透视表向导】功能，利用【多重合并计算数据区域】的方法，快速地实现二维表转为一维表，我在SPSS常见问题答疑电子书中也有类似的讲述，对此感兴趣的可以参考学习。

数据较少时，最简单的方法就是复制粘贴，也可以快速实现二维表转一维表。不管如何处理，最终导入SPSS的数据文件长这样：

步骤二：数据加权

我们的分析任务是搞清楚职位和吸烟程度两个名义变量的关系，要对他们进行量化考察，需要用频数数据加权，SPSS数据视图下，依次点击菜单【数据】→【个案加权】，将频数数据移入右侧【频率变量】框内，对职位和吸烟两个变量进行加权。

步骤三：对应分析主面板参数设置

菜单栏中依次点击【分析】→【降维】→【对应分析】，打开对应分析主面板，依次将【不同职位】【吸烟程度】两个名义变量移入行和列框内。

点击下方【定义范围】按钮，以定义行范围为例，行变量【不同职位】有5个分类水平，标签值从小到到依次为1-5，所以最小值输入数字“1”，最大值输入数字“5”，然后点击右侧【更新】按钮，此时下方的【类别约束】框内自动出现1-5一个序列，类似操作，完成对列变量范围的定义。点击【继续】返回主面板。

步骤四：对应分析模型参数设置

在主面板上点击【模型】按钮，打开模型对话框。

一般默认采取2维，距离测量勾选【卡方】。对应分析也是一种降维技术，通常选择在一个二维表和二维图形中考察分类变量间的关系。

行和列变量间的距离测度软件默认选择【卡方】，当用卡方测量距离时，SPSS软件只默认选择【除去行列平均值】作为标准化方法。

最底部的【正态化方法】相对比较复杂，理解起来有一定难度，建议选择软件默认选项【对称】，检查两个变量分类间的差异或相似。

点击【继续】按钮，返回主面板。

步骤五：对应分析统计参数设置

软件默认勾选【对应表】【行点概述】【列点概述】，点击【继续】按钮，返回主面板。

步骤六：对应分析图参数设置

对应分析最重要的结果之一，就是对应图，主面板上点击【图】按钮，打开图对话框，散点图选项中默认勾选【双标图】，也就是我们最终想要的对应图了。其他默认设置，点击【继续】按钮，返回主面板。

最后在主面板中点击【确定】按钮，SPSS软件开始执行对应分析。

SPSS对应分析结果解读

1、对应表

对应表实际上就是交叉表，行与列交叉的单元格显示为频数，行与列的活动边际，具体为对应行和列的和。对应表看看即可，了解一下，不用深究。

2、模型摘要表

模型摘要表是关键结果之一，重点考察。

此表类似于因子分析的总方差表，第一列【维】较抽象，可以理解为因子分析的因子，第2-5列分别为奇异值、惯量、卡方值及sig值，随后给出各个维度所能解释两个变量关系的百分比。

首先来看卡方检验的结果，卡方值=164.416，显著性Sig值=0.000<0.01，表明此次分析的两个名义变量，职位和吸烟程度不完全独立，存在一定关系，这和前面交叉表卡方检验结果一致。

卡方检验通过之后，再来解读对应分析的其他结果更有意义。

摘要表数据表明，前两个维度累积惯量可解释99.5%的信息，效果非常不错，此次分析较成功。

3、行/列点总览

这两个表格，主要输出各类别在各维度上的得分，后续最重要的对应图，将依据这两组维度得分进行绘制。

4、对应图

对应分析关键结果之一，重点考察。

模型摘要表中，我们已经确认前两个维度解释能力很棒，那么SPSS软件默认将采用这两个维度的得分制作二维散点图，也就是现在的对应图。

此时我们可以看到，不同职位的5个类别和吸烟程度的4个类别被标记为不同的颜色进行区分，职位点和吸烟点间距离有远有近，距离的远近包含了它们之间的关系。

总体观察来看，容易发现初级雇员和中度距离较近，可以理解为初级雇员多为中度吸烟；而高级雇员和从不吸烟的距离比较近，说明高级别雇员很少吸烟。此外职别最低的初级工程师和重度吸烟较近，说明这个级别的职工重度吸烟居多。

沈浩老师博客和小蚊子数据分析博客曾对对应分析对应图的解读做过总结，一共有7种解读的方式，按照四象限以及市场定位的方法，本例分析的对应图可以作出如下优化：

以维度1原点为界，吸烟程度中的轻度、中度、重度均在左侧，而从不吸烟则单独出现在右侧，说明从不吸烟和其他三种类别区别较大，与此对应的是，高级工程师和高级雇员这三个职位也集中在右侧，可以理解为职别较高的人最有可能是从不吸烟。采用同样的方式，容易发现，初级雇员与轻度和中度吸烟距离较近，职别最低的初级工程师与重度吸烟距离近，这和总体观察时的结论一致。

文/图=数据小兵

相关系数矩阵是多元统计分析的一个基本方面。哪些被考察的变量与其他变量的相关性很强，哪些并不强？相关变量是否以某种特定的方式聚集在一起？随着变量数的增加，这类问题将变得难以回答。相关图作为一种相对现代的方法，可通过对相关系数矩阵的可视化来回答这些问题。

相关图非常容易解释，以mtcars数据框中的变量相关性为例，它含有11个变量，对每个变量都测量了32辆汽车。利用下面的代码，我们就可以获得该数据的相关系数：

> options(digits = 2)

>cor(mtcars)

mpg cyl disp hp drat wt qsec vs am gear carb

mpg 1.00 -0.85 -0.85 -0.78 0.681 -0.87 0.419 0.66 0.600 0.48 -0.551

cyl -0.85 1.00 0.90 0.83 -0.700 0.78 -0.591 -0.81 -0.523 -0.49 0.527

disp -0.85 0.90 1.00 0.79 -0.710 0.89 -0.434 -0.71 -0.591 -0.56 0.395

hp -0.78 0.83 0.79 1.00 -0.449 0.66 -0.708 -0.72 -0.243 -0.13 0.750

drat 0.68 -0.70 -0.71 -0.45 1.000 -0.71 0.091 0.44 0.713 0.70 -0.091

wt -0.87 0.78 0.89 0.66 -0.712 1.00 -0.175 -0.55 -0.692 -0.58 0.428

qsec 0.42 -0.59 -0.43 -0.71 0.091 -0.17 1.000 0.74 -0.230 -0.21 -0.656

vs 0.66 -0.81 -0.71 -0.72 0.440 -0.55 0.745 1.00 0.168 0.21 -0.570

am 0.60 -0.52 -0.59 -0.24 0.713 -0.69 -0.230 0.17 1.000 0.79 0.058

gear 0.48 -0.49 -0.56 -0.13 0.700 -0.58 -0.213 0.21 0.794 1.00 0.274

carb -0.55 0.53 0.39 0.75 -0.091 0.43 -0.656 -0.57 0.058 0.27 1.000

哪些变量相关性最强？哪些变量相对独立？是否存在某种聚集模式？如果不花点时间和精力，单利用这个相关系数矩阵来回答这些问题是比较问题的。

利用corrgram包中的corrgram()函数，我们可以以图形的方式展示该相关系数矩阵，代码为：

>library(corrgram)

>corrgram(mtcars,order=TRUE,lower.panel=panel.shade,

+ upper.panel=panel.pie, text.panel=panel.txt,

+ main="Correlogram of mtcars intercorrelations")

我们先从主对角线下方的单元格开始解释这幅图形。默认地，蓝色和从左下指向右上的斜杠表示单元格中的两个变量呈正相关。反过来，红色和从左上指向右下的斜杠表示变量呈负相关。色彩越深，饱和度越高，说明变量相关性越大。相关性接近于0的单元格基本无色。

从图中含阴影的单元格中可以看到，gear、am、drat和mpg呈相互间呈正相关，wt、disp、hp和carb相互间也呈正相关。但第一组变量与第二组变量呈负相关。我们还可以看到carb和am、vs和gear、vs和am以及drat和qsec四组变量间的相关性很弱。

上三角单元格用饼图展示了相同的信息。颜色的功能同上，但相关性大小由被填充的饼图块的大小来展示。正相关性将从12点钟方向开始顺时钟填充饼图，而负相关性则逆时钟方向填充饼图。corrgram函数的格式如下：

corrgram(x, order=, panel=, text.panel=, diag.panel=)

其中，x是一行一个观测的数据框。当order=TRUE时，相关矩阵将使用主成分分析法对变来那个重排序，这将使得二元变量的关系模式更为明显。选项panel设定非对角线面板使用的元素类型。我们可以通过选项lower.panel和upper.panel来分别设置主对角线上方和上方的元素类型。而text.panel和diag.panel选项控制着主对角线元素类型。可用的panel值如下图所示：

我们进行第二段代码：

>options(digits = 2)

>library(corrgram)

>corrgram(mtcars,order=TRUE,lower.panel=panel.ellipse,

+ upper.panel=panel.pts, text.panel=panel.txt,

+ diag.panel = panel.minmax,

+ main="Correlogram of mtcars data scatter plots and ellipses")

这幅图中，下三角区域包含平滑拟合曲线和置信椭圆，上三角区域包含散点图。主对角面板包含变量最小值和最大值。矩阵的行和列利用主成分分析法进行了重排序。

我们还可以使用colorRampPallette()函数自主控制corrgram()函数中使用的颜色，演示代码如下：

library(corrgram)

col.corrgram<- function(ncol){

colorRampPalette(c("darkgoldenrod4","burlywood1","darkkhaki","darkgreen"))(ncol)

}

corrgram(mtcars,order=TRUE,lower.panel=panel.shade,

upper.panel=NULL, text.panel=panel.txt,

main="Correlogram of mtcars intercorrelations")

万事开头难，但是一旦数据分析有了动力，就要开始完善自己的知识体系，这也是真正入门的开端。那如何完善数据分析的知识体系？

1、基本的计算机知识和统计知识

数据库 + SQL 语言

一些常用的数据库如 Oracle、SQL Sever、DB2、MySQL，这些数据库或者说日常接触的数据库都要有所了解，懂最常用的就好，最重要的还是要会写 SQL。

数学 / 统计学知识

一些基本的数学统计方法如描述性统计、多元统计分析、回归分析等，重要性不言而喻。

数据挖掘知识：方差分析、回归分析、因子分析、聚类分析等等。这些东西作为入门多多少少都要会一些，虽然有可能不会全用到，但一旦用时方恨少。而且也可以作为未来发展的基础

数据分析可视工具

数据分析可视化工具很宽泛。首推 Excel，中小公司很依赖，熟练使用数据透视表，这是必备技能。中大型公司都是用报表工具或者 BI 来做报表，但有了 SQL+Excel 的基础，这些工具上手都很快。

2、业务知识

数据分析师要与公司的各业务打交道，所以对于各部门的业务知识要有深入的了解。某业务领导需要知道某个指标，你需要知道这个指标由哪些数据构成? 数据统计的口径是什么？数据怎么取出来？这个指标对于行业的意义是什么，处于什么范围分别对应什么样的情况，是好还是坏。然后慢慢摸索这个指标层面多维度的规律，如何设定最合理。

明确自己的位置，快速成长

数据分析是一向比较专业的工作，要时刻警惕自己能力是否有提升，目前是什么样的水平，习惯反思自己:

你了解你所整理的数据的来源吗？是自己公司的业务数据，还是与合作伙伴交换的数据？是自己公司相关部门采集的，还是从第三方获取的？获取过程中，具体的指标和逻辑是什么？

这些数据是真实的吗？采集和整理过程中会不会出现什么问题？技术上的逻辑和业务上的逻辑是不同的概念，有没有技术上没有瑕疵，但并不符合业务逻辑的数据流程？

到你手里的数据经过了什么处理？你又做了什么处理？为什么他们和你要做这些处理？

谁需要你的数据？你处理后的数据流向哪里？他们用数据做什么？这些数据最终又拿去做了什么？比如，为客户做了什么服务，公司发布了什么内容，或向管理层证明了什么 KPI，或支持了哪个部门的评估？

你做整理的周期是什么？为什么是这样的周期？

公司有其他的部门在处理其他的数据吗？是什么样的数据？和你有什么关系？为什么这些数据要分开处理？

近一年，你自己的电脑上应该已经积累了不少数据，试试做个分析，从一段较长的时间来看，你负责的这一块数据发生了什么变化？为什么会有这个变化？和公司的产品、经营、业务有关，还是和行业有关？具体怎么有关？

如何进一步提升？

业务上

1. 业务为核心，数据为王

了解整个产业链的结构制定好业务的发展规划了解衡量的核心指标有了数据必须和业务结合才有效果需要懂业务的整体概况，摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要，指定发展计划，从而归类出需要整理的数据。最后一步详细的列出数据核心指标（KPI），并且对几个核心指标进行更细致的拆解，当然具体结合你的业务属性来处理，找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。

2. 思考指标现状，发现多维规律

熟悉产品框架，全面定义每个指标的运营现状对比同行业指标，挖掘隐藏的提升空间拆解关键指标，合理设置运营方法来观察效果争对核心用户，单独进行产品用研与需求挖掘业务的分析大多是定性的，需要培养一种客观的感觉意识。定性的分析则需要借助技术、工具、机器。而感觉的培养，由于每个人的思维、感知都不同，只能把控大体的方向，很多数据元素之间的关系还是需要通过数据可视化技术来实现。

3. 规律验证，经验总结

发现了规律之后不能立刻上线，需要在测试机上对模型进行验证。

技能上

1.Excel 是否精钻？

除了常用的 Excel 函数（sum、average、if、countifs、sumifs、offset、match、index 等）之外，Excel 图表（饼图、线图、柱形图、雷达图等）和简单分析技能也是经常用的，可以帮助你快速分析业务走势和异常情况；另外，Excel 里面的函数结合透视表以及 VBA 功能是完善报表开发的利器，让你一键轻松搞定报表。

写给喜欢数据分析的初学者

2. 你需要更懂数据库

常用的数据库如 MySQL，Sql Server、Oracle、DB2、MongoDB 等；除去 SQL 语句的熟练使用，对于数据库的存储读取过程也要熟练掌握。在对于大数据量处理时，如何想办法加快程序的运行速度、减少网络流量、提高数据库的安全性是非常有必要的。

3. 掌握数据整理、可视化和报表制作

数据整理，是将原始数据转换成方便实用的格式，Excel 在协同工作上并不是一个好工具，报表 FineReport 比较推荐。项目部署的 Tableau、FineBI、Qlikview 一类 BI 工具，有没有好好培训学习，这些便捷的工具都能淡化数据分析时一些重复性操作，把精力更多留于分析。

为了帮助小伙伴们更好的学习Python，技术学派整理了Python的相关学习视频及学习路线图。

领取方式

关注“技术学派”后，评论转发文章，私信回复：Python学习

浅论统计学在市场营销中的运用

当今社会中多数企业为了能够更好地促进市场营销效果，将本企业或者本行业几个月或者几个季度以及几年内的市场营销数据，通过数据加载分析来评估当前市场形势以及以后的发展趋势，而对数据的分析现代企业运用最多的手段就是统计学，统计学中的数理统计、多元统计分析，抽样调查都为企业的数据分析提供了最科学和可靠的方法。通过市场营销管理中统计学理论及方法的运用，为企业市场营销管理工作奠定基础、为企业的市场营销工作提供准确详实的市场信息。针对市场营销管理中对统计学应用的需求，现代企业市场营销管理中应加强对统计学理论及内容的关注。运用统计学方法解决企业营销管理中的实际问题，提高企业综合市场竞争力。 　

　一、数据进行统计分析特点和管理方法 　　数理统计中统计分析的特征是定量和定性分析进行结合；把处理的数据作为依据，以统计的数据作为结果；分析方法具有特殊性；分析的范围具有广泛性。要紧紧依靠这些统计数据的特点，同时，充分把握好企业市场营销这一行业的特殊性，才能真正做好市场营销统计学分析的工作。正常来讲，企业市场营销管理的步骤可分为：分析市场所具备的机会、选择合适的目标市场、确立正确的营销组合策略、市场营销的决策和决策的实施与控制。这四个步骤与相应的统计学分析方法相配合，才能更好地为企业赢得更多的市场机遇，同时使企业的市场竞争力不断提升。 　　二、市场营销中的统计学分析方法 　　针对所属行业销售特点选择统计学方法的应用。针对不同行业的销售特点，企业市场营销管理中的统计学应用也存在着差异。根据行业销售特点，统计学方法的运用也有着一定的规律。在饮料、日用化工等快消品的销售收集整理中，描述统计、推断统计、顺序变量等方法的应用能够为快消品行业的市场营销管理提供翔实准确的市场信息，为快消品企业的市场营销策划方案提供科学的数据。通过统计学方法的运用使企业的快消品营销策划工作更加符合市场规律、符合市场销售特点，进而满足现代快消品企业销售目标需求、满足市场销售需求。 　　在现代社会里，企业如果要获得长远的竞争优势，一定离不开目标群体的满意度和支持度。目标群体，一般就是指顾客，当他们的需求被满足之后会产生心理的愉悦感。从统计学来分析，这个满意度就是指顾客的期望值与实际感知效果之间的差异函数，如果顾客实际感知的效果小于期望值，顾客就不会感到满意，反之，就会表现出满足。通常，顾客过去的购买经历，竞争者与销售者对自身产品的宣传与承诺，身边朋友的评论等，都会影响到顾客的期望值。因此，企业非常有必要通过统计学，对顾客满意度进行分析、测量，给企业的营销和决策提供更加可靠的依据。

　三、以数据为依托分析当前市场状况 　　通过对统计学知识的运用，以当近期市场的数据反馈为依托，对当前的市场行情进行分析与比对。在当今市场经济的营销管理中，对市场的动态信息进行科学合理的分析，能够帮助企业的决策者们及时修改营销方案，满足市场变化对企业营销管理的需求。这一现状要求企业的市场营销管理部门能够及时掌握市场动态，运用統计学知识及统计学理论中的调研、整理、分子技巧为企业的市场营销管理工作提供准去的市场信息，确保企业市场营销管理工作能够符合市场销售的实际需求。针对现代企业市场营销现状及营销管理工作的需求，现代企业的市场营销管理工作中应强化对市场销售信息的收集与整理。利用统计学原理及要知道市场销售信息收集与管理工作，以此使企业的市场营销信息收集、整理、分析以及方案制定在统计学理论指导下得到有效开展，满足现代市场经济发展过程中企业的营销管理需求。

四、从市场的定价角度看统计分析的重要性 　　通常来说，企业的市场定价会受到多种因素的综合影响。成本导向、需求导向、竞争导向是企业市场定价的三种方法，这三种方法都是对于企业自身在市场上的竞争力而言，是企业为了让自己的产品或服务在如今激烈的市场竞争中更好的定位，赢得更多更大的市场份额而制定出的价格策略。这种定价策略要分析人为订立的利润与企业成本之间的比例，要充分研究竞争对手等各方面的定价因素，并认真分析消费者的有效需求，以寻求各个价格变量之间存在的近似的线性关系，从而准确进行营销策划。因子分析方法是市场定价中的统计学分析较多采用一种方法，根据几个不同因子的比较而获得多个值，并对这些值进行平均值的计算，从而确定产品的基准价格。本质上看，就是把统计模型的运算和决策问题运用到市场定价问题中，不同利润下的标准差和期望值制定出不同的市场定价方案。所以，在市场定价中准确的统计决策模型，不仅有利于提高资金周转速度，节约企业成本，还有利于提高企业的市场竞争力。在现代企业市场营销管理工作中，科学的市场调研是掌握市场动态、保障市场销售信息有效传达的关键。因此，在企业的市场营销管理工作中，应科学运用统计学调研方法对企业所属行业市场信息进行收集与整理。以基础数据、变量、统计逻辑学、管理统计学等内容及基础，对销售人员的调研信息进行统计与分析，对信息的科学性进行甄别。以翔实准确为中心进行市场信息的收集与调研、以科学性为重点进行信息的统计与分析，以此保障现代企业市场营销管理方案制定基础满足市场需求。统计学分析方法在市场调查过程中，无论是最初的信息收集阶段，还是信息处理阶段的分析过程和数据辨别，都发挥着无可辩驳的关键作用。在我们当前的市场经济活动中，要重视以人为本的管理方法，大力地强调定性向定量的方向发展，这一切都会涉及统计学方法。国家在进行经济调控时，也往往会使用到统计表格来表示一系列经济收支的情况，以便在宏观上对未来的经济投入比例进行相应的调整。 　　总之，企业要想得到最优化的市场营销方案，必须通过统计手段对市场的全面、科学分析才能获得，科学合理的统计分析，可以随时灵活地更改营销方案。

《多元统计学》课堂案例教学法探讨

在1920年美国的哈佛商学院倡导采取了一种十分独特的案例形式的教学方式，称其为案例教学法，此案例法实施之后，颇具绩效。在医学研究中，如果每个个体有多个观测数据，或者从数学定义，如果个体的观测数据能表为P维欧几里得空间的点，那么这样的数据称为多元数据，而分析多元数据的统计方法就称为多元统计分析。《多元统计学》课程是医学硕士研究生，特别是预防专业学生的专业基础课，然而《多元统计学》数学理论深奥、统计推导过程复杂，课程内容相对常规统计教学难度较大，本研究，提出适应于《多元统计学》课程的案例教学法，充分调动学生学习热情和积极性，更好的将多元统计分析方法应用到医学科研中[1]。

　1 案例教学法在《多元统计学》课程中的重要性　　医学统计学是运用统计学的原理和方法研究生物医学问题的一门学科，其是以数理统计和概率论为理论基础，以医学理论为指导的一门应用性学科。该学科的特点为：概念多，公式多，以及内容的逻辑性很强。而大多数的学生都是跳过其理论的基础课而直接的进入到应用的课程来进行学习，我们面对统计学的抽象原理以及繁多的公式与大量的数字进行运算，这使得学生们会经常的感到头痛，有时甚至会产生畏难的情绪出来。本研究提出的适应于《多元统计学》课程的案例教学法，取得了一定成效[2]。　　2案例教学法在《多元统计学》课程中的应用步骤　　在《多元统计学》课程中，收集整理研究内容主要分为四部分。　　2.1案例的前期准备 正式开始上课前一至两周，教师寻找与课程中相关的多元统计分析案例，案例为医学研究相关数据，并把案例的相关材料发给学生们。并让学员们来阅读相关的案例材料，以及查阅一些指定的相关资料与读物来搜集一些必要的相关信息，来初步的形成一些关于案例中有关问题的原因分析与解决的方案。在课程中会使用到国际标准软件，SAS软件，要求学生提前了解SAS软件程序。教师在此阶段列出了一些有关的思考题来让学生们有针对性的开展其准备方面的工作。　　2.2准备小组讨论 教师根据学生的医学专业、来自不同附属临床医院、工作经历（是否在职培养）等，将学生划分为由5人组成的几个小组。各个小组进行充分讨论，对多元统计数据结构、分析方法、软件的程序代码交换意见，各个学习小组的讨论地点可就近在各个附属临床医院或者校本部。小组以自己有效的方式组织活动，教师不参与小组活动。　　2.3小组集中参与讨论 让各小组成员都选派出自己的代表出来，来发表一些本组对多元统计案例的相关分析以及处理方面的意见，尤其是统计分析方法、软件程序、结果的解释等。成员们发言的时间要控制在25 min以内，其在发言完毕后要接受的其他组成员的讯问以及作出解释，而在此时，本小组的其他成员也是可以代替发言人来回答其问题的。教师可以提出一些意见来，比较其集中的问题以及处理的方式，并组织各个小组来对这些问题以及处理的方式来进行重点的讨论研究。

　2.4教师讲授 教师集中这些问题并让个小组来进行集中的讨论，然后留出时间让学生自己进行思考和总结学习的过程和经验，并让学生以书面的形式作出总结，对案例以及案例所反映出来各种问题有一个更加深刻的认识。教师对多元统计的理论进行梳理和详细的讲授，结合案例，对难点着重强调。对于医学生熟练使用软件实际操作分析数据，是必要的，教师应该给予重视。　　3 开展好案例式教学的必备条件　　经过实践我们发现，作为一种较好的教学模式，案例式教学法应用于《多元统计学》课程中，在师资、教材、实验环境等多个方面对我们提出了较高的要求[3]。　　3.1要求教师具备扎实的多元统计理论功底 为医学生开设《多元统计学》的教师应具有扎实的数学、统计学、计算机理论知识和较强的实践能力。同时这也是我国职业教育界对师资提出的基本素质要求。显然，如果没有一支数量充足、质量较高、具有科研项目背景的师资队伍，是不可能开展好案例式教学的。提高教师的统计水平，有以下3种途径：　　3.1.1积极开展教学、科研活动 有计划地安排教师与医院进行合作，获得医院真实的临床数据用于数据分析、模拟、研究，提高教师的统计分析水平和实践能力。鼓励教师利用业余时间参与校内外的项目开发和课题研究工作。　　3.1.2优化、改进教师队伍结构 引进、聘请本地区综合大学数学专业的专家、教授担任专业的兼职教师。这些老师往往数学功底、基础理论扎实，能够给学生带来大量的理论知识。同时对本学科医学统计学教师要加强教学方法的指导，加大专业课教师的培训力度。

3.1.3鼓励教师参加职业技术资格考试 鼓励教师通过多种途径获取一定级别的、与执教课程相对应的职业资格证书，对于医学统计学专业教师，可多参加SAS软件认证考试。　　3.2要求创造良好的实验环境 《多元统计学》的课程实践性要求学校必须配备良好的实验设备，比如，运行速度较快的计算机、甚至刀片机及大型服务器、正版的国际标准统计学软件SAS软件。案例式教学更要求学生要加强实践。对这些设备要加强维护、逐步更新，确保实验的正常开展。　　3.3要求学生积极参与 案例式教学的顺利开展不能缺少学生的积极、主动参与。要向学生讲解案例式教学的过程和要求，宣传案例式教学的优越性。要逐步转变学生的学习方法，变被动学习为主动学习，使学生真正成为学习的主体。教师在开展教学时，要由简到难、由浅入深、循序渐进的方式，让学生在案例式教学中不断体会成功的喜悦，激发学生的学习兴趣[4]。　　实践证明，案例式教学法是一种适合《多元统计学》教学和研究的有效的教学方法，利用它可以显著地提高教学效果。开展案例式教学，给广大教师带来了压力，更增添了动力和活力。随着师资水平的提高、实验条件的改善、教学方法与教学手段的改进，学生学习的积极性和主动性的不断增强，实践动手能力的不断提高，案例式教学法一定能在医学生培养过程中发挥更加积极的作用。

大数据时代背景下对应用统计学专业的思考

一、概述 众所周知，统计学自古至今就是一门以研究数据为主的学科，至今已经形成了较为成熟的数据研究体系与框架。统计学专业的学生的主要就业方向是银行、会计师事务所、市场调查公司或其它企事业单位。因此目前统计学教育的主要目的是能够培养出独立完成问卷设计、数据收集、应用模型进行数据分析的高级统计人才，其主要专业课程包括：高等概率论与数理统计、应用回归、多元统计、市场调查实务、时间序列分析、金融计算等，这些课程仍然是传统的课程设置，并不符合大数据时代数据科学家的专业知识构成。因此，在大数据时代背景下对应用型本科院校应用统计学专业的培养模式和教学改革的思考是非常有必要的。 　　2012年3月29日，美国在倡议书中指出，美国将应用收集巨大、复杂数据的挖掘能力，加速科学与工程学科的创新脚步，改革学生培养模式。北京师范大学邱东教授探讨了面对大数据潮流人们应持有的科学态度，从大数据的概念功能、统计学与数据科學的关系、大数据潮流对统计学产生的影响等4个方面论述了大数据对统计学的挑战[1]。英国学者维克托·迈尔·舍恩伯格认为大数据的精髓在于分析信息时的3个转变：一是可以分析和处理更多甚至是全部的数据，不再依赖随机抽样；二是研究数据如此之多，以至于人们不再追求精确度；三是人们不再热衷于寻找因果关系[2]。为适应大数据时代对数据处理人才更高综合素质的要求，统计学科教师与专业教育应在知识结构、教育内容、教育方式和人才培养模式等方面，主动进行与时俱进的充实、调整及变革[3]。文章拟从数据挖掘与统计分析的联系与区别、大数据对统计教育及统计人才的机遇与挑战的新形势下从政府、企业和人才等多个角度进行展开调查，对于应用型本科院校培养顺应时代发展的应用统计学专业的高层次人才提供相应的建议。 　

二、统计分析与数据挖掘的区别与联系 　　统计分析是指运用统计收集整理方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。 　　统计分析过程：描述要分析的数据的性质，研究基础群体的数据关系，创建一个模型，总结数据与基础群体的联系，证明（或否定）该模型的有效性，采用预测分析来预测将来的趋势。 　　统计分析方法：（1）描述统计：将研究中所得的数据加以整理、归类、简化或绘制成图表，以此描述和归纳数据的特征及变量之间的关系的方法。集中趋势、离散程度、相关强度等、指标有平均数、标准差、相关系数等；（2）推断统计：用概率形式来决断数据之间是否存在某种关系及用样本统计值来推测总体特征的一种重要的统计方法。总体参数估计、假设检验、Z检验、T检验、卡方检验等数据挖掘是从庞大的数据中分析出有目标数据群，筛选出利于决策的有效信息。数据挖掘的数据量极大，注重数据查询分析的可行性。数据挖掘是着眼于预测未来，从大量的数据中寻找某些规律。

数据挖掘过程：（1）定义问题：分析业务需求、定义问题的范围、定义计算模型所使用的度量、定义数据挖掘项目的特定目标等；（2）准备数据：删除错误数据或插入缺失值、查找数据中的隐含相关性、标识最准确的数据源、确定哪些列最适合用于分析；（3）浏览数据：计算最小值和最大值、计算平均偏差和标准偏差、查看数据的分布；（4）部署和更新模型：根据实际数据部署、更新模型；（5）浏览和验证模型：测试模型的性能、需要使用不同配置创建多个模型，并对所有这些模型进行测试，查看哪个模型为最佳；（6）生成模型：通过创建挖掘结构定义要使用的数据列、将挖掘结构链接到数据源，但只有对挖掘结构进行处理后，该结构才会实际包含数据。 从上可以看出大数据虽与统计学密切相关，但二者也在研究目的、数据处理对象和技术工具上有着诸多差异。大数据的兴起不仅在分析手段、工作重心和价值理念上给统计学带来了重大影响，而且也使担负着培养现代统计工作和数据分析之人才的统计教育面临严峻挑战。 　

三、大数据对统计人才及统计教育的机遇与挑战 　　根据2014年大数据应用现状和趋势展开的调研分析，被调查者最关注的大数据技术中，排在前三位的分别是数据分析（统计分析与数据挖掘等）（25.5%）、数据采集（19.9%）、数据处理 （18.5%）。企业数据管理面临的挑战：缺乏专业的大数据人才（26.95%）成为企业面临的最大挑战，其次是非结构化数据的分析和处理（26.65%）、传统技术难以处理大数据（25.27%）以及新技术门槛过高（21.13%）。根据2015年2月Forrest报告，很多企业都在努力挖掘其拥有的大量数据，包括结构化、非结构化、半结构化数据等，探索对数据的深入利用。从国内企业大数据应用的现状和规划来看，已经部署大数据应用的企业所占比例达到21.89%，计划1年内部署的企业占27.92%，计划2年内部署的企业占14.34%，没有相关计划和不确定的企业分别占11.32%和24.53%。大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据Gartner预测，到2016年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。 　　根据学院统计学不同方向等专业的学生、老师、专家以及政府范围工作人员等进行访问调查的结果，然后结合现如今大数据时代企业和政府对人才的需求，最终制定应用型人才培养方案分别如下： 　　（一）深化课程教学内容改革 　　1. 更新教学内容，紧跟时代发展——大数据、互联网金融、国民经济统计、货币银行、经济预测与决策；2. 强化统计基础，提高实践操作——统计方法、软件实现、贝叶斯统计、非参数估计、统计软件、数据挖掘；3. 强调专业导向，拓宽就业方向-选修、考证；金融类、经济类、管理类、会计类；统计从业资格证书。 　　最终根据学院不同方向统计学专业设置专业核心课如下： 　　（1）应用统计学：主要专业课 调整为：概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析，抽样技术、数据挖掘、贝叶斯统计、计量经济学、统计软件、非参数统计、统计调查等；（2）应用统计学（金融统计）：主要专业课 调整為：概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析，抽样技术、数据挖掘、金融计量学、风险管理、保险学、非寿险精算、统计软件、国民经济核算、统计调查等；（3）经济统计学：主要专业课 调整为：概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析，抽样技术、数据挖掘、国民经济核算、风险管理、保险学、非寿险精算、统计软件、金融计量学、统计调查等。 　

（二）重视教学方法改革 　　1. 教师教学理念——单向灌输式转向引导探究式、教学案例能贴近实际问题（体测数据、大学生婚恋、手机）；2. 鼓励学生参与各类项目——科研、调研、方案设计、抽样调查、统计调查、学科竞赛、教师课题（分解子课题）；3. 注重综合能力提升——表达、协作、创新、研究报告、PPT展示等。 　　（三）建立完善的实践教学系统 　　1. 基本知识技能实验——理论教学的课内实验，大一、二：数学类；大二、大三（上）：专业基础；2. 综合性实践教学——综合性数据的采集、处理、分析，大三（下）、四（上）：数据挖掘、统计软件、统计调查；3. 探索性实践教学——社会调查、毕业实习、毕业论文，大四（下）。 　　（四）改革课程考试方式 　　1. 基本知识（理论）+实验报告（平时）+综合实验（期末）数学类；专业基础课程；2. 方案设计、调研报告、抽样调查、统计调查；3. 综合实验，数据挖掘、统计软件。 　　四、结束语 　　最终学院统计系下设两个教研室和一个研究中心，即基础统计教研室、专业统计教研室和大数据统计科学应用研究中心。秉承和依托母体学校——上海财经大学的办学宗旨和学术底蕴。在全校统计学公共课教学方面，针对学生的特点，课程教学采用课堂教学、调查实践与统计调查大赛相结合的教学方式与形式。也采取和校外企业、单位等合作项目老师指导学生参与的形式，这样既提高学生的实践能力又加强了师生之间的交流。在这样边学理论边实践的过程中也让学生足够了解现在企业所需人才的类型、找到自己的不足再补充理论方面的知识，然后学生还可以向学校反馈信息，这样最终形成一个学院专业始终跟得上经济的发展形势，不断地改革和完善教学内容，争取培养出在各级政府机关、银行、证券以及上市公司、企业集团、跨国公司等企事业单位和经营管理机构从事统计、市场调研、市场预测与决策、信息咨询、可行性研究和综合评价等实际工作以及科研单位从事研究工作的应用型人才。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

对于p元总体（X1,X2,...,Xn），其样本为

其中第i个样本为

样本的第j个分量的均值定义为

样本的第j个分量的方差定义为

样本的第j个分量与第k个分量的协方差定义为

为样本的相关矩阵（Pearson相关矩阵）。

对于多元数据，与二元数据相同，采用数据框的输入方式，可以用mean()函数、cov()函数和cor()函数计算样本的均值、协方差矩阵和相关矩阵。关于相关性检验，仍是使用cor.test()函数作两两分量的相关性检验。

例子：为测试某种橡胶的性能，现抽取10个样品，每个测量三项指标：硬度、变形和弹性。其数据如下所示，试计算样本均值、样本协方差和样本相关矩阵，并用Pearson相关性检验确认变量X1、X2、X3是否相关？

首先建立数据文件（文件名：rubber.txt），其格式为：

X1X2X3

1654527.6

2704530.7

3704831.8

4694632.6

5665031.0

6674631.3

7684737.0

8724333.6

9664733.1

10684834.2

>#读取数据

>rubber<-read.table("rubber.text")

>#计算均值

>apply(rubber,2,mean)

68.1046.5032.29

>#计算协方差矩阵

>cov(rubber)

X14.766667-1.94444441.9344444

X2-1.9444443.83333330.6166667

X31.9344440.61666676.1898889

>#计算相关矩阵

>cor(rubber)

X11.0000000-0.45488320.3561291

X2-0.45488321.00000000.1265962

X30.35612910.12659621.0000000

>#相关性检验

>cor.test(~X1+X2,data=rubber)

Pearson'sproduct-momentcorrelation

data:X1andX2

t=-1.4447,df=8,p-value=0.1865

alternativehypothesis:truecorrelationisnotequalto0

95percentconfidenceinterval:

-0.84305350.2448777

sampleestimates:

cor

-0.4548832

>cor.test(~X1+X3,data=rubber)

data:X1andX3

t=1.078,df=8,p-value=0.3125

-0.35254860.8052056

0.3561291

>cor.test(~X2+X3,data=rubber)

data:X2andX3

t=0.36097,df=8,p-value=0.7275

-0.54659850.7003952

0.1265962

计算结果可得出：X1、X2、X3两两均不相关。

基于相关系数的变量分类

现在以一个示例说明相关系数的应用——基于相关系数的变量分类。

例子：现有48位应聘者应聘某公司的某职位，公司为这些应聘者的15项指标打分，这15项指标分别是：求职信的形式（FL）、外貌（APP）、专业能力（AA）、讨人喜欢（LA）、自信心（SC）、洞察力（LC）、诚实（HON）、推销能力（SMS）、经验（EXP）、驾驶水平（DRV）、事业心（AMB）、理解能力（GSP）、潜在能力（POT）、交际能力（KJ）和适应性（SUIT）。每项分数是从0到10分，0分最低，10分最高。每位求职者的15项指标被记录在"employee.txt"文件中，公司计划录用6名最优秀的申请者，问公司将如何挑选这些应聘者。

解：通常的作法是：做15项指标的平均值

录用分数最高的6名应聘者。

"employee.txt"数据如下：

>#读取数据，计算平均得分，并按照大小顺序排列

>rt<-read.table("employee.txt")

>AVG<-apply(rt,1,mean)

>sort(AVG,decreasing=TRUE)

4039872322224

9.6000009.4666679.0000008.6000008.6000008.5333338.4666678.400000

91016344122017

8.1333337.6666677.6666677.4000007.4000007.2000007.2000007.000000

4662115112745

7.0000006.8666676.7333336.6666676.6666676.6666676.4000006.333333

133814437151826

6.2000006.1333336.0000005.9333335.8666675.6666675.5333335.533333

1925363132333043

5.4000005.1333335.1333335.0666675.0666674.6666674.5333334.266667

4134354228474829

3.6666673.4000003.1333332.8666672.7333332.6000002.4000002.000000

将上述语句的mean该外sum，即求应聘者的总得分，其选择结果是仙童的。当然，也可按加权平均值计算：

其中w1,w2,...,w15是权值，满足w1+w2+...+w15=1,wi(i=1,2,...,15),它表示第i项指标的重要性，这里需要确定每项指标的权重。

上述方法有它的缺点，因为有些指标是相关的，而有些指标不相关。实际上，相关类多的项占的权重大，而相关类少的项占的权重小，因此在作评分之前，应先作相关性分析。

>cor(rt)

FLAPPAALASC

FL1.000000000.23880570.0440408890.3063130370.092144656

APP0.238805731.00000000.1234192960.3796141510.430769427

AA0.044040890.12341931.0000000000.0015897660.001106763

LA0.306313040.37961420.0015897661.0000000000.302439887

SC0.092144660.43076940.0011067630.3024398871.000000000

LC0.228432050.37125890.0768244940.4827749280.807545017

HON-0.106749470.3536910-0.0302696010.6454085950.410090809

SMS0.270699190.48954900.0547274210.3616438800.799630538

EXP0.548379630.14092490.2655853520.1407234150.015125832

DRV0.345576330.34054930.0935220300.3931641480.704340067

AMB0.284644840.54963590.0440659810.3465550340.842122228

GSP0.338201960.50629870.1975045520.5028093050.721108973

POT0.367452920.50737690.2900321510.6055075540.671821239

KJ0.467206190.2840928-0.3233193520.6851557680.482455962

SUIT0.585918220.38420840.1400173680.3269574190.250283416

LCHONSMSEXPDRVAMB

FL0.22843205-0.1067494720.270699190.548379630.345576330.28464484

APP0.371258940.3536909690.489549020.140924910.340549270.54963595

AA0.07682449-0.0302696010.054727420.265585350.093522030.04406598

LA0.482774930.6454085950.361643880.140723420.393164150.34655503

SC0.807545020.4100908090.799630540.015125830.704340070.84212223

LC1.000000000.3558444640.818020800.147201970.697515180.75754208

HON0.355844461.0000000000.23990754-0.155938490.280184990.21460636

SMS0.818020800.2399075391.000000000.255417580.814734210.85952656

EXP0.14720197-0.1559384950.255417581.000000000.337228210.19548192

DRV0.697515180.2801849890.814734210.337228211.000000000.78032317

AMB0.757542080.2146063590.859526560.195481920.780323171.00000000

GSP0.882848650.3858217580.782123220.299268230.714073190.78387073

POT0.777316170.4156574470.753609830.348338780.788400240.76886954

KJ0.526835620.4482455220.563284190.214953160.612807670.54712558

SUIT0.416144670.0027556170.558035850.692636170.622554060.43476824

GSPPOTKJSUIT

FL0.33820200.36745290.46720620.585918216

APP0.50629870.50737690.28409280.384208365

AA0.19750460.2900322-0.32331940.140017368

LA0.50280930.60550760.68515580.326957419

SC0.72110900.67182120.48245600.250283416

LC0.88284860.77731620.52683560.416144671

HON0.38582180.41565740.44824550.002755617

SMS0.78212320.75360980.56328420.558035847

EXP0.29926820.34833880.21495320.692636173

DRV0.71407320.78840020.61280770.622554062

AMB0.78387070.76886950.54712560.434768242

GSP1.00000000.87583090.54940760.527816315

POT0.87583091.00000000.53939680.573873154

KJ0.54940760.53939681.00000000.395798842

SUIT0.52781630.57387320.39579881.000000000

>

下面将变量分组，分组的原则是：同一组中变量之间的相关系数尽可能的高，而不同组之间的相关系数尽可能的低。从相关系数最大的变量开始，LC（洞察力）与GSP（理解能力）的相关系数是0.882，GSP与POT（潜在能力）的相关系数是0.876，而LC与POT之间的相关系数是0.777，因此，这三个变量可以看成一组。SMS（推销能力）也应该包含在这组中，因为它与LC、GSP和POT的相关系数分别是0.818、0.782、0.754，AMB（事业心）也应在此组中，其相关系数分别是：0.758、0.860、0.784和0.769。进一步研究，发现变量DRV（驾驶水平）和SC（自信心）也在此组中，此组中各个变量的相关系数至少在0.672以上。

再选择第二组变量，按照同样的原理选择FL（求职信的形式）、EXP（经验）和SUIT（适应性），其相关系数分别是：0.548、0.586和0.693。

第三组先选择KJ（交际能力）、LA（讨人喜欢），相关系数是0.685,，再选择HON（诚实），它与LA的相关系数是0.645，但它与KJ的相关系数只有0.448。由于全部数据均来自“人”的打分，HON变量分在这组也可以认为是合理的。

再看看AA（专业能力）、APP（外貌）两个变量，AA变量与其他变量的相关系数没有超过0.5，而APP变量与其他变量的相关系数虽然刚刚超过0.5，但仍地狱其他组内的相关系数。

最后得到五个分组：

由于每一组的指标基本上代表了同一组的里，因此，我们先得到各组的得分，即

最后每位申请者的得分是：

AVG=（G1+G2+G3+G4+G5）/5

编写相应的R程序如下：

>attach(rt)

>rt$G1<-(SC+LC+SMS+DRV+AMB+GSP+POT)/7

>rt$G2<-(FL+EXP+SUIT)/3

>rt$G3<-(LA+HON+KJ)/3

>rt$G4<-AA

>rt$G5<-APP

>AVG<-apply(rt[,16:20],1,mean)

840397239222

9.0000008.9714298.9142868.6190488.3904768.2095248.0666678.057143

241646510201344

8.0380957.5714297.5333337.3142867.3047627.2190487.2095247.095238

17141262745321

7.0761907.0476197.0285717.0190486.9142866.9047626.7333336.695238

151142618253819

6.6190486.4952386.3904766.3523816.2190486.2000006.1523815.952381

371364143313032

5.9238105.8857145.6857145.3619055.3142865.0476195.0095244.647619

4733354248342829

4.5238104.4380954.2571434.2571434.1904764.0476193.2666672.514286

在分组情况下，前6名应聘者是：8、40、39、7、23和9号。