前言

之前在给公司的程序员培训机器学习专题实战的时候，发现他们听的认真，也非常想学，但是每当问他们有哪里不懂的时候，他们总是回答不出哪里不懂，识懂非懂的状态，后来我总结了一下原因，1.机器学习领域跟程序开发的区别非常大，机器学习属于一个交叉学科，即需要数学也需要计算机学，难度相对与单学科要大些，2.机器学习领域有很多专业词汇与术语，之前程序员都没听说过和接触过，即使当时讲解的时候讲的非常细，也很难接触的过来，需要有个消化过程。

本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语，希望能在机器学习路上的你带来帮助，假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。

一．基础

1.数据集（DataSet）

数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。

程序员可以简单的理解成数据库表。

2.变量（variable）

变量来源于数学，是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。

可以理解为字段。

3.向量（Vector）

在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。

4.X变量（Independent variable）

又称自变量，自变量一词来自数学。在数学中，y=f（x） 。在这一方程中自变量是x，因变量是y。将这个方程运用到心理学的研究中，自变量是指研究者主动操纵，而引起因变量发生变化的因素或条件，因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中，性别被称为了自变量，而白细胞数则为因变量。

可以理解成我们在机器学习中需要分析的变量叫做X变量。

5.Y变量（dependent variable）

又称因变量，可以理解为结果变量，如我们在金融贷款项目中预测某人是否可以放款，是否可以放款这个变量就叫做因变量。

6.连续变量

在统计学中，变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。如:年龄、体重等变量。

7.离散变量

离散变量的各变量值之间都是以整数断开的，如人数、工厂数、机器台数等，都只能按整数计算。离散变量的数值只能用计数的方法取得。

8.二元变量

通常可以理解成哑变量或虚拟变量，虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量，用以反映质的属性的一个人工变量，是量化了的自变量，通常取值为0或1。

9.定性变量

统计学概念，定性变量（qualitative variable）又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时，一般是用非数字来表达其类别，这样的观测数据称为定性变量。可以理解成可以分类别的变量，如学历、性别、婚否等。

10.均值

即平均值，平均数是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。

11.中位数

对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。

12.缺失值

它指的是现有数据集中某个或某些属性的值是不完全的。

13.缺失率

某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数

14.异常值

异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。

15.度量

度量（metric）亦称距离函数，是度量空间中满足特定条件的特殊函数，一般用d表示。度量空间也叫做距离空间，是一类特殊的拓扑空间。弗雷歇（Fréchet，M.R.）将欧几里得空间的距离概念抽象化，于1906年定义了度量空间。

16.矩阵

在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的。

矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。

即可以看成一个方便用来计算的数组。

17.方差

（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

方差是衡量源数据和期望值相差的度量值。

18.标准差

标准差（Standard Deviation） ，中文环境中又常称均方差，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。

19.皮尔森相关系数

皮尔森相关系数（Pearson correlation coefficient）也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ，是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示，其中n为样本量，分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。

20.相关系数

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。

21.特征值

特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

22.特征向量

矩阵的特征向量是矩阵理论上的重要概念之一，它有着广泛的应用。数学上，线性变换的特征向量（本征向量）是一个非简并的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值（本征值）。

23.求导

求导是微积分的基础，同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。

24.MSE(Mean Square Error 均方误差）

均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。

25.LMS(LeastMean Square 最小均方)

最小均方算法，简称LMS算法，是一种最陡下降算法的改进算法， 是在维纳滤波理论上运用速下降法后的优化延伸，最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征，“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性，使LMS算法成为自适应算法中稳定性最好、应用最广的算法。

26.LSM(Least Square Methods 最小二乘法)

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

27.MLE(MaximumLikelihood Estimation最大似然估计)

最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

28.QP(Quadratic Programming 二次规划)

二次规划是非线性规划中的一类特殊数学规划问题，在很多方面都有应用，如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里，二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。

29.CP(Conditional Probability条件概率)

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

30. JP(Joint Probability 联合概率)

联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。

31.MP(Marginal Probability边缘概率)

边缘概率 Marginal Probability 是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。

这称为边缘化（marginalization）。A的边缘概率表示为 P(A)，B 的边缘概率表示为 P(B)。

32. Bayesian Formula(贝叶斯公式)

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。

贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则， 尽管它是一个数学公式，但其原理毋需数字也可明了。如果你看到一个人总是做一些好事，则那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。

L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)

L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化(sparsity)，从而方便人们提取特征。

GD(GradientDescent 梯度下降)

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组。

34. SGD(Stochastic Gradient Descent 随机梯度下降)

随机并行梯度下降算法（stochastic parallel gradient descent algorithm），简称SPGD算法。作为一种无模型优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。

35.QR-decomposition(QR分解)， 矩阵分解

矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分解法 (Singular Value Decomposition)。

36.Quantile (分位数)， 分位数

分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。

37.协方差

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变...

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。究竟大数据技术的核心原理是哪几方面呢？

数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据，数据分析越来越热门，资本也对贴有大数据标签的公司趋之若鹜。如同流动的数字货币一样被一再的评估、追崇。数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。

数据核心原理：从“流程”核心转变为“数据”核心

大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。

数据价值原理：有功能是价值转变为数据是价值

大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。

数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。

全样本原理：从抽样转变为需要全部数据样本

需要全部数据样本而不是抽样，你不知道的事情比你知道的事情更重要，但如果现在数据足够多，它会让人能够看得见、摸得着规律。

数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。

关注效率原理：由关注精确度转变为关注效率

关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要，人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。

竞争是企业的动力，而效率是企业的生命，效率低与效率高是衡量企来成败的关键。一般来讲，投入与产出比是效率，追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的，智能机器效率更高，已能代替人的思维劳动。智能机器核心是大数据制动，而大数据制动的速度更快。在快速变化的市场，快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则，也就是说，速度就是价值，效率就是价值，而这一切离不开大数据思维。

关注相关性原理：由因果关系转变为关注相关性

关注相关性而不是因果关系，社会需要放弃它对因果关系的渴求，而仅需关注相关关系，也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。

在这个不确定的时代里面，等我们去找到准确的因果关系，再去办事的时候，这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说按那个按钮，一定会出现相应的结果，是这样状态。而农业社会往前推，不需要找到中间非常紧密的、明确的因果关系，而只需要找到相关关系，只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好，开始挖掘相关关系的好处。

非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员，市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉，诸如此类。

接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%——效率大大提高了。

全世界的商界人士都在高呼大数据时代来临的优势：一家超市如何从一个17岁女孩的购物清单中，发现了她已怀孕的事实；或者将啤酒与尿不湿放在一起销售，神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。比如，腾讯一项针对社交网络的统计显示，爱看家庭剧的男人是女性的两倍还多；最关心金价的是中国大妈，但紧随其后的却是90后。而在过去一年，支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。

预测原理：从不能预测转变为可以预测

大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。

此外，随着系统接收到的数据越来越多，通过记录找到的最好的预测与模式，可以对系统进行改进。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据。一旦把统计学和现在大规模的数据融合在一起，将会颠覆很多我们原来的思维。所以现在能够变成数据的东西越来越多，计算和处理数据的能力越来越强，所以大家突然发现这个东西很有意思。所以，大数据能干啥？能干很多很有意思的事情。

互联网、移动互联网和云计算机保证了大数据实时预测的可能性，也为企业和用户提供了实时预测的信息，相关性预测的信息，让企业和用户抢占先机。由于大数据的全样本性，人和人都是一样的，所以云计算机软件预测的效率和准确性大大提高，有这种迹象，就有这种结果。

信息找人原理：从人找信息，转变为信息找人

互联网和大数据的发展，是一个从人找信息，到信息找人的过程。先是人找信息，人找人，信息找信息，现在是信息找人的这样一个时代。信息找人的时代，就是说一方面我们回到了一种最初的，广播模式是信息找人，我们听收音机，我们看电视，它是信息推给我们的，但是有一个缺陷，不知道我们是谁，后来互联网反其道而行，提供搜索引擎技术,让我知道如何找到我所需要的信息，所以搜索引擎是一个很关键的技术。

大数据还改变了信息优势。按照循证医学，现在治病的第一件事情不是去研究病理学，而是拿过去的数据去研究，相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生，因为医生知道的多，但现在我可以到谷歌上查一下，知道自己得了什么病。

谷歌有一个机器翻译的团队，最开始的时候翻译之后的文字根本看不懂，但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话，说从团队每离开一个语言学家，翻译质量就会提高。越是专家越搞不明白，但打破常规让数据说话，得到真理的速度反而更快。

机器懂人原理：由人懂机器转变为机器更懂人

不是让人更懂机器，而是让机器更懂人，或者说是能够在使用者很笨的情况下，仍然可以使用机器。甚至不是让人懂环境，而是让我们的环境来懂我们，环境来适应人，某种程度上自然环境不能这样讲，但是在数字化环境中已经是这样的一个趋势，就是我们所在的生活世界，越来越趋向于它更适应于我们，更懂我们。哪个企业能够真正做到让机器更懂人，让环境更懂人，让我们随身携带的整个的生活世界更懂得我们的话，那他一定是具有竞争力的了，而“大数据”技术能够助我们一臂之力。

大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律，从而使数据发挥最大化的价值。由计算机代替人去挖掘信息，获取知识。从各种各样的数据（包括结构化、半结构化和非结构化数据）中快速获取有价值信息的能力，就是大数据技术。大数据机器分析中，半监督学习、集成学习、概率模型等技术尤为重要。

电子商务智能原理：大数据改变了电子商务模式，让电子商务更智能

商务智能，在今天大数据时代它获得的重新的定义。例如：传统企业进入互联网，在掌握了“大数据”技术应用途径之后，会发现有一种豁然开朗的感觉，就像在黑屋子里面找东西，找不着，突然碰到了一个开关，发现那么费力的找东西，原来很容易找得到。大数据思维，事实上它不是一个全称的判断，只是对我们所处的时代某一个纬度的描述。

大数据时代不是说我们这个时代除了大数据什么都没有，哪怕是在互联网和IT领域，它也不是一切，只是说在我们的时代特征里面加上这么一道很明显的光，从而导致我们对以前的生存状态，以及我们个人的生活状态的一个差异化的一种表达。

当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。或者说，在你还不知道的情况下，体检公司、医院提醒你赶紧去做检查，可能会得某些病，商家比你更了解你自己，以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。

定制产品原理：由企业生产产品转变为由客户定制产品

下一波的改革是大规模定制，为大量客户定制产品和服务，成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色，厂商有能力满足要求，但价格又不至于像手工制作那般让人无法承担。因此，在厂家可以负担得起大规模定制带去的高成本的前提下，要真正做到个性化产品和服务，就必须对客户需求有很好的了解，这背后就需要依靠大数据技术。

在互联网大数据的时代，商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的，航空公司会给我们里程卡，根据飞行公里数来累计里程，但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信，“恭喜先生，您已经被我们选为幸运顾客，我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您，您的额度又被提高了，”就说明钱花得已经太多了。

正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想，工作了一年很辛苦，要不要去哪里度假？打开e-Mail，就有航空公司、旅行社的邮件。

企业产品直接销售给用户，省去了中间商流通环节，使产品的价格可以以出厂价销售，让销费者获得了好处，网上产品便宜成为用户的信念，网购市场形成了。要让用户成为你的产品粉丝，就必须了解用户需要，定制产品成为用户的心愿，也就成为企业发展的新方向。

“

本账号提供最新物联网展会活动资讯，和多家物联网企业形成战略合作伙伴，带领用户与物联网行业大咖、各地物联网俱乐部共同来玩转物联网，为行业创造最酷的物联网线下体验和思想交流的平台。

IOTCOFFEE

有很多人认为统计学专业的工作不好找，找工作无非是银行、证券、公务员。

其实统计学和数学一样是一个服务类学科，并没有所谓的“对口就业”。只要出现数据的行业，都需要统计学，因为本来这个行业里面的人他们的专业范围是得到（产生）数据，比如说银行、保险、零售、公共卫生、制药等等，而分析数据就已经超出了这个行业内人员的专业范围了，举个例子比如制药，药学或者生物学的科研人员可以提出新药的配方，但是新药临床实验怎么设计？结果到底能不能说明新药比旧药效果好？结论的可信度是多少？有些参加实验的病人没有完成实验就退出了或者死亡了，出现了数据空缺，这些样本怎么处理？这些问题不是肉眼观察或者简单地加减计算能够回答的。这个时候就需要运用统计学的方法来处理。的确，银行、保险、医药好像感觉就业比例较多，那是因为这些行业对数据分析的依赖程度已经比较高，但是随着各行各业的发展，越来越多的行业开始需要数据分析这一个职业。不需要担心对口，如果用人方的需求是统计学人才，你去就能用上学的东西。

目前总体看统计学在国外发展更好，相关工作的薪水更多。不过国人已经认识到统计学的重要性，相信以后统计学会在国内蓬勃发展的。

——一丝不挂~

就目前的形势来看，统计学专业就业职业基本可以概括为以下三种：

1、一般性统计工作者——主要就是去一些单位或者企业从事简单的数据处理及分析工作，大到进行客观分析，小到微观企业统计，工作环境取决于单位环境。但是一般很稳定，工作压力也不大，就是工资一般，大概是4000到5000的水平。

2、经济咨询师——主要为一些事业单位等作咨询、调研等有关经济分析工作。这就是经济统计方向学生毕业后可以从事的工作，最近几年比较吃香，不过压力很大，工资也是和业绩挂钩的。越有能力赚的越多，做不下去专业的也很多，很考验个人能力。

3、市场调查与分析专家——主要进行项目评估及分析。算是众多职业中比较高端的工作了，但是相应的应聘要求也很高，一般至少要求是研究生及以上学历。经历越多越吃香，不是随便谁都可以干的。一旦干好了，钱就像流水一样进账。如果想往这个方向发展，建议好好学习，再深造一下，不用怕浪费时间金钱，是值得的。

而且在就业时要从自身条件出发，客观地评价估计自己，在经历了大学四年的学习之后，要用成熟、稳重、自信的风貌出现在人们面前，另外，现在的大学生也不要总拘泥于选择大城市、大单位，总注意个人收入，工作环境，要多考虑一下自己以后的发展。

——再也不要原谅你

想了解更多相关内容，记得持续关注我们哦。

如果你觉得有点意思，请有秩序的评论、转发、收藏。

雷锋网按：本文源自美国机器学习专家 Jason Brownlee 的博客，雷锋网编译。

时间序列预测，究竟需要多少历史数据？

显然，这个问题并没有一个固定的答案，而是会根据特定的问题而改变。

在本教程中，我们将基于 Python 语言，对模型输入大小不同的历史数据，对时间序列预测问题展开讨论，探究历史数据对 ARIMA 预测模型的性能影响。（雷锋网注：ARIMA 全程是 Autoregressive Integrated Moving Average Model，即自回归积分滑动平均模型）

具体来说，在本教程中，我们将：

● 加载标准数据集并输入 ARIMA 模型；

● 对历史数据年份进行敏感性分析；

● 分析敏感性分析的结果。

通过本例提供的模板，大家将可以根据各自特定的时间序列预测场景，展开类似的针对历史数据大小的敏感性分析。

加载数据集

本例中我们使用来自澳大利亚气象局的一份数据，该数据描述了墨尔本市 10 年（1981 - 1990年）内的每日最低气温，单位为摄氏度，观测值共 3650 次。

这里我们将下载好的数据集保存在 daily-minimum-temperature.csv 文件中。

这里需要注意的是，下载文件中有一些多余的“?”字符，可以通过文本编辑器打开并删除，否则模型无法处理。此外，文件中的脚注信息也需要删除。

以下代码展示了如何加载数据库，并生成 Pandas 库中的 Series 对象。

# line plot of time series

from pandas import Series

from matplotlib import pyplot

# load dataset

series = Series.from_csv('daily-minimum-temperatures.csv', header=0)

# display first few rows

print(series.head(20))

# line plot of dataset

series.plot()

pyplot.show()

运行代码后打印得到的前 20 行数据如下所示：

根据载入数据，可以得到如下图所示的温度变化曲线，从图头中可以看到明显的季节性变化。

搭建 ARIMA 预测模型

在本节中，我们将基于以上数据搭建一个 ARIMA 预测模型。

这里我们不会调整模型参数。而且，为了对数据平稳化并适配 ARIMA 模型，必须先删除数据中包含的明显的季节性变化趋势。

以下代码中，我们通过减去前一年数据的办法来获得数据的季节性差异。需要说明的是，这种方法是很粗糙的，因为它并没有考虑闰年的因素。而且，这也意味着第一年的数据将无法用于建模，因为第一年并没有更早的数据。

# seasonal difference

differenced = series.diff(365)

# trim off the first year of empty data

differenced = series[365:]

接下来，我们将数据导入 ARIMA(7,0,0) 模型，并打印输出汇总信息。

# fit model

model = ARIMA(differenced, order=(7,0,0))

model_fit = model.fit(trend='nc', disp=0)

print(model_fit.summary())

打印输出的汇总信息如下：

历史数据的敏感性分析

这一节我们将讨论历史数据大小对模型预测性能的影响。

上文提到，我们原本有 10 年的原始数据，但是由于季节性差异处理，因此只有 9 年的实际数据可用。为了进行历史数据大小的敏感性分析，这里我们将最后一年的数据作为测试样本，依次选择1年、2年一直到8年的剩余数据为训练样本，步进地进行测试，并逐日记录测试情况。根据记录数据，我们还计算了均方根误差（RMSE）来明确反应模型的性能表现。

下面这行代码将经过季节性调整的数据分为训练数据和测试数据。

train, test = differenced[differenced.index < '1990'], differenced['1990']

需要注意的是，这里根据自己的问题预测规模，选择合适的间隔很重要。本例中我们未来对历史数据量进行敏感性分析进行了步进操作。另外，鉴于数据的季节性，本例中一年是数据集的最好的时间间隔。但感兴趣的朋友根据问题域的变化也可以选择其他间隔，例如阅读或者多年时间间隔。

以下是具体代码：

# split

years = ['1989', '1988', '1987', '1986', '1985', '1984', '1983', '1982']

for year in years:

# select data from 'year' cumulative to 1989

dataset = train[train.index >= year]

定好了数据之后，下一步是评估 ARIMA 模型。

具体的步进评估方法是：首先选取一个时间段的数据，并根据选定数据建模，训练，然后对下一段数据进行预测，预测后记录数据并计算正确率。接着，将真实的观察数据加入建模数据，建立新的模型并展开训练，对再下一段数据进行预测，并记录结果。依次进行，知道数据用完。

最终，预测结果将被集合在一起，与真实观察数据中的最后一年比较，计算出错误情况。在这种情况下，RMSE 将被用作预测得分，并将与观察结果的数量级等同。

具体代码如下：

# walk forward over time steps in test

values = dataset.values

history = [values[i] for i in range(len(values))]

predictions = list()

test_values = test.values

for t in range(len(test_values)):

model = ARIMA(history, order=(7,0,0))

# make prediction

yhat = model_fit.forecast()[0]

predictions.append(yhat)

history.append(test_values[t])

rmse = sqrt(mean_squared_error(test_values, predictions))

print('%s-%s (%d values) RMSE: %.3f' % (years[0], year, len(values), rmse))

运行代码后的打印输出结果如下。需要注意的是，因为代码在每个历史训练数据间隔都创建了 356 个 ARIMA 模型，因此可能需要一些时间。

1989-1989 (365 values) RMSE: 2.336

1989-1988 (730 values) RMSE: 2.333

1989-1987 (1095 values) RMSE: 2.326

1989-1986 (1460 values) RMSE: 2.321

1989-1985 (1825 values) RMSE: 2.320

1989-1984 (2190 values) RMSE: 2.320

1989-1983 (2555 values) RMSE: 2.318

1989-1982 (2920 values) RMSE: 2.316

从结果可以看到，随着可用历史数据的增多，模型的误差总体呈下降趋势。

但同时也应该看到，在 4-5 年的时间段，不断增长历史数据的效果收益率实际上是递减的。也就是说，在历史数据不足或模型训练时间无法满足要求时，也可以根据实际需求，利用相对较少的历史数据，得到一个性价比最高的结果。

以下代码是根据测试数据绘制曲线图的过程。

x = [365, 730, 1095, 1460, 1825, 2190, 2555, 2920]

y = [2.336, 2.333, 2.326, 2.321, 2.320, 2.320, 2.318, 2.316]

pyplot.plot(x, y)

运行后得到的曲线如图所示。

从曲线图可以更清晰地看到总体上历史数据越多，预测结果就更精确这一变化趋势。因为历史数据越多，就意味着系数的优化越精确，符合数据变化的内在规律的可能性就越高。

但同时也可以从上图中看到另一个现象：大多数时候人们觉得历史数据越多，模型的表现就越好。但实际上，连续两年或三年的数据之间并没有什么根本性的差别，因此灵活选择时间跨度也至关重要。

局限性和扩展

我们通过本次教程为大家演示了如何设计、执行和分析基于时间序列预测的历史数据敏感性分析。现针对样例中的一些局限和可能的扩展项目整理如下：

1. 模型参数未调试。本例中我们使用的 ARIMA 模型并未针对问题域进行过任何的参数调节。在理想状态下，一个针对历史数据量的敏感性分析应该基于一个经过参数调节的 ARIMA 模型。

2. 统计学意义。上文中提到的，针对不同的历史数据，模型的不同预测表现是否具有统计学意义，目前尚不清楚。但 Pairwise 统计学显着性检验可用于评估 RMSE 的差异是否有意义。

3. 其他模型。本例中我们使用了 ARIMA 模型来进行历史数据的系数拟合。感兴趣的朋友可以换用其他模型进行类似的研究，各个模型对历史数据的敏感性和处理方式也各不相同。

4. 其他时间间隔。本例中我们以一年为时间间隔，但实际上也可以选择其他间隔。例如几个星期、几个月或者几年，要根据不同的问题域灵活选择。另外，如上文所述，还要考虑相邻时间段之间数据的相似性，这也是一个很重要的影响因素。

来源：，雷锋网编译machinelearningmastery

在产品的增长分析当中，想关注符合某些条件的一部分用户，不仅想知道这些人的整体行为（访问次数，访问时长等），还希望知道其中差异较大的细分群体。用户分群方法，能帮助我们对差异较大的群体分别进行深入分析，从而探究指标数字背后的原因，探索实现用户增长的途径。

用户分群的应用场景

在日常的数据工作中，我们经常接到这样的需求：想关注符合某些条件的一部分用户，不仅想知道这些人的整体行为（访问次数，访问时长等），还希望知道具体是哪些人符合这些条件。然后查看这些人的数据导出用户名单，针对性的发送tips消息。有时还想进一步查看某些人在使用某功能上的具体操作行为。

用户分群，就是用来满足这类需求的工具方法，它能帮助我们对差异较大的群体分别进行深入分析，从而探究指标数字背后的原因，探索实现用户增长的途径。

如用户画像分群，核心价值在于精细化的定位人群特征，挖掘潜在的用户群体。使网站、广告主、企业及广告公司充分认知群体用户的差异化特征，根据群体的差异化特征，帮助客户找到营销机会、运营方向，全面提高客户的核心影响力。

用户分群

类型一：不分群，如全量活跃用户投放，群发短信等，缺点是没有针对性，容易引起用户反感。

类型二：用户基本信息分群，如根据用户注册的信息分群。相比不分群，这种方法已具备一定的针对性， 但是由于对用户不是真正了解，产生不了很好的结果预期。

类型三：用户画像分群，如年龄、性别、地域、用户偏好等，画像建设的焦点是为用户群打“标签”。

一个标签通常是人为规定的高度精炼的特征标识，最后将用户分群的标签综合，即可勾勒出该用户群的立体“画像”。画像分群让我们真正了解了用户的某些特征，对业务推广帮助很大。

类型四：根据用户行为进行分群，此阶段会在画像分群的基础上关注用户的行为特征, 如根据用户的注册渠道和活跃习惯，制定不同的营销推广策略。

类型五：聚类和预测建模分群，聚类建模可以根据用户的综合特征指标，将用户分为不同的群体，如将用户划分为娱乐型、挂机型、社交型、办公型等；

预测建模即尝试去猜测用户下一步的态度与行为（例如想知道什么，想做什么）。正因如此，它对将复杂的行为过程变为营销自动化，是十分有帮助的。

常见的用户分群维度

1. 统计指标：年龄，性别，地域

2. 付费状态：免费，试用，付费用户

3. 购买历史：未付费用户，一次付费用户，多次付费用户

4. 访问位置：用户使用产品的区域位置

5. 使用频率：用户使用产品的频率

6. 使用深度：轻度，中度，重度用户

7. 广告点击：用户点击了广告 vs 未点击广告

常用的聚类分群方法介绍

上面介绍了一些关于分群的方法和思路， 接下来重点讲解一下用户聚类分群，聚类分群可分为层次聚类（合并法，分解法，树状图）和非层次聚类（划分聚类，谱聚类等），而较常用的互联网用户聚类方法为K-means聚类方法和两步聚类法（均为划分聚类）。

聚类分析的特征：

简单、直观；

主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者 的主观判断和后续的分析；

不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到若干类别的解；

聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响;

研究者在使用聚类分析时应特别注意可能影响结果的各个因素；

异常值和特殊的变量对聚类有较大影响；

当分类变量的测量尺度不一致时，需要事先做标准化处理。

聚类分析的弱点：

聚类是一种无监督类分析方法，无法自动发现应该分成多少个类；

期望能很清楚的找到大致相等的类或细分市场是不现实的；

样本聚类，变量之间的关系需要研究者决定；

不会自动给出一个最佳聚类结果。

聚类分析的应用过程：

一、选择聚类变量

在选取特征的时候，我们会根据一定的假设，尽可能选取对产品使用行为有影响的变量，这些变量一般包含与产品密切相关的用户态度、观点、行为。

但是，聚类分析过程对用于聚类的变量还有一定的要求：

1、这些变量在不同研究对象上的值具有明显差异；

2、这些变量之间不能存在高度相关。

首先，用于聚类的变量数目不是越多越好，没有明显差异的变量对聚类没有起到实质意义，而且可能使结果产生偏差；

其次，高度相关的变量相当于给这些变量进行了加权，等于放大了某方面因素对用户分类的作用。

识别合适的聚类变量的方法：

1、对变量做聚类分析，从聚得的各类中挑选出一个有代表性的变量；

2、做主成份分析或因子分析，产生新的变量作为聚类变量。

二、聚类分析

相对于聚类前的准备工作，真正的执行过程显得异常简单。数据准备好后，导入到统计工具中跑一下，结果就出来了。这里面遇到的一个问题是，把用户分成多少类合适？

通常，可以结合几个标准综合判断：

1、看拐点（层次聚类会出来聚合系数图，一般选择拐点附近的几个类别）；

2、凭经验或产品特性判断（不同产品的用户差异性也不同）；

3、在逻辑上能够清楚地解释。

三、找出各类用户的重要特征

确定一种分类方案之后，接下来，我们需要返回观察各类别用户在各个变量上的表现。根据差异检验的结果，我们以颜色区分出不同类用户在这项指标上的水平高低。其他变量以此类推。最后，我们会发现不同类别用户有别于其他类别用户的重要特征。

四、聚类解释和命名

在理解和解释用户分类时，最好可以结合更多的数据，例如，人口统计学数据、功能偏好数据等等。然后，选取每一类别最明显的几个特征为其命名，大功告成。

K-means聚类应用案例

在本案例中，我们首先来看最常用的K-Means聚类法（也叫快速聚类法），这是非层次聚类法当中最常用的一种。

因其简单直观的计算方法和比较快的速度（相对层次聚类法而言），进行探索性分析时，K-Means往往是第一个采用的算法。并且，由于其广泛被采用，在协作沟通时也节省了不少用于解释的时间成本。

1、K-means的算法原理：

a、随机取k个元素，作为k个簇各自的中心。

b、计算剩下的元素到k个簇中心的相似度，将这些元素分别划归到相似度最高的簇。

c、根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。

d、将全部元素按照新的中心重新聚类。

e、重复第4步，直到聚类结果不再变化，然后结果输出。

假设我们提取到原始数据的集合为(X1, X2, …, Xn)，并且每个Xi为d维的向量， K-means聚类的目的就是，在给定分类组数k（k ≤ n）值的条件下，将原始数据分成k类，S = {S1, S2, …, Sk}，在数值模型上，即对以下表达式求最小值（μi 表示分类Si 的平均值）：

2、用户分群背景和目标:

某产品覆盖社会各种群体（不同年龄、不同行业、不同兴趣等），需要将大盘用户进行一定细分，然后针对性的开展运营活动。

3、聚类变量选取:

用户画像特征、用户状态特征、用户活跃特征

4、 聚类分析和结果：

通过相关性分析和变量重要性分析，剔除部分效果差的变量，然后对剩余11个变量进行多次训练（目标聚类个数，参与的变量，组内个体差异容忍度），最终得出聚类结果。

5、结果解读和命名：

聚类1：低端低龄群体

聚类2：学生活跃群体

聚类3：职场高粘性群体

聚类4：职场低粘性群体

聚类5：高龄低活跃群体

两步聚类和k-means聚类效果对比

前面谈到的K-Means聚类法有简单、直观和快速的优点。但是其缺点是只能采用数值型变量，不能包含类别变量，并且对异常值非常敏感，离群值很容易严重影响聚类结果。

并且，当数据集比较大（在腾讯，这种情况很常见），不能把所有数据点都装进内存的时候，K-Means就无法在单机上运行。

而两步聚类法则克服了以上缺点，可以包含类别变量和数值型变量，并且当硬件条件不足或数据集非常大时，都能顺利运行。

这种两步聚类法可以看成是改进版BIRCH聚类算法和层次聚类法的结合，先用BIRCH算法中的“聚类特征树”做预聚类，形成子类，然后把子类作为输入，做层次聚类。

1、两步聚类的原理：

第一步：预聚类过程：

构建聚类特征树（CFT），分成很多子类。

开始时，把某个观测量放在树的根节点处，它记录有该观测量的变量信息，然后根据指定的距离测度作为相似性依据，使每个后续观测量根据它与已有节点的相似性，放到最相似的节点中，如果没有找到某个相似性的节点，就为它形成一个新的节点。

在这一步当中，离群点将会被识别并剔除，不会像在K-Means当中那么容易地影响结果。

第二步：正式聚类：

将第一步完成的预聚类作为输入，对之使用分层聚类的方法进行再聚类（以对数似然函数作为距离的度量）。

每一个阶段，利用施瓦兹贝叶斯信息准则（BIC）评价现有分类是否适合现有数据，并在最后给出符合准则的分类方案。

2、 两步聚类的优点：

a、海量数据处理；

b、自动标准化数据；

c、能够处理分类变量和连续变量的混合数据；

d、可自动丢弃异常值或者将异常值归入最近的类。

e、可自动确定或者根据业务需要人工指定分类数目；

3、两步聚类的效果对比：

对第六点同样的数据进行两步聚类，得到模型最优结果如下：

4、两步聚类结果解读：

聚类1：低端低龄群体

聚类2：学生或新入职场高活跃群体

聚类3：青年低活跃群体

聚类4：青年挂机群体

聚类5：职场办公群体

聚类6：高龄低活跃群体

业务案例 – 通过K-Means聚类

业务案例 – 通过K-Means聚类，挖掘特殊行为模式的客户群

1、业务需求

在本案中，产品经理希望了解登录不活跃用户的行为模式，并且能针对不同的行为组合，对庞大的用户群体进行细分，从而关注不同群体的不同需求，甚至挖掘垂直领域需求，从而在产品或运营侧采取措施，拉活沉默用户，提高DAU。

2、分析目标

a、发现使用行为模式异于大盘典型用户的细分群体

b、粗估每个细分群体的用户数量

c、了解每个细分群体的行为特征和用户画像

d、基于上述结果，在拉活方面，提出产品或运营建议或明确进一步探索的方向

3、分析过程

a) 特征提取

分析聚焦于用户的点击行为。在本例中，考虑到用户行为的典型性，选取了4个完整的周，共28天的数据，并且时间窗当中无任何节日。

另外，考虑到计算性能和探索性分析需要反复迭代的场景，只从大盘当中随机抽取千分之一的用户作为代表。

b) 特征筛选

在特征提取阶段一共提取了接近200个功能点的点击数据。但是这些特征当中，有些覆盖面非常低，只有百分之一的用户在28天当中曾经使用，这些低覆盖的特征会首先被去除。

另外，前面谈到高度相关的变量也会干扰聚类过程，这里对所有特征对两两进行计算皮尔逊相关系数，对高相关特征（相关系数大于0.5）则只保留其中保留覆盖面最广的特征，以便最大限度地体现用户差异。

c) 特征改造-探索

经过上面两步后，笔者曾进行过多次聚类探索，但无一例外，聚类结果都呈现出一个超级大类搭配数十个非常小的小类（几个或十几个用户）。这样的结果，显然与我们的分析目标是想违背的。

其一，这里挖掘出的小群体体积太小，从业务角度来说没有价值；其二，超级大类基本等同与大盘用户，没有能找出其中的用户差异。

为什么会有这样的结果呢，主要是因为点击行为基本上遵循的是幂率分布，大量用户集中在低频次区间，而极少量用户却会有极高的频次，这样在典型的聚类算法中，高频次用户都会被聚集成人数极少的小类，而大量的低频词用户就会被聚集成一个超级大类。

对于这种情况，典型的解决方法是对频次取对数，使幂率分布转化为近似的正态分布再进行聚类，在本次研究中，取自然对数后，聚类效果仅有少量改善，但仍然停留在一个超级大类加上若干人数极少的小类的情况。

背后原因，是点击行为数据的特点之一：核心功能和热门项目点击人数极多，而相对冷门的功能则有大量的0值。这样的情况下，取对数是没有改善的。

回到本次分析的目标当中，我们需要“发现使用行为模式异于大盘典型用户的细分群体”，如果丢弃这些冷门功能只看热门选项，则无法找出一些相对小众的行...

近日，有小伙伴发现，韩服数据网站OP.GG的英雄统计中，铸星龙王奥瑞利安·索尔的数据分析选项已经消失了。原因是因为没有足够的取样能够对龙王这个英雄进行分析。

作为替代龙王熬兴，极具中国风的英雄龙王，曾经一度制霸胜率排行榜，一手大玉螺旋丸压制整条中路线也在世界赛上混的风生水起过，但如今已经被人置弃到连数据统计都没法得出的程度了，不仅让人唏嘘感叹，那些龙王玩家都去哪了？

2016年，北美中单Huhi在S6世界赛上专精龙王，在中路推进搓出超大螺旋丸。

不知此前是否存在有英雄冷门到没有数据分析的程度，但现在，可以说没有一个英雄能跟龙王比冷门了，当前版本最冷门英雄非他莫属。

小伙伴们认为是哪些原因导致龙王没落到这个地步的呢？

学习强势英雄玩法 掌握套路迅速上分 赶快关注兔玩英雄训练营!

导 语

采购最终的目的就是在贩卖获利，所以采购是否有绩效，最终的表现就显示在数据上，而数据是很现实的，没有达到既定的目标，效率就会被判定为“差”。因此，在采购的数据管理上，现提出几种管理数据做为分析判断的工具：

四大工具

一、进销存的数据资料掌握

要能明确算出每个部门，每个中分类，每月的进销存数据，而利用POS系统及EOS系统较能很快掌握公司的销售资料及进货资料。换言之，如能以较科学的方式来获取进销存的资料，较能给经营带来大的助益。

二、分类的构成比分析

管理一个公司的商品，不能只是知道全店的营业额和利益，也不能只顾及部门的营业额及利益。例如：不但要知道饮料类这个中分类的营业额及利益是多少，对于它所占的构成比也要了解，才能知道销售的弱点在那里，以及如何加以改善。

三、毛利率分析

毛利率=毛利率/营业额×100

对于每一个分类也要能将毛利率计算出来，了解哪一个分类的获利能力好，哪一个分类的获利能力差，而调整商品结构或强化弱的分类。

四、商品回转率分析

商品回转率=营业额/初期存货+期末存货/2×100

商品回转天数=365天/年商品回转率

超市的经营决窍之一，就在求取快速的商品回转率，所以对于每一分类的回转率须予以计算出来，回转率愈快愈好。因回转率愈快，商品鲜度愈佳，资金回收速度也快；如此形成一个良性的循环，经营才会杰出。

一般来说，超市的回转次数，一年应保持在20—22次以上才合乎标准，经营者可以检查一下自己公司的回转次数，是否在标准之内，若在标准之外，可就要好好努力了。

采购部门是超市创造业绩的部门，所以如果没有完备的采购组织存在，超市根本不可能存在，更不用说想赚钱了，因此超市在谈利润的第一步就是要先组织一支战斗力十足的 采购 战斗队伍，如此严密地把守住货物进出的第一关，才有可能使超市真正立于不败之地。

采购部门就如同制造业的生产部门一般，是创造利润的单位，此关若把守得当，只进一些会赚钱的货，自然就可以确保超市的基本业绩。一般而言， 采购组织可分为分权式采购组织及集权式 采购 组织两类，这两类组织模式各有利弊，业者可视个人的规模、目标而选定适合自己的模式。

在采购过程中，数据分析具有极其重要的战略意义，是优化供应链和采购决策的核心大脑。因此做好数据分析，是采购过程中最重要的环节之一。

那么如何做好数据分析呢？以下梳理出数据分析的8步流程，以及常见的7种分析思路。在启动数据分析前，最好跟主管或数据经验较丰富的同事确认每一步的分析流程。

数据分析八大流程

1、为什么要分析

首先，你得知道为什么分析？弄清楚此次数据分析的目的。比如，什么类型的客户交货期总是拖延。你所有的分析都的围绕这个为什么来回答。避免不符合目标反复返工，这个过程会很痛苦。

2、分析目标是谁

要牢记清楚的分析因子，统计维度是金额，还是产品，还是供应商行业竞争趋势，还是供应商规模等等。避免把金额当产品算，把产品当金额算，算出的结果是差别非常大的。

3、想达到什么效果

通过分析各个维度产品类型，公司采购周期，采购条款，找到真正的问题。例如这次分析的薄弱环节供应商，全部集中采购，和保持现状，都不符合利益最大化原则。通过分析，找到真正的问题根源，发现精细化采购管理已经非常必要了。

4、需要哪些数据

采购过程涉及的数据，很多，需要哪些源数据？采购总额？零部件行业竞争度？货款周期？采购频次？库存备货数？客户地域因子？客户规模？等等列一个表。避免不断增加新的因子。

5、如何采集

数据库中供应商信息采集,平时供应商各种信息录入,产品特性录入等,做数据分析一定要有原料,否则巧妇难为无米之炊。

6、如何整理

整理数据是门技术活。不得不承认EXCEL是个强大工具，数据透视表的熟练使用和技巧，作为支付数据分析必不可少，各种函数和公式也需要略懂一二，避免低效率的数据整理。Spss也是一个非常优秀的数据处理工具，特别在数据量比较大，而且当字段由特殊字符的时候，比较好用。

7、如何分析

整理完毕，如何对数据进行综合分析，相关分析？这个是很考验逻辑思维和推理能力的。同时分析推理过程中，需要对产品了如指掌，对供应商很了解，对采购流程很熟悉。看似一个简单的数据分析，其实是各方面能力的体现。首先是技术层面，对数据来源的抽取－转换－载入原理的理解和认识；其实是全局观，对季节性、公司等层面的业务有清晰的了解；最后是专业度，对业务的流程、设计等了如指掌。练就数据分析的洪荒之力并非一朝一夕之功，而是在实践中不断成长和升华。一个好的数据分析应该以价值为导向，放眼全局、立足业务，用数据来驱动增长。

8、如何展现和输出

数据可视化也是一个学问。如何用合适的图表表现？每一种图表的寓意是什么？下面列举下常用的8个图表：

（1）折线图：合适用于随时间而变化的连续数据，例如随时间收入变化，及增长率变化。

（2）柱型图：主要用来表示各组数据之间的差别。主要有二维柱形图、三维柱形图、圆柱图、圆锥图和棱锥图。

（3）堆积柱形图：堆积柱形图不仅可以显示同类别中每种数据的大小，还可以显示总量的大小。

（4）线-柱图：这种类型的图不仅可以显示出同类别的比较，还可以显示出趋势情况。

（5）条形图：类似于横向的柱状图，和柱状图的展示效果相同，主要用于各项类的比较。

（6）饼图：主要显示各项占比情况。饼图一般慎用，除非占比区别非常明显。因为肉眼对对饼图的占比比例分辨并不直观。而且饼图的项，一般不要超过6项。6项后建议用柱形图更为直观。

（7）复合饼图：一般是对某项比例的下一步分析。

（8）母子饼图：可直观地分析项目的组成结构与比重

图表不必太花哨，一个表说一个问题就好。用友好的可视化图表，节省阅读者的时间，也是对阅读者的尊重。

有一些数据，辛辛苦苦做了整理和分析，最后发现对结论输出是没有关系的，虽然做了很多工作，但不能为了体现工作量而堆砌数据。

在展现的过程中，请注明数据的来源，时间，指标的说明，公式的算法，不仅体现数据分析的专业度，更是对报告阅读者的尊重。

数据分析七思路

1、简单趋势

通过实时访问趋势了解供应商及时交货情况。如产品类型，供应商区域（交通因子），采购额，采购额对供应商占比。

2、多维分解

根据分析需要，从多维度对指标进行分解。例如产品采购金额、供应商规模（需量化）、产品复杂程度等等维度。

3、转化漏斗

按照已知的转化路径，借助漏斗模型分析总体和每一步的转化情况。常见的转化情境有不同供应商及时交货率趋势等。

4、用户分群

在精细化分析中，常常需要对有某个特定行为的供应商群组进行分析和比对；数据分析需要将多维度和多指标作为分群条件，有针对性地优化供应链，提升供应链稳定性。

5、细查路径

数据分析可以观察供应商的行为轨迹，探索供应商与本公司的交互过程；进而从中发现问题、激发灵感亦或验证假设。

6、留存分析

留存分析是探索用户行为与回访之间的关联。一般我们讲的留存率，是指“新新供应商”在一段时间内“重复行为”的比例。通过分析不同供应商群组的留存差异、使用过不同功能供应商的留存差异来找到供应链的优化点。

7、A/B 测试

A/B测试就是同时进行多个方案并行测试，但是每个方案仅有一个变量不同；然后以某种规则优胜略汰选择最优的方案。数据分析需要在这个过程中选择合理的分组样本、监测数据指标、事后数据分析和不同方案评估。

不单是供应商及时交货的数据分析，其他的数据分析流程和思路也一样适用，只是维度重点很多，以及组合的维度也非常多，因此就需要更清晰的思路和大局观，避免陷入到数据海洋中。

全心全意为超市服务

开店、整改、内训我只认超市帮

超市整改首选品牌---超市帮

【买4本赠2本】《日本餐饮业吸引客流的4个终极经验》（学习日本餐饮业精细化管理之道）点击原文链接购买：

数据解读是数据分析最重要的环节，数据不会说谎，说谎是来自于数据误读；很多公司招聘数据分析只强调数据处理，对数据解读无法评估，就会带来数据误读，从而产生“数据会说谎”的结论。

几个的真实案例

1.、通过可控的客户端采样监测，得到了一定样本的，包含google搜索url特征的日志记录，得到google的搜索量；同样的样本下，采集到包含google adwords广告url特征的日志记录，得到google的广告点击数。 那么，理所当然&一厢情愿的 用点击数/搜索量，得到点击率。 但是，这个点击率是显著错误的，理由是，google的adwords广告点击，并不只发生在google的搜索结果中！ 当时的情况是，点击率被高估了一倍。（其实已经区分了adsense和adwords广告点击的url特征，但是adwords也会出现在其他网站）

对数据逻辑及相互关系的理解不透彻，就会带来错误的解读。

2、反欺诈点击，有一定的点击过滤策略来进行，引入一种新的过滤策略，会带来更加严格的过滤，于是按照新的策略跑一遍旧的日志，得到结论，额外过滤了若干点击，价值若干，会导致收入下降若干。

但是这个结论是彻底错误的。当严格的策略执行之后，客户对该系统信心增加，竞价价格提升，广告预算提升，收入不降反升。

这也是有实际数据佐证的。简单结论是，单方面做数据推算，而忽略了与用户、客户的交互影响，就会做出错误的推断。

3、 某同事，名校计算机博士，算法达人，做了一条曲线，A和B高度相关，得到结论，A会导致B，看一眼结论我就骂人了，狗屎结论，实际上是A和B均受C的影响，所谓高度相关是C的因素带来的，这是只看数据不懂业务的典型。

4、样本偏差，特典型的就是沉默的大多数现象，简单举例，去IT论坛，发个投票，百度好不好，腾讯好不好，多数人会说不好。但是真正的用户是不会去IT论坛，更不会参与这种无聊的投票；所以这种投票得到的结论，你要真信，你就傻了。 此外，还有比如送礼品的票选，喜欢这种礼品的用户，本身就有倾向性，如果票选内容与礼品有关，那么结论显然是不可靠的。

5、有人提到预测未来，补充一点，就是用户不知道自己的未来。这也是普遍做样本调查容易产生的误区。如果时间前溯10年，你问一个用户，你会去买苹果手机吗？他肯定会说，你是不是疯了。但是当真的很酷的苹果手机放到他手上，他才会有感觉。 这是有真实案例的，十几年前，手机还叫大哥大，还是大款们才特有的玩物，真有调查公司跑到路边采访行人，说你需要买手机吗，行人纷纷表示不需要。他们不知道这玩意对他们人生的改变有多大。10年前，又有类似的事情，上网当时被认为是不务正业的表现，报纸媒体开始忧心忡忡年轻人的网瘾和被网络的伤害；然后又有媒体去采访，很多人表示，上不上网无所谓。这些都是当年一些新闻电视里出现过的典型场景。如果你相信，你就真完了。

这里的问题是，用户不能预知技术的发展和对人类群体乃至自身的改变；当然，有的人能看到，1997年，还在读书，我一直纠结大学毕业能做什么，第一次接触到了互联网，我坚定，这是改变人类的东西，这是我一辈子的职业。

6、举一个前几天碰到的真实的例子吧。选取音乐电台用户的一个子集，共2W人；分成AB两组，每组1W人；对每一组使用不同的推荐算法。统计在一天内每一组的用户一共点击了多少次喜欢的按钮和不喜欢的按钮。计算每组用户点击喜欢的按钮的比例 = 点击的喜欢个数/（点击喜欢的个数+点击不喜欢的个数）。理论上这个值越高，说明这组用户越满意，也就说明用在这组上的推荐算法更好。后来发现这个结果没有统计意义…… 因为有些用户会一天给出上千个喜欢与不喜欢的反馈，这样的用户在AB两组中的分布决定了最终结果的好坏。改进方法是：需要去除这些噪音点，或者使用其他的统计值。

7、我们还针对AB两组用户分别统计了：平均每个用户每天点击喜欢的音乐的个数。按理说，这个个数越高，说明推荐算法越好。可是，我们又针对AB两组用户分别统计了：平均每个用户每天点击不喜欢的音乐的个数。按理说，这个个数越高，说明推荐算法越差。结果，发现在很多情况下，第一个个数高的算法，第二个个数也高。于是，使用单一指标也许不能很好的刻画一个算法。改进方法是：使用更多的指标来进行刻画，具体问题具体分析，寻找背后的原因。

8、当年Firefox用户与Mac用户对支付宝重要与否，单从浏览器数据统计看，Firefox访问支付宝的比例太低了。不过因为支付宝不支持Firefox，所以，这个比例不能用作判断的依据。Mac用户也是一样。再说一个，支付宝当年代缴水电煤的项目改版之后，发现缴费用户立刻暴增，产品人员欣喜若狂，后来白鸦同学分析一下，哦，原来那几天是每个月水电煤缴费高峰期，周期性的抽风。其实呢，分析一下我国有关部门发布的数据，你会发现那都是一些说谎的数据。

9、二战时英国皇家空军邀请美国的统计学家分析德国地面炮火击中联军轰炸机的资料，并且从专业的角度，建议机体装甲应该如何加强，才能降低被炮火击落的机会。但依照当时的航空技术，机体装甲只能局部加强，否则机体过重，会导致起飞困难及操控迟钝。 统计学家将联军轰炸机的弹着点资料，描绘成两张比较表，研究发现，机翼是最容易被击中的部位， 而飞行员的座舱与机尾，则是最少被击中的部位。作战指挥官由此认为，应该加强机翼的防护，因为分析表明，那里”密密麻麻都是弹孔，最容易被击中”。但是统计学家却有不同观点，他建议加强座舱与机尾部位的装甲，那儿最少发现弹孔—–因为他的统计样本是联军返航的受损飞机，说明大多数被击中飞行员座舱和尾部发动机的飞机，根本没法返航就坠毁了。

所以如LS几位所答，不是数据说谎，而是没注意到沉默的数据（缺少了的样本），需要分析者有足够广的视角和逻辑，才能从数据里挖掘出足够正确的东西。

10、改版了款wap产品，没做任何推广前提下，发现流量飙升，尤其匿名用户涨了3倍。因为产品本身用户基数低，所以流量翻了两三倍也算正常。当时估计是SNS的口碑传播导致的。但最后还是觉得不对劲，查了一下，发现是搜索引擎在抓页面，因为改版了，所以它们要重新抓一次。空欢喜一场。数字还是那个数字，但背后它到底对应了什么内容，常常被忽略了。

11、我们会在游戏中对很多内容或操作做数据监控，然后通过分析数据的提高还是降低，去判断用户对该内容的喜欢程度。但是单独看数据的提高和降低是没有意义的。例如，我们发现某项物品最近销售数据在下滑，我们可能就会下结论：这个物品受欢迎程度在下降。但这个结论是不准确的，必须结合着其他的数据一块看，例如DAU。如果DAU在下降，那么该物品的销售随之下降是正常的，如果结合着比例来看，有可能会发现虽然销售数据在下降，但是比例数据（即销售数/DAU）是在上升的。这样会明白，其实该物品的受欢迎程度并没有下降了，而是DAU下降了。而在DAU下降的同时，销售比例在上升，其实该物品的受欢迎程度反倒是提高了。

因此，其实不是数据在说谎，而是很多数据需要辩证的来看。

12、前不久不有这么一段儿:说是美国著名调查机构PEW在“胸围与幸福指数”调查中对500对30—40岁的夫妻调查结果显示：女性胸围A杯的离婚率为37%，胸围B杯的离婚率为16.3%，胸围C杯的离婚率为4%，而胸围达D杯的女性离婚率1%都不到。这个典型的抽取样本数量不等的情况下的出的所谓结论可信度大打折扣。有个简单的方法看看滑稽在什么地方。有没有注意到，里面木有E杯和F杯的数据，why。。。因为，要么根本就没有E和F，自然没有结论，要么E和F数量很小，得出的结论完全可能出现100%离婚的结论，这样的结论和前面的推到就不符合所以隐藏了。

在此前文章《移动和腾讯突发终端大数据PK》中，描述了基于移动和腾讯的不同数据，得出了不同的结论。腾讯的大数据报告《从华为Mate9看国产高端手机市场》被自媒体解读为“穷的只剩iPhone, 富的在用华为”，而从浙江移动的数据看，在政企中高层用户中，iPhone7的用户远多于Mate9，苹果手机同时得到了不同阶层的用户喜好，而华为MATE9的用户中政企中高层占比较多。并得不出贫富差异。

实际看看腾讯的数据会发现，虽然腾讯的数据与浙江移动的数据口径不一样，但报告中得出的结果还是相吻合的，只是分析角度存在一定差异。

类似的例子不少，例如我最近在我的账号上做了一个调查。运营商199元全国无限量套餐，如进一步降价，有两方案可选，㈠全国流量套餐从199元降到139元，㈡199元全国流量不变，增加99元本地流量不限量(含1GB全国流量)。请用户选择，各平台结果都很相似，选择第一种方案的远多于第二种方案，各平台从7：3到6：4不等。

欢迎关注天善智能hellobi，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学院、问答、找工作，一站式搞定！

本文是《如何七周成为数据分析师》的第十六篇教程，如果想要了解写作初衷，可以先行阅读七周指南。温馨提示：如果您已经熟悉概率分布，大可不必再看这篇文章，或只挑选部分。

在前一篇讲完概率分布后，我们再接再厉拿下假设检验，也就是大名鼎鼎的AB Testing。俗话说得好，再优秀的产品经理也跑不过一半AB测试。

抽样

数据分析中，虽然数据越多越齐越好，可是受限于各类因素的制约，我们并不能获取全部的数据。比如Excel的性能限制，比如数据库不支持大文件导出、或者是无法全量进行的用户调研等。

抽样是一种应对方法，通过样本来推断总体，抽样结果提供的仅仅是相应总体特征的估计，「估计」这一点很重要。

抽样有很多方式，样本首要满足随机性。比如进行社会访谈，你不能只选择商场人流区，因为采访到的人群明显是同一类人群，反而会遗漏郊区和乡镇的人群，遗漏宅男，遗漏老人。

互联网产品中，抽样也无处不在，大名鼎鼎的AB测试就是一种抽样，选取一部分人群验证运营策略或者产品改进。通常筛选用户ID末尾的数字，比如末尾选择0～4，于是抽样出了50%的用户，这既能保证随机性，也能保证控制性。

毕竟抽样的目的是验证和检验，需要始终保证用户群体的完全隔离，不能用户一会看到老界面，一会看到改进后的新界面。以上也适用于推荐算法的冠军挑战，用户分群等。

至于放回抽样，分层抽样，在互联网的数据分析中用不太到，这里就略过了。

点估计

既然我们已经知道如何选择一个样本，接下来需要从样本推断总体。

列举一个场景。产品和运营人员每周都会进行一次用户调研，调研随机抽取30位用户对产品进行打分，分数0～10。根据历史数据计算出平均7.5分，标准差为1分。

现在的问题是，用户调研能否反应一些产品的状况？比如发布新版本，或者做了营销活动后，怎么判断是正面影响还是负面？假设本月产品经理们发布了一次新版本，这次调研抽取30位用户平均评分是7.3，究竟是正常的波动还是做糟糕了？

在统计学中，把总体的平均值标准差等称为总体参数，把样本的种种指标称为点估计量。s是样本标准差，σ是总体标准差。n是样本，N是总体。

点估计在原有的符号上加横线表示，比如样本均值

，念做x拔（打出这个字符麻烦，我简称为拔了）。

x拔是样本均值，现实中不可能保证每次调研的数据都是一致的，假设将抽样过程一而再，再而三的进行下去，那么调研获得的平均分也是波动的。此时，样本均值x拔是一个随机变量，称它的概率分布为x拔的抽样分布。

每次抽样得出的不同均值，必然会有一个期望值，E(x拔) = u，E(x拔)就是所有大量抽样的可能值的均值。对简单随机抽样，我们可以认为其数学期望等于u总体均值。当点估计量的期望值等于总体参数时，称为无偏估计。

当样本量占总体5%以上时，有求样本标准差公式如下：

当样本量占总体5%以下时，公式可以简化成：

研的用户量肯定小于总体5%，于是能求出样本的标准差为0.18。

上述数学期望和标准差的计算适用于所有总体，可如果想要知道具体的概率呢？比如分数小于等于7.3的可能性？如果是10%，那么说明这是稀少的情况，产品的改版未必尽如人意。如果是90%，说明这是数据的正常波动。

x拔作为概率分布，也非为正态分布和非正态分布。根据统计学中的中心极限定理，当样本数足够时（n>30），x拔的抽样分布可近似于正态分布。

只要是正态分布就好办了，把问题转换成标准正态分布的概率求解。调研样本评分x=7.3分，标准差σ为0.18。总体均值u为7.5分。

z = （7.3-7.5）／0.18 = -1.11。于是P(x<=7.3)=P(z<=-1.1) = 13.3%。上述结果说明，本次抽样得到7.3分（或者更低）的概率为13.3%，产品人员或许可以相信，这次改版并不好。

通过抽样估算总体，它的概率计算是以样本标准差作为依据的，换言之，如果样本标准差变化，则概率一定变化。而样本标准差和样本容量n息息相关。如果调研用户数是100位，那么哪怕其他数字没变化，最终概率也会变成2.2%。这是样本容量增加，均值的标准差减少了误差。

区间估计

点估计是用于估计总体参数的样本统计量，我们不可能通过点估计就给出总体参数的一个精确值，更稳妥的方法是加减一个边际误差，通过一个区间值来估计。

上文的用户调研案例，已经知道了总体均值和标准差。可是它的总体均值也只是通过历次调研作出的假设，并不能反应产品所有用户的评价。一个更实际的应用是，如何通过一次调研来计算用户的总体评价。这是反其道而行之。

通过调研的历史数据，已经知道了用户打分的标准差是1。最近产品人员进行了一次大规模的调研，访问了200位用户，得到样本均值7.5分。现在需要计算总体均值的区间。

通过点估计公式，可以得出样本标准差为0.07。在正态分布的经验公式中，已知任何正态分布的随机变量都有95%的值落在均值附近1.96个标准差以内。因此x拔的值一定有95%落在均值u的1.96个标准差以内。

此时，1.96个标准差等于1.96*0.07 = 0.13。利用总体均值的区间估计公式：

将数据代入：

这里多出了一个新的符号Zσ/2，称之为置信水平，之所以除2是因为正态分布左右对称。它代表的是「随机变量都有95%的值落在均值附近1.96个标准差以内」，即均值有95%的概率落在这个区间内，也叫做95%置信水平。推广开来，也有90%置信水平，99%置信水平等。

1.96是95%置信水平的Zσ/2值，我在上文已经求出边际误差为0.13，最后加入平均值得到答案7.36~7.64，于是可以说，通过调研样本均值估计，总体用户的打分有95%的概率在7.36～7.64之间。我们把[7.36,7.64]叫做置信区间。

大家可能也已经猜出来了，为了获得更高的置信水平，必然会得到更宽的置信区间。比如我假设一个置信区间是[7,8]，那么它的置信度肯定无限接近100，因为它几乎囊括了所有的可能。如何选择置信水平和区间，是数据分析中的要点之一。

区间估计中还有一种常见情况，即σ未知，上文的案例我们知道了总体的标准差，如果标准差也不知道呢？毕竟案例也只是以历史调研数据假设了标准差，未必反应了用户真实的情况。于是再给出一个新的问题，访问了200位用户，得到样本均值7.5分，标准差为2，那么总体均值是多少？

通过样本标准差估计总体标准差，总体均值是以t分布（上文对应的叫做z分布）的概率分布为依据。t分布假设抽样总体满足正态分布，但是非正态分布中，也是能用t的，效果不错。

t分布依赖一种叫自由度df的的参数。与标准正态分布曲线相比，df越小，t分布曲线愈平坦；df愈大，t分布曲线愈接近正态分布曲线，当df=∞时，t分布曲线为标准正态分布曲线。区间估计公式如下：

公式没有大的变化，总体标准差σ变化为样本标准差s，置信水平由t概率表计算。t概率的区间分布，需要自由度和置信水平两个参数。自由度=样本量-1，案例中的自由度为199。然后使用Excel的TINV( )函数计算，当置信水平为95%时，TINV(0.05,199)=1.97。代入公式：

得到区间[7.22,7.77]，在总体标准差未知的情况下，可以通过样本均值7.5和标准差2计算总体均值有95%的概率落在7.22～7.77之间。

假设检验

在熟悉掌握点估计和区间估计之后，深入学习假设检验。

何为假设检验？假设检验是对总体参数做一个尝试性的假设，该尝试性的假设称为原假设，然后定义一个和原假设完全对立的假设叫做备选假设。假设检验就是通过样本数据对两个对立假设进行检验。

假设检验有一套成熟的方法论。从参数看，即可以计算平均数，也可以计算比率。从样本看，可以划分为单样本和双样本。单样本是从总体中抽取一部分进行样本均数和总体均数的比较。用户调研就是一个典型的单样本。从假设的条件看，有单侧检验（仅大于或小于的可能性）和双侧（仅不可能，包含大于和小于两种情况）检验。

数据分析中更多的情况是两组样本的比较，譬如男女用户的差异、用户群体的差异、以及产品AB测试的好与坏。因为篇幅原因，案例将重点放在双样本检验中，单样本检验熟悉点估计和区间估计后不难。

回到最开始的案例，当通过调研发现用户对产品评分下降了，接下来得讨论怎么做。产品经理们说：用户都傻兮兮的，它们对产品改版无法作出有效的判断，所以打分不算数，应该用一套更好的判断方法。

这时以产品改版后的活跃相关指标作为标准，其中一半用户不做改变，还是原始功能，成为对照组。另外一半用户体验新功能，为改进组，然后根据一段时间后的表现来判断改版好与不好。

活跃指标怎么设立很大程度影响如何用假设检验。既可以用均值法，即用户平均使用时长，或一段时间窗口内的平均活跃用户数来衡量，也可以用比例法，即某一时间内的活跃率。两者对应不同的公式，这里以平均活跃用户数举例。

假设检验首先需要设立原假设和备选假设，这里很容易犯错。在许多假设检验中，都以备选假设为出现点，它是希望得到支持的结论。因为之前用户调研的评分是下降的，于是检验更希望「拒绝」活跃上升或不变，从而得出下降的结论。

原假设H0：活跃提升或不变；备选假设Ha：活跃下降。如果样本结果得出拒绝H0的结论，那么可以做出Ha为真的推断。

不同的样本量和总体方差使用的检验方法不同，下图是不同情况下使用的检验方法。样本是否大于小于30是因为中心极限定理，在大样本量，且总体方差未知时，使用t检验还是z检验均可，因为t分布近似于z分布。我们使用z检验做双样本均值。

将用户分割出两个群体体验产品功能，原始对照组和改进组都有50000用户。对照组的七日平均活跃数u1=8500，标准差为s1=1250，改进组的七日平均活跃数为u2=8300，标准差s2=1240。当总体标准差未知时，有公式：

计算出z=25.399，远大于1.96，p值无限接近0，几乎不可能发生，也就说明改进组的活跃上升或者等于是个极小概率事件，我们拒绝了原假设，接受了备选假设。若还想深入的查看活跃究竟下降了多少，使用双样本均值计算置信区间：

两个样本均值之差的95%置信区间为[183.566,215.433]。也就是说七日平均活跃数有95%的可能性下降了183～215之间。

假设检验的难点在于诸多知识点和业务的结合使用，限于文章的篇幅，我省略了不少概念点，这块需要大家多练习，比如用曾经文章的练习数据，计算上海和杭州的数据分析师工资均值是否相等，金融的工资是不是比电商的高。实际分析中不会有那么复杂的计算，我知道大家公式看晕了，不论Excel、R或者Python都有简便的函数使用，只要知道结果的符号意义就行了。

————

统计的内容告一段落了，这些都是比较基础的知识点，没有写得过于复杂，其一因为我统计本身不擅长（读书时没好好学），其二应用中我也不追求背后的数学原理。这大概是我写得最吃力的系列了。虽然还有时间序列，方差分析等内容，就留待以后吧。

下一篇文章写业务，因为历史文章已经涉及不少，反复讲没啥意思，所以一篇文章足矣，将数据中涉及的各类业务指标和知识点明即可。然后就是Python了。嗯，基础数据分析的内容已经倒计时了。

本文来源：天善社区秦路老师博客

原文链接：https://ask.hellobi/blog/qinlu/7959