在先进技术逐渐融入自然学科的过程中，学科交叉现象已是大势所趋。

上次我们谈到了机器学习方向的

统计学知识

的学习方法：

机器学习入门——我的统计学该从哪里补起？

而对于数据分析在人工智能领域的应用，本次

竹间智能 数据科学家 张旭

，将分享一些AI方向必学的数据分析课程和相关知识，希望对有意进入该领域的同学有所帮助。

学习数据分析（AI方向）的课程前提，需要明确数据分析（Data Analysis）和数据科学（Data Science）的区别。数据分析算作数据科学的一个分支，除了机器学习（Machine Learning）外，还有很多偏重数据分析的内容，所以如果对于数据科学的各个分支都学的话，可能会因为学的太宽泛而导致多个课程都较难取得突破。

学习数据分析的重点，不仅仅是通过课程来学习知识，更是需要通过课程来培养数据的敏感性，利用数据来激发出更深远的洞察（insights）。

数据分析是一个实践性很强并容易运用于各个领域的专业技能，所以为了有效地学习数据分析，我们需要了解数据分析所涉及的几个重要环节，然后根据兴趣点来学习相关课程。

首先数据分析可以分为：

一、

处理数据(数据准备工作)

在训练模型（train model）前或者整理所需要的数据时，最重要的就是

数据的清洗处理

工作。可能多数情况下我们都在讨论各种Machine Learning的模型，但是如果训练集这一基础环节出现了问题的话，模型也不会很好。人工智能方向训练模型所需要的数据量比较大、维度也甚广，通常这些数据会有各种各样的问题，所以需要花时间清洗、整理数据。比如，处理缺失值、重复值、异常值等等，尽量将海量数据转换为自己想要的规范格式。

二、训练数据（数据分析过程中

）

在处理完数据后，可以做可视化处理（visualization），观察数据的趋势然后思考模型的运用，从回归模型（regression model）到神经网络，都要进行各种参数的检验工作，这一部分偏重

模型的学习

。

三、数据验证、测试、展现（数据后勤工作）

模型训练完后，会准备测试集去检测模型是否准确，根据测试结果找出其精确率（Precision）和召回率（Recall），并根据结果调参优化；同时考虑数据的拟合性。当获得数据分析的结果后，接下来重要的一点是如何将数据展现给他人。

如上面的总结，数据分析的前中后期，都可作为数据分析的不同核心点来进行课程学习，因此对于可能需要学习的课程和补充的知识，我从

理论知识

和

编程课程

两个维度总结如下：

1.

统计学、数学：

从代数、微积分、概率论等做入门功课，再到学习线性回归（Linear Regression）、Classification、决策树（Tree-Based Methods），再到支持向量机SVM(Support Vector Machine)、无监督学习（Unsupervised Learning）及流行的各种神经网络；

AI行业知识：

数据分析要有产品思考，所以你需要了解感兴趣的某一个人工智能分领域或人工智能与某个行业相结合的领域知识(对话、图像识别、语音、金融等)。

2.

Python、R等：

Python、R是Kaggle平台上用到的主要工具，也是最流行的数据分析软件；很多咨询公司会用SAS、SPSS、MATLAB等，因此看对哪个软件有兴趣，再去学习编程课程以及和数据分析相关的有趣的package；

SQL、NoSQL：

数据分析通常都需要掌握结构化查询语言SQL (Structured Query Language)的query语句来进行数据库的操作；通常会有mongodb、hbase等NoSql数据库，因此这些也可当做一门课程去学习；

Spark or Hadoop：

用分布式系统处理大数据也是数据分析的一个亮点，将编程运用到MapReduce进行海量数据挖掘处理；另外，能将数据存储在HDFS上，同样是个加分项；

Office及其他图形化软件：

要熟练掌握PPT、Excel等基础技能，将获取的结果用简洁易懂的方式呈现给看的人；做数据分析visualization很重要，需要学会使用各种可视化图形工具。

图片来源于网络。

竹间智能Emotibot以类脑对话系统和情感计算为核心，希望以人工智能技术助力更多行业、机构及个人拥抱AI时代，分享AI发展的红利。

如需转载，请联系竹间智能Emotibot，并注明出处。

相关阅读：

作为面试官，如何判断一个面试者的深度学习水平？

前言

之前在给公司的程序员培训机器学习专题实战的时候，发现他们听的认真，也非常想学，但是每当问他们有哪里不懂的时候，他们总是回答不出哪里不懂，识懂非懂的状态，后来我总结了一下原因，1.机器学习领域跟程序开发的区别非常大，机器学习属于一个交叉学科，即需要数学也需要计算机学，难度相对与单学科要大些，2.机器学习领域有很多专业词汇与术语，之前程序员都没听说过和接触过，即使当时讲解的时候讲的非常细，也很难接触的过来，需要有个消化过程。

本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语，希望能在机器学习路上的你带来帮助，假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。

一．基础

1.数据集（DataSet）

数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。

程序员可以简单的理解成数据库表。

2.变量（variable）

变量来源于数学，是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。

可以理解为字段。

3.向量（Vector）

在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。

4.X变量（Independent variable）

又称自变量，自变量一词来自数学。在数学中，y=f（x） 。在这一方程中自变量是x，因变量是y。将这个方程运用到心理学的研究中，自变量是指研究者主动操纵，而引起因变量发生变化的因素或条件，因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中，性别被称为了自变量，而白细胞数则为因变量。

可以理解成我们在机器学习中需要分析的变量叫做X变量。

5.Y变量（dependent variable）

又称因变量，可以理解为结果变量，如我们在金融贷款项目中预测某人是否可以放款，是否可以放款这个变量就叫做因变量。

6.连续变量

在统计学中，变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。如:年龄、体重等变量。

7.离散变量

离散变量的各变量值之间都是以整数断开的，如人数、工厂数、机器台数等，都只能按整数计算。离散变量的数值只能用计数的方法取得。

8.二元变量

通常可以理解成哑变量或虚拟变量，虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量，用以反映质的属性的一个人工变量，是量化了的自变量，通常取值为0或1。

9.定性变量

统计学概念，定性变量（qualitative variable）又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时，一般是用非数字来表达其类别，这样的观测数据称为定性变量。可以理解成可以分类别的变量，如学历、性别、婚否等。

10.均值

即平均值，平均数是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。

11.中位数

对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。

12.缺失值

它指的是现有数据集中某个或某些属性的值是不完全的。

13.缺失率

某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数

14.异常值

异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。

15.度量

度量（metric）亦称距离函数，是度量空间中满足特定条件的特殊函数，一般用d表示。度量空间也叫做距离空间，是一类特殊的拓扑空间。弗雷歇（Fréchet，M.R.）将欧几里得空间的距离概念抽象化，于1906年定义了度量空间。

16.矩阵

在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的。

矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。

即可以看成一个方便用来计算的数组。

17.方差

（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

方差是衡量源数据和期望值相差的度量值。

18.标准差

标准差（Standard Deviation） ，中文环境中又常称均方差，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。

19.皮尔森相关系数

皮尔森相关系数（Pearson correlation coefficient）也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ，是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示，其中n为样本量，分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。

20.相关系数

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。

21.特征值

特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

22.特征向量

矩阵的特征向量是矩阵理论上的重要概念之一，它有着广泛的应用。数学上，线性变换的特征向量（本征向量）是一个非简并的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值（本征值）。

23.求导

求导是微积分的基础，同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。

24.MSE(Mean Square Error 均方误差）

均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。

25.LMS(LeastMean Square 最小均方)

最小均方算法，简称LMS算法，是一种最陡下降算法的改进算法， 是在维纳滤波理论上运用速下降法后的优化延伸，最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征，“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性，使LMS算法成为自适应算法中稳定性最好、应用最广的算法。

26.LSM(Least Square Methods 最小二乘法)

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

27.MLE(MaximumLikelihood Estimation最大似然估计)

最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

28.QP(Quadratic Programming 二次规划)

二次规划是非线性规划中的一类特殊数学规划问题，在很多方面都有应用，如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里，二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。

29.CP(Conditional Probability条件概率)

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

30. JP(Joint Probability 联合概率)

联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。

31.MP(Marginal Probability边缘概率)

边缘概率 Marginal Probability 是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。

这称为边缘化（marginalization）。A的边缘概率表示为 P(A)，B 的边缘概率表示为 P(B)。

32. Bayesian Formula(贝叶斯公式)

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。

贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则， 尽管它是一个数学公式，但其原理毋需数字也可明了。如果你看到一个人总是做一些好事，则那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。

L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)

L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化(sparsity)，从而方便人们提取特征。

GD(GradientDescent 梯度下降)

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组。

34. SGD(Stochastic Gradient Descent 随机梯度下降)

随机并行梯度下降算法（stochastic parallel gradient descent algorithm），简称SPGD算法。作为一种无模型优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。

35.QR-decomposition(QR分解)， 矩阵分解

矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分解法 (Singular Value Decomposition)。

36.Quantile (分位数)， 分位数

分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。

37.协方差

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变...

SPSS难吗？无非就是数据类型的区别后，就能理解应该用什么样的分析方法，对应着分析方法无非是找一些参考资料进行即可。甚至在线网页SPSS软件直接可以将数据分析结果指标人工智能地分析出来，这有多难呢？本文章将周老师（统计学专家）8年的数据分析经验浓缩，便于让不会数据分析的同学，在学习数据分析的过程中可以少走弯路，树立数据分析价值观，以及以数据进行决策的思维意识，并且可以快速的掌握数据分析。本文章分为四个板块进行说明，一是数据分析思维的培养。二是数据间的几类关系情况。三是数据分析方法的选择。四是数据研究的撰写等。

相对来讲，我们国家对于数据价值的重视是最近几年才开始，尤其是大数据时代的兴起，以及人工智能时代的国家战略情况。之前企业进行决策时基本均是凭借主观经验，老板的经验决定企业的成长，这也许叫做‘定性研究’较为适合，这种思路并没有错误。相对来讲，主观个人偏好性是这种经验意识的弊端，而数据思维是用真实的数据作为依据，相对来讲具有更强的科学客观性。但两种思维各有优缺点，数据还可以造假，以及人们还可能会错误的利用数据等。

但无论如何，西方的数据意识，以及数据价值客观存在。我们有必要对其进行重视。作为数据研究人员，首先需要确保的是对数据的敬仰，错误的数据绝对无法容忍，否则永远不会得出科学的结论。因而数据分析思维的素养第一层次即尊重数据。原始数据代表的意义，数据自身带来的属性等均应该逐一确认。

确认数据的真实准确性后，即完成数据清理后，可对数据类型进行区分，一切数据均可分为两种类型，包括定性和定量数据。如同’定性研究‘和’定量研究‘一样，定性数据是那些表示分类，通常使用百分比汇总，无法计算平均值的数据，比如性别，专业。性别仅为男和女，使用数字1和数字2表示，可以分别计算男和女的比例，但是不能算个平均分为1.2，得出性别平均为1.2这样的分析。

另外一种数据叫定量数据，定量数据是那些可以进行量化，通常使用平均值表示，比如年龄，身高，体重，满意度等。可以计算平均年龄，但通常不分分析每个年龄数字的选择百分比。

还有一类数据，其即可以计算百分比，也可以计算平均值，比如问卷研究中的满意度，数字1代表非常不满意，数字2代表比较不满意，数字3代表中立，数字4代表比较满意，数字5代表非常满意。这类数据可以计算各项的百分比，也可以计算平均值。具体此类数据如何应用，可结合实际情况进行即可，但通常的偏好是，如果可以看作为定量数据，则按照定量数据情况进行即可。

在基本的数据类型确认之后，接下来再讨论下数据研究的一些关系情况。如果是初学数据分析，常规的路径可能是开始理解数据算法的原理，然后就懂一个就去，接着再学习另外一个算法。这种方法是常规教科书式的学习路径，非常慢而且容易出现一个问题即懂了理论无法进行实践。

数据分析是挖掘数据间的关系情况，发现潜在的数据规律，找出数据后面潜在的商业价值等。本人将数据间的关系归纳汇总为以下三类。第一是差异关系；第二是相关关系。第三是其它关系。

第一类差异关系通常是研究不同类别的差异性，提到了不同类别，那就涉及到定性数据，差异关系可以包括定性和定量数据的差异性，定性和定性数据的差异性。自然地也就对应到几类研究方法。

第二类为相关关系。比如越如何越如何之类的关系。包括相关关系，还有影响关系等。X对于Y的影响关系情况如何等，此时影响关系又拆分出几种分析算法。

当然还有其它关系，比如数据的浓缩，聚类。此时又分涉及到对应的研究方法。

在进行数据研究时，首先需要想到的是“我想做什么？“，来回就只有三种关系，那么这种关系有着明显的区分性，对应确认关系情况，加上数据类型的判断，对应就会找出合理的数据研究方法。接下来一一概述。

上面两部分分别讲述了数据类型和数据关系情况。接着需要落地，即研究方法的使用。按照上一部分的思路，即三类关系情况进行阐述。

第一类为差异关系

· 定性和定性数据差异关系。比如性别和专业的差异关系，不同性别人群专业偏好上有没有差异呢？此时应该用卡方分析。

· 定性和定量数据差异关系。比如性别和身高的差异关系，不同性别人群身高有没有明显的差异性呢？此时应该用方差分析或者T检验。至于方差分析和T检验的区别上，比如性别为两类，则可以使用方差分析或者T检验；比如研究城市和身高的关系，一线，二线或者三线城市人群他们的身高有没有明显差异性。比较了三组人群，这时候只能用方差分析，不能用T检验。因为方差分析可以对比多组，而T检验只能对比两组。

· 定量数据和定量数据的差异。有时候做实验，比如新型教学方式的使用，在使用前和使用后，学生成绩有没有明显的变化呢？此时则应该使用配对T检验。配对T检验通常都是用于实验研究中，使用时相对需要注意下。

· 定量数据和数字的差异。比如中国人的平均身高是否明显的高于1.70。定量数据和一个数字的差异性，此时应该用单样本T检验。

· 当然还有其它一些研究方法，但先从基础的开始，懂了这些方法后，再逐一深入学习。明白了这几类差异关系，事实上已经理解一部分数据分析。比如差异关系研究时有时候会有非参数检验，这类研究都是和正态性，方差齐这两个名词紧密相关，后续的文章再慢慢剖析。

第二类为相关关系

· 定量和定量数据的相关关系。比如身高和体重之间有没有关系？此时则应该使用相关分析。至于相关分析，又可以再细分为pearson和spearman相关，这两类关系是结合数据正态性情况而定，正常情况下都默认使用pearson相关分析。

· 影响关系情况（X对Y的影响，Y为定量数据）。比如研究学历，年龄，收入，满意度等对于消费金额的影响。此时一般是使用回归分析，或者更多称作是线性回归分析。也有时候会使用到非线性回归分析，但这种情况相对较少。线性回归分析也可以再细分为2类，简单线性（一元线性）和多元线性，研究X对Y的影响，如果X仅为1个则称作简单线性（一元线性）；如果X为多个，此时称作多元线性回归分析。如果Y的个数超过1个，可以多进行几次回归就好，更复杂的可以使用结构方程模型进行研究。线性回归时X可以为定性数据也可以为定量数据，如果是定性数据则需要进行虚拟变量（哑变量）设置。

· 影响关系情况（X对Y的影响，Y为定类数据）。比如研究学历，年龄，收入，满意度等对于是否购买iPhone X的影响。此时应该使用logistic回归分析。线性回归和logistic回归的区别在于，线性回归时，Y为定量数据；logistic回归分析时，Y是定类数据。当然logistic回归又区分为三类，分别是二元logistic回归，有序logistic回归，无序logistic回归；区别在于如果Y仅分为两类，比如愿意不愿意，购买不购买，喜欢不喜欢，此时Y只有2个类别则叫做二元logistic回归，此方法的使用频率非常高。比如Y分为三组分别是不喜欢，喜欢和喜欢，此时使用有序logistic回归（其实使用线性回归也是可以的，只是我们这里把Y当成是定类数据所以使用有序logistic回归而已）；无序logistic回归时，Y一定是绝对的定性数据，比如出行方式的偏好（自行车，公共汽车，地铁，自驾），此时用无序logistic回归即可。

第三类为其它关系

实际情况中还会有比如数据的浓缩，样本的聚类等研究。

· 数据浓缩：比如说了20句话，是否可以把20句话概括归纳成4个词语表示呢？此时就应该用到数据浓缩，即使用因子分析（也或者主成分分析）；以及记住，数据浓缩时，数据一定是定量数据。

· 样本聚类：比如游戏里面分了几种角色，游戏数据分析人员希望对收集到了1万个样本分成几类，便于进行游戏里面的角色定位。此时则需要使用聚类分析。

上述的方法选择，分别与数据关系，或者数据类型间的关联性思路。事实上与网页在线版本的SPSSAU(spssau)，完全如出一辙。spssau即是使用这样的思路进行产品设计。确定好数据类型，理解了数据关系情况，即可选择出正确的数据研究方法。

如果已经理解了数据类型，数据关系，并且选择了正确的数据研究方法。最终无非是把数据研究方法得出的结论进行汇总整理，然后写成有逻辑性的报告，并且在结论基础上对应提出有意义有价值的建议措施等。

关于数据报告的撰写，单独从数据分析角度上看，建议以实际需求出发，比如研究差异关系，那么首先得需要知道有没有差异，接着有了差异，具体差异情况如何。有了差异或者没有差异时，对应的建议措施应该如何。按照这样的思路，相信数据研究报告的撰写并非难事。

如果是对具体数据研究方法的结论撰写有困难，可以直接使用spssau进行分析，直接参考里面的智能文字分析即可。以及需要特别注意在于，数据研究结论对应有什么意义，价值在哪里，对实际商业的价值或者指导在哪里？这才是重点。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

总体是由总体分布来刻画的，在实际问题中我们根据问题本身的专业知识或以往的经验或用适当的统计方法，有时可以判断总体分布的类型，但是总体分布的参数还是未知的，需要通过样本来估计。例如，为了研究人们的市场消费行为，要先弄清楚人们的收入情况，若假设某城市的人均年收入服从正态分布N（μ,σ^2），但参数μ、σ^2的具体取值并不知道，需要通过样本来估计。又如，假定某城市在单位时间内（一个月）内交通事故发生次数服从泊松分布P(λ)，其中的λ也是未知的，同样需要用样本来估计。根据样本来估计总体分布所包含的未知参数，叫做参数估计，它是统计推断的一种重要形式。

如何根据样本的取值来寻找这些参数的估计呢？通常有两种形式：一种称为点估计，另一种称为区间估计。点估计就是用一个统计量来估计一个未知参数，点估计的优点是：能够明确地告诉人们“未知参数大致是多少”，其缺点是：不能反映出估计的可信程度。区间估计是用两个统计量所构成的区间来估计一个未知的参数，并同时指明此区间可以覆盖住这个参数的置信度。它的缺点是：不能直接地告诉人们“未知参数具体是多少”这一明确概念。

设总体X分布由有限个未知参数θ=（θ1,θ 2,...,θ m）^T所决定，记作Fθ，称θ可能取值的范围为参数空间。

记f(x:θ)为总体X的概率密度函数或分布率，若总体X分布为连续型的，则f(x:θ)是概率密度函数，总体X分布为离散型的，则f(x:θ)是分布律。例如，对于泊松分布P(λ)，θ=λ是一维未知参数，对于正态分布N（μ,σ^2）,θ=(μ,σ^2 )就是二维未知参数。

为了估计总体X的参数θ，就要从总体X中抽取一个样本X1,X2,...,Xn，它们的共同分布就是总体分布f(x:θ)，为了估计θ，需要构造适当的统计量θ'(X1,X2,...,Xn)，它只依赖于样本，不依赖于未知参数。也就是说一旦有了样本X1,X2,...,Xn，就可以计算出θ'(X1,X2,...,Xn)的值，作为θ的估计值，称统计量θ'(X1,X2,...,Xn)为θ的估计。因为未知参数θ和估计θ’都是空间上的点，因此称这样的估计为点估计。寻找点估计的常用方法有矩法、极大似然法和最小二乘法，本文先介绍矩法。

设总体X的分布中的未知参数为θ=（θ1,θ 2,...,θ m）^T，假定总体X的k阶原点矩

存在，我们令总体的k阶原点矩等于它样本的k阶原点矩

即

由此可以得到关于未知量θ的解

取θ'=（θ'1,θ' 2,...,θ' m）^T作为θ=（θ1,θ 2,...,θ m）^T的估计，则称θ'为θ的矩估计，用矩估计参数的方法称为矩法。

例子：设总体X的均值为μ,方差为σ^2，X1,X2,...,Xn是来自总体X的一个样本，试用矩方法估计均值μ和方差σ^2。

计算总体X的一阶、二阶原点矩

和样本的一阶、二阶原点矩

由此得到方程组

由此得到均值μ和方差σ^2 的矩估计

需要特别注意的是，方差的矩估计并不等于样本方差S^2，而是有如下关系：

从上面的计算可以看到，利用矩法估计均值和方差，等价于用样本的一阶原点矩估计均值，用样本的二阶中心矩估计方差。

例子：设总体X服从二项分布B（k,p），其中k、p为未知数，X1,,X2,...,Xn是总体X的一个样本，求参数k、p的矩估计k'、p’。

二项分布的均值（总体一阶原点矩）是kp，方差（总体二阶中心矩）是kp(1-p)建立方程组：

编写相应的R函数，程序名为"moment_fun.R"

moment_fun<-function(p){

f<-c(p[1]*p[2]-A1,p[1]*p[2]-p[1]*p[2]^2-M2)

j<-matrix(c(p[2],p[1],p[2]-p[2]^2,p[1]-2*p[1]*p[2]),nrow=2,byrow=T)

list(f=f,j=j)

}

考虑使用牛顿法求解上述非线性方程组，编写相应的R函数,程序名为“Newtons.R”

Newtons<-function (fun, x, ep=1e-5, it_max=100){

index<-0; k<-1

while (k<=it_max){

x1<- x; obj <- fun(x);

x<- x - solve(obj$J, obj$f);

norm<- sqrt((x-x1) %*% (x-x1))

if (norm

index<-1; break

}

k<-k+1

}

obj<- fun(x);

list(root=x, it=k, index=index, FunVal= obj$f)

}

>x<-rbinom(100,20,0.7)

>n<-length(x)

>A1<-mean(x)

>M2<-(n-1)/n*var(x)

>source("moment_fun.R")

>source("Newtons.R")

>p<-c(10,0.5)

>Newtons(moment_fun,p)

2017 年马云在某次年会演讲中提到一件让他惊讶的事情。

在西湖边上他曾看到乞丐在用支付宝收款码进行乞讨，从界面操作上看该乞丐还能熟练应用支付宝提供的「生意通」功能，研究本周的乞讨收入趋势以及单位小时的乞讨金额，从而为自己制定更加高效的的乞讨策略。

图片来源于网络

乞丐都在用数据分析来武装自己了，身为互联网从业者，你还敢落后？为了让你感知到数据分析对工作效率提升价值，我们来看一个真实的运营案例。

你为什么要学习数据分析

运营研究社在 2018 年以前，公众号图文的推送时间是不固定的，在早上、中午、下班时间、深夜都有过推送，所以相应的阅读量的波动也非常大。

在今年年初我提出了一个假设“如果把推送时间固定的话，会不会对图文打开率（阅读量）的提升有促进作用”。

为了检验这一设想，当时我需要解决的第一个问题是：

“运营研究社的公众号黄金推送时间在哪？”

我导出了运营研究社过去 1 年里的图文数据，并拿推送时间、打开率、标题 3 个数据字段来构建散点图。

运营研究社过去半年图文数据

从过去 1 年的推送时间和打开率的散点分布图来看，高打开率的图文主要集中在中午 12 点、13 点两个个时间段，于是我把将这两个时间点定义成运营研究社图文推送的黄金时间。

在实践中也证明了“在固定时间推送内容有利用提升打开率”假设是正确的，从阅读数据上的反馈就是我们的阅读量在 3 个月时间里提升了 200%。

无论是在生活还是工作，数据分析已是一项必备技能。

我在招聘网站上研究了近 100 个运营岗位的职责要求，用户运营、内容运营、产品运营、社群运营、渠道运营，它们几乎都会在靠前的位置写上这样一行文字：

“通过有效的数据分析（点击率，访问，转化率等），研究分析用户的需求制定运营策略”。

为了让你能够掌握最实用的数据分析技能，本篇文章将带你了解数据分析字段与产品指标、熟知数据驱动运营的底层方法。

“竟巧妇难为无米之炊”，为了让小伙伴们赢在起跑线，下面将开始系统讲解数据分析里的底层元素——数据字段。

你的基础数据字段足够全嘛？

2015 年我在百度贴吧在内容运营，当时的我们核心 KPI 是将次日留存率提升至 45%，于是我就想研究用户首次登入的内容消费量与次日留存的关系，以期通过优化内容推荐系统来提升次日留存。

想法很好，现实却很悲剧，我在给技术同学提数据分析需求时，他们很佛性的回了句：

“抱歉，我们没有统计用户的内容消费数据”。

由于缺乏用户的内容消费数据，我当时只能搁置这套数据分析方案了（在补充统计用户消费字段的 1 个月后才最终落地执行）。

跟大家分享这个案例，主要是希望大家能够理解，数据分析的底层关键支撑是基础数据字段，没有基础数据字段你的任何数据分析方案都执行不了，没有基础数据字段，你再老司机也无法用数据驱动运营。

所以，为了能够做好数据分析，你需要尽可能全面的提出你的数据字段需求，具体来说包括如下 2 类基础数据字段：

1）用户信息数据字段

它指的是用户的社会信息数据，比如姓名、性别、出生年月、籍贯、婚姻、学历，手机、邮箱等字段

对于电商和母婴类产品来说，还需要基于「用户行为数据」推导家庭类型、家庭人数、家庭小孩标签、工作岗位、所处行业等高级用户信息数据字段。

2）用户行为数据字段

用户行为数据字段在记录时的格式通常是User id（哪个用户）+Active（哪种操作）+Time（何时产生）。

比如今天上午，我在贴吧客户端首页看了一篇与 China Joy 有关的的贴子，并且还对妹子们的颜值留进行了评轮。那么贴吧官方会将我的看贴行为数据，以如下格式被统计下来。

用户行为数据字段是每一位用户在产品上操作行为的数据记录，不同产品类型需要的需要记录的用户行为是不一样的。

阅读内容、点赞、评论、分享是社区产品的关键用户行为字段，点击产品、添加购物车、下单、付费、评价是电商产品的关键用户行为字段……

相比于用户信息数据而言，用户行为数据是数据分析的重中之重，可以基于用户行为数据的处理加工，分析出每天产品的登入用户总量（DAU）、新用户留存以及评论用户总量等产品数据指标。

促进数据增长指标都有那些?

有两位内容运营的同学，有一天领导问他们最近的产品情况怎么样。

其中一位运营说产品表现很不错，每天都有很多人互动和称赞，另外一位运营回答说产品有问题，用户都不怎么会将内容分享出去。

如果你作为老板，你应该相信谁？

我想这两位同学你应该都不会相信，甚至还会很生气，因为你的员工没有一点点的数据分析意识。

现代管理学之父彼得·德鲁克说过一句很经典的话：

如果你不能衡量它，那么你就不能有效增长它。

为了能够让数据驱动业务增长，我们需要制定业务的衡量标准，用统一的衡量标准来定义和评价业务，这个统一的标准在数据分析中叫做指标。

案例中的两位内容运营如果能够以互动率和点赞率、分享率这 3 个产品数据指标来向领导汇报自己的运营工作的话，或许就能够在领导心中留个好印象了。

了解和使用指标是数据分析思维的第二步，我们需要基于具体的业务需求设定能够驱动产品增长的指标。（Ps：数据指标是由用户基础数据字段处理加工而成）

按照比较受大家认可的 AARRR 产品增长模型，我们可以将指标分为五大类：拉新指标、活跃指标、留存指标、转化指标、传播指标。

5个产品的拉新指标

运营通过渠道投放让“用户”接触到产品，当“用户”觉得产品不错就会去下载它，打开产品发现里边的内容蛮适合自己，“用户”就会注册产品，最终成为产品真正的用户。

以上是绝大部分运营都会经历的拉新过程，如果你想监控整个过程，并且评估拉新的执行效果，那么你就需要设置如下数据指标。

1）浏览量

俗称曝光量，指的是产品的推广信息在朋友圈、搜索引擎、应用商店等渠道渠道中被多少用户看到。与浏览量相对应的是点击量，它们俩的比例在业内有一个专业词汇 CTR（CTR=点击量/浏览量），很多广告平台会用 CTR 来评估广告质量。

2）下载量

指的是 App 的安装次数，是衡量拉新效果的结果指标。不过，App 下载其实是一个中间态，为了让产品从曝光到下载有一个高转化，你需要注意应用大小、介绍文案的打磨。

比如游戏类 App，为了避免怕漫长的下载时间造成玩家流失，会选择让用户下载后以补丁形式完成全部素材的加载。

3）新增用户

下载并不是意味着就是用户，如果某个“用户”只下载了并没有注册，那它就是一个无效的用户。对于用户的界定，每个产品是不一样的，大部分的产品是用户注册了 App，就被定义为用户了，比如知乎、微博、小红书、百度贴吧。

4）获取成本

用户获取必然涉及成本，而这是运营新手最容易忽略的。目前常见的成本的计算方式有 CPM（千次曝光成本）、CPC（单次点击成本）、CPA（单次获客成本）。

5个产品的活跃指标

相比于下载量和用户量而言，在人口红利消失后，大家开始更关注实实在在的东西了——你到底有多少活跃用户。

用户活跃作为运营的核心工作，不论移动端、网页端或者微信端，都有相关指标可以衡量。

1）活跃用户数

DAU 指的是日活跃用户数量，指的是在 24 小时内活跃用户的总量。把时间周期拉长的还有周活跃 WAU 和月活跃 MAU。（MAU 指的是一个月时间周期里去重后的活跃用户总和）

Ps：与活跃用户相对应的还有流失用户、忠实用户、回流用户，其中流失用户是长期不活跃，忠诚用户是长期活跃，回流用户是曾经不活跃或流失，后来又再次打开产品的活跃用户。

2）活跃率

活跃用户数衡量的是产品的市场体量，活跃率看的则是产品的健康。

比如说某款产品的 DAU 是 100 万，可能你觉得还不错，但是我跟你说它的总注册用户是 1 亿，活跃率仅为 1%，你的感受可能就是这款产品很不错了。

3）在线时长

现在数据分析也越来越注重用户行为了，为了深入研究一款 App 的活跃健康度就需要去研究在线时长（它是视频类网站的核心数据指标）。

不同产品类型的访问时长不同，社交肯定长于工具类产品，内容平台肯定长于金融理财，如果你是做内容的产品的，发现大部分用户访问时长只有几十秒，那么最好分析一下原因。

4）启动次数

它体现的是用户的使用频率，用户的日均启动次数越多，说明用户对产品的依赖性越高，活跃度也就越好。

社交产品的人均启动次数会在 3-5 次之间，是通互联网中在启动次数指标中数值最高的。

5）页面浏览量

PV（PageView）是页面浏览量，UV（Unique Visitor）是一定时间内访问网页的人数，用户在网页的一次访问请求可以看作一个 PV，用户看了十个网页，则 PV 为 10。

PV 是互联网早期 Web 站点时代的活跃指标，也可以理解为网页版活跃。

5个产品的留存指标

如果说活跃数和活跃率是产品的市场大小和健康程度的话，那么用户留存衡量产品是否产品能够可持续发展，如果你是早期产品就更应该关注是留存指标了。

1）用户留存率

留存率 = 留存用户 / 当初的总用户量

用户在某段时间使用产品，过了一段时间后，仍旧继续使用的用户，被称为留存用户。

假设产品某天在某渠道新增了用户 1000 个，第二天仍旧登入产品的用户有 350 个，第 7 天仍旧登入产品的有 100 人，那么这个渠道获取来的用户次日留存率有 35%，那么称七日留存率为 10%。

Facebook 有一个著名的 40-20-10 法则，即新用户次日留存率为 40%，七日留存率为 20%，三十日留存率为 10%，有此表现的产品属于数据比较好的。

2）用户流失率

用户流失率和留存率恰好相反，如果某产品新用户的次日留存为 30%，那么反过来说明有 70% 的用户流失了。

流失率在一定程度能预测产品的发展，如果产品某阶段有用户 10 万，月流失率为 20%，简单推测，5 个月后产品将失去所有的用户。

Ps：这里可以引出一个公式，生命周期 = （1 / 流失率）*流失率的时间维度。比如产品的周流失率为 50%，那么平均用户生命周期为 14 天。

15个产品的转化指标

运营而言，拉新和活跃、留存都只是手段，最终衡量你工作业绩的是你手上掌握了多少有价值的用户。

运营就像用户成长路上的指引者，指引者产品里的用户成为能够产生价值的超级用户，即回归商业的本质。

交易类产品转化指标

1）GMV

它是一个虚荣指标，只要用户下单，生成订单号，便可以算在 GMV 里，不管用户是否真的购买了，京东在双十一对外发布的战报是 GMV。

2）成交额

成交金额指的是用户付款的实际流水，是用户购买后的消费金额，天猫在双十一对外发布的战报是成交额。

3）销售收入

它指的是成交金额减去退款后剩余的金额，属于内部机密数据了。

如果把上述的三个指标看作用户支付的动态环节，则能再产生两个新指标。

成交金额与 GMV 的比率，实际能换算成订单支付率，它体现的支付的流畅度；销售收入和成交金额，也涉及到了退款率，它体现的是产品质量。

4）付费用户量

在产品里边产生过交易行为的用户总量，同活跃用户一样，交易用户也可以区分为首单用户（第一次消费），忠诚消费用户（持续购买的用户），流失消费用户（流失后又回来的用户）等。

同时，为了研究用户的付费潜力，你还可以研究下产品的付费用户比例：

付费用户比例 = 付费用户 ÷ 总注册用户

5）ARPU

在单个促销活动中，它指的是每一笔用户订单的收入，总收入/订单数。而在整个产品生命周期中，我们更关注用户平均付费，总收入/用户数。

ARPU 可以再一步细分，当普通用户占比太多，往往还会采用每付费用户平均收入：ARPPU = 总收入÷ 收费用户数

6）复购率

和新增用户一样，获得一个新付费用户的成本已经高于维护熟客的成本。复购率更多用在整体的重复购买次数统计：单位时间内，消费两次以上的用户数占购买总用户数。

比如运营研究社的技能训练营在第一季度有 1789 个付费用户，购买次数在两次以上的有 657 人，那么我们季度复购率是 36%。

社区型产品转化指标

社区型产品的首要目的是将用户聚集在一起，并且引入用户生成内容，它的核心关键在于培养一个能够生成内容的活跃用户社区。

1）内容生成者

参与内容生存的用户�...

一提到数学，高等数学，线性代数，概率论与数理统计，数值分析，空间解析几何这些数学课程，头疼呀。作为文科生，遇见这些课程时，通常都是各种寻求帮助，班上有位宅男数学很厉害，各种被女生‘围观’，这数学为什么这么难，学了有啥用呀。

有用的，当做数据分析的时候，使用到SPSS，在线SPSS分析的时候就知道用处了，在写论文的时候会用到SPSS数据分析，工作的时候也会用到SPSS数据分析。此时才知道原来数学很重要。我的数学不好肿么办？听我一 一道来。

1. 数据类型

学过数学的童鞋都知道，数学里面分了两类数据，离散和连续数据，听上去文绉绉的，不懂。那我问男人和女人知道不，知道，对了这种就是离散数据。身高体重知道不，知道，这种就是连续数据。离散数据可以理解为分类，类别，数个数；而连续数据理解为算平均值，度量，比如平均身高，平均年龄，但不能说成是平均性别。离散和连续数据是数学上文绉绉的称呼。如果我们是做数据分析，通常又换成另外一种称呼，定类和定量数据。定类就是离散数据，定量就是连续数据。这点get到后，数据分析方法啥都不在话下，让智能化软件SPSSAU【备注：在线网页版SPSS】这些去解决就好，默认出来智能化文字分析结果。

2. X和Y

除了数据类型外，数学上老是有一些符号，比如X，Y，Z， α， β，γ，还有好多拉丁符号，看着都头疼，而且更糟糕的是发音还那么奇怪。这些都是数学用词，如果是数据分析，只需要知道X和Y就可以。为什么这么简单呢？数据分析通常是用于业务场景，让所有人都会所有人都能懂的。而数学符号是专业性名词，一小部分学习数学专业的人群才懂。

而X，Y基本所有人都懂，平面二维式思维，如果加上Y就变成空间三维思维。这种会变得复杂难懂，而数据分析出来结果是让人理解让人懂的，越简单易懂越有意义越有用的结论越受欢迎。因此从数据分析角度来看，只需要懂X，Y这两个符号就OK。别小看X，Y这两个符号，加上上述的数据类型，它们可以产生非常多的组合，也称作分析方法。

有了X，Y，我们可以研究X和Y之间的关系情况，比如X对于Y的影响关系，X对于Y的差异关系等。下面一一讲述。

3. X和Y的组合方法

再讲组合之前，先单独讲下不区分X和Y的分析方法，如下表格：

当不需要区分不区分X和Y时，比如我只研究性别1个数据，或者只研究身高，体重情况如何等。并不需要研究关联关系，所以并不涉及X和Y的关联关系。这种都可统称为数据基本描述统计，当然数据类型不一样时，方法不同。比如性别为定类数据，这时用频数分析；身高体重是定量数据，这时用描述分析。数据的基本描述统计是最基础的数据分析方法，而且通常都需要做这类分析方法，因为了解了基本情况是非常必要的。

接下来将下X和Y之间的关联关系时，会使用到的数据研究方法；如下表格：

从上表可以看到，通常会涉及到差异关系，相关关系和影响关系共三类。比如不同性别的兴趣爱好是否有差异，性别为定类数据，兴趣爱好也是定类数据；此时就应该使用交叉卡方分析方法。比如研究性别人群体重是否有差异，性别为定类数据，体重为定量数据，此时就需要使用T检验；除此之外，如果想研究不同专业（理科、工科、文科）的体重差异时，此时应该使用方差分析。当X是定类数据，Y是定量数据，研究X对于Y的差异时，可以使用T检验和方差分析；区分在哪里呢？如果X的类别个数（比如男和女）只有2个时，通常使用T检验；如果X的类别个数超过2个（比如理科、工科和文科）时，只能使用方差分析。差异关系就只能有3种，接下来继续相关关系。

相关关系是研究X和Y的关系情况，比如身高和体重之间有没有关系；X和Y均是定量数据；此时应该使用相关关系，再具体一点应该叫Pearson相关关系（相关关系的数学公式是Pearson这人发明的）。

最后一类是影响关系；X对于Y的影响；影响关系的分析方法区分，完全是根据Y的类别而定；比如Y是定量数据，我们则应该使用线性回归分析；如果Y为定类数据，此时我们应该使用Logit回归分析，而具体再细分，Logit回归可以有：二元Logit回归，多分类Logit回归，区分在于Y，举例如下表：

如果X影响Y时，Y只分为两类，购买和不购买，愿意和不愿意，是和否等，这时候就需要使用二元Logit回归分析；如果Y分为n类(n>2)时，则需要使用多分类Logit回归。

数据类型,X和Y；这两点搞明白后，绝大多数的数据研究方法都可以搞定，而这也是当前数学研究的核心思想。也是分析软件的设计理念，网页在线版本的SPSS即SPSSAU软件平台，它的设计核心理念就是这样，只需要会区分数据类型，知道X和Y；就可以自己进行数据分析，其它的全部都可以直接由SPSSAU生成智能化文字结果；当然，分析方法还有很多的，比如因子分析，聚类分析等，这些方法不是研究X和Y的关联性，而是别有用处。

4. 其它研究方法

除开X与Y的关联关系研究，其实还有一些其它的研究方法；比如对于很多个X同时进行分析应该使用什么方法呢？此时可能会结合分析用处而对应不同的方法；常见有因子分析和聚类分析两种，如下表：

如果说了30句话，现在想把30句话概括浓缩成5个关键词，这种就叫浓缩；此时需要使用因子分析；如果有300个人想进行分类，分成3类人群，此时可使用聚类分析（常见是K-means聚类方法）。

除了浓缩和聚类，事实还有非常多其它的研究方法，比如信度研究，多因素方差，非参数检验，正态性检验，配对T检验等等。后续慢慢再谈,更多知识也可使用网页版SPSS即SPSSAU【备注：在线网页版SPSS】进行学习，里面智能化分析结果一目了然，‘拖拽点一下’完成分析得到智能化结果，更多研究方法的详述也可直接查到。

一、描述统计

在数据分析的时候，一般首先要对数据进行描述性统计分析（Descriptive Analysis），以发现其内在的规律，再选择进一步分析的方法。描述性统计分析要对调查总体所有变量的有关数据做统计性描述，主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布、以及一些基本的统计图形，常用的指标有均值、中位数、众数、方差、标准差等等。

数据的集中趋势一般采用平均值、中位数表示。数据的离散程度一般采用方差、标准差表示。数据的分布情况一般采用直方图表示。

案例：北京房屋价格（数据文件：house_price.xlsx）

分析问题:

1)北京市政府为调控房地产价格，希望知道北京各小区房屋价格的分布，请分析房地产价格的集中趋势，并选择合适的图形呈现。

2)房地产商想知道北京各个环线房屋装修状况的对比情况，以便进行产品设计和市场拓展，计算指标并设计合适的图形呈现结果，最后给房地产商一些建议。

3)选择合适的图形反映北京各个区住宅区房屋分布情况

操作步骤：

1)基本描述统计

打开excel数据文件house_price.xlsx

选择描述统计，单击“确定”按钮。

2)直方图

根据描述统计的结果，在空白列构造间隔为0.5的等差数列作为接收区域D1:D19，最大值为9,最小值为0。

选择数据，单击“数据”选项卡，选择“数据分析”选项框中的“直方图”选项

输入区域选择房屋价格avgprice列$B$2:$B$186，接收区域选择第一步构造的接收数据，即D1:D19数据。

输出区域选择G3，勾选图表输出，然后单击“确定”按钮。

选中整个直方图，右键单击选择“设置数据系列格式”，单击“系列选项”，分类间距设为0。

备注：

基本概念：数据的集中趋势 离散程度 数据分布情况 透视表 直方图 柱形图 饼形图 堆积柱形图

二、排位与百分比排位

“排位与百分比排位”分析工具可以产生一个数据表，在其中包含数据集中各个数值的顺序排位和百分比排位。该工具用来分析数据集中各数值间的相对位置关系。该工具使用工作表函数 RANK 和 PERCENTRANK。

例：10名同学统计学考试成绩如下：

试进行排位和百分比排位。

（1）在EXCEL数据分析工具库中选择“排位与百分比排位”，弹出对话框如下：

排位与百分比排位对话框设置

（2）单击“确定”生成排位结果如图。

排位与百分比排位结果

（3）其中的百分比排位为：小于该值的个数/（小于该值的个数+大于该值的个数）

如88，小于该值的有7个，大于该值的有2个，百分比排位为7/9＝77.78%，该工具截去了十分位数。

数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息！

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。