在此前文章《移动和腾讯突发终端大数据PK》中，描述了基于移动和腾讯的不同数据，得出了不同的结论。腾讯的大数据报告《从华为Mate9看国产高端手机市场》被自媒体解读为“穷的只剩iPhone, 富的在用华为”，而从浙江移动的数据看，在政企中高层用户中，iPhone7的用户远多于Mate9，苹果手机同时得到了不同阶层的用户喜好，而华为MATE9的用户中政企中高层占比较多。并得不出贫富差异。

实际看看腾讯的数据会发现，虽然腾讯的数据与浙江移动的数据口径不一样，但报告中得出的结果还是相吻合的，只是分析角度存在一定差异。

类似的例子不少，例如我最近在我的账号上做了一个调查。运营商199元全国无限量套餐，如进一步降价，有两方案可选，㈠全国流量套餐从199元降到139元，㈡199元全国流量不变，增加99元本地流量不限量(含1GB全国流量)。请用户选择，各平台结果都很相似，选择第一种方案的远多于第二种方案，各平台从7：3到6：4不等。

一门科学，只有当它成功地运用数学时，才能到达真正完善的地步。——马克思

PM针对招聘会，做了一张卡片，需要判断这张卡片是否有收益。我们会通过一系列指标来衡量。这些指标若发生了变化，例如点击率平均增加了1.4%，到底是抽样产生的波动呢，还是卡片确实带来了收益?

我们得到A、B两组样本的评估数据后，怎么判断它们之间确实有显著差异呢？

直观理解，两组样本均值距离越大越说明有显著差异；但是，两组样本即使距离比较大，如果交叉比较多，效果也很难衡量。我们自然而然的认为，两组样本距离越大(点击率差别比较大)，同时样本自身越集中（数据波动性越小），变化越显著。

一、假设检验的基本思想

假设检验是用来判断样本（如实验组）与样本（如对照组）、样本与总体的差异是由抽样误差引起还是新旧实验不同造成的一种统计推断方法，如下图所示。

假设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件（P<0.01或P<0.05）在一次试验中基本上不会发生。反证法思想是先提出假设(检验假设H0)，再用适当的统计方法确定假设成立的可能性大小。若可能性小，则认为假设不成立，有收益；若可能性大，则接受原假设，认为确实新的改变没有产生收益。

在实际的小流量评估中，要评估新的效果相对原来的效果是否有收益，（我们有一种认知，除非PM做的实验确实满足用户需求，才会认为有收益；否则，大多数情况没有收益）我们先假设两组之间没有收益，然后找证据（做小流量实验，观察一段时间实验数据），来证明或否定这种假设。

二、假设检验的基本步骤

从上面的分析中，我们知道一个完整的假设检验，需要原假设H0（例如两组没有变化），备择假设H1（两组之间有变化），显著性水平（是否显著的一个阈值），需要构造统计量，根据统计量的大小来判断结果。

1. 步骤一

1) 提出原假设与备择假设：

H0：样本与总体或样本与样本间的差异是由抽样误差引起的。

H1：两样本与总体或样本与样本间确实存在本质差异。

2) 预先设定检验水准α，一般为0.05，0.01。

3) 选择单双侧检验。

2. 步骤二

1) 选定统计方法，计算出统计量的大小。

2) 根据资料的类型、特点，以及需要检验的类型，可分别选用t检验（计算t值），u检验（计算u值）。

3. 步骤三

根据统计量的大小及其分布，确定假设检验成立的可能性P的大小或临界值，并判断结果。

三、可能出现的判断错误

假设检验依据样本提供的信息对总体进行判断时，可能会犯两种错误：

上面的例子说明：做出收益结论时，对原假设H0（实验组没有收益）来说，存在4种可能的情况：

P值，就是真实情况没有收益，但样本数据倾向于得出有收益的概率。P值越小，说明有收益的概率越小。而如果这种情况出现了，根据小概率原理，我们应该拒绝原假设，认为有收益。

四、假设检验的数学理论

下面主要看一下单个正态总体均值和配对样本的假设检验。

1. 单个正态总体均值的检验

设为从正态总体 中抽取的简单随机样本，给定检验水平 ，求下列三类检验问题：

我们分析一下(1)，一般情况下，正态总体方差是不知道的，我们着重看一下这一情形。构造统计量，记样本方差为 ，在成立的条件下：

2. 配对样本的假设检验

上面有无招聘卡片的两组用户体验分析中，为了观察招聘卡片的效果，记录了天没有招聘卡片展现的点击行为数据和有招聘卡片展现的点击行为比例数据 。

在配对t检验中，我们假设两组样本的差，没有显著差异。这就需要保证两组样本得到的方法必须保持一致。如果在施加新的影响前，两个整体原本差异就比较显著，那么施加新的影响后，就无法区分是原本的差异还是新的影响造成的差异。

以开始的例子来说，在没有展现卡片时，

抽取的两组样本没有差异。其中一组增加一张新卡片，两组样本数据相减得到新的样本数据，才可以反映本次改变（展现招聘卡片）的效果。这也就不难理解，为什么要保证空转时两组样本是没有差异的了。

我们在小流量评估中，为了检验新的实验效果是否有收益，先空转抽取两组样本，保证没有差异。然后在两组样本上使用原有线上样式和新的样式，可以得到两组数据，利用配对t检验来判断显著性。

回到开始的例子：

我们得到无招聘卡片展现时的一组整体点击率数据X=(96.70%，97.74%， 99.69%， 101.59%，101.79%）和有招聘卡片展现时的一组整体点击率数据Y=(101.20%，99.40%，102.90%， 101.70%，105.05%)，那么Z=Y-X=（4.50%，1.66%，3.21%，0.12%，3.25%），通过计算得到检验的拒绝域为 和 ，而样本均值为 2.55%，在拒绝域内，因此拒绝原假设（即招聘卡片没有收益），认为招聘卡片确实产生了收益。

通过计算P值，有P=0.028<0.05，得到一样的结论。

欢迎关注天善智能hellobi，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学院、问答、找工作，一站式搞定！

本文是《如何七周成为数据分析师》的第十六篇教程，如果想要了解写作初衷，可以先行阅读七周指南。温馨提示：如果您已经熟悉概率分布，大可不必再看这篇文章，或只挑选部分。

在前一篇讲完概率分布后，我们再接再厉拿下假设检验，也就是大名鼎鼎的AB Testing。俗话说得好，再优秀的产品经理也跑不过一半AB测试。

抽样

数据分析中，虽然数据越多越齐越好，可是受限于各类因素的制约，我们并不能获取全部的数据。比如Excel的性能限制，比如数据库不支持大文件导出、或者是无法全量进行的用户调研等。

抽样是一种应对方法，通过样本来推断总体，抽样结果提供的仅仅是相应总体特征的估计，「估计」这一点很重要。

抽样有很多方式，样本首要满足随机性。比如进行社会访谈，你不能只选择商场人流区，因为采访到的人群明显是同一类人群，反而会遗漏郊区和乡镇的人群，遗漏宅男，遗漏老人。

互联网产品中，抽样也无处不在，大名鼎鼎的AB测试就是一种抽样，选取一部分人群验证运营策略或者产品改进。通常筛选用户ID末尾的数字，比如末尾选择0～4，于是抽样出了50%的用户，这既能保证随机性，也能保证控制性。

毕竟抽样的目的是验证和检验，需要始终保证用户群体的完全隔离，不能用户一会看到老界面，一会看到改进后的新界面。以上也适用于推荐算法的冠军挑战，用户分群等。

至于放回抽样，分层抽样，在互联网的数据分析中用不太到，这里就略过了。

点估计

既然我们已经知道如何选择一个样本，接下来需要从样本推断总体。

列举一个场景。产品和运营人员每周都会进行一次用户调研，调研随机抽取30位用户对产品进行打分，分数0～10。根据历史数据计算出平均7.5分，标准差为1分。

现在的问题是，用户调研能否反应一些产品的状况？比如发布新版本，或者做了营销活动后，怎么判断是正面影响还是负面？假设本月产品经理们发布了一次新版本，这次调研抽取30位用户平均评分是7.3，究竟是正常的波动还是做糟糕了？

在统计学中，把总体的平均值标准差等称为总体参数，把样本的种种指标称为点估计量。s是样本标准差，σ是总体标准差。n是样本，N是总体。

点估计在原有的符号上加横线表示，比如样本均值

，念做x拔（打出这个字符麻烦，我简称为拔了）。

x拔是样本均值，现实中不可能保证每次调研的数据都是一致的，假设将抽样过程一而再，再而三的进行下去，那么调研获得的平均分也是波动的。此时，样本均值x拔是一个随机变量，称它的概率分布为x拔的抽样分布。

每次抽样得出的不同均值，必然会有一个期望值，E(x拔) = u，E(x拔)就是所有大量抽样的可能值的均值。对简单随机抽样，我们可以认为其数学期望等于u总体均值。当点估计量的期望值等于总体参数时，称为无偏估计。

当样本量占总体5%以上时，有求样本标准差公式如下：

当样本量占总体5%以下时，公式可以简化成：

研的用户量肯定小于总体5%，于是能求出样本的标准差为0.18。

上述数学期望和标准差的计算适用于所有总体，可如果想要知道具体的概率呢？比如分数小于等于7.3的可能性？如果是10%，那么说明这是稀少的情况，产品的改版未必尽如人意。如果是90%，说明这是数据的正常波动。

x拔作为概率分布，也非为正态分布和非正态分布。根据统计学中的中心极限定理，当样本数足够时（n>30），x拔的抽样分布可近似于正态分布。

只要是正态分布就好办了，把问题转换成标准正态分布的概率求解。调研样本评分x=7.3分，标准差σ为0.18。总体均值u为7.5分。

z = （7.3-7.5）／0.18 = -1.11。于是P(x<=7.3)=P(z<=-1.1) = 13.3%。上述结果说明，本次抽样得到7.3分（或者更低）的概率为13.3%，产品人员或许可以相信，这次改版并不好。

通过抽样估算总体，它的概率计算是以样本标准差作为依据的，换言之，如果样本标准差变化，则概率一定变化。而样本标准差和样本容量n息息相关。如果调研用户数是100位，那么哪怕其他数字没变化，最终概率也会变成2.2%。这是样本容量增加，均值的标准差减少了误差。

区间估计

点估计是用于估计总体参数的样本统计量，我们不可能通过点估计就给出总体参数的一个精确值，更稳妥的方法是加减一个边际误差，通过一个区间值来估计。

上文的用户调研案例，已经知道了总体均值和标准差。可是它的总体均值也只是通过历次调研作出的假设，并不能反应产品所有用户的评价。一个更实际的应用是，如何通过一次调研来计算用户的总体评价。这是反其道而行之。

通过调研的历史数据，已经知道了用户打分的标准差是1。最近产品人员进行了一次大规模的调研，访问了200位用户，得到样本均值7.5分。现在需要计算总体均值的区间。

通过点估计公式，可以得出样本标准差为0.07。在正态分布的经验公式中，已知任何正态分布的随机变量都有95%的值落在均值附近1.96个标准差以内。因此x拔的值一定有95%落在均值u的1.96个标准差以内。

此时，1.96个标准差等于1.96*0.07 = 0.13。利用总体均值的区间估计公式：

将数据代入：

这里多出了一个新的符号Zσ/2，称之为置信水平，之所以除2是因为正态分布左右对称。它代表的是「随机变量都有95%的值落在均值附近1.96个标准差以内」，即均值有95%的概率落在这个区间内，也叫做95%置信水平。推广开来，也有90%置信水平，99%置信水平等。

1.96是95%置信水平的Zσ/2值，我在上文已经求出边际误差为0.13，最后加入平均值得到答案7.36~7.64，于是可以说，通过调研样本均值估计，总体用户的打分有95%的概率在7.36～7.64之间。我们把[7.36,7.64]叫做置信区间。

大家可能也已经猜出来了，为了获得更高的置信水平，必然会得到更宽的置信区间。比如我假设一个置信区间是[7,8]，那么它的置信度肯定无限接近100，因为它几乎囊括了所有的可能。如何选择置信水平和区间，是数据分析中的要点之一。

区间估计中还有一种常见情况，即σ未知，上文的案例我们知道了总体的标准差，如果标准差也不知道呢？毕竟案例也只是以历史调研数据假设了标准差，未必反应了用户真实的情况。于是再给出一个新的问题，访问了200位用户，得到样本均值7.5分，标准差为2，那么总体均值是多少？

通过样本标准差估计总体标准差，总体均值是以t分布（上文对应的叫做z分布）的概率分布为依据。t分布假设抽样总体满足正态分布，但是非正态分布中，也是能用t的，效果不错。

t分布依赖一种叫自由度df的的参数。与标准正态分布曲线相比，df越小，t分布曲线愈平坦；df愈大，t分布曲线愈接近正态分布曲线，当df=∞时，t分布曲线为标准正态分布曲线。区间估计公式如下：

公式没有大的变化，总体标准差σ变化为样本标准差s，置信水平由t概率表计算。t概率的区间分布，需要自由度和置信水平两个参数。自由度=样本量-1，案例中的自由度为199。然后使用Excel的TINV( )函数计算，当置信水平为95%时，TINV(0.05,199)=1.97。代入公式：

得到区间[7.22,7.77]，在总体标准差未知的情况下，可以通过样本均值7.5和标准差2计算总体均值有95%的概率落在7.22～7.77之间。

假设检验

在熟悉掌握点估计和区间估计之后，深入学习假设检验。

何为假设检验？假设检验是对总体参数做一个尝试性的假设，该尝试性的假设称为原假设，然后定义一个和原假设完全对立的假设叫做备选假设。假设检验就是通过样本数据对两个对立假设进行检验。

假设检验有一套成熟的方法论。从参数看，即可以计算平均数，也可以计算比率。从样本看，可以划分为单样本和双样本。单样本是从总体中抽取一部分进行样本均数和总体均数的比较。用户调研就是一个典型的单样本。从假设的条件看，有单侧检验（仅大于或小于的可能性）和双侧（仅不可能，包含大于和小于两种情况）检验。

数据分析中更多的情况是两组样本的比较，譬如男女用户的差异、用户群体的差异、以及产品AB测试的好与坏。因为篇幅原因，案例将重点放在双样本检验中，单样本检验熟悉点估计和区间估计后不难。

回到最开始的案例，当通过调研发现用户对产品评分下降了，接下来得讨论怎么做。产品经理们说：用户都傻兮兮的，它们对产品改版无法作出有效的判断，所以打分不算数，应该用一套更好的判断方法。

这时以产品改版后的活跃相关指标作为标准，其中一半用户不做改变，还是原始功能，成为对照组。另外一半用户体验新功能，为改进组，然后根据一段时间后的表现来判断改版好与不好。

活跃指标怎么设立很大程度影响如何用假设检验。既可以用均值法，即用户平均使用时长，或一段时间窗口内的平均活跃用户数来衡量，也可以用比例法，即某一时间内的活跃率。两者对应不同的公式，这里以平均活跃用户数举例。

假设检验首先需要设立原假设和备选假设，这里很容易犯错。在许多假设检验中，都以备选假设为出现点，它是希望得到支持的结论。因为之前用户调研的评分是下降的，于是检验更希望「拒绝」活跃上升或不变，从而得出下降的结论。

原假设H0：活跃提升或不变；备选假设Ha：活跃下降。如果样本结果得出拒绝H0的结论，那么可以做出Ha为真的推断。

不同的样本量和总体方差使用的检验方法不同，下图是不同情况下使用的检验方法。样本是否大于小于30是因为中心极限定理，在大样本量，且总体方差未知时，使用t检验还是z检验均可，因为t分布近似于z分布。我们使用z检验做双样本均值。

将用户分割出两个群体体验产品功能，原始对照组和改进组都有50000用户。对照组的七日平均活跃数u1=8500，标准差为s1=1250，改进组的七日平均活跃数为u2=8300，标准差s2=1240。当总体标准差未知时，有公式：

计算出z=25.399，远大于1.96，p值无限接近0，几乎不可能发生，也就说明改进组的活跃上升或者等于是个极小概率事件，我们拒绝了原假设，接受了备选假设。若还想深入的查看活跃究竟下降了多少，使用双样本均值计算置信区间：

两个样本均值之差的95%置信区间为[183.566,215.433]。也就是说七日平均活跃数有95%的可能性下降了183～215之间。

假设检验的难点在于诸多知识点和业务的结合使用，限于文章的篇幅，我省略了不少概念点，这块需要大家多练习，比如用曾经文章的练习数据，计算上海和杭州的数据分析师工资均值是否相等，金融的工资是不是比电商的高。实际分析中不会有那么复杂的计算，我知道大家公式看晕了，不论Excel、R或者Python都有简便的函数使用，只要知道结果的符号意义就行了。

————

统计的内容告一段落了，这些都是比较基础的知识点，没有写得过于复杂，其一因为我统计本身不擅长（读书时没好好学），其二应用中我也不追求背后的数学原理。这大概是我写得最吃力的系列了。虽然还有时间序列，方差分析等内容，就留待以后吧。

下一篇文章写业务，因为历史文章已经涉及不少，反复讲没啥意思，所以一篇文章足矣，将数据中涉及的各类业务指标和知识点明即可。然后就是Python了。嗯，基础数据分析的内容已经倒计时了。

本文来源：天善社区秦路老师博客

原文链接：https://ask.hellobi/blog/qinlu/7959

【IT168 评论】这是一个用数据说话的时代，也是一个依靠数据竞争的时代。各大互联网公司都在不断完善自己的数据分析团队，数据分析师的薪酬也是水涨船高。业内人士透露，应届毕业生的平均薪资大概在6K左右，1至3年经验的大概在10K到20K之间，5至10年经验的大概在25K以上。薪资还是十分诱人的，那么，如何快速成长为一名年薪百万的数据分析师呢?快来看看，以下30道数据分析相关面试题，你会多少?

1、分析数据还要写java代码是不是效率有点低?

2、成为一名数据分析师需要具备哪些技能?

要成为一名数据分析师，需要掌握丰富的报告软件包(Business Objects)，编程语言(XML，Javascript或ETL框架)，数据库(SQL，SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计，数据模型，数据挖掘等方面的技术知识以及分析大型数据集(SAS，Excel，SPSS等)的统计软件包知识。

3、分析项目的各个步骤是什么?

分析项目的各个步骤包括：

·问题定义

·数据挖掘

数据准备

模型化

数据认证

实施跟踪

4、分析的结果数据特别大，在线请求这些结果数据扛不住了，咋搞?

5、列出数据清理的最佳实践?

一些数据清理的最佳实践包括：

按不同的属性排序数据

对于大数据集，逐步清理并改进数据，直到获得良好的数据质量

对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度

要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值

如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题

分析每列的汇总统计数据(标准差，均值，缺失值的数量)

保持对每一个清理操作的跟踪，以便可以根据需要更改或删除操作

6、海量日志数据，提取出某日访问百度次数最多的那个IP。

7、可用于数据分析的一些最佳工具清单有什么?

Tableau

RapidMiner

OpenRefine

KNIME

Google Search Operators

Solver

NodeXL

io

Wolfram Alpha’s

Google Fusion tables

8、数据挖掘和数据分析之间的区别是什么?

数据挖掘和数据分析之间的区别在于：

数据分析：针对个别属性的实例分析。提供有关属性的各种信息，如值范围，离散值及其频率，空值的发生，数据类型，长度等。

数据挖掘：重点关注聚类分析，异常记录检测，依赖关系，序列发现，多个属性之间的关系控制等。

9、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

10、用于处理分布式计算环境中应用程序大数据集的Apache框架有哪些?

Hadoop和MapReduce是由Apache开发的用于处理分布式计算环境中应用程序大数据集的编程框架。

11、腾讯面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在40亿个数当中?

12、解释KNN插补方法是什么?

在KNN插补中，通过使用与其值缺失的属性最相似的属性值来推断缺少的属性值。通过使用距离函数，确定两个属性的相似度。

13、数据分析师使用的数据验证方法是什么?

通常，数据分析师用于数据验证的方法是数据筛选和数据验证。

14、解释应该如何处理可疑或缺失数据?

准备提供所有可疑数据信息的验证报告。它应该提供信息，如失败的验证标准以及发生的日期和时间

有经验的数据分析师应该检查可疑数据以确定其可接受性

应该找出无效数据并用验证码替换

对缺失数据进行处理，使用最佳分析策略，如删除，单一插补方法，基于模型的方法等。

15、如何避免过拟合?

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化：增大数据集，正则化

16、解释异常值是什么?

异常值是分析师使用的一个术语，指的是一个远远超出样本总体模式的值。有两种类型的异常值：

Univariate

Multivariate

17、解释分层聚类算法是什么?

分层聚类算法结合并划分现有的组，创建分层结构并展示组划分或合并的顺序。

18、解释K均值算法是什么?

K均值是一种著名的分区方法。对象被分类为属于K个组中的一个，k是先验选择的。

在K均值算法中：

簇是球形的：簇中的数据点以该簇为中心

簇的方差/扩展是相似的：每个数据点属于最接近的簇

19、数据分析师所需掌握的关键技能是什么?

数据科学家必须具备以下技能：

数据库知识

数据库管理

数据混合

数据查询

数据操作

预测分析

基本描述性统计

预测建模

高级分析

大数据知识

大数据分析

非结构化数据分析

机器学习

演示技巧

数据可视化

报告设计

20、解释协同过滤是什么?

协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。

协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块，该模块通常会获取用户的浏览记录信息，以弹出用户可能喜欢或需要的商品。

21、大数据中通常会使用到哪些工具?

大数据中使用的工具包括：

Hadoop

Hive

Pig

Flume

Mahout

Sqoop

22、解释什么是KPI，实验设计和80/20规则?

关键绩效指标(KPI)：它代表关键绩效指标(Key Performance Indicator)，它是关于业务流程的报告或图表

实验设计：这是用于分解数据，采样和建立数据以进行统计分析的初始过程

80/20规则：这意味着你收入的80%来自客户的20%

23、解释Map Reduce是什么?

Map-Reduce是一个处理大型数据集的框架，可以将它们分解成子集，在不同的服务器上处理每个子集，然后混合每个子集上获得的结果。

24、解释聚类是什么?聚类算法的属性?

聚类是一种应用于数据的分类方法。聚类算法将数据集划分为自然组或集群。

聚类算法的属性是：

Hierarchical or flat

Iterative

Hard and soft

Disjunctive

25、对数据分析师有用的统计方法是什么?

对数据科学家有用的统计方法是

贝叶斯方法

马尔科夫过程

空间和集群进程

统计数据，百分位数，异常值检测

计算技巧等

简单的算法

数学优化

26、时间序列分析是什么?

时间序列分析可以在频域和时域两个域中完成。在时间序列分析中，可以通过指数平滑，对数线性回归等各种方法分析数据，来预测特定过程输出。

27、解释空间自相关分析是什么?

空间自相关分析是地理空间分析的常用形式。它由一系列为不同空间关系计算的估计自相关系数组成。当原始数据表示为距离而不是单个点的值时，它可以用于构建基于距离的数据相关图。

28、散列表是什么?散列表冲突是什么?如何避免?

在计算中，哈希表(散列表)是键值对的映射，这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引，从中可以获取所需的值。

当两个不同的键散列到相同的值时，发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。

为了避免散列表碰撞，有很多技巧，这里列出两个：

分离链接：它使用数据结构来存储散列到同一个插槽的多个项目。

再探测：在找到查找位置的index的index-1，index+1位置查找，index-2，index+2查找，依次类推。这种方法称为线性再探测。

29、解释 imputation是什么?列出不同类型的插补技术?哪种插补方法更有利?

在插补过程中，我们用替代值替换丢失的数据。插补技术涉及的类型有：

单一插补

热点插补：从随机选择的类似记录中推断缺失值

冷却板插补：与热点插补相同，但更先进，从其他数据集中选择供体

平均估算：在所有其他情况下，用该变量的平均值代替缺失值

回归插补：用基于其他变量的变量预测值替换缺失值

随机回归：与回归插补一样，但它将平均回归方差加入到回归估计中

多重插补：与单个插补不同，多重插补会多次估计值

虽然单一插补法被广泛使用，但并不能反映随机丢失数据所造成的不确定性。因此，在数据丢失的情况下，多重插补更有利。

30、解释N-gram是什么?

N-gram是来自给定序列文本或语音的n个项目的连续序列。这是一种以(n-1)形式预测下一个项目的概率语言模型。

俗话说得好“泰山不拒细壤，故能成其高；江海不择细流，故能就其深。”清晰的思路在我们的实际工作中是非常重要的，能够让我们认真的去思考自己的岗位工作。可以让我们更高效的去完成工作任务。

　　一个优秀的数据分析师应该以价值为导向，放眼全局、立足业务、与人为善，用数据来驱动增长。所以清晰的思路对数据分析师尤为重要。下面是小编整理的数据分析师的常见分析思路。

　　九种基本思路

　　简单趋势

　　通过实时访问趋势了解产品使用情况。如总流水，总用户，总成功率，总转化率。

　　多维分解

　　根据分析需要，从多维度对指标进行分解。例如新老用户、支付方式、游戏维度、产品版本维度、推广渠道、来源、地区、设备品牌等等维度。

　　追踪思路

　　运营的问题，是追踪出来的，不是一次就看出来的。所有的数据都是靠积累和沉淀才能发现问题，单一的数字没有任何意义，只能称为 “数值”。

　　对比思路

　　单独看一个数据没有太多感觉，必须和另一个数据对比才更有感觉。通过对比，才能发现自己差距到底在哪，找到优化的正确方向。

　　用户分群

　　在精细化分析中，常常需要对有某个特定行为的用户群组进行分析和比对；数据分析需要将多维度和多指标作为分群条件，有针对性地优化产品，提升用户体验。

　　细查路径

　　数据分析可以观察用户的行为轨迹，探索用户与产品的交互过程；进而从中发现问题、激发灵感亦或验证假设。

　　留存分析

　　留存分析是探索用户行为与回访之间的关联。一般我们讲的留存率，是指“新增用户”在一段时间内“回访”的比例。通过分析不同用户群组的留存差异、使用过不同功能用户的留存差异来找到产品的增长点。

　　A/B 测试

　　A/B测试就是同时进行多个方案并行测试，但是每个方案仅有一个变量不同；然后以某种规则（例如用户体验、数据指标等）优胜略汰选择最优的方案。数据分析需要在这个过程中选择合理的分组样本、监测数据指标、事后数据分析和不同方案评估。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

统计学在社会经济调查方面的应用

1 调查方法设计及原则

分层抽样方案设计的原则须科学、有效、便利，也必须保证有较高的效率，即在相同的样本量的条件下，方案设计应使调查尽可能小、精度尽可能高，即目标量估计的抽样误差尽可能小。抽样方案必须有较强的可操作性，不仅便于具体抽样的实施，也便于后期数据处理。按照此原则，我们将全班112名同学按性别分为男、女两层并按姓氏排序编号。统计结果为男生69人，女生43人。　

2 随机数表抽样法　　随机数表是统计工作者用计算机生成的随机数组成，并保证表中每个位置上出现哪一个数字是随机数表等概率的，利用随机数表抽取样本保证了各个个体被抽取的概率相等。真正的随机数是使用物理现象产生的：比如掷钱币、骰子、转轮、使用电子元件的噪音、核裂变等等。这样的随机数发生器叫做物理性随机数发生器，它们的缺点是技术要求比较高。而通常我们使用的随机数表是使用伪随机数，这些数列是“似乎”随机的数，实际上它们是通过一个固定的、可以重复的计算方法产生的。计算机或计算器产生的随机数有很长的周期性。它们不真正地随机，因为它们实际上是可以计算出来的，但是它们具有类似于随机数的统计特征。本次调查采用随机号码表法抽取样本，完全排除主观挑选样本的可能性，使抽样调查有较强的科学性。本文的随机数表为EXCEL表通过函数“=INT（RAND（）*（b-a）+a）”生成，代表生成范围在（a，b）之间的随机整数。

将全班112名同学按性别分为二层。第一层为女同学，共43名人，按姓氏的拼音首字母排序，并编号1、2、3......43；第二层为男同学，共69人，采用　　相同的办法排序，并编号1、2、3......69。　　3 分层抽样调查　　欲了解华南师范大学2012级MBA全体同学2013年5月31日上、下班花费时间、2013年5月26日-2013年6月1日网上购物金额以及这两个个指标，对30个样本进行了分层抽样调查，数据收集的方法为网络调查，被调查者采用收取邮件方式对调查问卷作回答。发出问卷30份，有效回收30份。调查统计结果列出下表：　　

分层抽样具有比纯随机抽样高的抽样精度，但由于分层抽样中各层的样本的具体情况在抽样检验之前是未知的，所以我们也就无从知道样本的均值、方差。必须根据调查数据作进一步的计算与分析。4 抽样误差的计算　　在112名同学总体中随机抽出30个样本，采用比例分配法把样本中的女、男分为两层，这里：N=112，n=30；N女=43，n女=21；N男=69，n男=18。　　（一）指标1：上周五（2013年5月31日）上、下班花费时间　　1、样本均值计算：　　2、样本方差计算　　3.置信区间　　（二）指标2：上一周（2013年5月26日～2013年6月1日）网上购物金额　　1.样本均值计算　　2.样本方差计算　　3.置信区间　　5 分层设计分析　　分层设计效应的目地在于为抽样调查提供一个近似的、好用的估计来提高调查效率，并对群内的一致性进行分析。以下数据的计算结果（表-5）是严格按照分层抽样比，选择两个代表性指标，对全班同学的上、下班花费时间，网购消费水平作总体估计。　　判断调查的抽样精度没有一个统一的标准，要因定性和定量研究的目地而定。一般误差在5%范围内，抽样精度较高，在5%-10%之间抽样精度较好，在10%-20%之间数据是可用的，在20%以上，可以认为抽样样误差较大。数据均可根据抽样调查在允许误差的范围内进行修正。所以为了提高抽样精度，三个调查指标的数据计算都是在允许误差95%的置信度区间内进行。　　其中，置信水平可以分析总体参数值落在样本统计值某一区内的概率，而置信区间是在某一置信水平下样本统计值与总体参数值间误差范围。其区间范围越大，置信水平越高。　　指标2网上购物金额抽样误差37.78，从抽样误差的角度来看，完全可以满足推断总体的要求。在置信水平为95%的前提下计算出的置信度间隔148.1最宽，表明置信水平最高，用该数据来估计全班同学的网购消费水平的可信度就最高。由国家统计局资料显示，全国居民平日在互联网上的钱主要用于上网、购物、玩游戏，缴纳各种生活费用。随着中国网购市场日渐安全规范，人们越来越喜欢网上购物这种新型的消费方式。

指标3上周锻炼身体的时间其抽样误差15.01，从抽样误差的角度来看，也可以满足推断总体的要求。在置信水平为95%的前提下计算出的置信度间隔58.84较宽，表明置信水平较高，用该数据来估计全班同学的上周锻炼身体的时间可信度也较高。一份《2012年度中国职场人平衡指数调研报告》中指出 “广州职场人工作时间全国第一，平均睡眠时间最短”。 由此可见，人们没有更多的时间进行体育锻炼。对于本次调查华师全体同学的锻炼时间均值为73.39分钟，这个结果还是比较让人欣慰地。　

总之，通过对30个样本的两个指标进行抽样数据分析，对全班同学的数据作代表性估计是毋庸置疑的，而且抽样误差水平很低。因此，上下班花费时间、网购消费水平、锻炼身体情况的样本数据对推算全班总体具有较好的精确度，为进一步了解全班同学情况提供了重要的参考依据。

标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。

本期，我们总结不同设计类型分类数据在在各种情况下比较所用的统计分析方法、泊松分布数据的统计分析方法以及变量之间关联性的统计分析方法。

分类数据的统计分析

1. 样本数据与总体比较

1)二分类资料：

(1)小样本数据：用二项分布进行确切概率法检验；

(2)大样本数据：用U检验；

2)多分类数据：用Pearson检验（又称拟合优度检验）。

2. 四格表（2×2表）数据

1)完全随机设计的四格表数据的分析

（1）当样本量n>40，并且4个格子理论数均大于5时，则用Pearson 检验；

（2)当样本量n>40，并且4个格子理论数均大于1且至少存在一个格子的理论数<5时，则用校正检验或用fisher’s精确概率法检验；< span="">

（3)当样本量n40或存在任一格子理论数<1，则用精确概率法检验；< span="">

2)配对设计的四格表数据的分析

（1)b+c≥40，则用McNemar配对检验；

（2)b+c<40，则用二项分布确切概率法检验；< span="">

3. 2×C表或R×2表数据的统计分析

1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则可以采用行平均得分差（Row Mean Scores Differ）的CMH 或成组的Wilcoxon秩和检验；

2)列变量为效应指标并且为二分类，行变量为有序多分类变量，则可采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。

3)行变量和列变量均为无序分类变量：

(1)当样本量n>40，并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验；

(2)当样本量n40，或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s确切概率法检验；

4. R×C表数据的统计分析

1)完全随机设计的R×C表数据的统计分析

（1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则CMH 或Kruskal Wallis的秩和检验；

（2)列变量为效应指标，并且为无序多分类变量，行变量为有序多分类变量，则采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义；

（3)列变量和行变量均为有序多分类变量，可以作Spearman相关分析或者非零相关（none zero correlation）的CMH ；

（4)列变量和行变量均为无序多分类变量：

i. 当样本量n>40并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验进行分析；

ii. 当样本量n40或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s 确切概率法检验；

2)配对设计的C×C表数据：

（1)配对比较：用McNemar配对检验；

（2）一致性检验（Agreement）：用Kappa检验；

Poisson分布数据

1. 单样本数据与总体比较：

1)当观察值较小时：可以用确切概率法进行检验。

2) 当观察值较大时：可以用正态近似的U检验。

2. 两个样本数据的比较：可以用正态近似的U检验。

两个变量之间的关联性分析

1. 两个变量均为连续型变量

1)当两变量为小样本并且两个变量服从双正态分布时，可以用Pearson相关系数来衡量两个变量之间的关联性；

2)当两变量为大样本或两个变量不服从双正态分布，则用Spearman相关系数来衡量两个变量之间的关联性；

2. 如果两个变量均为有序分类变量，可以用Spearman相关系数来衡量两个变量之间的关联性；

3. 如果一个变量为有序分类变量，另一个变量为连续型变量，可以用Spearman相关系数来衡量两个变量之间的关联性。

“一站式”医学科研管理工具！

LinkLab帮您轻松做科研

成为更好的临床医生！