当我们决定使用机器学习模型解决业务场景时，在确定好模型的目标和评价指标之后，就可以撸起袖子开始干了，第一步就是样本问题，怎么选择样本？

样本选择主要是从海量数据中识别和选择相关性高的数据作为机器学习模型的输入，最理想的情况就是选择了最少量的样本，模型的效果依然不会变差。

样本选择有以下三点好处：

当数据量过大，程序会耗费大量的计算资源，减少数据量能够缩减模型的运算时间，使得某些因为数据量过大而无法应用的机器学习模型的问题变得可能。

全部数据包含太多冗余信息，相关性太低的数据对模型解决业务问题是没有任何帮助的，徒增浪费资源烦恼。

只要是数据，都会有噪声存在，不管是错误的还是重复的噪声。样本选择过程中去除了噪声，改善了数据质量。

样本选择常用数据去噪、采样这些简单有效的方法，也可以使用复杂的方法，通过搜索整个数据集或利用算法来实现样本选择，这类方法就是原型选择和训练集选择。

在数据去噪的过程中，最重要的就是怎么识别噪声，识别出噪声之后才可以做直接过滤或者修改数据等操作。噪声数据可能是重复值、缺失值、超出范围的异常值等，也可能是标注错误，对标注错误的处理方法常见的是集成过滤、交叉验证委员会过滤和迭代分割过滤三种方法，都是基于融合或者投票思想进行数据过滤的，以后会详细讲一讲这些方法，这里先一笔带过。

采样是一种统计技术，从整体选择一部分进行推论。一个好的样本子集应该具有无偏性和很小的样本方差，其中无偏性指的是对样本的期望等于全体样本的期望。样本方差是衡量样本估计值和真实值的偏差，小方差能保证估计值不会产生太大的偏差。

样本采样的方法主要有，无放回简单随机抽样，有放回简单抽样，平衡采样，整群采样，分层采样。无放回简单随机采样就是随机抽取固定数量的样本。有放回简单抽样是指每次抽取一条样本之后不将该样本从原始数据中剔除，继续抽，可能这条样本会被抽中多次。平衡采样是指根据目标进行采样，十分适合在不平衡分类中使用。假如正负样本的比例在1：100，我们想要得到正负样本比在1：10的数据样本，那么在正样本数据中进行上采样，把正样本复制10遍，在负样本数据中进行下采样，随机删除部分样本保留原来的十分之一。整群采样是指先将数据集分成互斥的几个类簇，然后在这几个类簇中分别进行简单随机抽样作为样本集。分层抽样是指将数据集划分成不同的层，在层内部进行数据采样，最后汇合成总样本集。

原型选择基于实例，在样本选择过程中不需要进行模型训练，而是选取相似度或者距离度量来找到分类精度和数据量最佳的训练集，一般用户KNN无监督算法。训练集选择则是构建预测模型来进行样本选择的方法的统称，比如决策树、ANN、SVM的算法。原型选择和训练集选择两大类别的样本选择方法虽然有很多，但是没有一种方法是完全通用的，必须具体问题具体分析处理。

在生物学和医学试验中，经常将试验材料配成对子。如单卵双生子的两个孪生子，同一植株上的两根枝条等。这些试验产生的数据之间存在紧密的内在联系，称为配对数据。

配对数据的t检验公式可由 单样本t检验 公式推导，其本质是将配对数据差值看做一个单样本，进行单样本t检验。

配对数据t统计量计算公式为：

其中

原假设（无效假设或零假设）：ud=0

备择假设：

ud≠0

ud>0

ud<0

例题

为了研究两种病毒对番茄的致病能力有无差异，在8种番茄上各选取一个叶片，并沿主脉分成对称的两部分，把两种病毒分别随机涂抹在每片叶的两半片叶上，一周后观测叶片上的病斑数。试测验两种处理方法的差异显著性。

品种 病毒B 病毒A d

1 10 25 15

2 13 12 -1

3 8 14 6

4 3 15 12

5 5 12 7

6 20 27 7

7 6 18 12

8 9 18 9

平均 9.250 17.625 8.375

正态性检验代码：

#赋值

A=c(25,12,14,15,12,27,18,18)

B=c(10,13,8,3,5,20,6,9)

x=A-B

#shapiro检验

shapiro.test(A)

shapiro.test(B)

shapiro.test(x)

程序运行结果

上述结果表明：样本数据均通过正态性检验

配对t检验代码：

t.test(x,paired=T)

程序运行结果:

结果表明，p-value = 0.001884<0.01，两种处理方法的具有极显著差异。

数据是死的，

可人是活的呀！

大数据的大指的是全，即“总体=样本”。因此，在使用大数据时看到大就想到了海量是不对的，即便很多情况下大数据的确意味着海量数据。这种样本方式从根本上解决了抽样的随机性带来的数据偏差，但也增加了数据的混乱程度。在分析时，我们必须建立多个数据模型而非简单的一个。

现在很多管理者都清楚大数据的重要性，却没有完整明白大数据的真正意义，从而导致很多人认为大数据是个伪概念。曾鸣教授在得到APP里的《智能商业20讲》里提出了一个很有意思的新词叫做：活数据。我以为这个提法要比大数据更精准，活数据首先可以理解为全体样本数据，其次可以理解为动态数据，还可以理解为多种模型数据。

大数据的全体样本性势必可以提高分析的精准度，但其导致的数据分析复杂度也为数据模型的创建提出了新的要求。如今，很多公司已经可以做到数据秒级响应了。这种动态数据为企业决策者提供了更为准确的判断依据，也成了活数据的最佳案例。

成熟企业对数据的依赖也与日俱增，毕竟在传统的管理中我们要以客户至上，客户的需求往往是通往高增长的正确路径。然而，大数据也有失灵的时候，比如面对破坏性创新的时候。数据更多的是为过去服务，即便秒级数据响应也是如此。这些数据准确的提供了用户需求指数及走向，但这种分析得到的只是成为客户的这波人，那些非用户群体往往被忽略了。

当然，企业关注自身客户本来就没有错，因为所有管理者都明白只有客户才能为自己提供更高的增长率。每个企业都势必走向更高级别市场，从而产生新的低端市场真空区。这个真空区往往成为那些新的破坏性创新者的入口，从而根据延续性创新逐步占领主流市场成为精英新贵。

这样的例子在整个商业史上数不胜数。那为什么会产生这样的情况呢？管理者往往在搭建数据模型时忽略了那些短暂性存在过的用户，他们在数据海中快速流失，在数据分析时往往被列为混乱数据从而过滤掉。这个过滤对于企业当下是有利的，但从长久来说却十分不明智。毕竟他们悄然而至悄然而去都是有原因的。这个原因很可能就是破坏性创新的缘起。

因此，企业除了成立适应破坏性创新的小团队外，还应在数据分析时搭建小数据分析模型，并且去追踪这些数据。这些数据背后隐匿的或许与你当下的价值观不同，却包含了未来的巨大增长路径。这也从另一个方面说明了，大数据的本质不是相关性，而是更为细碎的的彻底因果关系，我们必须意识到这是一个多因多果的世界。

第一次观看“宅舞”是在一场A站举办的活动上，几个萌妹子穿着女仆服跳着萌萌的舞蹈，后来就是AKB48的盛行，以及随处可见的《极乐净土》。不得不说，这段时间ACGN的快速发展其实给二次元世界开了个虫洞，普通人的世界里终于无限渗透了异世界的东西，而二次元却还是二次元，那句话怎么说来着，对，就是泛二次元。

(从二次元红到三次元《极乐净土》)

对于这个领域，点愉一直抱有极大的好奇，也发布过《3亿用户千亿产值 来自二次元的玩家到底爱什么？》的文章。不过，我们发现二次元虽然是个小众领域，但是OTAKU（御宅族）们的属性众多（腐系、萌系、妹系、鬼畜、电波），其涉及的细分领域也不少，LO娘、娃妈、军宅、唱见、舞见、声优厨、画师等等。这次，我们选择了宅舞这个群体，进行了深度调查和采访，共采集了近百分数据，其中包括宅舞团体、唱见、舞见以及粉丝们。

（这其中竟有28%的用户对宅舞无感，所以你们为什么要在宅舞里？）

宅舞这一领域的用户画像

萌妹子多余蓝孩子

点愉随机采访了三位跳宅舞的用户，采访过程中我们发现他们都是90后群体，在获取调查样本的时候，我们发现这个领域的用户女性多于男性，且90后是主要群体。喜欢二次元的时间都比较长。

（女性占到55%，男性占到40%

其他接近5%）

（最主要的用户是90后群体

其中以21—25岁用户最多）

（这个群体虽然年龄都不大

但是热衷二次元领域的时间都比较长

可见其粘性很高）

点愉对其中几位跳宅舞的小姐姐和小哥哥进行了采访，发现他们其实很有主见，都将宅舞作为自己的兴趣爱好，在二次元领域中，他们喜欢动画、漫画、游戏等等，并且愿意为自己的喜好付费。

小初，超可爱的90后小姐姐，上海人。2013年开始接触宅舞，在B站上坚持投稿也有4年了。

根据小初的介绍，还有很多更早的阿婆主都有6，7年了。以前宅舞的定义是“在家就能跳的，简单表达心情的舞蹈”，早期的宅舞也比较简单可爱，倾向于大家都能加入进来，现在有很多很难的编舞。她加入的时期已经开始偏难了，其实算接触晚的了。

现在也工作了即使比较忙但是如果有时间还是会继续跳的，毕竟这是兴趣爱好。游戏的话有玩《碧蓝航线》，该有的船都有但是不氪。还是看动漫为主，游戏很少玩了。

牡丹， 95后男生，武汉人。2013年加入大学社团开始练舞，一开始就是为了教社团的学弟学妹才开始自己学，现在已经是看的多跳的少了。他认为，男生跳的感觉都往街舞方向走，男生靠卖萌涨粉那颜值太恐怖了。女孩子长得可爱点腿长点就容易涨点击。

最喜欢的游戏是《魔兽世界》和《炉石传说》，但是只有周末休息的时候会玩了，上个月氪了个炉石预购包，结果开完也没组卡也没冲天梯，现在励志当个无氪党，因为微氪不出货也不爽....重氪又氪不起，所以《FGO》也戒了。开始工作后每天忙成狗，现在回家只会选怎么躺着玩舒服的游戏，觉得《开心消消乐》是正途。也会玩音游比如《cytus》、《maimai》。

爱丽丝酱，90后萌妹子，深圳人。从2014年接触宅舞，喜欢动漫所以大学加入社团。后来找到志同道合的小伙伴一起排练，跟着大学的社团到处表演，工作后才开始认真练舞并且在B站上投稿。然而她对自己成为被窥探的小众群体不是很开心。

她现在很喜欢的游戏是《崩坏3》，在上面花了2000多块，甚至曾经一度想去米哈游工作，但是想想自己对游戏没太大兴趣还是算了。目前，和搭档约定了要好好练舞，于是戒掉了游戏，《崩坏3》的账号也送人了。因为喜欢宅舞，也会去玩相关的游戏例如《lovelive》、《偶像大师》（日服）。也会为看《创造101》少女偶像养成的节目买会员。

她觉得，三次元看二次元总是怪怪的，大众喜欢窥探小众群体，无视掉他们就好啦。

目前对于宅舞

整个行业存在很多问题和争议

宅舞是一个仅在中文里使用的名词（日文没有宅舞或オタクダンス之类表述），一般用来指：

和御宅文化（以ACGN为主）相关的舞蹈，以及BGM使用了御宅文化相关曲目的舞蹈；

在NicoNico动画的试跳区（踊ってみた）发源的舞蹈，以及其他使用了NicoNico动画发源曲目的舞。

通过对业内专业人士的采访，点愉发现在日本其实是没有“宅舞”这个词的，这其实是一个本土气息浓重的舶来品。这位专业人士告诉点愉，目前整个宅舞行业非常不正规、也不规范，素质参差不齐，大部分男性用户就是为了看姑娘或者看胸、看腿，不关心舞蹈动作。在视频的弹幕上，经常可以看到污秽不堪的评论。

（从数据来看大部分用户是理智的

但是看妹子看腿的用户

还是占到了23%左右）

另外，随着直播行业的野蛮生长，主播们整体素质参差不齐，宅舞作为细分领域，主播的素质也比较堪忧。所以不论从从业者的角度来看，还是从观众的角度来看，整体素质不高。

第三，平台本身存在的问题，这就要把B站拎出来说一说了。对于B站来说，我们发现这里聚集86%的用户，而B站也对应的开了舞蹈区，吸引更多的二次元用户关注，但是平台监管力度很难管控，内容方面也是参差不齐。

（近百分样本中接近9成的用户

群体选择B站观看宅舞）

很多二次元专业人士认为AKB48这类的女团是非常成功的宅舞团体，不但整体素质较高，在商业化上也比较成功。但是对于很多跳宅舞的人来说，他们并不认为这些女团算是宅舞类，只是披着宅舞的外衣，实际上挂羊头卖狗肉而已。

青龙：宅舞进入门槛低，宅舞和舞台剧各顶半边天，不过还是无法代替舞台剧，主力军也变成初中生了

雨子：现在漫展的宅舞表演都变成二次元蹦迪了

这部分用户认为，现在的宅舞已经不是他们喜欢的样子，整个行业非常浮躁，而且很多平台打着二次元的名号来赚钱，这是他们不能接受的。他们热爱宅舞的初衷很简单，就是单纯的从自己的兴趣出发，类型其实也比较丰富。

（大部分用户是没有分类的

只要与ACG相关就可以了）

所以，从目前来看，整体行业的情况并不乐观，从业者素质不高，平台管理部规范，观众的素质也参差不齐。而真正的用户又不关心是否商业化，只是单纯的兴趣爱好。

关于宅舞的商业化

超过7成用户更接受漫展表演

虽然宅舞是一个小众的娱乐方式，但是随着用户群体不断增加，付费能力非常好，并且很多用户愿意为其付费，在聚集流量的同时，商业化变现是必然之路。说起变现，其实主要模式就是粉丝效应，不过在形式上还是比较多样的，这部分群体更愿意在哪些地方付费。

（用户对于漫展和打赏方面更愿意付费

有接近2成的用户不愿意付费

（受年龄和地域制约大部分用户群体属于无收入范围和低收入范围

主要在3k到9k之间）

（但是并不意味着这部分人群的付费能力不行对真爱多少钱都要买。上图为每月在二次元领域的消费额度）

游戏作为互联网变现利器，也是ACGN中的组成部分之一，点愉为其做了单独的调查。这些人群有77%都喜欢玩RPG角色扮演类游戏，另外47%的人会选择休闲类游戏。

（虽然大部分玩家喜欢RPG扮演类

但是在这个类型中

多以二次元类游戏为主）

在游戏终端上更多的用户选择手机和PC端，主机和掌机选择的较少，这大概是智能机的普及以及主机和掌机时代的断档造成的。

（新时代的用户

手机已经成为绝对终端）

在为游戏付费的方面两极分化很严重，接近四成用户在付费上没有上线，只要喜欢就付费，但是两成用户致力于不付费，另外还有超过四成用户是小R玩家，付费能力在万元以内。

对于这些用户喜欢玩什么游戏，点愉也做的调查，主要是：《碧蓝幻想》、《FGO/命运冠位指定》、《恋与制作人》。

而在接受调查的群体中，我们发现在ACGN（Anime动画；Comic漫画；Game游戏；Novel小说）中，他们最爱的还是动画，游戏可以占到接近六成。

（样本中九成用户的最爱是动画）

最后，我们来谈一谈宅舞的转型，专业人士告诉点愉，跳宅舞的这个群体，走专业路线的很少，但是随着现在受众越来越多，平台大力扶植，广告接入频繁以及资本的涌入，造成这个行业非常浮躁，从业人员的素质参差不齐，而且这些从业人员转型困难。

大部分宅舞从业者都是女孩子，她们从很小的年纪开始跳宅舞，根据平台的热度可能会有一定知名度，但是大部分女孩子随着年纪的增长，逐渐分离出来，不论是学习还是工作，都会在另外一条轨道上，宅舞将成为她们的爱好，偶尔跳一跳或者更多的是观看。

一部分打算走职业路线的女孩子，她们的转型是比较困难的，因为大部分从业者并非专业院校毕业，所以在舞蹈方面的专业素养不够，很难成功转型成为专业舞者。

另外，由于圈子并非大众，没有受过专业的表演训练或者音乐训练，使得这部分群体很难转型成为主流艺人。

对于AKB48这种女团性质的团体，主要是维护整个团队的热度，打造整体品牌，团队成员一波接一波的换，年纪稍微大一点就会被淘汰，很难有更多的发展。

最后，这位专业人士说，二次元这个领域不但很大、有很多粉丝，是一座巨大的金矿，而且很多人从二次元用户身上挖掘了大量的金钱，不论是女团、游戏、舞台剧、周边或者广告这些形式，都只是金矿的皮毛，他们榨取了金钱，却没有对这个行业的尊重。

只有更加专业的深入二次元群体，了解他们的喜好，尊重这个群体，不把他们当做钱袋子，制作高质量的内容，尊重每一个IP，才能让这个行业更加正规，才能持续这个群体的生命力。

PS，感谢接受采访的专业人士

感谢北京两大宅舞团的粉丝交流群：帝都南华团和DokiDoki

提到大数据，就得说这个数据信息量。

字节(Byte)是计算机信息技术用于计量存储容量和传输容量的一种计量单位，一个字节等于8位二进制数，在UTF-8编码中，一个英文字符等于一个字节。

通常我们接触比较多的就是U盘，手机和电脑，这些一般到TB级别就足够用了，大部分是GB。

而大数据时代，数据的量级要提高很多。Google搜索引擎似乎在不顾一切的吞食来自互联网的数据，仅2007年1年它就吞下了约100 Exabytes（1 Exabyte=1000000000 Gigabyte）的数据。1T（太）=1000G，1P（拍）=1000T，1E（艾）=1000P

单纯数据量上看，很大，无法想象。

大数据时代，大数据，多大都不算大。

如果你有工具。你丢给工具一份数据，工具告诉你：

1.这份数据的效果有多好？

2.样本大小与数据效果的关系？

3.什么样本最有用？

4.什么特征最有用？

如此，你便可以继续收集和重要样本类似的样本，继续提取和重要变量相关的变量。

如果我们可以轻而易举地知道什么数据有用，那么，这个大数据就是比较合适的，大数据，多大都不算大。

“样本”和“样品”这两个词出现在很多商品贸易、工程学、生物学资料中，甚至同时出现在同一段落的上下句。它们是同一个意思吗？能否混用？

英文sample翻译成“样本”还是“样品”？

样本和样品有啥区别？这个问题至少两次被学生问起，照本宣科的回答之后我自己却心里发毛；

因为除了中英文的翻译对应，在日常生活和各行各业中“样”这个汉字似乎有着各种各样、千差万别的含义。

“样本”和“样品”的含义并不完全等价，虽然英文都是sample这个词。

样本是统计学上研究对象某个统计指标总体的一个子集；而样品是指代表一类对象的材料实体的个体。维基百科上，“样品”对应词条是Sample (material)；而“样本”对应词条是Sample (statistics)。

教科书&维基百科

例如李松岗《实用生物统计》一书中，样本是从总体中抽取的一组（一或多个）个体的集合。

通常，总体、个体、样本是放在一起来讲的。总体是指所考察对象的全体，个体是总体中的每一个考察对象，样本是总体的一个子集或多重子集，而样本量（也称样本容量）则是指样本中个体的数目。

样品并无特别说明和定义，但使用上明显的是，样品是指材料上可区分的一个个实物，并无集合的含义，因而明显与样本不等价。

样品通常强调的是较大量实物的一小部分，但有时，比如整个标本specimen，也可当做分析研究的样品。

样本则聚焦于统计学意义上，抽象或具象地都对应着来自某总体的数据集。样本中的每个个体元素称为样本点或样本单元或观察结果。

样本Sample在本源上的含义是指观察或研究对象（如统计指标或自然社会现象）的一个代表[集合]。因此，统计学语境下的样本强烈地提醒研究者或设计者去明确样本所要代表的总体是什么，以便设计方案和获取合适的样本。

服装样品：服装店的博学小姐姐

前些天我家妞妞宝看中了童装店橱窗的一件花裙子。店员小姐姐拿来同款衣服的盒子打开，但是妞妞宝坚持要橱窗里那一件……小姐姐解释道“那个是样品，不卖的”。正被“样品”所困的妞爸不禁追问下去，没想到小姐姐还是学过服装设计并在服装厂工作过的，于是我了解到服装界好多的样品称谓。

服装样品的种类：开发样（也称头样）、销售样、跳码样（试身样）、测试样、产前样（量产前客户确认样）、封样（大货产品生产标准）、船样（大货抽检样品）。

我立刻认出了最后的船样是统计学意义下的样品Sample。

而前面几种样品中的“样”有样式pattern之意，即作为代表设计参数的实物样式或后续生产的样板。

然而汉语的语感中【我相信很多人还是能清晰感受到】，前面几个“样”字仍有服装参数或产品的代表之意。

服装纸样，也称为服装样板或服装模板。服装打版就是把服装创意设计图做出样板即纸样；正式名称叫服装结构设计，这一步是创作设计和工艺设计之间的桥梁。

腻害了服装店小姐姐！这时妞妞宝的注意力已经转移了……

临床血样与食品抽检

临床采血称为血样：临床想知道的是一个人的血糖、电解质、转氨酶等指标的数值，是针对其周身全部血液的，只抽取一管血来代表，即是样本。不同检测抽取的血量也会有所不同。

食品生产出来，要检查下其中营养物质、细菌、重金属等含量是否达标，是针对全部产品的，但一个批次常常只抽取几克或几ml进行实际检测，所抽取用来代表整个批次食品的，即是样本。

而在实际扦样、分样和检验操作过程中，首先从整个批次所有产品选取某几盒或某几袋，即原始样品（总样品）；进而化学检验需要将原始样品混匀缩分，得到化验所需量的平均样品（缩分样品）；经过破碎、加工等处理后，最终直接化验实验或仪器测量之前的样品称为试验样品（或供试样品）。

从这两个实例中可以看出，相对直接简单的临床血样明显对应着统计学意义的样本；而相对繁琐复杂的食品抽检就需要细分每一个操作过程中对实物的具体处理，不能笼统地都称为样本，而需要根据报告对象和具体语境来确定。对所检批次来说，少量样品的检验结果要放在统计推断的逻辑中来判定整个批次的质量是否合格，因此检验报告结果是食品质量相关指标的一个样本。

矿物或生物标本specimen

在博物馆和百科类图书中，常见到标本（specimen）这个词。其实际含义是代表某种生物或矿物的一种规范性实物。

相比于样品Sample，在生态保护及矿物勘探中，标本specimen或许更常用。标本从内涵上也有着作为相应生物或矿物种类的代表之意，但并不明确指向具体研究目的或某个统计指标。因而标本在研究中可视为一类具体特殊的样品，而在日常语境中仍是博物学意义的实物展示与长期保藏品。

实践上，只有统计学语境下，样本有着非常明确的代表集的含义，而【计算机文件存储、转换、传输等数据操作和材料摘取、分离、处理、运输、储存等实物环节中】数据和材料称为Sample时均属于引申义，因为：

很多情况下，并不明确也无需明确这个Sample具体确切代表啥统计指标或自然社会现象。

一旦需用这些数据或材料作为某种观察或研究对象的代表，就可以自然而然地称之为样本或样品。

样本强调代表集包含所需的统计指标信息，而样品强调代表集对应的材料实物。

样本是整体性概念，比如说一个药物评价研究的样本，样本容量可能是30，即30个试药人，而有90份样品（每个试药人在试药过程中采集了3个节点的血样），即样品是以实物为中心的概念。而这中间血样是对试药人全身血液的抽样，进而3个节点的血样合起来是作为药物评价的一个样本点。

我们可以说“样品污染”，但不能说“样本污染”，而最多说样本中的例外点（outlier，也称离群值）。因为实物才可以被污染，甚至语言比喻还会说一个人的思想、一个地域的文化被污染，而统计学意义下的抽象样本却无法被污染、而只可能搞错。

对于一些复杂现象和相关研究来说，样本的清晰定义和样品的准确获取直接决定着研究设计的优劣和研究结果的成败。

做一个安静的华小胖

肥胖是一个复杂现象。比如首先胖瘦是一个相对概念，我们要试着去确定一个统计指标才好。那么用什么指标呢？有人说体重，可能更多人会赞同BMI（体重除以身高的平方，全部用国际公制单位）。华小胖项目中，BMI超过24的BGIers被视为华小胖。

因此每个华小胖都是BMI指标下肥胖现象的一个样品，也可视为样本容量为1的一个样本。而实际上所有华小胖（约300多人）一起构成了肥胖的一个样本。

这里并未显式定义样本对应的总体，不过容易脑补出来：所有胖子（BMI>24的人，包括过去、现在及未来的人，严谨一点还可以加上年龄限制）。

但BMI也并非肥胖现象的最佳统计指标，比如已有研究表明：体脂率更贴切地表示了肥胖程度。因此貌似：样品不变时，我们所谈论的样本却可能变化，比如从BMI样本变成体脂率样本。

事实当然没这么简单：作为肥胖这个复杂现象，BMI或体脂率都是对这种现象的一种抽象简化，对肥胖现象的全面完整研究来说，这一群活生生的华小胖才是肥胖现象的一个样本。

现有手段选用一些可以测量或容易测量的指标来刻画肥胖现象的主体或侧面，随着研究进展可能不再使用BMI或体脂率、而是使用其它更准确全面的统计指标，但是华小胖仍然是肥胖现象的一个样本。

因此可以说，对样本和样品概念的认识争议辨析，实际上迫使我们了解其随着研究过程的动态变化，和特定时间和空间条件下构造或选择可测量的统计指标。

测试数据集是小型的专用数据集，它可以让你测试一个机器学习算法或测试工具。数据集中的数据有完整的定义（例如线性或非线性）使你可以探索特定的算法行为。scikit-learn Python 库提供一套函数，用于从可配置测试问题中生成样本来进行回归和分类

在本教程中，你将学习测试问题及如何在 Python 中使用 scikit-learn 进行测试。

完成本教程后，你将知道：

如何生成多类分类预测测试问题如何生成二进制分类预测测试问题如何生成线性回归预测测试问题

让我们开始吧。

教程概述

本教程被分成了 3 个部分，他们分别是：

1. 测试数据集

2. 分类测试问题

3. 回归测试问题

测试数据集

开发和实现机器学习算法时的一个问题是如何知道你是否已经正确实现了他们——它们似乎在有 bug 时也能工作。

测试数据集是小型设计问题，它能让你测试、调试算法和测试工具。它们对于更好地理解算法响应超参数变化的行为方面也很有用。

下面是测试数据集的一些理想特性：

它们可以快速、容易地生成。它们包含「已知」或「理解」的结果来和预测进行比较。它们是随机的，每次生成时都允许在同一个问题上随机变化。它们很小、容易在而二维中实现可视化。它们可以被增大。

我建议在开始一个新的机器学习算法或开发一个新的测试工具时使用测试数据集。scikit-learn 是一个用于机器学习的 Python 库，它提供了生成一组测试问题的函数。

在本教程中，我们将看一些为分类和回归算法生成测试问题的例子。

分类测试问题

分类是将标签分配给数据的问题。在本节中，我们将看三个分类问题：blobs、moons 和 circles。

Blobs 分类问题

make_blobs() 函数可被用于生成具有高斯分布的 blobs 点。你可以控制生成 blobs 的数量，生成样本的数量以及一系列其他属性。考虑到 blobs 的线性可分性质，该问题也适用于线性分类问题。

下面的例子是一个多类分类预测问题，它生成了一个具有三个 blobs 的 2D 样本数据集。每个数据有两个输入和 0、1 或 2 个类的值。

# generate 2d classification dataset

X, y = make_blobs(n_samples=100, centers=3, n_features=2)

完整的例子如下所示。

from sklearn.datasets.samples_generator import make_blobs

from matplotlib import pyplot

from pandas import DataFrame

# generate 2d classification dataset

X, y = make_blobs(n_samples=100, centers=3, n_features=2)

# scatter plot, dots colored by class value

df = DataFrame(dict(x=X[:,0], y=X[:,1], label=y))

colors = {0:'red', 1:'blue', 2:'green'}

fig, ax = pyplot.subplots()

grouped = df.groupby('label')

for key, group in grouped:

group.plot(ax=ax, kind='scatter', x='x', y='y', label=key, color=colors[key])

pyplot.show()

运行该示例将生成该问题的输入和输出，然后创建一个方便的 2D 图，用不同的颜色显示不同类的点。注意，考虑到问题生成器的随机特性，你的特定数据集和结果图会有所不同。这是一个特点，而不是一个错误。

Blobs 测试分类问题的散点图

我们将会在下面的例子中使用相同的示例结构。

Moons 分类问题

make_moons() 函数用于二进制分类并且将生成一个漩涡模式，或者两个 moons。你可以控制 moon 形状中的噪声量，以及要生产的样本数量。

这个测试问题适用于能够学习非线性类边界的算法。下面的例子生成了一个中等噪音的 moon 数据集

# generate 2d classification dataset

X, y = make_moons(n_samples=100, noise=0.1)

完整的例子如下所示。

from sklearn.datasets import make_moons

from matplotlib import pyplot

from pandas import DataFrame

# generate 2d classification dataset

X, y = make_moons(n_samples=100, noise=0.1)

# scatter plot, dots colored by class value

df = DataFrame(dict(x=X[:,0], y=X[:,1], label=y))

colors = {0:'red', 1:'blue'}

fig, ax = pyplot.subplots()

grouped = df.groupby('label')

for key, group in grouped:

group.plot(ax=ax, kind='scatter', x='x', y='y', label=key, color=colors[key])

pyplot.show()

运行该示例会生成并绘制数据集以供查阅，然后再按照指定的类对样本着色。

Moons 测试分类问题的散点图

Circles 分类问题

make_circles() 函数生成一个数据集落入同心圆的二进制分类问题。再一次地，与 moons 测试问题一样，你可以控制形状中的噪声量。该测试问题适用于可以学习复杂的非线性流行的算法。下面的例子中生成了一个具有一定噪音的 circles 数据集

# generate 2d classification dataset

X, y = make_circles(n_samples=100, noise=0.05)

完整例子如下所示。

from sklearn.datasets import make_circles

from matplotlib import pyplot

from pandas import DataFrame

# generate 2d classification dataset

X, y = make_circles(n_samples=100, noise=0.05)

# scatter plot, dots colored by class value

df = DataFrame(dict(x=X[:,0], y=X[:,1], label=y))

colors = {0:'red', 1:'blue'}

fig, ax = pyplot.subplots()

grouped = df.groupby('label')

for key, group in grouped:

group.plot(ax=ax, kind='scatter', x='x', y='y', label=key, color=colors[key])

pyplot.show()

运行该示例并绘制数据集以供查阅。

Circles 测试分类问题的散点图

回归测试问题

回归是根据观察数据预测数量的问题。make_regression() 函数将创建一个输入和输出具有线性关系的数据集。你可以配置样本数量，输入特征数量，噪声级别等等。该数据集适用于可以学习线性回归函数的算法。

下面的例子将生成 100 个示例，他们具有适度的噪声，都有一个输入特征和一个输出特征。

# generate regression dataset

X, y = make_regression(n_samples=100, n_features=1, noise=0.1)

完整例子如下所示。

from sklearn.datasets import make_regression

from matplotlib import pyplot

# generate regression dataset

X, y = make_regression(n_samples=100, n_features=1, noise=0.1)

# plot regression dataset

pyplot.scatter(X,y)

pyplot.show()

运行该示例将生成数据并绘制 x 和 y 的关系，考虑到它是线性的，所以结果是很简单的。

回归测试问题的散点图

扩展

本节列出了一些你可能想要探讨的扩展该教程的想法。

比较算法。选择一个测试问题，并比较该问题的一系列算法并汇报性能。放大问题。选择一个测试问题并探索将其放大，用级数法来可视化结果，也可以探索一个特定算法模型技能和问题规模。其他问题。库提供了一套其他测试问题；为每个问题编写了一个代码示例来展示它们是如何工作的。

拓展阅读

如果你想要更深入的了解，本节提供了关于该课题更多的资源。

scikit-learn 用户指南: Dataset loading utilities (http://scikit-learn.org/stable/datasets/index.html)scikit-learn API: sklearn.datasets: Datasets (http://scikit-learn.org/stable/modules/classes.html#module-sklearn.datasets)

总结

在本教程中，我们学习了测试问题及如何用 scikit-learn 在 Python 中使用他们。

具体来说，其中包括：

如何生成多类分类预测测试问题；如何生成二进制分类预测测试问题；如何生成线性回归预测测试问题。

“大数据”全在于发现和理解信息内容及信息与信息之间的关系，然而直到最近，我们对此似乎还是难以把握。ibm的资深“大数据”专家杰夫·乔纳斯（jeff jonas）提出要让数据“说话”。从某种层面上来说，这听起来很平常。人们使用数据已经有相当长一段时间了，无论是日常进行的大量非正式观察，还是过去几个世纪里在专业层面上用高级算法进行的量化研究，都与数据有关。

在数字化时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的数据。但当我们谈论能“说话”的数据时，我们指的远远不止这些。

实际上，大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作用的。

首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。

其次，我们乐于接受数据的纷繁复杂，而不再追求精确『性』。

最后，我们的思想发生了转变，不再探求难以捉『摸』的因果关系，转而关注事物的相关关系。

本章就将介绍第一个转变：利用所有的数据，而不再仅仅依靠一小部分数据。

很长一段时间以来，准确分析大量数据对我们而言都是一种挑战。过去，因为记录、储存和分析数据的工具不够好，我们只能收集少量数据进行分析，这让我们一度很苦恼。为了让分析变得简单，我们会把数据量缩减到最少。这是一种无意识的自省：我们把与数据交流的困难看成是自然的，而没有意识到这只是当时技术条件下的一种人为的限制。如今，技术条件已经有了非常大的提高，虽然人类可以处理的数据依然是有限的，也永远是有限的，但是我们可以处理的数据量已经大大地增加，而且未来会越来越多。

在某些方面，我们依然没有完全意识到自己拥有了能够收集和处理更大规模数据的能力。我们还是在信息匮乏的假设下做很多事情，建立很多机构组织。我们假定自己只能收集到少量信息，结果就真的如此了。这是一个自我实现的过程。我们甚至发展了一些使用尽可能少的信息的技术。别忘了，统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。事实上，我们形成了一种习惯，那就是在我们的制度、处理过程和激励机制中尽可能地减少数据的使用。为了理解大数据时代的转变意味着什么，我们需要首先回顾一下过去。

小数据时代的随机采样，最少的数据获得最多的信息

直到最近，私人企业和个人才拥有了大规模收集和分类数据的能力。在过去，这是只有教会或者『政府』才能做到的。当然，在很多国家，教会和『政府』是等同的。有记载的、最早的计数发生在公元前8000年，当时苏美尔的商人用黏土珠来记录出售的商品。大规模的计数则是『政府』的事情。数千年来，『政府』都试图通过收集信息来管理国民。

以人口普查为例。据说古代埃及曾进行过人口普查，《旧约》和《新约》中对此都有所提及。那次由奥古斯都凯撒主导实施的人口普查，提出了“每个人都必须纳税”，这使得约瑟夫和玛丽搬到了耶稣的出生地伯利恒。1086年的《末日审判书》（the doomsday book）对当时英国的人口、土地和财产做了一个前所未有的全面记载。皇家委员穿越整个国家对每个人、每件事都做了记载，后来这本书用《圣经》中的《末日审判书》命名，因为每个人的生活都被赤『裸』『裸』地记载下来的过程就像接受“最后的审判”一样。

然而，人口普查是一项耗资且费时的事情。国王威廉一世（king william i）在他发起的《末日审判书》完成之前就去世了。但是，除非放弃收集信息，否则在当时没有其他办法。尽管如此，当时收集的信息也只是一个大概情况，实施人口普查的人也知道他们不可能准确记录下每个人的信息。实际上，“人口普查”这个词来源于拉丁语的“censere”，意思就是推测、估算。

三百多年前，一个名叫约翰·格朗特（john graunt）的英国缝纫用品商提出了一个很有新意的方法。他采用了一个新方法推算出鼠疫时期伦敦的人口数，这种方法就是后来的统计学。这个方法不需要一个人一个人地计算。虽然这个方法比较粗糙，但采用这个方法，人们可以利用少量有用的样本信息来获取人口的整体情况。

虽然后来证实他能够得出正确的数据仅仅是因为运气好，但在当时他的方法大受欢迎。样本分析法一直都有较大的漏洞，因此无论是进行人口普查还是其他大数据类的任务，人们还是一直使用具体计数这种“野蛮”的方法。

考虑到人口普查的复杂『性』以及耗时耗费的特点，『政府』极少进行普查。古罗马人在人口以万计数的时候每5年普查一次。美国宪法规定每10年进行一次人口普查，因为随着国家人口越来越多，只能以百万计数了。但是到19世纪为止，即使这样不频繁的人口普查依然很困难，因为数据变化的速度超过了人口普查局统计分析的能力。

穿孔卡片的美国人口普查

美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。即使不考虑这种情况违反了宪法规定，它也是很荒谬的。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，所以必须要得到正确的数据，而且必须是及时的数据。

美国人口普查局面临的问题与当代商人和科学家遇到的问题很相似。很明显，当他们被数据淹没的时候，已有的数据处理工具已经难以应付了，所以就需要有更多的新技术。

后来，美国人口普查局就和当时的美国发明家赫尔曼·霍尔瑞斯（herman hollerith)签订了一个协议，用他的穿孔卡片制表机来完成1890年的人口普查。

经过大量的努力，霍尔瑞斯成功地在1年时间内完成了人口普查的数据汇总工作。这简直就是一个奇迹，它标志着自动处理数据的开端，也为后来ibm公司的成立奠定了基础。但是，将其作为收集处理大数据的方法依然过于昂贵。毕竟，每个美国人都必须填一张可制成穿孔卡片的表格，然后再进行统计。这么麻烦的情况下，很难想象如果不足十年就要进行一次人口普查应该怎么办。但是，对于一个跨越式发展的国家而言，十年一次的人口普查的滞后『性』已经让普查失去了大部分意义。

这就是问题所在，是利用所有的数据还是仅仅采用一部分呢？最明智的自然是得到有关被分析事物的所有数据，但是当数量无比庞大时，这又不太现实。那如何选择样本呢？有人提出有目的地选择最具代表『性』的样本是最恰当的方法。1934年，波兰统计学家耶日·奈曼（jerzy neyman）指出，这只会导致更多更大的漏洞。事实证明，问题的关键是选择样本时的随机『性』。

统计学家们证明：采样分析的精确『性』随着采样随机『性』的增加而大幅提高，但与样本数量的增加关系不大。虽然听起来很不可思议，但事实上，一个对1100人进行的关于“是否”问题的抽样调查有着很高的精确『性』，精确度甚至超过了对所有人进行调查时的97%。这是真的，不管是调查10万人还是1亿人，20次调查里有19都是这样。为什么会这样？原因很复杂，但是有一个比较简单的解释就是，当样本数量达到了某个值之后，我们从新个体身上得到的信息会越来越少，就如同经济学中的边际效应递减一样。

认为样本选择的随机『性』比样本数量更重要，这种观点是非常有见地的。这种观点为我们开辟了一条收集信息的新道路。通过收集随机样本，我们可以用较少的花费做出高精准度的推断。因此，『政府』每年都可以用随机采样的方法进行小规模的人口普查，而不是只能每十年进行一次。事实上，『政府』也这样做了。例如，除了十年一次的人口大普查，美国人口普查局每年都会用随机采样的方法对经济和人口进行200多次小规模的调查。当收集和分析数据都不容易时，随机采样就成为应对信息过量的办法。

很快，随机采样就不仅应用于公共部门和人口普查了。在商业领域，随机采样被用来监管商品质量。这使得监管商品质量和提升商品品质变得更容易，花费也更少。以前，全面的质量监管要求对生产出来的每个产品进行检查，而现在只需从一批商品中随机抽取部分样品进行检查就可以了。本质上来说，随机采样让大数据问题变得更加切实可行。同理，它将客户调查引进了零售行业，将焦点讨论引进了政治界，也将许多人文问题变成了社会科学问题。

随机采样取得了巨大的成功，成为现代社会、现代测量领域的主心骨。但这只是一条捷径，是在不可收集和分析全部数据的情况下的选择，它本身存在许多固有的缺陷。它的成功依赖于采样的绝对随机『性』，但是实现采样的随机『性』非常困难。一旦采样过程中存在任何偏见，分析结果就会相去甚远。

最近，以固定电话用户为基础进行投票民调就面临了这样的问题，采样缺乏随机『性』，因为没有考虑到只使用移动电话的用户——这些用户一般更年轻和更热爱自由。没有考虑到这些用户，自然就得不到正确的预测。2008年在奥巴马与麦凯恩之间进行的美国总统大选中，盖洛普咨询公司、皮尤研究中心（pew）、美国广播公司和《华盛顿邮报》这些主要的民调组织都发现，如果他们不把移动用户考虑进来，民意测试结果就会出现三个点的偏差，而一旦考虑进来，偏差就只有一个点。鉴于这次大选的票数差距极其微弱，这已经是非常大的偏差了。

更糟糕的是，随机采样不适合考察子类别的情况。因为一旦继续细分，随机采样结果的错误率会大大增加。这很容易理解。倘若你有一份随机采样的调查结果，是关于1000个人在下一次竞选中的投票意向。如果采样时足够随机，这份调查的结果就有可能在3%的误差范围内显示全民的意向。但是如果这个3%左右的误差本来就是不确定的，却又把这个调查结果根据『性』别、地域和收入进行细分，结果是不是越来越不准确呢？用这些细分过后的结果来表现全民的意愿，是否合适呢？

你设想一下，一个对1000个人进行的调查，如果要细分到“东北部的富裕女『性』”，调查的人数就远远少于1000人了。即使是完全随机的调查，倘若只用了几十个人来预测整个东北部富裕女『性』选民的意愿，还是不可能得到精确结果啊！而且，一旦采样过程中存在任何偏见，在细分领域所做的预测就会大错特错。

因此，当人们想了解更深层次的细分领域的情况时，随机采样的方法就不可取了。在宏观领域起作用的方法在微观领域失去了作用。随机采样就像是模拟照片打印，远看很不错，但是一旦聚焦某个点，就会变得模糊不清。

随机采样也需要严密的安排和执行。人们只能从采样数据中得出事先设计好的问题的结果——千万不要奢求采样的数据还能回答你突然意识到的问题。所以虽说随机采样是一条捷径，但它也只是一条捷径。随机采样方法并不适用于一切情况，因为这种调查结果缺乏延展『性』，即调查得出的数据不可以重新分析以实现计划之外的目的。

我们来看一下dna分析。由于技术成本大幅下跌以及在医学方面的广阔前景，个人基因排序成为了一门新兴产业。2012年，基因组解码的价格跌破1000美元，这也是非正式的行业平均水平。从2007年起，硅谷的新兴科技公司23andme就开始分析人类基因，价格仅为几百美元。这可以揭示出人类遗传密码中一些会导致其对某些疾病抵抗力差的特征，如『乳』腺癌和心脏病。23andme希望能通过整合顾客的dna和健康信息，了解到用其他方式不能获取的新信息。

公司对某人的一小部分dna进行排序，标注出几十个特定的基因缺陷。这只是此人整个基因密码的样本，还有几十亿个基因碱基对未排序。最后，23andme只能回答它们标注过的基因组表现出来的问题。发现新标注时，此人的dna必须重新排序，更准确地说，是相关的部分必须重新排列。只研究样本而不是整体，有利有弊：能更快更容易地发现问题，但不能回答事先未考虑到的问题。

大数据与乔布斯的癌症治疗

苹果公司的传奇总裁史蒂夫·乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有dna和肿瘤dna进行排序的人。为此，他支付了高达几十万美元的费用，这是23andme报价的几百倍之多。所以，他得到的不是一个只有一系列标记的样本，他得到了包括整个基因密码的数据文档。

对于一个普通的癌症患者，医生只能期望她的dna排列同试验中使用的样本足够相似。但是，史蒂夫·乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用『药』。如果癌症病变导致『药』物失效，医生可以及时更换另一种『药』，也就是乔布斯所说的，“从一片睡莲叶跳到另一片上。”乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”虽然他的愿望都没有实现，但是这种获得所有数据而不仅是样本的方法还是将他的生命延长了好几年。

全数据模式，样本=总体

在信息处理能力受限的时代，世界需要数据分析，却缺少用来分析所收集数据的工具，因此随机采样应运而生，...

数据服从正态分布是许多统计方法的基本条件。下面介绍统计分析中验证数据正态性常用的三种方法。

1. 带正态分布概率密度曲线的直方图。 其基本原理是画出样本数据的频数分布（即直方图），然后该组数据的理论分布（密度曲线）进行比较，视觉上判断二者的吻合水平，以对数据的正态性做出初步评判。

当样本含量较小时，由于数据分组太少，可能会产生较大的偏差，对结果造成影响，因此该法适合用于大样本数据。

2. QQ plot。 以样本的分位数取值作为横坐标，其对应的正态分布理论分位数为纵坐标，画散点图，借以比较二者的拟合度。当数据与正态分布拟合较好时，图上的点会大致分布于一条直线上。

3. 利用假设检验。 用于正态性检验的假设检验类型，最常用的是D-W检验。D即 Kolmogorov-Smirnov检验法，该法计算D统计量。W即Shapiro-Wilk检验法，计算W统计量。

此外，偏度和峰度系数也常被用来作为评估数据正态性的参考。

峰度系数（Kurtosis）

当峰度 α >0时，表示分 布比正态分布更集中在平均数周围，分布呈尖峰状态；

α =0分布为正态分布；

α <0时，表示分布比正态分布更分散，分布呈低峰态

偏度系数(Skewness）

偏态系数的数值一般在0与±3之间，越接近0，分布的偏斜度越小；越接近±3，分布的偏斜度越大。

火遍全球的AI challenger又派发数据集福利啦！

去年，由创新工场、搜狗、头条联合主办的AI Challenger（以下简称AIC）全球AI挑战赛吸引了来自65个国家近万团队参赛。今年，AIC预热赛零样本学习（zero-shot learning）竞赛即日起开始比赛。

零样本学习竞赛同样发布大规模图像属性数据集，包含78017张图片、230个类别、359种属性。与目前主流的用于zero-shot learning的数据集相比，图片量更大、属性更丰富、类别与ImageNet重合度更低。

创新工场AI工程院运营副总裁吴卓浩表示，因为在很多情况下人们难以获得足够的有标注的数据来训练识别或预测模型。受人类学习能力的启发，零样本学习（zero-shot learning）希望借助辅助知识（如属性、词向量、文本描述等），在没有任何训练样本的情况下学会从未见过的新概念。这具有重要的研究意义和广泛的应用场景，被认为是实现大规模物体识别的一个重要方式。瞄准这个国际前沿课题，AI Challenger带来了目前世界最大的零样本学习数据集、以及国内首次零样本学习竞赛。

最具挑战的AI识别方法

零样本学习是当前最具挑战的AI识别方法之一。简单来说就是识别从未见过的数据类别，即训练的分类器不仅仅能够识别出训练集中已有的数据类别，还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能，使得计算机能够具有知识迁移的能力，并无需任何训练数据，很符合现实生活中海量类别的存在形式。

传统的“零样本学习”方法首先是让智能体（Agent）对类别进行语义理解。将类别标签利用辅助知识（如属性）嵌入到语义空间中，再利用训练集中的数据学习这种从图像到语义的映射关系。此后，即使遇到新的类别，只要提供了该类别的语义知识，模型即可识别该类别，这就是零样本学习。

例如识别一张斑马的图片，但在训练时没有训练过斑马的图片。那么我们可以通过比较这张斑马图片中包含的属性和各个类别的属性定义，进而在属性空间中找到与该测试图片相近标签，即为该图片的标签。

而零样本学习的意义也显而易见：在传统图像识别任务中，训练阶段和测试阶段的类别是相同的，但每次为了识别新类别的样本需要在训练集中加入这种类别的数据。一些类别的样本收集代价大，即使收集到足够的训练样本，也需要对整个模型进行重新训练。这都会加大识别系统的成本，零样本学习方法便能很好的解决这个问题。

将来未知语言也能翻译

早期的零样本学习研究可以追溯到2008 年，Larochelle 等人针对字符分类问题提出了零样本学习（zero shot learning）方法，并且识别准确率达到了60%。2009年Lampert 等人提出了Animals with Attributes数据集和经典的基于属性学习的算法，才真正打开零样本学习的关注度。

北大硕士赵波表示，在一些场景下，如细粒度物体识别、任意语言之间的翻译等，难以获得足够的有标注的数据来训练识别或预测模型。因此，零样本学习具有重要的研究意义和广泛的应用场景。受人类学习能力的启发，零样本学习希望借助辅助知识（如属性、词向量、文本描述等）学习从未见过的新概念。目前零样本学习被认为是实现大规模物体识别的一个重要方式。

以下是零样本学习的几个潜在应用场景。

1.未知物体识别 —— 例如，模型在“马”、“牛”等类别上训练过，因此模型能够准确地识别“马”、“牛”的图片。当模型遇到“象”这个新类别，由于从未见过，模型无法作出判断。传统解决方案是收集大量“象”的图片，与原数据集一起重新训练。这种解决方案的代价高、速度慢。然而，人类能够从描述性知识中快速学习一个新概念。例如，一个儿童即使没有见过“象”，当提供他文本描述“象是一种的大型食草类动物，有长鼻和长牙”。儿童能够根据描述快速学会“象”这一新类别，并能在第一次见到“象”时识别出来。零样本学习与之类似，在没有任何训练样本的情况下，借助辅助知识（如属性、词向量、文本描述等）学习一些从未见过的新概念（类别）。

2.未知语言翻译 —— 比如说要进行三种语言之间的翻译，按照传统的方法需要分别训练六个网络，在日语和韩语之间没有那么多样本的情况下，训练英语→特征空间→日语，韩语→特征空间→英语这两个网络，那么就可以自动学会韩语→特征空间→日语这个翻译过程。

3.未知类别图像合成 —— 近年来，对抗网络GAN被用于图像合成，取得了以假乱真的效果。但传统图像合成仅能合成见过的类别的图像。零样本图像合成希望模型能够合成从未见过的类别的图像。目前已有一些算法通过条件GAN网络实现了零样本图像合成。

4.图像哈希 —— 传统图像哈希算法利用一些训练样本来学习针对某些类别的哈希算法。但这些学习到的哈希算法无法用于新类别。零样本图像哈希，希望在已知类别上学到哈希算法能够运用到新的未知类别上。一些基于属性的零样本哈希算法已经被提出。

AI Challenger的“野心”

“数据是AI的燃料，开放数据集，才会更好地推动AI产业的进步。去年底，创新工场董事长兼CEO、人工智能工程院院长李开复在北京举办的AI Challenger颁奖典礼上如此描述举办“AI Challenger全球AI挑战赛”的初心。

按照最初设定的目标，“AI Challenger全球AI挑战赛”首先要建设紧贴前沿科研任务需要的数据集，再者是要建立超大规模的高质量数据，第三个目标是要打造开放的世界级平台。

“人工智能发展的必经之路之一是“教会”机器认识我们的世界，这也是为什么有了互联网发展过程中所积累下来的海量标注数据，才促成了最近这一波人工智能技术和应用的突破。但是，让机器认识世界的挑战仍然非常大，因为在很多情况下人们难以获得足够的有标注的数据来训练识别或预测模型。“创新工场AI工程院运营副总裁吴卓浩表示，受人类学习能力的启发，零样本学习（zero-shot learning）希望借助辅助知识（如属性、词向量、文本描述等），在没有任何训练样本的情况下学会从未见过的新概念。这具有重要的研究意义和广泛的应用场景，被认为是实现大规模物体识别的一个重要方式。瞄准这个国际前沿课题，AI Challenger带来了目前世界最大的零样本学习数据集、以及国内首次零样本学习竞赛。

在初步打开影响力的基础上，大赛执委、创新工场人工智能工程院副院长王咏刚表示，希望在2018年，AI Challenger能吸引更多国际、国内的高水平参赛团队，并建立算法、代码、论文、数据、比赛的分享和交流平台。此次零样本学习算法大赛，正是将赛事常规化，技术分享平台化的一个有力尝试。据主办方透露，除了AIC大赛，类似的零样本学习竞赛的小型赛事将按季度举办，贯穿全年，用更高水准、更多样化的比赛形式，打造出成为一个真正连接人才、AI、数据的优质平台。

附：

竞赛奖励：

以下提及金额为税前金额，详细规则请参考《竞赛选手报名协议》

冠军：30,000人民币，颁发获奖证书

亚军：10,000人民币，颁发获奖证书

季军：3,000人民币，颁发获奖证书

双周冠军：3,000人民币

双周亚军：2,000人民币

双周季军：1,000人民币

数据集下载地址：https://challenger.ai/datasets

此次数据集和竞赛，由北京大学博雅特聘教授、博导、国家杰青王亦洲教授，复旦大学付彦伟教授，创新工场AI工程院，在AI Challenger平台联合推出。

背景知识：

经典零样本学习方法介绍

最经典的零样本学习方法是Lampert 提出的直接属性预测模型(DAP)。如下图所示，模型中属性训练是在传统特征提取的基础上的进行的，首先使用颜色直方图、局部自相似直方图、SIFT 和PHOG 等6 种方法来提取样本图像的底层特征，这几种特征包含了图像的颜色、形状和纹理等方面，所以通过这种特征提取方法得到的特征可以良好的表达图像中的信息。这几种图像特征不仅适用与线性分类器，而且在非线性分类器中也能达到良好的表现。在DAP方法中，通过上述的特征提取方法得到样本的图像特征后，将特征用于属性分类器的训练，然后将训练得出的模型用于属性的预测，最后采用贝叶斯方法推算测试样本的类别。近年来深度特征的使用大幅提高了零样本识别的准确率。