晓查 发自 凹非寺 量子位 出品 | 公众号 QbitAI

还记得那个MIT的AI科学家Lex Fridman吗？去年量子位曾经报道过，他用图像识别检测驾驶员行为，防止司机分神。

在Twitter上，他与科技圈大佬马斯克经常互动，可以说是特斯拉的铁杆粉丝了。

今年1月他要开始讲授深度学习课程了，课程视频和讲义都会在他的个人主页和陆续公布。另外课程相关代码也会在GitHub上开源。

课程资源

Lex已经在GitHub上放出了课程辅导的前言内容，供大家预习。内容有：Python感知器、Tensor入门、如何用TensorFlow实现对交通信号灯的分类。

除了课程内容外，Lex还在项目主页介绍了其他相关项目。

用强化学习方法让汽车在车流中穿梭的DeepTraffic竞赛：

TensorFlow实现的自动驾驶场景分割：

课程内容

与其他课程不同的是，MIT的深度学习课程非常紧凑，每天下午3点开始都有一个半小时的课程，总共持续4周。

第一阶段的课程表已经放出，前三节课将由Lex本人讲授。

目前，Lex第一节课的教学视频和课程PPT已经公布：

视频：https://youtube/watch?v=O5xeyoRL95UPPT：https://dropbox/s/c0g3sc1shi63x3q/deep_learning_basics.pdf

课程后面的阶段会邀请到许多企业大牛，比如英伟达自动驾驶部门的首席软件设计师、奥迪自动驾驶部门的CTO等等。

关于Lex Fridman

Lex Fridman是MIT一位研究自动驾驶的AI科学家，一直也在关注特斯拉的半自动驾驶。他本人和马斯克经常在Twitter上“眉来眼去”，马斯克在圣诞节当天专门给他送上了节日祝福。

Lex本人可以说是马斯克的小迷弟，他购买了马斯克Boring公司周边产品，帽子和喷火枪。

他的GitHub主页中很多项目也和马斯克有关，比如检测Boring公司周边的图像视频识别器、特斯拉Autopilot驾驶数据的端到端学习工具。

课程主页：https://deeplearning.mit.edu

GitHub资源：https://github/lexfridman/mit-deep-learning

课程视频列表：https://youtube/playlist?list=PLrAXtmErZgOeiKm4sgNOknGvNjby9efdf

深度学习三巨头之一Yann LeCun清华开讲，现场挤破脑袋都进不去。

智东西 文 | Lina

在智东西对话页回复“FaceBook”，免费获取YannLeCun在清华大学的完整版PPT，大神演讲触手可及！

请叫我“杨立昆”，谢谢！

这位自称“杨立昆”的歪果仁真名Yann LeCun，被业界称为“卷积神经网络之父”，同时是深度学习三巨头之一（另外两位分别是Geoffrey Hinton和Yoshua Bengio），现任Facebook人工智能研究院的院长，兼任美国纽约大学教授。

3月23日，这位深度学习大牛来到了北京，在清华经管学院、清华x-lab、Facebook合作开设的课程中进行了一场主题为《深度学习与AI未来》的2小时英文演讲，智东西也来到了现场。演讲刚开始时，Yann LeCun就在幻灯片上打出了自己新取的中文名——“杨立昆”，引来台下一片了然的笑声，Yann LeCun自己也忍不住笑了。在国内AI圈里，常有人讲Yann LeCun戏称为“杨乐康”，有时则是调侃地直接将LeCun以拼音读成“杨乐村”，不知此事是否传到了这位风趣可爱的技术大牛耳中。

智东西梳理了本次演讲的要点与脉络，并增补了相关背景知识，带你详细了解深度学习的发展现况、成果、困境、以及最前沿的突破性尝试。此外，还有Yann LeCun亲口向智东西回应关于Facebook削减AI预算的报道、以及十年前的2个赌约等科技小八卦。

1、脸书AI研究院与卷积神经网络

Facebook人工智能研究院全称FAIR（Facebook Artificial Intelligence Research），主要研究AI相关的科学与技术，以及其在各个领域中的应用——如计算机视觉、对话系统、虚拟助手、语音识别、自然语言识别等；据闻是一个学术氛围较浓的研究院，研究方向相对自由宽松，也没有近期的产品压力，可以着眼长远做困难和本质的研究问题。

Yann LeCun不仅是FAIR的一把手，同时还是卷积神经网络（CNN, Convolutional Neural Nets）的发明人之一。卷积神经网络是深度学习的重要分支，是第一个真正多层结构学习算法——而深度学习中的“深度”，最简单理解就是“有很多层”。

“深度学习的深度，指的是超过一层的非线性特征转换。(It’s deep if it has more than one stage of non-linear feature transformation)”

目前常见的深度学习模型包括牛津大学视觉几何组VGG网络、谷歌的GoogLeNet、Facebook的深度残差网络ResNet等。

随着近年来深度学习的不断崛起，擅长处理图像（特别是大图像）的卷积神经网络也被视为开发可拓展自动自然语言理解和图像识别工具，甚至是语音识别和视觉搜索系统的基本构件，Facebook的AI实验室也在YannLeCun及一众大牛的带动下飞速前进。

不过，3月初，据The Information报道（就是那个曾经正面怼上Magic Leap的媒体），尽管Facebook一直在进行Messenger聊天机器人相关内容的研发，结果却不尽如人意。在没有人力干预的情况下，Messenger能够正确处理人类请求的概率不到30%。因此，Facebook目前正在削减机器学习和人工智能方面的研发支出。

智东西也就这个问题直接询问了Yann LeCun教授本人，作为Facebook AI研究院的院长他坚定地一口否决。“不，完全没有这回事。”

2、卷积神经网络在Facebook的落地应用

作为Facebook人工智能研究院主任，Yann LeCun的演讲中自然也少不了卷积神经网络及深度学习在Facebook中的落地应用。

最先提到的是DeepFace。DeepFace是FAIR开发的一套人脸识别系统，主要应用卷积神经网络来提取人脸特征完成识别。现在Facebook用户每天上传的图片数量达到了8亿张，拥有大量的数据供机器训练与学习。

此外，Yann LeCun还提到了一项FAIR开发的，用于检测、分割、识别单张图像中每个物体的技术，比如在一盘菜里检测、分割、并识别出西兰花来、又或是在一堆羊群里分割出每只羊，其核心流程为以下三步（去年8月都已开源）：

1）使用DeepMask这个新型框架对物体进行检测与分割，生成初始对象掩膜（Mask，相当于一个覆盖区域）；

2）使用SharpMask模型优化这些对象掩膜；

3）使用MutiPathNet卷积网络识别每个掩膜所框定的物体。

值得一提的是，MutiPathNet中使用了一种新型的对象实例分割（Instance Segmentation）框架：Mask R-CNN。这是FAIR研究员何凯明（Kaiming He）——同时也是深度残差网络ResNet的作者之一——最近公布的研究成果，它是Faster R-CNN的扩展形式，能够有效地检测图像中的目标，同时还能为每个实例生成一个高质量的分割掩膜（Segmentation Mask）。

3、常识是个好东西，希望大家都有

此外，Yann LeCun还提到了如今AI发展过程中遇到的几大困难：

1）机器需要学习/理解世界的运行规律（包括物理世界、数字世界、人……以获得一定程度的常识）

2）机器需要学习大量背景知识（通过观察和行动）

3）机器需要理解世界的状态（以做出精准的预测和计划）

4）机器需要更新并记住对世界状态的估测（关注重大事件，记住相关事件）

5）机器需要逻辑分析和规划（预测哪些行为能让世界达到目标状态）

目前机器学习中最大挑战之一就是如何让机器拥有常识——即让机器获得填充空白的能力。比如“John背起包来，离开了房间”，由于人类具备常识，因此我们能够知道John在这个过程中需要站起来，打开房门，走出去——他不会是躺着出去的，也不会从关着的门出去，可机器并不知道这一点。又或者我们即使只看到了半张人脸也能认出那人是谁，因为人类常识里左右脸都是通常长得差不多，但机器同样不具备这种能力。

下文提到的无监督/预测学习可以让机器获得常识，现在我们常用的监督学习并做不到这一点。从本质上来说，在无监督学习方面，生物大脑远好于我们的模型。

4、无监督学习才是蛋糕本身

“是的、是的，我知道你们在想什么——那个蛋糕比喻又来了，”切到这张幻灯片时，Yann LeCun笑着说，“这已经是我在人工智能领域的一个梗了。”

在大大小小的无数场演讲中，Yann LeCun不止一次，甚至不止十次地打过这个比方：如果人工智能是一块蛋糕，强化学习（Reinforcement Learning）就是蛋糕上的一粒樱桃，而监督学习（Supervised Learning）是蛋糕外的一层糖霜，但无监督学习/预测学习（Unsupervised/Predictive Learning）才是蛋糕本身。目前我们只知道如何制作糖霜和樱桃，却不知道如何做蛋糕。

我们现在对深度神经网络的训练，用的大部分还是监督学习的方式。你将一张图片展现给系统并告诉它这是一辆车，它就会相应调整它的参数并在下一次说出“车”。然后你再展现给它一张桌子，一个人。在几百个例子、耗费几天到几周的计算时间之后，它就弄明白了。“这其实并不是一个非常复杂的概念。”

其次，对于一个AI系统来说，预测+规划=逻辑分析（Predicting + Planning = Reasoning）。如果想要让机器能够了解并且预测世界的规律，强化学习（Reinforcement Learning）需要建立一个世界模拟器（World Simulator），模拟真实世界的逻辑、原理、物理定律等。不过真实世界太过复杂，存在大量的表征学习参数，使得机器学习的计算量相当冗余，听起来似乎很诱人，但是在有限的时间内无法学习到成千上亿的参数。

而无监督学习需要机器处理大量没有标记的数据，就像给它一堆狗的照片，却不告诉它这是一条狗。机器需要自己找到区分不同数据子集、集群、或者相似图像的办法，有点像婴儿学习世界的方式。

5、无监督学习的一些突破性的尝试与结果

无监督学习的一大困难之处在于：对不确定性的预测。比如当你将一支笔直立在桌面上时，松开手的那一刻，你并不知道这只笔将会朝哪个方向倒下。如果系统回答这只笔会倒下，却判断错误了倒下的方向，我们需要告诉系统，虽然你不是完全正确，但你的本质上是正确的，我们不会惩罚你。此时需要引入曲面的成本函数，只要系统回答在曲面之下的数据，都是正确的答案。

传统神经网络需要一个人类科学家精心设计的成本函数来指导学习，无监督学习为了解决这一问题，利用生成式对抗网络（Generator Adversarial Networks）对机器进行对抗训练（Adversarial Training）成了关键答案。

生成式对抗网络（Generator Adversarial Networks）是一种面向无监督学习的神经网络：它带有一个发生器（Generator），从随机输入中生成某类假数据（比如，假的图片）；假数据和来自世界的真数据会一起输入一个判别器（Discriminator）中，等待判别器裁决。

两者的关系就像一个骗子和一个测谎者。判别器这位测谎者要不断优化自己，尽可能地识别出发生器生成的“假图像”，防止自己被骗；而生成器这个骗子为了瞒过判别器，也必须不断进步。在这种动态的对抗中，生成器会得到训练，最后开始生成非常真实的图片，这意味着生成器掌握了图像的特征，自己掌握成本函数——某种意义上，这就是无监督学习。

6、AI的未来

技术讲完了，我们来聊聊行业。

在演讲后的问答环节中，Yann LeCun回答了几个与人工智能行业应用的问题。他认为，未来人工智能将会落地应用、快速改革的行业包括：自动驾驶、语音交流（比如翻译）、工业制造（随着机器人在工业制造中的普及，现在这种“全球工厂”的趋势将会减退，工业制造越来越多地在本地完成，进而导致城市的构架设计也发生变化）、还有医疗健康领域（比如癌症检测）。

此外，对于许多科幻小说里提出的，最终能够“推翻人类”、“统治人类”的“超级智能”，Yann LeCun认为我们真的大可不必太担心。

人类的占领、统治、斗争等大部分行为，都是在一代代进化的过程中，受到“希望获得资源”这一目的所驱动的。而如果我们想要机器做一件事情，则需要给它赋予这个能力，朝这个目的去打造机器。如今我们已经做出了在特定领域比人类更智能的机器，但人工智能并不会真正统治世界，因为我们并不会朝这个目的去做。

7、十年之约与两个小赌

早在20世纪80年代末，Yann LeCun就作为贝尔实验室的研究员，提出了卷积网络技术，并展示如何使用它来大幅度提高手写识别能力。而在演讲的中，他还提到了1995年里，来自贝尔实验室的两个有趣的赌约。

对赌双方分别是：前贝尔实验室负责人Larry Jackel，和支持向量机（Support Vector Machine）的创建者之一Vladimir Vapnik。

第一个赌约：Larry Jackel认为，最迟到2000年，我们就会有一个关于神经网络为什么有效的成熟理论解释。

第二个赌约：Vladimir Vapnik则认为，到了2000年，大家不会再使用神经网络的结构。（毕竟人家是支持向量机的创建者之一，自然更加认可支持向量机）

而对赌结果呢？——两个人都输了。我们至今仍旧没有一个成熟的解释，可以告诉我们为什么神经网络的使用效果这么好；与此同时，我们也仍在使用神经网络架构。

最后在2005年，他们吃了一场昂贵的赌约变现晚饭，由于两人都是各输一局，因此账单对半。

结语

作为Facebook人工智能实验室主任、卷积神经网络之父、深度学习三巨头之一，Yann LeCun的演讲比文章内体现的内容要学术得多，除了上文的亮点梳理外，Yann LeCun教授的演讲还涉及到深度学习从1957年至今的发展历程、在神经网络结构中引入能量函数的无监督学习、基于能量的生成式对抗网络（EBGAN）、深层卷积生成式对抗网络（DCGAN）、视频内容预测等。在智东西对话页回复“FaceBook”，可以获得YannLeCun本次清华演讲的全部PPT，此处就不一一展开了。

智东西origin亦对文章有贡献。

每日一头条

趋势·深度·犀利·干货，最专业的行业解读

夏乙 发自 凹非寺

量子位 出品 | 公众号 QbitAI

人类公元纪年2019年伊始，深度学习技术也同样处在一个新的“开端”，宜review、宜展望。

MIT正在进行中的深度学习课程就全面描绘了当下的状态。

最近一节课，Lex Fridman老师展现了深度学习各方向的最领先状态，也回顾了过去两年间通往前沿的一步步进展。涉及自然语言处理、深度强化学习、训练和推断的加速等等。

这里的“领先”，只谈想法方向，无关基准跑分。

面对课上展现的大进展，甚至有网友说：

课前喝一杯？机器学习进展如此巨大，简直值得来一两瓶。

视频放出一天多，收获感谢无数。

量子位上完课，结合PPT写了笔记一份，分享给大家。

正式开始前，先来一份小目录。

这节课涉及的重大进展，共12个方面，分别是：

BERT和自然语言处理（NLP）特斯拉Autopilot二代（以上）硬件：规模化神经网络AdaNet：可集成学习的AutoMLAutoAugment：用强化学习做数据增强用合成数据训练深度神经网络用Polygon-RNN++做图像分割自动标注DAWNBench：寻找快速便宜的训练方法BigGAN：最领先的图像合成研究视频到视频合成语义分割AlphaZero和OpenAI Five深度学习框架

我们一个一个细说。

BERT和NLP

2018年是自然语言处理之年。很多圈内人把2012年称为深度学习的ImageNet时刻，因为这一年，AlexNet带来了计算机视觉领域的性能飞跃，激励着人们去探索深度学习在这一领域的更多可能性。

2016年到18年，NLP的发展也类似，特别是BERT的出现。

NLP的发展要从编码器-解码器架构说起。

上图展示了一个用于神经机器翻译的序列到序列（seq2seq）模型。RNN编码器负责将输入序列编码成固定大小的向量，也就是整个句子的“表征”，然后把这个表征传递给RNN解码器。

这个架构在机器翻译等领域很管用。

接下来发展出了注意力（Attention）。这种机制，不强迫网络将所有输入信息编码城一个固定长度的向量，在解码过程中还能重新引入输入序列，还能学习输入序列和输出序列中哪一部分互相关联。

比较直观的动态展示是这样的：

再进一步，就发展到了自注意力（Self-Attention），和谷歌“Attention is all you need”论文提出的Transformer架构。

Transformer架构的编码器用自注意力机制为输入序列生成一组表征，解码过程也使用注意力机制。

说完注意力的发展，我们再看一下NLP的一个关键基础：词嵌入。

词嵌入的过程，就是把构成句子的词表示成向量。传统的词嵌入过程用无监督方式将词映射成抽象的表征，一个词的表征参考了它后边的序列。

这是一个语言建模（language modeling）过程。

后来，有了用双向LSTM来做词嵌入的ELMo。

双向LSTM不仅考虑词后边的序列，也考虑它前边的。因此，ELMo词嵌入考虑了上下文，能更好地表征这个词。

接下来出现了OpenAI Transformer。

也就是用先预训练一个Transformer解码器来完成语言建模，然后再训练它完成具体任务。

经过这些进展的积累，2018年出现了BERT，在NLP的各项任务上都带来了性能的明显提升。

它可以用在各种各样的NLP任务上，比如说：

像ELMo一样创建语境化词嵌入；句子分类；句对分类；计算句对的相似度；完成选择题形式的问答任务；给句子打标签；完成普通的问答任务。

量子位之前有回顾2018年深度学习进展、NLP进展的文章，也都详细谈了BERT。

一文看尽2018全年AI技术大突破

不只有BERT！盘点2018年NLP令人激动的10大想法

特斯拉AutoPilot二代硬件

特斯拉的出现毫不意外，量子位之前介绍过，Lex老师是马斯克的小迷弟。

作为神经网络大规模应用的代表，也的确值得一提。

Autopilot二代硬件使用了英伟达的Drive PX 2，还搭载了8个摄像头获取输入数据。

Drive PX 2上运行着Inception v1神经网络，运用摄像头获取的各种分辨率数据进行各种来计算，比如分割可以前进的区域，物体检测等等。

这套系统，已经把神经网络带进了车主们的日常生活中。

AdaNet：可集成学习的AutoML

AutoML是机器学习界的梦想：

将机器学习的一方面或者整个流程自动化，扔一个数据集进去，让系统自动决定所有的参数，从层数、模块、结构到超参数……

谷歌的神经架构搜索，无论从效率还是准确率来看成绩都不错。

2018年，AutoML又有了一些新进展，AdaNet就是其中之一。

它是一个基于Tensorflow的框架，AutoML一样，也是用强化学习方法。不过，AdaNet不仅能搜索神经网络架构，还可以学习集合，将最优的架构组合成一个高质量的模型。

AutoAugment：用强化学习增强数据

从2012年的“ImageNet时刻”到现在，图像识别的新算法层出不穷，成绩一直在提升。

而在计算机视觉里，数据量非常重要，数据增强（data augmentation）也是重要的提升识别率的方法。但是，关于数据增强的研究却不多。

2018年，Google继自动搜索神经架构之后，把数据增强这个步骤也自动化了。

AutoAugment能根据数据集学习这类图像的“不变性”，知道哪些特性是最核心的，然后，神经网络在增强数据时应该让核心特性保持不变。

比如说，它自动增强门牌号数据集的时候，会常用剪切、平移、反转颜色等方法，而在ImageNet这种自然照片数据集上，就不会剪切或者翻转颜色，只会微调颜色、旋转等等。

这个过程和计算机视觉里常用的迁移学习差不多，只不过不是迁移模型权重，而是迁移大型数据集体现出的数据增强策略。

用合成数据训练深度神经网络

很多机构都在研究如何用合成数据来训练神经网络，英伟达是其中的主要势力。

英伟达非常擅长创造接近真实的场景，他们2018年一篇用合成数据训练深度神经网络的论文就充分利用了这一点，合成数据训练的模型，成绩完全不逊于真真实数据。

合成数据还非常灵活多变，比如说汽车、屋子，都能合成出各种各样的数量、类型、颜色、纹理、背景、距离、视角、灯光等等。

关心如何用合成数据训练模型？英伟达的这篇论文值得一读：

Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization

Polygon-RNN++：图像分割自动标注

在训练深度学习模型过程中，数据标注是非常耗时费力的环节。特别如果要标注出语义分割图，就更加麻烦。

Polygon-RNN++是一种自动标注图像的方法，能自动生成一个多边形，来标注出图像里的对象。

它用CNN提取图像特征，然后用RNN解码出多边形的顶点，提出多个候选多边形。然后，一个评估网络从候选中选出最好的。

这也是让深度学习尽可能自动化的一种努力。

Polygon-RNN++的主页上，能找到这一工具的论文、Demo、代码等各种资料

DAWNBench：寻找快速便宜的训练方法

除了让深度学习尽可能自动化之外，还有一个一直受关注的研究方向：让它更易用。也就是快速、便宜。

斯坦福提出的DAWNBench基准，评估的就是模型的速度和成本。它测试各种模型、框架、硬件在ImageNet上达到93%准确率，CIFAR上达到94%准确率的训练、推断速度和成本。

在快速廉价这方面，fast.ai有很好的成绩。他们用租来的亚马逊AWS的云计算资源，18分钟在ImageNet上将图像分类模型训练到了93%的准确率。

他们所用的方法，关键在于在训练过程中逐渐提高学习率、降低momentum，这样就可以用非常高的学习率来训练，还能避免过拟合，减少训练周期。

BigGAN：最领先的图像合成研究

在用GAN合成照片这个方向上，2018年最受人瞩目的成就是DeepMind的BigGAN。

它所用的基本模型没有太大变化，关键在于提升训练规模，增大了模型的容量和训练的批次大小。

BigGAN还提交到ICLR匿名评审时，学界就已经沸腾，因为效果实在是堪称史上最佳。

视频到视频合成

这个领域有一项非常值得关注的研究，那就是英伟达和MIT的“Video-to-Video Synthesis”。

只要一幅动态的语义地图，你就可以获得和真实世界几乎一模一样的视频。

通过一个简单的白描草图，也能生成细节丰富、动作流畅的高清人脸：

甚至整个身子都能搞定，跳舞毫无压力：

语义分割

视觉感知的问题可以分为三大层级，目前研究最充分的，是分类，也就是图像识别。

然后，是目标检测：在一幅图像里，框出物体，识别出它是什么。

关于目标检测的研究非常多：

其中不少工作很exciting，但Lex老师认为哪一个都称不上“突破”。

而语义分割，是视觉感知问题的最高层级。

现在，这一领域的最好成绩属于DeepLab v3+。

关于语义分割的重要研究，可以说从2014年的FCN开始，经历了2015年的SegNet、Dilated Convolutions的发展，2016年出现了DeepLab v1、v2版本。

DeepLab系列用ResNet来提取图像特征，增加了全连接条件随机场（CRF）作为后续处理步骤，能捕捉图像中的局部和长距离依赖，优化预测图，还引入了空洞卷积。

在前两版的基础上，DeepLab v3又增加了多尺度分割物体的能力。

AlphaZero和OpenAI Five

用强化学习打游戏这件事，2018年也有明显进步。

这个领域最初的尝试，是DeepMind用强化学习算法玩了一遍雅达利的小游戏，推出了DQN。

随后，就是围棋AI AlphaGo广为人知的一系列发展：

从AlphaGo到AlphaZero的过程，也是一个越来越节约人工、机器自主性越来越高的过程。

AlphaZero掌握围棋、国际象棋、日本将棋三大棋类，但都是完美信息、规则清晰游戏。而OpenAI把目光投向了更混乱的试验场：Dota 2。

对于强化学习算法来说，Dota 2更接近真实世界的情况，它需要解决团队协作、长时间协调、隐藏信息等问题。

OpenAI在Dota 2上取得的进展如下：

2017年，他们的算法在1v1比赛中击败顶尖选手Dendi；2018年，5v5的AI队伍OpenAI Five在Dota比赛TI上对战顶尖职业选手，输了两局。

未来仍需努力。

深度学习框架

回顾整个2018年，深度学习框架排名是这样的：

框架的格局会往什么方向发展？要看这样几个用户关心的因素：

学习曲线开发速度社区的规模和热情用这一框架实现的论文数量长期发展和稳定的可能性工具生态

2019展望

要展望2019，我们应该好好思考Hinton谈过的两个观点：

关于反向传播：“我的观点是把它完全抛弃，从头再来。”

“未来取决于我说什么都深切好奇的那些研究生们。”

最后，附完整PPT：

https://dropbox/s/v3rq3895r05xick/deep_learning_state_of_the_art.pdf?dl=0

量子位（公众号QbitAI）还在网盘传了一份PPT，在公众号对话界面回复“最前沿”可得。

— 完—

雷锋网按：本文根据余凯在微软亚洲研究院召开的“让世界充满 AI-人工智能研讨会”上所做的报告《 “AI Inside”无处不在的未来 》编辑整理而来，在未改变原意的基础上略有删减。

我总在思考，如果当一个风口到了的时候，我再进入这个风口，我会没有满足感。

我始终在想，下一个机会在什么地方？它现在可能处于边缘状态，但我相信某个边缘的机会，会成为一个未来的机会，而这个未来的机会就是下一个风口。

这个思考过程非常痛苦，因为需要不断否定自己，去挑战自己，而且不被大多人理解。

2012 我们在清华大学以及百度内部推深度学习，别人会质疑：投入这么大的资源去做这个事情是否值得。而现在，很多项目都是基于深度学习，并且应用非常的广泛。

这其实就是一个从边缘到中心的典型案例。

我继续在思考，是不是该到边缘去，看看将来有没有机会成为撬动世界的力量。这就是我的 AI Inside，之前有个概念叫 Intel Inside，它创造了摩尔定律，撬动了整个 IT 产业。

2002 年我在微软实习，当时我、何晓飞、颜水成是团队里为数不多较为关注机器学习的人，因为志同道合我们就成为了好朋友。有意思的是，之后我们三人里面，我创立了百度深度学习研究院，晓飞创立了滴滴研究院，而水成则创办了 360 人工智能研究院。

驱动人工智能进展的三大因素

我认为驱动人工智能的进展主要有三个因素：

大数据：线下的数据不断线上化。大算法：深度学习和增强学习的发展，深度学习用来感知、处理信号，增强学习则做于决策。二者相辅相成。大计算：按照摩尔定律，2030 年一千美金买到的计算资源跟人脑相似。当然，现在英特尔宣布摩尔定律开始变慢。所以预测没法这样下去，另外一方面，从宏观上讲，对处理器架构的改版不仅仅是工艺层面，架构的变化也为计算带来变化。

深度学习为何取得成功？

从统计学习理论角度讲，分析一个学习算法的性能一般用推广误差来分析它。如果我们对推广误差的来源做分析，我们就能找到更好的方法去控制算法中一些不恰当的地方，以便找到更好的手段。

这其中有一个经典的统计角度分析方法，就是把推广误差分解为：近似误差（Approximation error） 和估计误差（Estimation error）。

近似误差（Approximation error）主要会做一些假设，由于假设的不完美，所以带来了近似误差，另外一种由于数据的不完美，所导致估计误差（Estimation error）的出现。

这样分析存在一个问题，就是你假设的计算资源是无限的，所以可以得到这样一个分析的结果。但从计算机科学的角度上来讲的话，我们会考虑计算的不完美，所以引入第三个误差：Optimization error，也就是算法。

考虑到计算的不完美，我们得到一些引导。

Model Class Bias：我们用大模型，模型越来越大，Bias 就越来越小。用更多的数据。设计一个合适的算法。

深度学习处于一个非常幸运的区间，从统计性能来讲，他的 Model Bias 很小，但从计算效果来讲，它可以看到大数据。

这是一个很幸运的事情，过去深度学习在视觉和语音上有着很多的应用，而在互联网行业中主要应用在搜索和广告中，当然，机器人也是一大落地方式，深度学习在机器人的作用主要在于决策。

深度学习成功应用的案例

在百度期间，我们利用很大的模型和 1000 亿个训练样本，去改善搜索引擎的检索，比谷歌的 Ranknet 早两年。

包括在数据中心用深度学习改善运行效率，把 PUE（评价数据中心能源效率的指标）降低，这比 Deepmind 今年做出的结果早一到两年时间。 

除了这些以及自动驾驶外，深度学习还能提升广告收入。这是百度当年的股票曲线：

图中那个节点，是百度对外公布基于深度学习的百度蜂巢网络（广告系统）的节点。

刚加入百度的时候，我在自我介绍环节提到，希望在两三年时间内让外界在讨论 Google 人工智能时也会讨论百度。

站在今天这个时间点上，我想跟大家分享。

深度学习很热了，它的下一个机遇在哪儿？

我的回答说 AI Inside，过去我们在云端部署算法和服务，但是现在有个机会是，把运算放在嵌入式和前端中。

比如是否可以在前端实现语音识别？

这样在跟太太说的话不一定要传在云端里面，隐私能更好保护，体验更好。

再比如说在自动驾驶，如果有个小孩子突然横穿马路，传感器需要把这个信号传送至云端，然后做决策，但如果这个时候网络信号不好呢？

这就涉及到如何在前端嵌入式地解决人工智能的问题。

（颜水成博士曾在雷锋网承办的 CCF-GAIR 大会中提到，如果将运算任务直接下发到智能设备终端上，这些瓶颈就会迎刃而解。但是，把运算载荷放到设备上，显然要克服诸多问题。其中最大的一个就是：终端设备的运算能力存在天花板。由于智能设备成本有限，大多不可能配备顶级运算芯片）。

在中国有很多应用场景，中国每年需要新部署一亿的安防摄像头，大概到 2021 年，其中 30% 的是智能安防摄像头。这就必须要求低功耗，如果功耗很高，在阳光照射下，温度能达到 70 到 80 度，这种情况下就不能很好地处理计算。

平均每辆自动驾驶汽车拥有 8 到 10 个摄像头，再加上传感器、雷达、激光雷达等等，每一秒产生 TB 的级的数据，这种计算怎么去处理？ 

孙正义预测，2040 年会有 100 亿个机器人，当然这种机器人指的是广义上的智能机器，而不仅仅是人形机器人。

历史总是在不断重复，首先是 Enabling Technology Businees ，然后是 Technology Tnabled Business。

前者卖的是技术本身，当这些技术成熟后，一些公司做开发直接采用别人的技术，在这基础上，这些公司卖的是其他产品。

互联网时代，思科的市值一度高达到 3000 亿美金。虽然当时我们不知道互联网有什么用，但得先铺好网络，等网络铺好后，在这上面出现了 Google、Facebook 这些应用。正如图中显示，谷歌在后面成长起来。

移动互联网，虽然不知道移动应用在哪里，但移动网络需要 CDMA，铺好后苹果成为了巨无霸。

过去三四年时间，有个规律正在发生。

2011 年谷歌做大规模的深度神经网络训练，最后识别出猫脸，其实这件事是失败的。当时他们相信用 CPU 可以做所有事情，后面 Jeff Dean 意识到做神经网络训练用 CPU 是错误的。在百度，我们大规模用 GPU 做深度学习训练，在 2014 年，我们和微软都意识到 GPU 只适合做训练，不适合推断和预测，所以在大规模部署FPGA。今年我们也看到了其他产品如 TPU 和 BPU。

我再给大家看一个曲线，这个曲线是我一个礼拜之前画的：

这是英伟达的股价曲线，从去年七月开始到现在涨了四倍。在全球所有的高科技公司里面没有一家可以像它一样如此高速成长。为什么？现在无论 AI 大公司还是小公司，总需要买 GPU 训练模型。这就是 Enabling Technology 先行，Technology Enabled Business 顺势崛起的一个典型案例。

地平线正在建立一个软件和处理器的深度神经网络平台，让上层应用的表现有 1000 倍的提升，不是跟 CPU 比，我们是跟 GPU 比。

面向的应用场景主要包括自动驾驶和智能家居。

和英伟达的业务相比，他们的工作区域是在 20 瓦到 300 瓦，地平线的目标是 0.5 瓦到 5 瓦，他们的核心竞争力是价格优势和服务，我们的定位策略是芯片+算法、解决方案和设备。

一直到今天为止，谷歌和百度的无人车在测试时每行驶一小时就需要在树荫下休息，知道为什么吗？因为要散热，无人车的功耗是非常大的。

假如我们涉及处理自动驾驶这样一个计算，跟英伟达的计算相比，我们的不同在哪里。

地平线的优势在于我们跑这个运算时少于 1 瓦特，但他们用了 100 瓦特，这就是我们的区别，也是地平线机器人正在做的事情。

新智元专栏

【新智元导读】美国国立卫生研究院（NIH）的研究人员通过创建基于真实放射学影像的大型数据集，进行病变检索和匹配的研究。本文是相关研究在约翰霍普金斯大学 Sol Goldman国际会议上的演讲整理，该研究具有创新性的科学价值和临床价值。

论文地址：

http://cs.jhu.edu/~lelu/publication/DeepLesionGraph_CVPR2018_camera_ready.pdf

本文介绍了美国国立卫生研究院（NIH）最新的一篇CVPR论文“Deep Lesion Graphs in the Wild: Relationship Learning and Organization of Significant Radiology Image Findings in a Diverse Large-scale Lesion Database”（深度病变图：在不同的大规模病变数据库中，重要放射学图像发现的关系学习和组织），主要作者是闫柯和王潇崧等研究人员。

对于精准癌症影像诊断和治疗方案的选取，基于内容的retrieval和instance-level相似性的描述是很重要的。人类的癌症有很严重的长尾现象，并不是简单的分类或者regression; mapping X to Y就能很好解决，所以癌症的治疗和诊断本质上最重要的是个性化（personalization）。当有一个新的病人，医生最想知道的是在以前已经治疗过的病人里面有没有谁跟他是相似的。如果能够找出相似的病人，而且知道这些病人的治疗方案以及治疗结果，医生就可以更有针对性地来设计治疗方案。而且通过对相似病人的建模，可以知道每种治疗方案的风险性以及预后效果。

虽然每个大医院都存了上百万甚至上千万的病人数据，但是目前没有很好的办法来做相似性病人的检索。这篇文章的意义是以肿瘤图像（tumor image instance）为例子，打通了一个做这个方向的技术模型。该模型可以允许一个新的肿瘤图像在以前上万的肿瘤图像中检索相似的、而且又比较完整的tumor similarity graph，这对临床工作有很大的帮助。这方面的工作以前非常少，因此这篇文章是比较有前瞻意义的。

该研究的数据涉及4000多个病人的一万多个医学图像。既使在这个数据尺度下，因为计算能力的问题，人是很难做什么的。

计算医学本质上是为了去获取临床医生想要，需要但自己又没办法做到的东西。有的病人会问到大医生如果采取了A治疗方案，预后结果会怎么样，生存率有多高？现在都是基于经验去猜的，也不能定量的计算。这篇文章就是一个很好的例子，来逐步解决这个定量精准医疗的问题。相比之下，大家比较熟悉的肺节节检测问题，是属于另外一类的问题，本来就是医生也可以做，计算的目标是使用深度学习来做辅助诊断，主要以提高医生效率为目的。

这篇文章里面用到了32000多个医生测量过的significant clinical findings,，这些测量结果是放在医院PACS/RIS放射学数据库里面作为定量的references。我们的算法通过pair wise similarity graph可以针对图像分类，包括 intra-patient matching（在同一个病人的多次影像studies中，自动的把以前测量过的同一个肿瘤影像连起来）；并且允许跨病人的、基于图像相似性的检索（inter-patient similarity retrieval）。

背景

包含多样化的图像和密集注释的大规模数据集对于计算机视觉和医学图像研究都很重要

众包模式可以用于注释计算机视觉数据集，但医学图像（MI）需要专业知识和培训通过Deep Learning挖掘互联网图像可用于计算机视觉以获取自动注释;

幸运的是，像计算机视觉中的网络数据一样，大量数据源以图像存档和通信系统（PACS / RIS）的形式存在。

那么，我们可以挖掘“非结构化但非常丰富的”PACS吗？

放射科医师在日常工作中可能会定期对放射学影像的某些显著的异常或“病变”进行标记和测量

多年来收集并存储在医院的PACS / RIS中有时被称为“bookmarks”用于评估患者的状况或治疗反应

“DeepLesion”数据集：

这些数据从NIH的PACS里的bookmarks挖掘而来

问题定义

DeepLesion中的病变基本未排序，并且缺乏语义标签，例如肺结节，纵隔淋巴结

我们的目标是：通过“自动Instance-level的相似性建模和拓扑发现挖掘”，了解和组织大量的病变或肿瘤学发现

1. 发现他们的类型和位置

2. 从不同患者群体中发现相似的病变，即基于内容的检索

3. 跟踪同一患者几次纵向研究中的相同病变，即多次研究中的病变实例匹配或追踪

相关工作：

病变检索病变匹配

监督提示（I）：病变类型

我们随机选择30％病灶并手动标记为8种类型：肺，腹部，纵隔，肝，骨盆，软组织，肾和骨病变的粗糙属性

监督提示（II）：相对身体位置

在DeepLesion中，某些CT体积放在身体的一部分上，例如仅显示左半身SSBR在罕见的身体部位表现不佳，这些部位在训练组中的频率较低，例如头部和腿部

监督提示（III）：病灶大小

病变直径的长轴和短轴的长度已由放射科医师进行注释和测量范围从0.2到343毫米，中位数为15.6毫米

使用顺序采样构建Triplet Network

图3第4行有标签噪声，病变D与A～C（软组织与骨盆）的类型不同，

网络架构

主干：VGG-16Multi-scale, multi-crop输出：对于每个病变实例，输出是一个1408D特征嵌入向量

病变组织：检索和匹配

基于内容的Inter-patient的检索：找到最近邻Intra-patient 的病变匹配：基于图形的edge pruning

实现细节：图像预处理

实现细节：训练计划

位置和大小的每个维度的最大值归一化为1每个mini-batch 24个five-instance序列学习率为0.002的SGD为了训练SSBR，我们使用了来自DeepLesion的420名受试者的800个随机未标记的CT volumes

实验

DeepLesion的可视化：将病灶密集连接的超图投影到2D图（t-SNE）中散点图的X轴和Y轴对应于每个病变相对身体位置的X和Z坐标

实验：病变检索

多尺度的深部病变外观矢量，通过Triplet Network对病灶类型、位置和大小进行编码

分析和发现

当位置和大小作为监督提示时，网络在病变类型检索方面表现最佳; 甚至比只使用病变类型作为提示时更好。位置和大小提供了学习病变相似性嵌入的重要补充信息仅使用 coarse-scale 特征（conv5，conv4）时， location稍好，因为location主要依赖更高级的上下文信息融合 fine-level特征（conv3，conv2）可显着提高类型和大小预测的准确性迭代病灶特征/类型细化也有帮助！

实验：分类

最容易混淆的类型是纵隔/肺部病变，以及腹部/肝脏/肾脏病变，因为其中一些在外观和位置上都相似。

实验：病变匹配

将DeepLesion中的103名患者的1313个病变手动分成593个组进行评估每组1-11个病变true positive decision将同一实例的两个病变分配给同一组， false positive decision将两个不同实例的病变分配给同一组定量病变匹配的精度非常高！

纵向病变匹配

结论

我们提供了一个大型、全面的数据集DeepLesion，其中包括从PACS挖掘的重要放射影像的findings

可用于多种类别的病变检测，检索，分类，分割......，这是开创性的研究

利用一个triplet network学习Lesion Graph Embedding，以对类型、位置和大小的相似关系进行建模

所需的唯一手动工作是某些种子图像的类别标签非参数的深度放射学实例/知识表示

结果：（a）基于内容的inter-patient病变检索和（b） intra-patient的定性和定量的病变匹配

打开搜索引擎输入「怎么用」、「如何用」几个字，前几个问题一定与办公软件有关：怎么用 excel 做回归分析、如何用 PPT 做海报...... 办公软件只是提供了一个功能丰富的工具，然而对用户来说，怎么使用它们却是个大难题。

当然网上提供了很多 Office 办公软件的教程，详细地教你使用每一个功能。但是，这真的是未来办公的方向吗？金山并不这么想：「WPS 已经 30 岁了，该学会自己做 PPT 了。」

在 PC 时代，WPS 和微软占据着很多用户的桌面。而移动版让 WPS 真正回到市场中心，智能手机普及，金山 WPS 及时顺应潮流，移动版 WPS 在中国达到了 90% 以上的占有率。可以说，能把握未来是 WPS 翻身的一个重要因素。

移动办公已经被证明是市场趋势了，那么办公软件的下一步是什么？金山 WPS 的答案是云和 AI。

大部分文档都不是写给自己看的

先来说说云文档。现在主打轻办公的在线文档很流行，石墨文档背后有今日头条的投资，腾讯自己也推出了腾讯文档。云笔记领域有印象笔记、有道云笔记。在大众看来，云文档的概念好像是近几年才流行的。实际上，WPS 早在十年前就开始做云服务了。

金山 WPS 最早做云文档是为了同步。只要拥有 WPS 的账号，在任何一个设备上都能随时看到和编辑文档。不需要 U 盘拷文件，不需要在几台电脑间传输，这样的「云办公」才是成立的。而放到现在，云服务有了更多的用处。比如需要多人协作的文档，只有打通所有端口才能更加顺畅。在手机上，就算没有安装 WPS，也能通过微信小程序来编辑。

据金山 WPS COO 章庆元介绍，小程序已经是 WPS 发展的一个重点。原因在于，大部分文档都不是写给自己看的，要发给别人，所以用小程序来分享、编辑是很方便的选择。WPS 的小程序还有一个有意思的功能，就是可以直接对文档进行语音批注，这也是顺应移动办公的一个小功能。

把文档放在云上更安全

有了云还有一个好处，就是文档更安全了。WPS 文档有一个账号加密的功能，只有输入密码才能打开文件。想分享给其他人，可以授予权限。加密功能需要联网才能使用，本地文件如果不联网也无法打开，这就保证了不会把重要的文件流落在外。

当然，这个安全性对自己也是一样的。WPS 还有一个功能叫文档漫游，可以自动备份你收到的文件。不管是忘带电脑回家，还是电脑丢失，只要登录账号文件就都能找回来。

云文档的作用更多是在文件流转方面。而要解决使用复杂的问题，就要借助 AI 了。

用户只要写内容，其他让 AI 来完成

很多人在使用 Office 软件时都有一个感觉，就是它的功能太多了。我们想要的功能它几乎都有，但问题在于功能太复杂，不知道怎么用。用章庆元举的一个比喻来说，就是传统的 Office 软件提供的是一张白纸，然后给你一支笔来画画，这个难度太高了。而 WPS 的思路不一样，他们希望用户只关注自己想表达的东西，剩下的过程让工具帮你完成。这也是 WPS 在 AI 应用上面的思路。

人工智能可以帮用户的第一件事是美化，主要是在 PPT 上。WPS 的稻壳儿中有几十万个模板，AI 先去学习这些模板的设计，然后就拥有自动推荐模板的能力。未来，可以在恰当时机为用户推荐一些模板，辅助用户内容创作。

所以在 WPS 中做 PPT 是这样的：用户只需要写大纲，把每页要讲的话打出来，然后 AI 提供排版方案，放一张图，系统来帮你调整尺寸。章庆元还介绍了一个未来期待的功能，在一些非正式的会议上，可以用便签写几句提纲，然后直接生成一个简单的 PPT，像是通过摇一摇等等可以快速形成的方式。

第二个方面是做校对，这个比较基础。现在的微软 Office 能做到英文的校对，但中文的语言环境要更复杂。WPS 正在这个方向上努力，遇到错别字、用词不当的情况，系统会自动发出提醒。

第三方面，AI 还想帮助你来写作。未来智能辅助写作主要是针对一些有范文参考的场景，AI 识别到正在写的内容，会自动推荐相关的素材。你可以用素材快速构建文章，比如喜欢用排比句、成语，系统会帮你联想推荐。

WPS 认为的未来办公，是去除掉段落缩进、首字下沉、网格对齐这些功能，让 AI 通过深度学习来解决。之后再写毕业论文，就再也不需要考虑一级标题、二级标题这些问题。

在线文档、移动办公，这些都是随着时代发展衍生出的新需求。办公软件上复杂的功能已经给工作平添了很多麻烦，所以才会不断有新的产品出来挑战它。不过市场需求在变，这些看起来「古老」的办公产品也在变。也许是时候，我们都来尝试一下新的办公方式。

选自GitHub

Bayesian Methods Research Group

机器之心整理

在 Deep|Bayes 夏季课程中，授课人将讨论贝叶斯方法如何结合深度学习，并在机器学习应用中实现更好的结果。近期研究表明贝叶斯方法的利用可以带来许多好处。学生将学到对理解当前机器学习研究非常重要的方法和技术。他们还将体会贝叶斯方法和强化学习之间的联系，学习神经网络的现代随机优化方法和正则化技术。在课程之后，授课人还设置了实践环节。

项目地址：https://github/bayesgroup/deepbayes-2018视频地址：https://youtube/playlist?list=PLe5rNUydzV9Q01vWCP9BV7NhJG3j7mz62PPT 地址：https://drive.google/drive/folders/1rJ-HTN3sNTvhJXPoXEEhfGlZWtjNY26C

教师

多数讲师和助教都是贝叶斯方法研究团队的成员以及来自世界顶级研究中心的研究者。很多讲师曾经在顶级国际机器学习会议例如 NIPS、ICML、ICCV、CVPR、ICLR、AISTATS 等发表过论文。贝叶斯方法研究团队已经开发了一系列的大学课程，包括贝叶斯方法、深度学习、优化以及概率图模型，拥有大量的教学经验。

学生

该夏季课程面向：

本科生（最好已完成至少两年的大学课程），以及拥有很强数学背景、具备足够机器学习知识（包括深度学习）的硕士生。想要扩展知识和技能的机器学习领域或相关领域研究者和行业专家。

学习本课程的必备基础

机器学习的扎实基础，熟悉深度学习。数学：熟练线性代数和概率论（很重要）。编程：Python、PyTorch 和 NumPy。Deep|Bayes 2018 夏季课程中使用英语，因此学生应该熟悉技术英语。

我在 Deep|Bayes 能学到什么？

贝叶斯方法为什么（在机器学习和日常生活中）这么有用？随机性到底是什么？隐变量模型。如何训练模型识别在训练前未知的模式？可扩展的概率模型。为什么将概率推断问题转换为优化问题是有用的？强化学习和贝叶斯方法之间的联系。如何训练随机计算图？自动 Dropout 率的微调。神经网络会过拟合吗？（会的）随机优化。如何以比计算一个点的函数值更快的速度来优化函数？

该课程的目标是展示在深度学习中使用贝叶斯方法可以扩展其应用范围，并提升性能。尽管机器学习中有很多不同的问题设定，但贝叶斯网络的概率推断可以用相似的方式来解决它们。你，心动了吗？

课程主要内容

整个课程涉及贝叶斯学习的方方面面，从最基础的贝叶斯原理到比较难的变分推断和马尔可夫链蒙特卡洛方法。以下展示了整个课程的主题列表，机器之心将简要介绍部分课程内容。

第一天：

贝叶斯方法简介贝叶斯推理隐变量模型和 EM 算法EM 算法

第二天：

随机优化简介可扩展贝叶斯方法变分自编码器狄利克雷隐变量

第三天：

变分推断高级方法变分推断视角下的强化学习强化学习分布式强化学习

第四天：

生成模型对抗学习扩展再参数化的技巧

第五天：

高斯过程贝叶斯优化深度高斯过程马尔可夫链蒙特卡洛方法随机马尔可夫链蒙特卡洛方法

第六天：

贝叶斯神经网络和变分 Dropout稀疏变分 Dropout 和方差网络信息瓶颈

整个课程需要六天才能完成，且每一天的的课程量都非常大，因此机器之心只简要介绍最基本的贝叶斯方法和隐变量模型，其中贝叶斯方法是整个课程的核心思想，而隐变量模型又是生成模型等很多高级方法的基础。

贝叶斯方法简介

我们首先围绕「盲人摸象」的例子来介绍贝叶斯定理，然后简单描述频率学派和贝叶斯学派的区别。

1 贝叶斯定理：

首先贝叶斯定理的基本形式为

即后验=似然度 x 先验/证据

形式化的样子是

现在我们开始讨论「盲人摸象」问题。

一群「盲人」在摸一头大象，试图猜测摸的是什么东西，然而没有一个人猜的是正确的。在不确定的世界里，这就是我们在用概率论理解世界时的样子。

为简单起见，我们把问题设置得简单一些：一群「盲人」在摸一头大象，并且知道这是一头大象，他们希望根据摸到的东西猜测大象的重量。

贝叶斯方法是怎么解决这个问题的呢？

我们假设这些盲人之间会互相交流观察结果，并且都拥有一定的共同常识，也就是对大象重量的最初猜测：

然后他们可以这样：

第一个人的观察结果是摸到了尾巴，以及尾巴的长度 y1，然后重新猜测大象的重量；

第二个人将第一个人的猜测作为先验，并且观察结果是摸到了肚子，以及肚子的面积 y2，然后再次猜测大象的重量；

第三个人同理，根据第二个人的猜测，继续观察、猜测……

在此过程中，他们一开始的共有常识、大象的猜测重量即先验 P(x)，第一个人的观察结果即似然度 P(y1|x)，观察结果本身出现的可能性就是证据 P(y1)，最后就得到的是 P(x|y1)，也就是根据观察结果 y 得到的大象重量为 x 的可能性（概率分布）：

而第二个人在此基础上，将能得到 P(x|y1,y2)：

第三个人将能得到 P(x|y1,y2,y3)……

好了，随着观察报告的增加，这头大象的重量也越来越藏不住了（峰值变得尖锐）：

当然，授课人在课程中会很详细地把概念一步一步讲清楚，包括条件分布、联合分布、边缘分布之间的关系，以及乘积规则、和规则的介绍，可以把上面这个例子涉及的各个概念串联起来，帮助学生理解得更加透彻。

2 频率学派和贝叶斯学派的联系和区别：

频率学派不假设任何的先验知识，不参照过去的经验，只按照当前已有的数据进行概率推断。而贝叶斯学派会假设先验知识的存在（猜测大象的重量），然后再用采样逐渐修改先验知识并逼近真实知识。但实际上，在数据量趋近无穷时，频率学派和贝叶斯学派得到的结果是一样的，也就是说频率方法是贝叶斯方法的极限。

以上就是贝叶斯方法的基础理论部分的大致内容，之后还有生成、判别模型的区别，贝叶斯训练过程以及贝叶斯方法优势的讨论。

隐变量模型

前面简要介绍了贝叶斯方法的核心思想贝叶斯定理，而在这一章节中，Dmitry Vetrov 重点介绍了隐变量模型。隐变量模型是很多复杂方法的基础，例如在变分自编码器这一生成模型中，我们希望将图像压缩为一系列的隐变量，这些隐变量表示了图像的高级语义信息，例如图像主体的倾角、颜色和位置等。

这一部分我们会根据 Dmitry Vetrov 介绍的内容讨论隐变量模型的直观概念、KL 散度、混合分布和变分下界等。

如前所述，VAE 最大的优势即中间编码的短向量代表了图像的某些语义特征，但又因为我们不能明确地知道具体是哪些图像特征，因此我们可以把这个短向量称之为隐变量。直观上来说，完全从整体上一个个像素生成图像是非常困难的，因为我们需要考虑的可能性太多。而如果先决定要生成图像的特征，再根据这幅蓝图生成图像就会容易很多。

VAE 正是这样，先学习如何将图像正确地压缩为一组隐变量，然后再学习如何根据隐变量生成图像。当模型完成学习后，我们给定任意一组隐变量，模型都会尝试生成正确的图像。这也就是隐变量模型的直观概念。

KL 散度一般作为两个分布间距离的度量方法，它常用于生成模型的损失函数。以下展示了 KL 散度的直观理解，即分布 Q(z) 与分布 P(Z) 之间越重合，那么 KL 散度就越小，两个分布之间的距离就越近。

在离散型变量的情况下，KL 散度衡量的是，当我们使用一种被设计成能够使概率分布 Q 产生的消息的长度最小的编码，发送包含由概率分布 P 产生的符号的消息时，所需要的额外信息量。KL 散度有很多有用的性质，最重要的是它是非负的。KL 散度为 0 当且仅当 P 和 Q 在离散型变量的情况下是相同的分布，或者在连续型变量的情况下是 『几乎处处』相同的。

随后 Dmitry Vetrov 展示了隐变量建模的案例，如果我们有一些服从未知高斯分布的样本，那么我们可以用最大似然估计或点估计等方法将该未知分布的均值和方差推断出来。

而现在如果我们假设有一组采自不同高斯分布的样本，且我们需要估计这些高斯分布的参数。这个问题看上去不能解决，但如果我们知道哪些样本是从具体哪一个高斯分布中采样，这个问题就比较容易解决。

但是如果我们不知道样本是从哪个高斯分布中采样的，那么我们就只能使用隐变量模型。它主要的思想即先估计这些样本属于哪一个高斯分布，也就是将样本映射到隐变量「均值」和「方差」。然后再基于隐变量完成对三个高斯分布的建模。

随后顺着这个想法，我们可以构建一个混合高斯模型，并希望将数据编码为隐变量 Z，再根据该隐变量完成建模。如下所示当我们不知道隐变量 Z 的情况下，最大化从 Z 中采样出样本 X 的概率，就能推导出最大化变分下界，这也是变分自编码器最核心的表达式。

变分自编码器中最大化变分下界（ELBO）就可以作为整个模型的优化目标，或者说整个模型的损失函数。在上面的案例中，最大化这个变分下界就代表着找出一些高斯分布，且每一个样本都最可能属于某个高斯分布。

整个课程介绍了非常多的理论知识，尤其是关于贝叶斯学派的各种理论。如果读者对数学比较有自信的话，可以详细学一学该系列教程。

扫描下图二维码，参与Arm人工智能开发者全球峰会↓

雷锋网 AI科技评论按：深度学习过去十年在各个领域都取得了巨大的成功，但当把深度学习技术应用到实际问题中时，常会遇到诸多挑战。阿里巴巴作为在电商领域有诸多业务的企业，对深度学习有很大的需求，不可避免地当他们将深度学习应用到业务中时会遇到许多学界人士不可能遇到的问题。

前段时间刚过去的IJCAI 2017大会上，阿里巴巴集团iDST院长金榕做了一场关于《Deep Learning at Alibaba》的报告。报告中，金榕介绍了深度学习在阿里巴巴的业务中的一些应用以及正在进行的一些研究。以下内容为雷锋网根据现场报告的录音以及被IJCAI 收录的论文《Deep Learning at Alibaba》整理而成。

一、演讲目录

金榕的演讲主要有四块内容。如PPT中所示：

1、计算机视觉方面。包括视觉搜索、图像分类、交叉媒体检索。金榕将从拍立淘以图搜图的业务开始，通过迁移学习来处理后两个问题。

2、语音识别和自然语言处理。包括声学模型、依存语法和模仿问答三个部分。

3、对组合优化的讨论。在这个讨论中，金榕介绍了3D容器打包（3D Bin Packing）和自动设计banner两个问题，前者在菜鸟运送快递时节省了大量的成本，后者则在双十一时节省了大量的人力、物力。

4、模型简化问题。包括模型的压缩以及通过浅网（shallow network）的尝试工作。

在开始介绍阿里巴巴业务中的深度学习之前，金榕博士介绍了阿里巴巴企业的生态环境。作为一个电子商务企业，阿里巴巴的购物平台包括淘宝、天猫、聚划算、飞猪、AliExpress、LAZADA（东南亚地区最大的在线购物网站之一）等，在此基础上还在许多涉足领域，例如蚂蚁金服、阿里妈妈、微博、高德地图、UC浏览器、优酷和土豆、菜鸟等。

金榕还对阿里巴巴业务中应用到的深度学习问题作了一个梳理，大概包括：

1、信息检索（搜索和推荐系统）；

2、语音技术（自动语音识别、语音合成，对话管理）；

3、自然语言处理（拼写检查、依存语法、问答和机器翻译）；

4、图像/视频内容分析（脸部、文字的识别、匹配以及细粒分类；多形态分类；对象检测、追踪、识别；视频事件检测、分类）；

5、深度学习和优化（优化、模型压缩、预测；道路规划和图标设计）

二、计算机视觉

1、拍立淘

在阿里巴巴的淘宝中有一项业务为“拍立淘”。其基本的思想就是以图搜图，对着你感兴趣的物品拍一张照片，系统将根据照片给你推荐相关的商品。 据金榕介绍，现在已经有超过1亿件商品的30亿张图片，每天有至少1200万活跃用户。

这项业务的基础就是通过深度学习对结果进行排序，阿里研究人员通过用户记录的三元组数据（查询图片、点击图片和未点击图片）来训练模型的排序损失函数，从而得到排序结果。

例如你上传一张桌子的照片，模型将自动检测出主体，然后按照排序分数从高到低排出相关商品的结果。

2、从拍立淘到Everything——迁移学习

拍立淘的这项业务其本质就是图像匹配，所以可以通过迁移学习将这个模型从电子商务应用到其他领域。传统的迁移学习方法如图所示，拍立淘中图片的矢量表示x通过线性变换迁移到别的领域的图像表示x’上。其中W为线性迁移矩阵，这个矩阵可以通过有限的数据学习得到。

这种方法比较简单，但由于在实际应用中源和目标往往有比较大的差距，线性模型并不能很好的调和这种差距。金榕介绍，在阿里的迁移学习中，他们引入了一个随机傅立叶函数，使迁移变换由线性变为非线性。

这种非线性迁移学习的方法在实验中要比线性迁移学习方法的精度要高，鲁棒性也更好。

三、语音识别和自然语言处理

1、声学模型

自动语音识别包括声学模型、语言模型和解码器。这里只讨论其中的声学模型（Acoustic Model）。基于声学模型的神经网络在过去5年已经有了长足的发展，单词识别的错误率已经下降到了5.9%。

现在常用的对声学模型的处理是双向长短时记忆模型（Bi-directional Long Short-Term model）。这种模型相比于长短时记忆模型有更高的精度，但是潜在的因素也非常大。阿里的研究人员开发出潜在控制双向长短时记忆模型（Latency-Controlled BLSTM），这种模型添加了删减的反向传播以及未来的信息，这种模型能够加速BLSTM的计算。

2、依存语法（Dependency Parsing）

依存语法这个问题，对于非专业人士还是很难理解的。简单来说就是通过依存语法构建了主词与描述主词的词之间的关系。由于依存语法没有词组这个层次，每一个结点都与句子中的单词相对应，它能直接处理句子中词与词之间的关系。这种特性使得它非常便于语句分析和信息提取。

最近几年人们在将神经网络应用到语法解析方面取得了很大的成功。其中一个极好的例子就是biaffine attention parser，其基本的思想就是给范围内每一个可能的主词与其他词之间的联系进行打分。但是这只针对你所感兴趣的词。在淘宝中，阿里的研究人员采用了附加有全局调节器的BAP，这种方式得到的结果有更好的表现。

例如上面的例子中，传统的BAP会将cautious与decline关联起来，而实际上它们并没有联系；而附加有全局调节器的BAP则显示出较好的结果。

3、模仿问答

金榕博士在此简要介绍了Mimicked QA系统。这个系统并不是要简单地构建一个问答系统，更重要的是让你能感觉到像是在和真人对话一样。如图上显示的，它首先将用户的语音提问通过语音识别转化成文本，再通过文本问答系统生成答案，随后生成语音答案以及相应的面部表情。用户最终得到的是一个模仿真人带有面部表情的答案。

四、组合优化

在这个部分，金榕通过两个例子——3D容器打包（3D Bin Packing）和自动设计banner——来说明阿里如何将深度学习的组合优化应用到业务当中。

1、3D容器打包

在物流业务中有一个常见的NP问题（也是组合优化问题）就是3D容器打包：如何才能更有效地打包物品呢？这个问题的实质就是找到一个优化的打包方式（启发heuristic）。但是打包的方式太多了，所以困难就在于如何才能知道何时该用何种打包方式？金榕介绍了他们团队如何通过指针网络和强化学习来给出优化方案。

在打包过程中有三项关键的决定：1）物品打包的顺序；2）物品放置的位置；3）物品放置的方向。所以所要求解的问题就是物品顺序、位置、方向等的一个最优序列。

模型中的指针网络，是由两个回归神经网络的RNN模块（编码器和解码器）构成，该网络的输入是待打包物品的尺寸序列，输出的则是打包的序列（顺序、位置、方向，不一定是最优的）。当给定一个打包序列后，打包这些物品所需的最小容器就很容易可以计算出来。随后通过强化学习便可以快速找到优化的打包方式。

阿里团队将通过模拟数据对该模型训练后，将结果应用到天猫和菜鸟的物流打包中，结果证明强化学习后的打包方式能够节省5%的打包箱。5%的优化对普通人来说可能并不显著，但考虑到物流公司每天都要处理成千上万的包裹，这样的优化结果将能够节省很多成本。

2、自动设计Banner

在购物网站上，一个好的banner会给用户带来更好的体验。阿里巴巴平台上有大量的商品展示，尤其是在双十一光棍节时，对banner有大量的需求，靠手动设计显然是不现实的。于是他们将深度学习应用到了banner的设计中。

具体来说，banner就是框架、背景、对象及其他材料的一个组合序列。将这些材料的组合输入到一个卷积特征网络中，再加上用户日志，就构成了一个价值网络，最终会给出一个组合（banner）的质量（quality）。通过这种方式为网上广告进行设计显然将会更节省人力、更快速地响应需求，也将会得到更好的结果。

五、模型压缩与浅网

现在的深度学习模型变得越来越复杂，甚至有的模型已经超过了1000层，参数空间达到了10亿级。这使得深度网络神经学习在优先的存储器和计算资源下难以运行。金榕在此提到了阿里的两种解决方案：模型压缩和浅网模型的构建。

1、模型压缩

在演讲中，金榕提出了一个利用乘法器交替方向法（ADMM）的low-bits量化神经网络的框架来压缩模型。

当模型比较庞大时，我们有时可以通过寻求次优解来降低计算量。常用的近似方法是，将连续的函数进行低比特量化（low-bit quantization），将w通过符号函数f(w)或硬双曲切函数g(w)来替换。但这种方法近似的目标函数在最优解附近会表现的很不稳定。

为了解决这个问题，他们引入了交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）。ADMM是一种求解优化问题的计算框架，它能够将连续解和离散解结合起来，非常适用于求解分布式凸优化问题。此外为了更有效地运行ADMM，他们还开发了额外梯度下架方法（extra gradient descent method）来解决优化问题，这种方法能够加速收敛。

通过用imageNet数据集的测试，结果显示他们的方法要优于别的方法，且三比特（-1、0、1）方法相比full-precision在精度上几乎没有损失。

2、深网 v.s. 浅网

就前面说的，当想要寻求一个更优的解时，人们往往会求助于更深的神经网络。这种网络的预测函数往往是预定的且参数是相互独立的。尽管这种方式在性能上有优良的表现，但模型和运算量都非常大，在训练上是非常困难的，使用起来也非常昂贵。于是他们就想，能否通过构建复杂的激活函数来在预测函数中引入高度非线性，以此来取代神经网络的深度优势。换句话说，就是他们想用一个非常复杂的激活函数来开发一个相对较浅的网络。

这个想法是受到了Cybenko等人的universal approximation theorem的启发。根据这个理论，存在一个激活函数σ，严格递增且是反曲的，它有以下的性质：对于任意函数f ∈ C [0, 1]n以及任意精度的限制 ε > 0,都存在常数d（输入参数的维度）、c、θ 、γ、向量w，满足图中的不等式。

换句话说，这个理论暗示了存在一个复杂的双曲型激活函数，使得任何连续函数都可以通过两个隐藏层的神经网络得到很好的近似。搜索非线性激活函数的优点是激活函数是单变量函数，即使在非参数化设置中也可以有效地完成其优化。目前这项研究仍在进行中，还有不少的困难。

雷锋网注：参考论文《Deep Learning at Alibaba》

新智元推荐

来源：专知（ID：Quan_Zhuanzhi）

后台回复“DLPY10” 就可以获取深度学习课程PPT下载链接~

Francois Fleuret于2000年获得巴黎第六大学数学博士学位，2006年获得巴黎第十三大学数学博士学位。他是瑞士Idiap研究所计算机视觉和学习小组的负责人。在此之前，他曾在美国芝加哥大学、法国信息与自动化研究所(INRIA)和瑞士洛桑联邦理工学院(EPFL)任职。他是IEEE模式分析和机器智能交易的副主编，也是几个欧洲资助机构的专家。

深度学习课程概述

本课程的目标是提供深度机器学习的完整讲解。如何设计一个神经网络，如何训练它，以及有哪些现有技术专门处理非常大的网络结构。本课程旨在教授应用问题的深度学习方法所需的技能。

课程计划内容:

1. 什么是深度学习，张量介绍。

2. 基本机器学习，经验风险最小化，简单嵌入。

3. 线性可分性，多层感知器，反向传播。

4. 通用网络，autograd，批处理，卷积网络。

5. 初始化、优化和正则化。Dropout，激活归一化，跳过连接。

6. 计算机视觉的深层模型。

7. 深入模型分析。

8. 自编码器，嵌入式和生成模型。

9. 循环模型和自然语言处理。

10. pytorch张量，深度学习模块，和内部构件。

深度学习课程导读

绪论1.1 从神经网络到深度学习，21页slides

1.2 当前成功应用的实例 22页slides

1.3 正在发生什么？ (13页slides)

1.4 张量基础和线性回归 12 页slides

1.5 高维张量. 15页slides

1.6 张量内部 5页slides

2. 机器学习基础 2.1 损失函数与风险. 15页slides

2.2 过拟合与欠拟合. 24页slides

2.3 方差-偏差困境 10页slides

2.4 合适评价方法 6页slides

2.5 基本聚类与嵌入方法19页slides

3. 多层感知器和反向传播 3.1 感知器。(幻灯片，讲义- 16张)

3.2 线性分类器的概率视图。(幻灯片，讲义- 8张)

3.3 线性可分性与特征设计。(幻灯片，讲义- 10张)

3.4 多层感知器。(幻灯片，讲义- 10张)

3.5 梯度下降法。(幻灯片，讲义- 13张)

3.6 反向传播。(幻灯片，讲义- 11张)

4. 操作符、autograd和卷积层的图操作 4.1 DAG网络。(幻灯片，讲义- 11张)

4.2 Autograd。(幻灯片，讲义- 19张)

4.3 PyTorch模块和批处理。(幻灯片，讲义- 14张)

4.4 卷积。(幻灯片，讲义- 23张)

4.5 池化(幻灯片，讲义- 7张)

4.6 编写一个PyTorch模块。(幻灯片，讲义- 10张)

5. 初始化和优化。 5.1 交叉熵损失。(幻灯片，讲义- 9张)

5.2 随机梯度下降法。(幻灯片，讲义- 17张)

5.3 PyTorch优化。(幻灯片，讲义- 8张)

5.3 L1和L2 惩罚项。(幻灯片，讲义- 10张)

5.4 参数初始化。(幻灯片，讲义- 22张)

5.5 网络架构选择和训练协议。(幻灯片，讲义- 9张)

5.6 写一个autograd函数。(幻灯片，讲义- 7张)

6. 搞更深 6.1 深度的好处。(幻灯片，讲义- 9张)

6.2 修正器。(幻灯片，讲义- 7张)

6.3 Dropout (幻灯片，讲义- 12张)

6.4 批处理归一化。(幻灯片，讲义- 15张)

6.5 残差网络。(幻灯片，讲义- 21张)

6.6 使用gpu。(幻灯片，讲义- 17张)

7 计算机视觉。 7.1计算机视觉任务。(幻灯片，讲义- 15张)

7.2 用于图像分类的网络。(幻灯片，讲义- 36张)

7.3 用于目标检测的网络。(幻灯片，讲义- 15张)

7.4 用于语义分割的网络。(幻灯片，讲义- 8张)

7.5 DataLoader和神经。(幻灯片，讲义- 13张)

8. 关键技巧方法处理 8.1 看参数。(幻灯片，讲义- 11张)

8.2 激活。(幻灯片，讲义- 21张)

8.3 可视化输入中的处理。(幻灯片，讲义- 26张)

8.4 优化输入。(幻灯片，讲义- 25张)

9. 自编码器和生成模型。 9.1 转置运算。(幻灯片，讲义- 14张)

9.2 Autoencoders。(幻灯片，讲义- 20张)

9.3 去噪和变分自编码器。(幻灯片，讲义- 24张)

9.4 Non-volume保存网络。(幻灯片，讲义- 24张)

10. 生成对抗模型。 10.1 生成对抗的网络。(幻灯片，讲义- 29张)

10.2 Wasserstein GAN。(幻灯片，讲义- 16张)

10.3 条件GAN和图像转换。(幻灯片，讲义- 27张)

10.4 模型持久性和检查点。(幻灯片，讲义- 9张)

11 循环模型与NLP 11.1 循环神经网络 (slides, handout – 23 slides)

11.2 LSTM 和 GRU. (slides, handout – 17 slides)

11.3 Word embeddings 与translation. (slides, handout – 31 slides)

更多阅读：突发！中国法院初步裁决禁售多款iPhone，高通告赢了苹果？孟晚舟终获保释！抱律师哭泣，现场掌声雷动禁售iPhone再升级！高通寻求美国禁止进口苹果，5G大战英特尔躺枪

新智元 AI World 2018 世界人工智能峰会全程回顾新智元于9月20日在北京国家会议中心举办AI WORLD 2018世界人工智能峰会，邀请机器学习教父、CMU教授 Tom Mitchell，迈克思·泰格马克，周志华，陶大程，陈怡然等AI领袖一起关注机器智能与人类命运。爱奇艺上午：https://iqiyi/v_19rr54cusk.html下午：https://iqiyi/v_19rr54hels.html新浪：http://video.sina/l/p/1724373.html新智元推荐 来源：专知

【新智元导读】2018年9月9日-14日，DeepMind主办的Deep Learning Indaba 2018 大会在南非斯泰伦博斯举行。会上，牛津大学教授Nando de Freitas和其他15位专家做了《深度学习：AI革命及其前沿进展》的报告。

震撼！AI WORLD 2018世界人工智能峰会开场视频

Nando de Freitas

Nando de Freitas是一名来自牛津大学的拥有高声望和优良业界口碑的机器学习教授。在2000年拿到Trinity College的博士学位后，1999至2001年他在 UC Berkeley担任博后，2001至2014年在 University of British Columbia担任教授，他还是加拿大高级科研学会（CIFAR）的一员，并拿到了许多学术类的奖项。Nando本人在其网站上这样简洁地描述他的兴趣：我想明白智能以及思考的机理。我的工具有计算机科学，统计学，数学和无尽的思考。2015年12月26日，Nando de Freitas加入了由Reddit管理的AMA（Ask Me Anything）平台。

报告导读

人工智能进展的关键要素：基础科学理论、数据、计算力、算法软件

深度学为什么成功的另一视角： 深度神经网络从数据中学习

神经编程编译器

人工智能前沿7大热点：

强化学习元学习模仿学习机器人概念与抽象感知与意识因果推理

强化学习框架

AlphaZero

模仿：帮助我们在强化学习中解决探索

模仿人学习非常重要：翻译、语音模型，通用协同

观看Youtube视频学习，人可以从视频中学习各种技能，机器是否同样来学习？

挑战：领域鸿沟、没有动作、没有奖赏

跨模态距离分类

时序距离分类

感知意识：思维意识理论

世界自身的知识能够帮助解构和表示学习

学习确认的智能代理、行为和意图非常重要

一个智能机器必须知道它知道什么和它不知道什么

感知意识提供一个模仿学习的框架

慢学习以更快学习

few shot 元学习

条件策略的one-shot 模仿学习

因果推理

其他人工智能的前沿领域包括：

抽象，概念、关系，物体，程序，架构自监督自动选取任务持续性知识表示基准性语言理解情感性动机型系统鲁棒性、灵活性与软件框架模块发明道德和治理

（本文经授权转载自

更多阅读：

马斯克：人类极有可能生活在更高文明模拟的矩阵游戏中

强化学习重大突破：DeepMind用一个AI在57个游戏中全面超越人类

新智元AI WORLD 2018世界人工智能峰会

全程回顾

新智元于9月20日在北京国家会议中心举办AI WORLD 2018世界人工智能峰会，邀请机器学习教父、CMU教授 Tom Mitchell，迈克思·泰格马克，周志华，陶大程，陈怡然等AI领袖一起关注机器智能与人类命运。

全程回顾新智元 AI World 2018 世界人工智能峰会盛况：

爱奇艺

上午：https://iqiyi/v_19rr54cusk.html

下午：https://iqiyi/v_19rr54hels.html

新浪：http://video.sina/l/p/1724373.html