-
?
深度学习的“阿克琉斯之踵”
苏冬莲
展开
经过这几年的媒体渲染和资本炒作,深度学习俨然已经可以成为人们饭桌上谈论的话题。而随着其在机器翻译、图像(人脸)识别以及自动驾驶的应用,深度学习的价值也在展现。
但深度学习依然面临一个巨大的挑战:数据。
本质:更多数据=更智能的 AI
百度前首席科学家吴恩达曾有一张著名的 PPT:
这张图说明了4点:1)人工智能产品需要数据;2)数据越多,产品的智能程度越高;3)行业巨头们,如 Google、Facebook、百度等拥有更多的数据;4)不同人工智能产品的差距其实就是数据量的差距。
这也意味着,如果你想让自己的人工智能产品突出重围,收集海量数据才是王道。
现实:人工智能=训练数据
下图展示了一个被误解的人工智能现实图景:
公众普遍认为所谓人工智能就是一群工程师写代码,或者搭建神经网络。
但就像上图所言,更多的时候,获得数据,尤其是训练这些获得的数据,才是重中之重,毕竟很多算法是开源的,而数据训练,则是目前行业巨头保守的秘密。
资源:数据都在哪里?
这几年,数不胜数的论文、开源算法、框架大大降低了深度学习的成本,但没有适量的数据,一切都不过是理论而已。
现在,普通开发者可以接触到数据,包括以下几种:
其一,开源数据集,比如训练图片数据的 ImageNet,以及部分互联网公司的开源数据集,如百度就开放了部分可以训练语音的数据集。
其二,人工数据。简而言之,就是一组人类生成的「假数据」,可以用于训练文本或者图像转文本的应用,但如果想让这些数据成为训练人脸识别或医疗影像,则是不可能的;
第三是借助互联网。互联网的数据的确很多,不过质量非常差,需要人工标记,成本很高。
第四,购买人工标注的数据,目前国内外有大量这样的公司,这些公司利用众包等形式过滤、标记了海量数据,卖个开发者或大公司。
最后则是手动标记数据,比如手动标记医疗影像。这是一个工作量很大的工作,却也是一个非常重要的工作,在医疗影像领域,只有专业医师才具有标记数据的能力。
综上来看,在算法和框架都具备的状况下,对于很多开发者和公司来说,获得数据尤其是训练数据,将成为其能否推进人工智能项目的重要参考指标,这也就不难理解即便是 Google、Facebook 这样的巨头,还在贪婪地收集海量数据,而数据也将决定着未来人工智能公司的命运。
-
?
如何用PPT/PS给证件照换底色
独醉
展开
在日常生活中需要用到证件照的地方很多,但我们时常发现,每次都会有不同颜色背景,不同尺寸的要求被提出,以至于很多时候需要不停的去照相馆拍照,也造成了很多时间与金钱的浪费。在信息化高速发展的时代,电子证件照正逐步取代相纸。在此背景下如果能掌握修图技巧,我们就可以实现只去一次照相馆的心愿,甚至可以不去(技术高的话)。今天给大家介绍PPT与PS两种软件的修图技巧,无论是PPT小白还是PS小白都可以轻松搞定自己的证件照。
一、PPT制作方法
(图片来源网络,仅供学习参考,如涉侵权,请联系删除,感谢!)
PPT中我们主要用的是删除背景与更换底色的功能
第一步,按照尺寸需求更改PPT背景尺寸(在设计选项中)
第二步,按照底色需求设置背景格式填充纯色背景
第三步,置入图片,执行图片-删除背景选项,调整大小即可
二、PS制作方法
(图片来源网络,仅供学习参考,如涉侵权,请联系删除,感谢!)
PS中我们主要执行替换颜色功能(如使用个人自拍照,则原理与PPT相同,设置背景,执行抠图即可),这里我们介绍证件照原图替换颜色功能。
第一步,置入图片,调整大小
第二步,点击图像-调整-替换颜色
第三步,将取色器点击背景区域
第四步,在对话窗口中调整色相饱和度即可
证件照颜色知识
白色背景:用于护照、签证、驾驶证 、身份证、二代身份证、驾驶证、黑白证件、医保卡、港澳通行证等
蓝色背景:用于毕业证、工作证、简历等(蓝色数值为:R:0 G:191 B:243 或C:67 M:2 Y:0 K:0)
红色背景:用于保险、医保、IC卡、暂住证、结婚照 (红色数值为:R:255 G:0 B:0 或C:0 M:99 Y:100 K:0)
常用证件照对应尺寸
1英寸25mm×35mm
2英寸35mm×49mm
3英寸54mm×82mm
结婚照:40mm×60mm
港澳通行证33mm×48mm
赴美签证50mm×50mm
日本签证45mm×45mm
大二寸35mm×45mm
护照33mm×48mm
毕业生照33mm×48mm
身份证22mm×32mm 大陆第二代居民身份证尺寸改为:26mm×32mm(分辨率350dpi)
驾照21mm×26mm
车照60mm×91mm
图片来源网络,仅供学习参考,如涉侵权,请联系删除,感谢!
-
?
推荐14个自我提升能力的学习网站,全是精品高质量!
紫布丁
展开
推荐14个自我提升能力的学习网站,全是精品高质量!
01、知乎
zhihu
首先还是要推荐知乎,知乎是一个真实的网络问答社区,连接各行各业的精英。回答问题的人从自身的经验结合题主的问题等多方面考证作答, 写出来的答案才会有说服力和严谨性。一个完整的答案所涉及的方方面面,能让提问者有一个全面和深入的认知, 而不简单地了解问题答案。
02、Quora
quora
Quora 是一个英文问答式网站。你可以在里面提问题或者回答问题,当然都是全英的。quora内容很丰富,受众人群也很广泛,把quora作为一个知识的来源,用来搜索一些感兴趣的东西,自然会尽力去理解作者想表达的意思,无形中也提升了自己的英语水平。
03、豆瓣
douban
豆瓣提供书影音推荐、线下同城活动、小组话题交流等多种服务功能,它更像一个集品味系统(读书、电影、音乐)、表达系统(我读、我看、我听)和交流系统(同城、小组、友邻)于一体的创新网络服务,一直致力于帮助都市人群发现生活中有用的事物。
04、果壳
zhidao.baidu
科普类网站,果壳把科学从死板教条的传统语境中剥离出来,通过网络语言和现代语境对科学重新包装并赋予了新的活力。科普文也能生动有趣,就像创始人说的那样“让科学像电影和音乐一样,流行起来。”
05、FT中文网
http://ftchinese
FT中文网是英国《金融时报》集团旗下唯一的中文商业财经网站,旨在为中国商业精英和决策者们提供每日不可或缺的商业财经新闻、深度分析以及评论。 FT中文网凭借英国《金融时报》遍布全球的丰富报道资源,深入分析对中国经济和全球商业具有影响力的重大事件,被称为中国高级管理人员“必读”的商业财经资讯网站。
06、大学MOOC(慕课)
http://icourse163.org/
MOOC(大型开放式网络课程),在这里学习最大的特点是可以尽可能多的模拟真实上课环节,在学习的过程中和同学讨论课程问题,记录自己的上课笔记和心得,每节课结束后都有课后作业,课程体系中还有几次考试,成绩合格可以获得相应的网络证书。
07、中国知网
http://cnki
有很多学术论文(包括博士论文、硕士论文和国外的论文)和各行业的标准、行业发展年鉴、各行各业的专利信息。我们老师推荐的。我在写论文的时候用过。很不错。对于学术研究和科研等都有很大的帮助。
08、sociallBeta
http://socialbeta
对社会化营销有兴趣的,或者想找互联网之类的实习或者工作的可以逛逛这个站,也会有一些职场知识的文章,为将来工作做准备呀~
09、TOPYS
topys
创意分享网站,涉及广告、艺术、设计、阅读、建筑等方面。里面很有多关于广告文案策划的好文章。
10、萌娘百科
https://zh.moegirl.org/Mainpage
基于wiki技术的ACGN主题在线百科全书,以“万物皆可萌的百科全书”以口号,是二次元世界中的Wikipedia。百科中的大多数条目以萌拟人化的形式出现。
11、斧子演示
http://axeslide/
斧子演示是一款极易上手,操作简单,创意无限,效果炫酷的免费可视化演示文稿制作软件。这款软件最大的特点就是打破了传统思维方式,以全新的思路让文稿演示“动起来”,逻辑清晰,界面简洁。总之,想在暑假成为PPT大师的童鞋千万不要错过。
12、丁香园
http://dxy/
丁香园(DXY)原名《丁香园医学文献检索网》、《丁香园医学主页》,始建于2000年7月23日,是一个医学知识分享网站,包含了很多医学类知识科普。
13、蚂蜂窝
http://mafengwo/
蚂蜂窝为旅游爱好者免费提供精彩的目的地路书攻略,收录了全球各地86550个的精彩旅行目的地。提供各个目的地介绍、照片、游记、交通、美食、购物等旅游信息。暑假穷游攻略必备。
14、我要自学网
http://51zxw/
我要自学网是由来自电脑培训学校和职业高校的老师联手创立的一个视频教学网,网站里的视频教程均由经验丰富的在职老师原创录制,同时提供各类贴心服务,让大家享受一站式的学习体验。零基础想学PS入门什么的,还是可以看一看的。
后期更新更多,欢迎关注我们。
-
?
谷歌上线自带中文的机器学习免费课程,我们带你做了个测评
禹半邪
展开
大数据文摘编辑组
谷歌刚刚为全球的机器学习者们带来了一份大礼。
作为向人工智能教育领域迈出的第一步,谷歌的人工智能学习网站Learn with Google AI在今天上线,并重磅推出了一门机器学习速成课(Machine Learning Crash Course ,MLCC),提供交互式教学视频和练习,免费教授机器学习概念。
课程网站:
https://developers.google/machine-learning/crash-course/
在本次发布中,谷歌提供了英文,西班牙文,法文,韩文和普通话五种版本,以突破语言障碍,造福全球的AI学习者。
作为一门机器学习课程,这门课本身也有非常多的AI元素。课程全套中文音频和中文PPT都由机器学习技术生成,还全部内嵌到了课程视频里,颇为用心良苦。
这门课程内容基于谷歌内部为期两天的训练课程,旨在帮助谷歌工程师学习机器学习概念。据介绍,之前已有超过10000名谷歌工程师学习过相同课程。
谷歌称,通过该课程的培训,谷歌工程师得以在AI领域有更多创新:比如加强Daydream设备的摄像机校准,为Google Earth创建虚拟现实,并提高YouTube的流媒体质量。“MLCC在谷歌的成功激励我们向所有人开放这些培训课程。”
MLCC也是谷歌打算通过新的ai.google网站提供的许多课程和资源中的第一个,更多的课程和资源即将到来。
谷歌希望这一网站成为机器学习和人工智能的存储库,并成为所有机器学习者的“大本营”,吸引从高级研究人员到初学者的所有级别人工智能爱好者。
机器学习速成课时长约15小时,包括互动课程,谷歌研究人员的讲座以及40多个练习。
文摘菌也对本课程进行了简单测评,总体来看,这一课程是一门非常基础的人工智能概念介绍的入门课程,适合具有一定Python基础、但没有任何机器学习经验的新人。
那么对于初学者,到底如何选择最新入手的课程呢?
对比吴恩达新上线的deeplearning.ai深度学习系列课程,谷歌这门课显然更加偏向机器学习入门,具备编程基础的学习者能通过这门课迅速了解机器学习相关概念并上手,这对于广大编程者来说无疑是个好消息。
对于深度学习中的计算机视觉、自然语言处理等方向,这门课都没有涉及。同时,你也只能学到谷歌自家的TensorFlow框架。不过如果目标是能上手,学这些就足够了。
去年在I / O开发者大会上,谷歌宣布在网站上新增教育项目。近年来,谷歌一再表示,其目标是实现人工智能的民主化,并为每个人提供工具。这一课程显然是重要一步。
先来看看谷歌官方如何描述这一课程旨在解决哪些问题:
机器学习与传统编程有何不同?什么是损失,如何衡量损失?梯度下降法的运作方式是怎样的?如何确定我的模型是否有效?怎样为机器学习提供我的数据?如何构建深度神经网络?
谷歌建议学习者掌握入门级代数,熟练掌握编程基础知识和Python。
官网对课程的学习者有如下要求:
掌握入门级代数知识。 你应该了解变量和系数、线性方程式、函数图和直方图(熟悉对数和导数等更高级的数学概念会有帮助,但不是必需条件);熟练掌握编程基础知识,并且具有一些使用Python进行编程的经验。机器学习速成课程中的编程练习是通过TensorFlow并使用Python进行编码的。你无需拥有使用TensorFlow 的经验,但应该能够熟练阅读和编写包含基础编程结构(例如,函数定义/调用、列表和字典、循环和条件表达式)的Python代码。
再来看看课程目录:
机器学习概念:机器学习简介(3分钟)框架处理(15分钟)深入了解机器学习(20分钟)降低损失(60分钟)使用TF的基本步骤(60分钟)泛化(15分钟)训练集和测试集(25分钟)验证(40分钟)表示法(65分钟)特征组合(70分钟)正则化:简单性(40分钟)逻辑回归(20分钟)分类(90分钟)正则化:稀疏性(40分钟)神经网络简介(55分钟)训练神经网络(40分钟)多类别神经网络(50分钟)嵌入(80分钟)机器学习工程:生产环境机器学习系统(3分钟)静态训练与动态训练(7分钟)静态推理与动态推理(7分钟)数据以来关系(14分钟)机器学习现实世界应用示例:癌症预测(5分钟)18世纪文学(5分钟)现实世界应用准则(2分钟)
从目录看来,这是一门机器学习尤其是TensorFlow入门课。正如这门课的英文名称,Crash Course。但这门课的亮点在于,提供了大量配套练习及练习环境(ipython notebook),同时提供了中文语音、中文PPT、中英文对照的机器学习术语表。
课程视频页面
一开始打开网页时,文摘菌并没看到中文,这时只要在页面左下角选择语言为中文即可。
谷歌最牛逼之处可能是,使用机器学习技术给课程生成了全套中文音频和中文PPT,还全部内嵌到了课程视频里。神奇!文摘菌从来没见过这种操作。
也就是说,上方视频里大叔说的中文竟是AI给配音的!
让我们再来看看课程的配套练习。
下图是练习题所使用的ipython notebook云平台。学习者可以在浏览器内按照教程的提示直接运行代码,非常方便。同样的,页面可以在中英文之间随意切换。对比英文和中文界面,简直毫无机器翻译痕迹。
配套练习英文界面
配套练习中文界面
谷歌还提供了一份中英文对照的机器学习术语表,也是非常贴心了。
还在等什么呢?快打开链接学习吧!记得和文摘菌分享心得!
https://developers.google/machine-learning/crash-course/
-
?
NLP博士答辩41页PPT,面向自然语言处理的神经网络迁移学习
占文昊
展开
新智元推荐
来源:专知(ID:Quan_Zhuanzhi)
【新智元导读】现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的。迁移学习可以将学习的知识迁移到相关的场景下。本文介绍 Sebastian Ruder 博士的面向自然语言处理的神经网络迁移学习的答辩 PPT。
NLP 领域活跃的技术博主 Sebastian Ruder 最近顺利 PhD 毕业,下周即将进入 DeepMind 开启 AI 研究员生涯。
Sebastian Ruder 博士的答辩 PPT《Neural Transfer Learning for Natural Language Processing》介绍了面向自然语言的迁移学习的动机、研究现状、缺陷以及自己的工作。
Sebastian Ruder 博士在 PPT 中阐述了使用迁移学习的动机:
state-of-the-art 的有监督学习算法比较脆弱:易受到对抗样本的影响易受到噪音数据的影响易受到释义的影响现实中的自然语言处理面临着多领域、多语种上的多种类型的任务,为每个任务都单独进行数据标注是不大可行的,而迁移学习可以将学习的知识迁移到相关的场景下许多基础的前沿的 NLP 技术都可以被看成是迁移学习:潜在语义分析 (Latent semantic analysis)Brown clusters预训练词向量(Pretrained word embeddings)
已有的迁移学习方法往往有着下面的局限性:
过度约束:预定义的相似度指标,硬参数共享设置定制化:在一个任务上进行评价,任务级别的共享策略弱 baseline:缺少和传统方法的对比脆弱:在领域外表现很差,依赖语种、任务的相似性低效:需要更多的参数、时间和样本
因此,作者认为研究迁移学习需要解决下面的这些问题:
克服源和目标之间的差距引起归纳偏置结合传统和现有的方法在 NLP 任务中跨层次迁移泛化设置
作者围绕迁移学习做了 4 个方面的工作:
领域适应(Domain Adaption)跨语种学习(Cross-lingual learning)多任务学习(Multi-task learning)序列迁移学习(Sequential transfer learning)
具体内容可在 Sebastian Ruder 博士的完整答辩 PPT 中查看。
PPT下载链接:
https://drive.google/file/d/1Jhzd8gWK7M_76t1WfNBcB5gzPIAYZAS1/view
-
?
深度学习贝叶斯,这是一份密集的6天速成课程(视频与PPT)
杨愚志
展开
选自GitHub
Bayesian Methods Research Group
机器之心整理
在 Deep|Bayes 夏季课程中,授课人将讨论贝叶斯方法如何结合深度学习,并在机器学习应用中实现更好的结果。近期研究表明贝叶斯方法的利用可以带来许多好处。学生将学到对理解当前机器学习研究非常重要的方法和技术。他们还将体会贝叶斯方法和强化学习之间的联系,学习神经网络的现代随机优化方法和正则化技术。在课程之后,授课人还设置了实践环节。
项目地址:https://github/bayesgroup/deepbayes-2018视频地址:https://youtube/playlist?list=PLe5rNUydzV9Q01vWCP9BV7NhJG3j7mz62PPT 地址:https://drive.google/drive/folders/1rJ-HTN3sNTvhJXPoXEEhfGlZWtjNY26C
教师
多数讲师和助教都是贝叶斯方法研究团队的成员以及来自世界顶级研究中心的研究者。很多讲师曾经在顶级国际机器学习会议例如 NIPS、ICML、ICCV、CVPR、ICLR、AISTATS 等发表过论文。贝叶斯方法研究团队已经开发了一系列的大学课程,包括贝叶斯方法、深度学习、优化以及概率图模型,拥有大量的教学经验。
学生
该夏季课程面向:
本科生(最好已完成至少两年的大学课程),以及拥有很强数学背景、具备足够机器学习知识(包括深度学习)的硕士生。想要扩展知识和技能的机器学习领域或相关领域研究者和行业专家。
学习本课程的必备基础
机器学习的扎实基础,熟悉深度学习。数学:熟练线性代数和概率论(很重要)。编程:Python、PyTorch 和 NumPy。Deep|Bayes 2018 夏季课程中使用英语,因此学生应该熟悉技术英语。
我在 Deep|Bayes 能学到什么?
贝叶斯方法为什么(在机器学习和日常生活中)这么有用?随机性到底是什么?隐变量模型。如何训练模型识别在训练前未知的模式?可扩展的概率模型。为什么将概率推断问题转换为优化问题是有用的?强化学习和贝叶斯方法之间的联系。如何训练随机计算图?自动 Dropout 率的微调。神经网络会过拟合吗?(会的)随机优化。如何以比计算一个点的函数值更快的速度来优化函数?
该课程的目标是展示在深度学习中使用贝叶斯方法可以扩展其应用范围,并提升性能。尽管机器学习中有很多不同的问题设定,但贝叶斯网络的概率推断可以用相似的方式来解决它们。你,心动了吗?
课程主要内容
整个课程涉及贝叶斯学习的方方面面,从最基础的贝叶斯原理到比较难的变分推断和马尔可夫链蒙特卡洛方法。以下展示了整个课程的主题列表,机器之心将简要介绍部分课程内容。
第一天:
贝叶斯方法简介贝叶斯推理隐变量模型和 EM 算法EM 算法
第二天:
随机优化简介可扩展贝叶斯方法变分自编码器狄利克雷隐变量
第三天:
变分推断高级方法变分推断视角下的强化学习强化学习分布式强化学习
第四天:
生成模型对抗学习扩展再参数化的技巧
第五天:
高斯过程贝叶斯优化深度高斯过程马尔可夫链蒙特卡洛方法随机马尔可夫链蒙特卡洛方法
第六天:
贝叶斯神经网络和变分 Dropout稀疏变分 Dropout 和方差网络信息瓶颈
整个课程需要六天才能完成,且每一天的的课程量都非常大,因此机器之心只简要介绍最基本的贝叶斯方法和隐变量模型,其中贝叶斯方法是整个课程的核心思想,而隐变量模型又是生成模型等很多高级方法的基础。
贝叶斯方法简介
我们首先围绕「盲人摸象」的例子来介绍贝叶斯定理,然后简单描述频率学派和贝叶斯学派的区别。
1 贝叶斯定理:
首先贝叶斯定理的基本形式为
即后验=似然度 x 先验/证据
形式化的样子是
现在我们开始讨论「盲人摸象」问题。
一群「盲人」在摸一头大象,试图猜测摸的是什么东西,然而没有一个人猜的是正确的。在不确定的世界里,这就是我们在用概率论理解世界时的样子。
为简单起见,我们把问题设置得简单一些:一群「盲人」在摸一头大象,并且知道这是一头大象,他们希望根据摸到的东西猜测大象的重量。
贝叶斯方法是怎么解决这个问题的呢?
我们假设这些盲人之间会互相交流观察结果,并且都拥有一定的共同常识,也就是对大象重量的最初猜测:
然后他们可以这样:
第一个人的观察结果是摸到了尾巴,以及尾巴的长度 y1,然后重新猜测大象的重量;
第二个人将第一个人的猜测作为先验,并且观察结果是摸到了肚子,以及肚子的面积 y2,然后再次猜测大象的重量;
第三个人同理,根据第二个人的猜测,继续观察、猜测……
在此过程中,他们一开始的共有常识、大象的猜测重量即先验 P(x),第一个人的观察结果即似然度 P(y1|x),观察结果本身出现的可能性就是证据 P(y1),最后就得到的是 P(x|y1),也就是根据观察结果 y 得到的大象重量为 x 的可能性(概率分布):
而第二个人在此基础上,将能得到 P(x|y1,y2):
第三个人将能得到 P(x|y1,y2,y3)……
好了,随着观察报告的增加,这头大象的重量也越来越藏不住了(峰值变得尖锐):
当然,授课人在课程中会很详细地把概念一步一步讲清楚,包括条件分布、联合分布、边缘分布之间的关系,以及乘积规则、和规则的介绍,可以把上面这个例子涉及的各个概念串联起来,帮助学生理解得更加透彻。
2 频率学派和贝叶斯学派的联系和区别:
频率学派不假设任何的先验知识,不参照过去的经验,只按照当前已有的数据进行概率推断。而贝叶斯学派会假设先验知识的存在(猜测大象的重量),然后再用采样逐渐修改先验知识并逼近真实知识。但实际上,在数据量趋近无穷时,频率学派和贝叶斯学派得到的结果是一样的,也就是说频率方法是贝叶斯方法的极限。
以上就是贝叶斯方法的基础理论部分的大致内容,之后还有生成、判别模型的区别,贝叶斯训练过程以及贝叶斯方法优势的讨论。
隐变量模型
前面简要介绍了贝叶斯方法的核心思想贝叶斯定理,而在这一章节中,Dmitry Vetrov 重点介绍了隐变量模型。隐变量模型是很多复杂方法的基础,例如在变分自编码器这一生成模型中,我们希望将图像压缩为一系列的隐变量,这些隐变量表示了图像的高级语义信息,例如图像主体的倾角、颜色和位置等。
这一部分我们会根据 Dmitry Vetrov 介绍的内容讨论隐变量模型的直观概念、KL 散度、混合分布和变分下界等。
如前所述,VAE 最大的优势即中间编码的短向量代表了图像的某些语义特征,但又因为我们不能明确地知道具体是哪些图像特征,因此我们可以把这个短向量称之为隐变量。直观上来说,完全从整体上一个个像素生成图像是非常困难的,因为我们需要考虑的可能性太多。而如果先决定要生成图像的特征,再根据这幅蓝图生成图像就会容易很多。
VAE 正是这样,先学习如何将图像正确地压缩为一组隐变量,然后再学习如何根据隐变量生成图像。当模型完成学习后,我们给定任意一组隐变量,模型都会尝试生成正确的图像。这也就是隐变量模型的直观概念。
KL 散度一般作为两个分布间距离的度量方法,它常用于生成模型的损失函数。以下展示了 KL 散度的直观理解,即分布 Q(z) 与分布 P(Z) 之间越重合,那么 KL 散度就越小,两个分布之间的距离就越近。
在离散型变量的情况下,KL 散度衡量的是,当我们使用一种被设计成能够使概率分布 Q 产生的消息的长度最小的编码,发送包含由概率分布 P 产生的符号的消息时,所需要的额外信息量。KL 散度有很多有用的性质,最重要的是它是非负的。KL 散度为 0 当且仅当 P 和 Q 在离散型变量的情况下是相同的分布,或者在连续型变量的情况下是 『几乎处处』相同的。
随后 Dmitry Vetrov 展示了隐变量建模的案例,如果我们有一些服从未知高斯分布的样本,那么我们可以用最大似然估计或点估计等方法将该未知分布的均值和方差推断出来。
而现在如果我们假设有一组采自不同高斯分布的样本,且我们需要估计这些高斯分布的参数。这个问题看上去不能解决,但如果我们知道哪些样本是从具体哪一个高斯分布中采样,这个问题就比较容易解决。
但是如果我们不知道样本是从哪个高斯分布中采样的,那么我们就只能使用隐变量模型。它主要的思想即先估计这些样本属于哪一个高斯分布,也就是将样本映射到隐变量「均值」和「方差」。然后再基于隐变量完成对三个高斯分布的建模。
随后顺着这个想法,我们可以构建一个混合高斯模型,并希望将数据编码为隐变量 Z,再根据该隐变量完成建模。如下所示当我们不知道隐变量 Z 的情况下,最大化从 Z 中采样出样本 X 的概率,就能推导出最大化变分下界,这也是变分自编码器最核心的表达式。
变分自编码器中最大化变分下界(ELBO)就可以作为整个模型的优化目标,或者说整个模型的损失函数。在上面的案例中,最大化这个变分下界就代表着找出一些高斯分布,且每一个样本都最可能属于某个高斯分布。
整个课程介绍了非常多的理论知识,尤其是关于贝叶斯学派的各种理论。如果读者对数学比较有自信的话,可以详细学一学该系列教程。
扫描下图二维码,参与Arm人工智能开发者全球峰会↓
-
?
PPT做成什么样,才算有职场气质?
曲奇多
展开
想系统学习PPT知识,欢迎订阅100篇【职场PPT速成指南】
经常设计PPT,很多小伙伴都感觉没有想法,做完之后的PPT怎么看都不舒服。
郑少认为主要是因为没有对PPT的内容加以理解,导致页面的排版以及元素的使用显得很“粗糙”。
这次郑少分享一些实际的案例,帮你提升职场PPT的气质感。
案例1:
看一下,下面这页PPT显然不能这样做,先不说美感,对文字的处理就显得非常“粗糙”。
案例素材均来于网络分享,侵删
既然想做好PPT,就要稍微花点心思,比如对文字的处理、排版的布局等进行思考。
对于上面纯文字的PPT,可以通过排版设计的四大基础原则进行调整,如图所示。
除此之外,根据内容还可以使用这种居中对称的方法,既能让主题突出又能让页面的排版显得很丰富。
再比如还可以按照【KASH模型】的先后顺序对其逐一排版,同时借助形状对内容进行规整,如图所示。
如果想让整体的视觉效果在上升一个档次,这时可以借助符合主题的图片,然后再借助样机元素,就能设计出下面这种效果。
案例2:
下面是一页关于化妆品行业报告的PPT,这种做法让页面显得很乱,同时主题信息也不清晰,东一块西一块。
案例素材来源于网络分享,侵删
为了让整体的信息更加的清晰,化繁为简,删除多余的部分,如图所示。
这时还有一个问题,右边的数据太多,直接使用数值根本看不出数据之间的对比关系。
这时可以将其转换为柱形图的形式,数据与数据之间就能很好的产生对比,如图所示。
案例3:
下面这页PPT很有意思,将树叶当做装饰元素显然不符合主题,页面是关于航空公司的主题。
案例素材来源于网络分享,侵删
对于这种一段文字的PPT,怎么做才能有设计感和职场范呢?
最好的方法,使用跟主题相关的图片,然后在添加设计元素对其修饰,如图所示。
除此之外,还可以借助图片的留白区域,这样设计的PPT很有场景感。
郑少在做案例的时候,下载了一些关于这种飞机的图片,想要的请私信郑少,发给你。
案例4:
这是一页关于公司品牌概述的PPT,这样设计不仅不能让页面美观,同时还扰乱了主题信息。
案例素材来源于网络分享,侵删
同样的道理,化繁为简,删除跟主题无关的元素,找一张符合主题的图片,然后将内容放上去,如图所示。
由于图片的右侧比较复杂,通过渐变蒙版进行处理,如图所示。
除此之外,根据内容,还可以借助形状对其排版设计,最终的效果也是非常不错。
案例5:
这页PPT设计比较空,主要是因为内容比较少,即使使用这种圆环的图示也不能解决这个问题。
案例素材来源于网络分享,侵删
那么,应该怎么修改设计呢?
其实也不难,郑少将上图的图示调整了一下,这样整张页面就显得很饱满。
如果你感觉上面那种设计比较复杂,还可以借助这种线条,也可以打破页面的呆板,让页面丰富起来。
除此之外,要想让页面的版式显得稳重一点,可以使用图片进行设计,再将内容和其他元素放上去,如图所示。
案例:6
最后一页,这页PPT问题太大了,主题内容都看不清了。
案例素材来源于网络分享,侵删
同样的道理,化繁为简,为了让页面更加形象、直观、有场景感,郑少找了跟主题有关的产品,如图所示。
如果感觉整体的设计感还是不够,还可以为其添加一个形状,让页面显得比较稳重一点。
最后还可以将产品进行抠图,设计出来的效果也很不错。
关于提高PPT气质感设计方法,就分享这么多。
-
?
Pytoch1.0深度学习如何玩?送你含900页ppt和代码实例
华安
展开
新智元推荐
来源:专知(ID:Quan_Zhuanzhi)
后台回复“DLPY10” 就可以获取深度学习课程PPT下载链接~
Francois Fleuret于2000年获得巴黎第六大学数学博士学位,2006年获得巴黎第十三大学数学博士学位。他是瑞士Idiap研究所计算机视觉和学习小组的负责人。在此之前,他曾在美国芝加哥大学、法国信息与自动化研究所(INRIA)和瑞士洛桑联邦理工学院(EPFL)任职。他是IEEE模式分析和机器智能交易的副主编,也是几个欧洲资助机构的专家。
深度学习课程概述
本课程的目标是提供深度机器学习的完整讲解。如何设计一个神经网络,如何训练它,以及有哪些现有技术专门处理非常大的网络结构。本课程旨在教授应用问题的深度学习方法所需的技能。
课程计划内容:
1. 什么是深度学习,张量介绍。
2. 基本机器学习,经验风险最小化,简单嵌入。
3. 线性可分性,多层感知器,反向传播。
4. 通用网络,autograd,批处理,卷积网络。
5. 初始化、优化和正则化。Dropout,激活归一化,跳过连接。
6. 计算机视觉的深层模型。
7. 深入模型分析。
8. 自编码器,嵌入式和生成模型。
9. 循环模型和自然语言处理。
10. pytorch张量,深度学习模块,和内部构件。
深度学习课程导读
绪论1.1 从神经网络到深度学习,21页slides
1.2 当前成功应用的实例 22页slides
1.3 正在发生什么? (13页slides)
1.4 张量基础和线性回归 12 页slides
1.5 高维张量. 15页slides
1.6 张量内部 5页slides
2. 机器学习基础 2.1 损失函数与风险. 15页slides
2.2 过拟合与欠拟合. 24页slides
2.3 方差-偏差困境 10页slides
2.4 合适评价方法 6页slides
2.5 基本聚类与嵌入方法19页slides
3. 多层感知器和反向传播 3.1 感知器。(幻灯片,讲义- 16张)
3.2 线性分类器的概率视图。(幻灯片,讲义- 8张)
3.3 线性可分性与特征设计。(幻灯片,讲义- 10张)
3.4 多层感知器。(幻灯片,讲义- 10张)
3.5 梯度下降法。(幻灯片,讲义- 13张)
3.6 反向传播。(幻灯片,讲义- 11张)
4. 操作符、autograd和卷积层的图操作 4.1 DAG网络。(幻灯片,讲义- 11张)
4.2 Autograd。(幻灯片,讲义- 19张)
4.3 PyTorch模块和批处理。(幻灯片,讲义- 14张)
4.4 卷积。(幻灯片,讲义- 23张)
4.5 池化(幻灯片,讲义- 7张)
4.6 编写一个PyTorch模块。(幻灯片,讲义- 10张)
5. 初始化和优化。 5.1 交叉熵损失。(幻灯片,讲义- 9张)
5.2 随机梯度下降法。(幻灯片,讲义- 17张)
5.3 PyTorch优化。(幻灯片,讲义- 8张)
5.3 L1和L2 惩罚项。(幻灯片,讲义- 10张)
5.4 参数初始化。(幻灯片,讲义- 22张)
5.5 网络架构选择和训练协议。(幻灯片,讲义- 9张)
5.6 写一个autograd函数。(幻灯片,讲义- 7张)
6. 搞更深 6.1 深度的好处。(幻灯片,讲义- 9张)
6.2 修正器。(幻灯片,讲义- 7张)
6.3 Dropout (幻灯片,讲义- 12张)
6.4 批处理归一化。(幻灯片,讲义- 15张)
6.5 残差网络。(幻灯片,讲义- 21张)
6.6 使用gpu。(幻灯片,讲义- 17张)
7 计算机视觉。 7.1计算机视觉任务。(幻灯片,讲义- 15张)
7.2 用于图像分类的网络。(幻灯片,讲义- 36张)
7.3 用于目标检测的网络。(幻灯片,讲义- 15张)
7.4 用于语义分割的网络。(幻灯片,讲义- 8张)
7.5 DataLoader和神经。(幻灯片,讲义- 13张)
8. 关键技巧方法处理 8.1 看参数。(幻灯片,讲义- 11张)
8.2 激活。(幻灯片,讲义- 21张)
8.3 可视化输入中的处理。(幻灯片,讲义- 26张)
8.4 优化输入。(幻灯片,讲义- 25张)
9. 自编码器和生成模型。 9.1 转置运算。(幻灯片,讲义- 14张)
9.2 Autoencoders。(幻灯片,讲义- 20张)
9.3 去噪和变分自编码器。(幻灯片,讲义- 24张)
9.4 Non-volume保存网络。(幻灯片,讲义- 24张)
10. 生成对抗模型。 10.1 生成对抗的网络。(幻灯片,讲义- 29张)
10.2 Wasserstein GAN。(幻灯片,讲义- 16张)
10.3 条件GAN和图像转换。(幻灯片,讲义- 27张)
10.4 模型持久性和检查点。(幻灯片,讲义- 9张)
11 循环模型与NLP 11.1 循环神经网络 (slides, handout – 23 slides)
11.2 LSTM 和 GRU. (slides, handout – 17 slides)
11.3 Word embeddings 与translation. (slides, handout – 31 slides)
更多阅读:突发!中国法院初步裁决禁售多款iPhone,高通告赢了苹果?孟晚舟终获保释!抱律师哭泣,现场掌声雷动禁售iPhone再升级!高通寻求美国禁止进口苹果,5G大战英特尔躺枪
-
?
图神经网络为何如此强大?看完这份斯坦福31页PPT就懂了!
贾南烟
展开
新智元报道
来源:Stanford
编辑:大明
【新智元导读】去年,DeepMind、谷歌大脑、MIT等机构联合提出“图网络”(GNN),将端到端学习与归纳推理相结合,有望解决深度学习无法进行关系推理的问题。图网络究竟为什么如此强大?背后的机制如何?未来发展方向有哪些?这里有一份斯坦福31页PPT,带你看个明白。
图神经网络最近是个很火的话题,与传统的神经网络相比,图神经网络将图形作为输入(而不是原始像素或声波),然后学习推理和预测对象及其关系如何随时间演变。图网络方法已经证明了在一系列应用实现快速学习,达到人类水平的能力。
此外,图网络可以使网络不那么容易受到对抗性攻击,原因很简单,它是一个将事物表示为对象,而不是像素模式的系统,不会轻易被一点噪音或无关的贴纸所干扰。
新智元今天为大家推荐一份PPT综述,作者是斯坦福大学的多位博士后和博士生。这篇综述由基于神经网络和图网络的任务入手,对图神经网络的建立、架构、训练模式和模型特征等方面做了系统的梳理和介绍,并在最后给出了几个产业界和学术界的应用实例。
下面是全部PPT文稿(共31页),供感兴趣的读者参考。
首先介绍了传统神经网络任务和图网络的区别
为何图网络难以构建?
图网络架构解析:如何通过图向计算节点特征传播信息
GraphSAGE:聚合后的参数可供全部计算节点共享
提出DiffPool架构,对图网络进行池化
下面是几个应用实例:
图网络的强大判别能力和表达能力
结论与未来研究方向:
最后是参考文献与作者介绍:
更多阅读
看完这个文,你还会高喊快快造出“中国芯”?腾讯给出27亿美元估值,Reddit要成中国公司?四年三次上春晚,大型仿人服务机器人中国造!
新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手_2 入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。
相关搜索
- 卷积神经网络
- 神经网络算法
- 深度神经网络
-
?
AAAI2019《图表示学习》Tutorial, 180 页 PPT 带你从入门到精通(下载)
周雨珍
展开
新智元推荐
来源:专知(Quan_zhuanzhi)
【新智元导读】图神经网络GNN是最近特别火的一个深度学习方向。本文带来AAAI-19 Tutorial的《图表示学习》180页PPT,全面概述图表示学习的当前进展,非常干货!
图表示学习,是 2018 年火爆全球的一个深度学习方向,从以 Line, meta-path 等为首的节点表示学习,到以 GCN,GraphSAGE,为首的图卷积方法,在到近期的以 GraphVAE 为首的生成图模型,图表示学习方向的文章如过江之鲫。
在最近的 AAAI 2019 Tutorial 环节,来自 Facebook AI Research 的 William Hamilton和加拿大蒙特利尔算法研究所的 Jian Tang 跟大家交流了图表示学习的当前进展。
报告简介
图上的机器学习,是一项很重要且普遍存在的任务,无论是社交网络上的朋友推荐还是化学药物上的分子式的链接,都能从中获益。
目前这个领域的主要挑战是找到一种方法来表示或者编码图的结构,以便机器学习模型能够轻松利用它们。
传统的机器学习方法依赖于用户定义的启发式模型来提取关于图的结构信息的特征编码 (例如,度统计或核函数)。然而,近年来,使用基于深度学习和非线性降维的技术,自动学习将图形结构编码为低维嵌入的方法激增。
在本教程中,我们将对图表示学习领域的主要进展进行技术介绍,包括基于矩阵分解的方法、基于随机游走的算法、图神经网络和图生成模型。在此过程中,我们开发了一个统一的框架来描述这些最新的方法,并强调了涉及大规模社会和生物网络的实际应用。
报告人简介
William Hamilton
Facebook AI Research
William Hamilton (wlh@fb) 目前是 Facebook AI Research 的访问学者,McGill 大学计算机系助理教授. 2018 年博士毕业于斯坦福大学。 他的研究兴趣是图表示学习与大规模社会网络计算。
Jian Tang
Montreal Institute for Learning Algorithms
Jian Tang 目前是加拿大蒙特利尔算法研究所(Montreal Institute for Learning Algorithms )和 HEC Montreal 的助理教授. 2014 年博士毕业于北京大学,2014-2016 在任微软研究院研究员,2016-2017 年在密歇根大学和卡内基梅隆大学做博士后。
报告内容简介
【节点表示学习】
【图神经网络】
【图生成模型】
【未来方向】
180页PPT下载:
https:///s/1hRjm1nbMcj4_ynZ0niE2JA
新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手_2 入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。
网络学习ppt
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
初入新手村 — 演示者视图的操作步骤 0102
-
初入新手村 — 鼠标的交互的方法 0103
-
初入新手村 — 如何快速访问工具栏 0104
-
初入新手村 — 文件选项卡、保存等基础 0105
-
第二关 :内容整理与处理 — 导航区操作技巧 0201
-
第三关 :文字工具与段落 — 如何给你的文字加特效 0301
-
文字工具与段落— 段落工具使用 0302
-
第四关:绘图与形状效果 — 基本形状的绘制方法 0401
-
绘图与形状效果 — 给你的图形加特效 0402
-
绘图与形状效果 — 快速排列多种图形 0403
-
第五关:合并形状与图标 — 用好合并形状轻松获得更多创意图形 0501
-
第六关:图片的神奇 — 教你PPT如何实现抠图 0601
-
图片的神奇 — 使用图片裁剪让图片为你所用 0602
-
第七关:表格与逻辑图表 — 教你画一个简洁大方的表格 0701
-
表格与逻辑图表 — SmartArt快速生成逻辑图表 0702
-
表格与逻辑图表 — 一招SmartArt走遍天下 0703
-
第八关:形象化市场数据 — PPT中数据图表怎么做?0801
-
形象化市场数据 — 教你做好看的条形图和柱状图 0802
-
形象化市场数据 — 饼图的美化技巧 0803
-
第十关:终成商务演示高手
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
第一关 :初入新手村 — 工具选项卡操作演示 0101
-
第一关 :初入新手村 — 工具选项卡操作演示 0101