-
?
手把手 | 亲测好用!Google发布了一个新的Tensorflow物体识别API
阿普里尔
展开
大数据文摘作品,转载具体要求见文末
作者 | Priya Dwivedi
编译 | Lisa,Saint,Aileen
做图像识别有很多不同的途径。谷歌最近发布了一个使用Tensorflow的物体识别API,让计算机视觉在各方面都更进了一步。
这篇文章将带你测试这个新的API,并且把它应用在youtube上(可以在GitHub上获取用到的全部代码
https://github/priya-dwivedi/Deep-Learning/blob/master/Object_Detection_Tensorflow_API.ipynb),结果如下:
API概述
这个API是用COCO(文本中的常见物体)数据集(http://mscoco.org/)训练出来的。这是一个大约有30万张图像、90种最常见物体的数据集。物体的样本包括:
COCO数据集的一些物体种类
这个API提供了5种不同的模型,使用者可以通过设置不同检测边界范围来平衡运行速度和准确率。
上图中的mAP(平均精度)是检测边界框的准确率和回召率的乘积。这是一个很好的混合测度,在评价模型对目标物体的敏锐度和它是否能很好的避免虚假目标中非常好用。mAP值越高,模型的准确度越高,但运行速度会相应下降。
(想要了解更多跟模型有关的知识https://github/tensorflow/models/blob/477ed41e7e4e8a8443bc633846eb01e2182dc68a/object_detection/g3doc/detection_model_zoo.md)
实测时间
我决定使用最轻量级的模型(ssd_mobilenet)。主要步骤如下:
1. 下载一个打包模型(.pb-protobuf)并把它载入缓存
2. 使用内置的辅助代码来载入标签,类别,可视化工具等等。
3. 建立一个新的会话,在图片上运行模型。
总体来说步骤非常简单。而且这个API文档还提供了一些能运行这些主要步骤的Jupyter文档——
https://github/tensorflow/models/blob/master/object_detection/object_detection_tutorial.ipynb
这个模型在实例图像上表现得相当出色(如下图):
更进一步——在视频上运行上
接下来我打算在视频上尝试这个API。我使用了Python moviepy库,主要步骤如下:
首先,使用VideoFileClip函数从视频中提取图像;然后使用fl_image函数在视频中提取图像,并在上面应用物体识别API。fl_image是一个很有用的函数,可以提取图像并把它替换为修改后的图像。通过这个函数就可以实现在每个视频上提取图像并应用物体识别;最后,把所有处理过的图像片段合并成一个新视频。
对于3-4秒的片段,这个程序需要花费大概1分钟的时间来运行。但鉴于我们使用的是一个载入缓存的模型,而且没有使用GPU,我们实现的效果还是很惊艳的!很难相信只用这么一点代码,就可以以很高的准确率检测并且在很多常见物体上画出边界框。
当然,我们还是能看到有一些表现有待提升。比如下面的例子。这个视频里的鸟完全没有被检测出来。
再进一步,继续探索
几个进一步探索这个API的想法:
尝试一些准确率更高但成本也更高的模型,看看他们有什么不同;寻找加速这个API的方法,这样它就可以被用于车载装置上进行实时物体检测;谷歌也提供了一些技能来应用这些模型进行传递学习。例如,载入打包模型后添加一个带有不同图像类别的输出层。
参考文献:
Google Tensorflow Object Detection GithubCOCO dataset
原文链接:https://medium/towards-data-science/is-google-tensorflow-object-detection-api-the-easiest-way-to-implement-image-recognition-a8bd1f500ea0
-
?
百度云出击视频内容审核,VCR一键过滤不良内容
钮秀
展开
近日,全球最大成人视频网站Pornhub推出了一款成人视频识别引擎,宣布要用AI“鉴黄”,自主检测和识别成人视频中的内容以及表演者。
而在国内,近两年来视频网站、直播平台取得急速发展的同时,数个知名平台因涉黄、涉恐、涉政等原因被关闭或处罚,以往都是人工对视频内容进行审核,其漏审风险极高,易造成内容违法违规;相对于违规比例而言,企业对视频内容监管成本之高同样让人咋舌。
引入AI技术解放一大部分内容审核师,更精准地识别不良内容,已经成为视频网站和直播平台的刚需。百度云利用领先的AI技术推出VCR(视频内容审核)服务,不仅可以对画面、语音、文字等内容进行识别,具备色情、暴恐、涉政、违禁、广告五类审核能力,还推出业界首款音频色情识别功能,实现多维度护航视频内容安全。
这一系列的审核技术与传统人力审核相比,不仅让审核标准更加统一,还具备更高的审核召回率, 大大降低违法违禁视频的风险。
一键扫清色情、暴恐、涉政等五大不良内容
针对色情视频内容审核方面,相比其他云平台的单一色情内容审核,百度云建立了色情、暴恐、涉政、广告、违禁五大内容审核系统,比如,无论是色情非正常裸露场景识别,还是健身、艺术品等正常裸露场景的识别,百度云VCR都能够保持更高精度。
暴恐审核方面,百度云VCR能够精准识别图像中是否包含杀人流血场景、 暴恐袭击场景、恐怖分子头目照片、恐怖组织的旗帜、暴力行为等内容,准确率可达94%以上,避免产品涉暴恐风险。
涉政审核方面,百度云VCR能够精准识别图像中的政治人物,最小识别人脸图像小于100px*100px,并保持高准召率;同时利用文本和音频审核,可以规避财经类股评里提及政治敏感问题。
广告审核方面,百度云VCR能够精确识别各类形式广告,通用LOGO库数量超过2万个,在具有庞大品牌库的基础上,规避恶意和非法广告投放。
违禁审核方面,百度云VCR能够准确识别各类违禁品,如器官变卖、毒品等,避免产品涉及违禁品风险。
此外,通过百度云VCR,用户不仅可以自定义人脸库和logo库,还能够自定义置信度,满足不同业务需求。
业界首发音频色情识别,聚合优势助力内容“把关人”
对于视频内容审核行业来说,以前基本只审核图像,不审核语音,这也成了视频内容审核的重大BUG。这意味着,如果一段视频用正常的图像配上违禁的语音,也可以逃过审查。
而现在,百度云率先将成熟的语音识别技术运用到视频审核中去,在业界首发音频色情识别,准召率达85%以上。并且,百度云VCR音频审核覆盖中英文,可以实现在跨语种环境下进行音频审核。
行业人士戏称,为了赶“鉴黄师”下岗,百度云又向前走了一大步。事实上,与传统人力审核相比,百度云VCR确实拥有诸多明显优势。首先,百度云VCR能够更全面、更完整地对视频内容进行二十四小时不间断审核。比如对于一段3分钟的视频内容而言,百度云VCR花费一分钟就可以审核至少180张缩略图及完整语音,而传统人审一般通过跳审方式审核,一分钟只能审核60至80张缩略图及部分语音片段。
其次,百度云VCR的审核效率和准确度远比人工审核要高:具备更多维度的识别能力,能够精确识别相似人脸、识别出处于不同年龄阶段的同一张脸。再者,百度云VCR统一了审核能力标准、降低人工审核人力培训成本,让更多企业和开发者可以便捷、轻松地获取视频内容审核能力。
通过精准识别审核,百度云VCR降低了视频内容审核的错误率,提高审核召回比率,确保视频内容审核无遗漏,为视频行业的内容输入保驾护航。
目前,人人视频、爱卡汽车、搜房网/房天下等诸多企业都已在借助百度云VCR对视频内容进行多维智能审核,提高视频内容审核效率,大大降低人工审核漏审风险、审核工作量及成本。对于人人视频而言,由于内容大多来自于海外,确保英文音频内容安全成为重中之重。依托百度云VCR服务,特别是音频审核功能,人人视频能够及时发现并清除敏感内容,做好视频“把关人”,为用户打造出清朗的内容平台。
-
?
接入AI QingStor对象存储推出图像智能鉴黄服务
韦含蕾
展开
企业级云服务商青云QingCloud(qingcloud)日前宣布QingStor对象存储推出图像鉴黄服务,无缝对接图普科技的图像智能审核能力,为用户提供面向图像文件的高精度鉴黄服务,实现对违规内容的有效甄别管理,帮助用户大幅提高业务运营效率及合规性。
QingStor对象存储智能鉴黄服务
QingStor对象存储服务从推出之日起,每天都会有大量的静态网页、图片、音频、视频、文档、日志、映像等数据上传,对图像进行鉴黄对于企业级用户来说至关重要。传统的智能审核方案,如识别色情图像,基本是通过图片RGB值识别肤色比例,通过建模识别异常动作、敏感部位等,又或者是通过md5的方法过滤。这些方法的准确率低,经常误报。
为了避免这种情况发生,青云QingCloud和图普科技合作推出的图像鉴黄服务采用了人工智能领域最新的算法——深度学习算法,通过模拟人脑神经网络,构建具有高层次表现力的模型,能够对高复杂度数据形成良好的解读。通过大数据持续训练、频繁迭代,该智能审核服务的精确度可达99.5%,有效节省超过90%的人工复审工作。
此次合作中,图像鉴黄服务识别的整个流程需要调用双方资源,为了提高用户体验,实现平滑的无缝对接,QingStor对象存储平台构建了一套异步数据处理框架以完成双方服务的对接。它将监控用户指定对象的上传情况,每当指定对象上传完成后,会自动生成事件消息并触发对鉴黄API的调用。在识别流程结束后,识别结果将被回传,并推送到用户指定的通知地址中。在操作层面,用户只需要在QingStor对象存储的控制界面中,一键选择开启服务并完成配置,服务即可自动开始运行,同时用户在QingStor对象存储平台上的其他配置并不需要做任何的调整。
QingStor研发总监杨锦涛(Osier Yang)表示,在图像识别领域,QingStor还将与图普科技在暴恐识别、小广告识别、自定义检测、人脸识别及图像搜索等功能层面继续合作。QingStor的生态建设也在不断推进,未来会有更多的应用服务上线,致力为用户提供最高效、便捷的服务。
-
?
数据猿·金猿榜丨2017中国图像识别领域最具潜力创业公司
新房客
展开
“2017中国图像识别领域最具潜力创业公司”盘点源于数据猿推出的“金猿榜”系列内容,旨在通过媒体的方式与原则,发掘大数据领域最具潜力的创新型企业,以及在各细分领域的最具实力代表性企业与人物,利用媒体的力量扩大其影响力并推动行业的整体发展,践行“数据价值落地”的核心理念。
基于此,数据猿通过对成立于2012年之后,在资本市场上获得高度认可,业务发展迅速、业界口碑良好,且为非被收购企业、非上市公司的所有独立创业公司近1年的关注,并与上海大数据联盟、首席数据官联盟、深圳大数据产业协会四方的共同探讨与研究,评选出以下10家在2017年表现优异的中国图像识别领域最具潜力的创业公司供业内参考。
注:以上榜单入选企业,还将在2018年3月份的“数据猿价值峰会”上举行入榜颁奖仪式,敬请期待!(下拉至文末可了解详情)
以下为上榜企业介绍:
商汤科技
【北京市商汤科技开发有限公司】
成立时间:2014年8月
企业标签:人工智能、视觉技术、深度学习
融资情况:共5轮,总金额约41.4亿元
A轮:2014年11月完成数千万美元融资,投资方为IDG资本
A+轮:2016年4月完成数千万美元融资,投资方为Star VC
B轮:2017年7月完成4.1亿美元融资, 投资方为鼎晖、赛领资本、中金公司、基石资本、招商证券(香港)、华兴私募股权基金、晨兴资本、光际资本、尚珹投资、中平资本、东证资本、华融国际、东方国际、TCL资本、盈峰控股、投资人梁伯韬等参投
战略融资:2017年11月获数千万美元融资,投资方为高通Qualcomm Ventures、赛领资本、鼎晖投资、中金公司、基石资本、招商证券、华晟资本-华兴资本、晨兴资本
C轮:2017年11月获15亿人民币投资,投资方为阿里巴巴
(注:以上提到战略融资及C轮融资均未得到官方明确肯定)
管理层团队:
徐立丨联合创始人兼CEO
本科和硕士研究生就读于上海交通大学,博士毕业于香港中文大学,先后在摩托罗拉研究院、欧姆龙研究所、微软研究院、联想研究院等计算机视觉基础研究机构访问工作,主要研究方向是计算机视觉和计算机成像学,拥有十余年基础研究和产品开发经验。在视觉领域国际顶级会议、期刊上发表50余篇论文,曾获得国际会议NPAR 2012最佳论文奖,国际会议ACCV (12) ICCV (15)最佳审稿人奖。其三个算法获得视觉开源平台OpenCV收录,其中L0 Smoothing 为图形学期刊Transaction on Graphics (TOG) 五年论文引用之首 (2011-2015),还获得了《财富》中文版“中国40位40岁以下商业精英”、网易未来科技人物大奖创新商业领袖、《芭莎男士》2017巅峰人物年度创新企业家等荣誉。
关于商汤科技:
商汤科技是全球领先的深度学习平台开发者,专注于计算机视觉和深度学习的原创技术,是中国最大的新锐人工智能公司,估值超过20亿美金。以“坚持原创,让AI引领人类进步”为使命,建立了国内最大的自主研发的深度学习超算中心,并成为中国最大的人工智能算法供应商。目前,商汤科技已与国内外多个行业的400多家领军企业建立合作,包括Qualcomm、英伟达、本田、中国移动、银联、万达、苏宁、海航、中央网信办、华为、小米、OPPO、vivo、微博、科大讯飞等知名企业及政府机构,涵盖安防、金融、智能手机、移动互联网、汽车、智慧零售、机器人等诸多行业,为其提供基于人脸识别、图像识别、视频分析、无人驾驶、医疗影像识别等技术的完整解决方案。
业界评价:
赛领资本总裁刘啸东:“商汤具有极强的科研创新实力和商业变现能力,在深度学习、视觉识别等方面拥有深厚的人才和技术储备,在商业化方面的领先也很明显。商汤有着与Mobileye相似的科研基因,技术卓越性得到众多客户认可。人工智能未来对诸多行业都会产生深远影响,期待商汤未来将扮演使能者的重要角色,带动中国的产业升级。赛领资本将全力支持商汤,带领中国人的原创技术立足中国,走向全球。”
云从科技
【重庆中科云丛科技有限公司】
成立时间:2015年3月
企业标签:人脸识别、计算机视觉、火眼大数据平台
融资情况:共3轮,总金额约7.5亿元
战略融资:2015年4月完成5000万人民币融资,投资方未透露
A轮:2015年12完成2亿人民币融资,投资方未透露
B轮:2017年11月完成5亿人民币融资,由顺为资本、普华资本、元禾原点创投领投,越秀产投、佳都科技、兴旺投资、张江星河、杰翱资本跟投
管理层团队:
周曦丨CEO
中科院重庆院多媒体中心主任,中国科学技术大学学士学位和硕士学位、美国伊利利诺伊大学(UIUC)博士学位,曾在IBM TJ Watson研究中心、微软雷德蒙总部研究院、NEC美国加州研究院从事研究工作。
关于云从科技:
云从科技是一家人脸识别技术及产品研发商,技术核心是通过基于异构深度神经网络的目标深度解析,突破人脸识别在各种复杂环境下通用性差的难题,核心技术源于四院院士、计算机视觉之父——黄煦涛(Thomas S. Huang)教授,核心团队曾于2007年到2016年7次斩获智能识别世界冠军。
业界评价:
新华网:“云从人脸识别智能相机支持超大底库,极速识别,超低带宽占用,性能达到行业的顶级水平。”
依图科技
【上海依图网络科技有限公司】
成立时间:2012年9月
企业标签:计算机视觉、人脸识别、自然语言处理、机器智能
融资情况:共4轮,总金额约4.52亿元
天使轮:2013年8月完成数百万美元融资,投资方为真格基金
A轮:2015年1月完成数百万美元融资,投资方为红杉资本、高榕资本
B轮:2016年6月完成数千万美元融资,由云锋基金领投,跟投方信息未透露
C轮:2017年5月完成3.8亿人民币融资,由高瓴资本集团领投,云锋基金、红杉资本、高榕资本、真格基金跟投
管理层团队:
朱珑丨联合创始人兼CEO
美国加州大学洛杉矶分校(UCLA)统计学博士,师从艾伦·尤尔(Alan Yuille)教授,从事计算机视觉的统计建模和人工智能的研究,之后在麻省理工学院人工智能实验室担任博士后研究员,在纽约大学深度学习鼻祖Yann Lecun的Courant数学研究所担任研究员。
林晨曦丨联合创始人
上海交通大学硕士,曾担任阿里云技术总监,组建并带领百人以上的优秀工程师团队,搭建了国内最大的拥有自主知识产权的飞天分布式云计算操作系统。在加入阿里巴巴集团之前,曾在微软亚洲研究院从事机器学习、计算机视觉、信息检索以及分布式系统方向的研究工作。
关于依图科技:
依图科技是一家从事人工智能创新性研究的公司,将先进的人工智能技术与行业应用相结合,建设更加安全、健康、便利的世界。
业界评价:
《新美国安全中心Digitimes》:“美国最近举办的一场人脸识别技术竞赛,比赛内容是尽可能识别更多正走在舷梯上的登机乘客,一家名为依图科技的中国初创企业赢得比赛最高奖项:2.5万美元现金。与美国相比,中国已不再在技术上处于落后地位,而是成为真正的同行者,可能在人工智能领域拥有超越美国的实力。”
码隆科技
【深圳码隆科技有限公司】
成立时间:2014年7月
企业标签:深度学习、计算机视觉、ProductAI
融资情况:共3轮,总金额约2.94亿元
天使轮:2015年3月完成1200万人民币融资,投资方为达晨创投、远镜创投
A轮:2016年7月完成6200万人民币融资,投资方为达晨创投、远镜创投、中信资本、景林投资、将门创投、可可资本、红筹投资
B轮:2017年11月完成2.2亿人民币融资,投资方为软银中国
管理层团队:
黄鼎隆丨创始人兼CEO
曾在微软工作担任搜索产品总监,还曾担任腾讯商业产品总监、Tripadvisor中国产品副总裁等。
码特丨联合创始人兼CTO
十年微软开发经验,曾任微软亚洲研究院高级研发主管者,曾主导开发“必应词典”,覆盖全球数千万级用户,并成为微软历史上首个荣膺“华尔街日报亚洲创新大奖”(2010)的项目。此外,还拥有 40+ 个中美专利技术,18 个微软技术商业转化成果,国际顶级学术会议及期刊论文 13 篇,曾在顶级期刊《The Proceedings of the IEEE》和《IEEE Computer》发表封面重磅论文。
关于码隆科技:
码隆科技是一家专注于深度学习与计算机视觉技术创新,打造国际领先视觉智能技术平台的人工智能公司,拥有世界一流的顶尖研发团队和经数千万级图像训练的深度学习算法模型,凭借扎实高效的工程架构能力及产品实现能力,为企业客户提供国际领先的计算机视觉解决方案。
业界评价:
软银中国:“码隆科技ProductAI平台实用性很强,我们十分认可团队的研究方向,并期待码隆科技在结合传统行业实践中创造出更大的可能。”
新华网:“在数据智能时代,实时产生的数据是企业的金山银山,而人工智能数据应用解决方案则是开采矿藏的重要途径和方式。码隆科技正在做的事情,就是通过技术和产品创新,助力产业变革。未来任何产品、服务都需要人工智能,这也必将诞生无数垂直细分市场,码隆科技自主研发的人工智能商品识别技术,将会应用到更多领域。”
Yi+陌上花科技
【北京陌上花科技有限公司 】
成立时间:2016年4月
企业标签:视觉引擎、图像和视频识别、衣+、Yi+AI
融资情况:共3轮,总金额约1.61亿元
天使轮:2014年11月完成数百万人民币融资,投资方为乐搏资本、伙伴创投
A轮:2015年11月完成1000万美元融资,由优酷土豆领投,乐搏资本、中金汇财投资、三行资本跟投
B轮:2017年9月完成1亿人民币融资,由海通证券领投,百融骏集团、北京银行跟投
管理层团队:
张默丨联合创始人兼CEO
曾任华为算法工程师、微软Windows Mobile工程师、IBM Smarter City 架构师,主机Linux中国区负责人,中国区开源联盟负责人。北京大学软件工程硕士, 南洋理工大学创业创新硕士。
刘彬丨CTO
毕业于西南科技大学本科 ,上海交通大学硕士,曾任Intel算法工程师、百度深度学习研究院高级算法工程师、阿里巴巴深度学习算法专家。
关于Yi+:
Yi+是领先的计算机视觉引擎服务商,为企业提供视觉内容智能化和商业化解决方案,致力于 “助力客户挖掘视觉信息的商业价值,看见非凡”。在图像与视频中对场景、通用物体、商品、人脸的检测、识别、搜索及推荐均达到领先水平。图像和视频识别准确率等技术指标在顶级计算机视觉竞赛中获得了十项世界第一的成绩。
业界评价:
创业邦:“ 当人工智能遇上电视媒体,Yi+将为未来媒体科技有限公司广大客户及用户提供更多创新的互动方式,用技术革新改变人们的生活方式,整合资源共同变革传统电视媒体,最终完成垂直整合的生态闭环。未来,Yi+将助力持续助力电视媒体,为全行业及产业创造前所未有的生态价值。”
飞象网:“衣+开发的基于高性能GPU服务器的深度学习集群,能快速实现超百层复杂的深度学习网络结构,Amax团队取得这样的竞赛成绩,得力于衣+在深度学习、计算机视觉、人工智能等领域的深厚技术底蕴以及在高难度挑战领域的卓越实力,同时也预示着衣+产品的巨大潜能。”
深醒科技
【北京深醒科技有限公司】
成立时间:2016年1月
企业标签:人脸识别、深度学习、人工智能
融资情况:1轮
A轮:2017年1月完成亿元及以上人民币融资,投资方为昆仲资本、经纬中国、清科创投
管理层团队:
袁培东丨CEO
师从中国人工智能泰斗张钹院士和加拿大两院院士 Patel 教授,在计算机视觉、人脸识别与智能监控等领域有丰富的研发经验。
卢臻丨董事长
原是一家军工A股上市企业的核心高管,北京中电国能工程装备技术有限公司总裁。
关于深醒科技:
深醒科技是一家从事人工智能方向、集研发、生产和销售为一体的高科技创新公司,以基于深度学习的人脸识别技术为突破口,致力打造科技安防、智慧金融、智能交通、平安校园、平安小区等智能综合解决方案。
业界评价:
亿欧网:“在众多的人工智能方向研究的企业中,深醒科技是国内少数几家拥有底层算法模型自主研发能力,并专注于为公安安防研发人脸识别系统的科技公司。与其他国内知名的人脸识别科技公司相比,完全国内独资的深醒科技坚持“自主可控”走完全中国自主发展道路的核心理念,能够满足国家安全、反恐、保密的需要。”
格灵深瞳
【北京格灵深瞳信息技术有限公司】
成立时间:2013年3月
企业标签:图像识别、计算机视觉、视频大数据、三维图像
融资情况:共3轮,总金额约6100万元
天使轮:2013年4月完成数百万人民币融资,投资方为真格基金、策源创投、徐小平
A轮:2014年6月完成数千美元融资,投资方为红杉资本中国
B轮:2017年7月完成B轮融资,具体融资金额未透露,投资方为Samsung Ventures三星、真格基金、合力投资、复朴投资
管理层团队:
赵勇丨创始人、董事长å…...
-
?
聚焦多维度识别模式下的不良信息过滤
慕老太
展开
身处信息时代,我们面临的问题不再是信息不足,而是信息过载。在海量信息中,同时存在着大量不良信息。对于成年人来说,大量不良信息会造成注意力分散、浪费时间、诱发犯罪等多种问题。而对于未成年人来说,不良信息则会对其身心造成多种危害。中国互联网络信息中心数据显示,截至2016年12月,我国青少年网民(19岁以下)约占全体网民的23.4%,达1.7亿。而未成年人犯罪中高达80%是由于受互联网色情、暴力等不良信息内容影响诱发。不良信息将产生的社会危害不言而喻,不良信息过滤的需求也就应运而生。
过去不良信息过滤采用人工审核的方式,但由于人工审核投入成本大、审核效率低,当信息数量不断增多时,人工审核远远满足不了需求;后来引入用户举报制度,虽暂时缓解审核效果,但依然无法顺应高产能的内容过滤,于是,“文本过滤”技术应运而生,即关键词过滤技术,可智能识别敏感词、违禁词,并进行屏蔽。随着网络科技不断发展,不良信息也呈现出多元化的趋势,涵盖文字、图像、语音等多个方面,文本过滤技术也不再能够满足网络信息管理需求。
人工智能的发展,使得多维度识别不良信息成为可能。数峰科技将人工智能解决方案融入不良信息过滤(鉴黄、暴恐识别、政治敏感识别)中,使用上千万社交媒体数据大规模深度学习,训练出能精准识别色情、暴恐等违规图像、视频、在线视频流的人工智能模型。并且采用了业界独有的多维度识别模式,从图像、视频、语音、文字等多方面进行筛查。这项产品将计算机视觉、语音降噪、语音识别、文本结构化、语义分析等多项技术融合在一起。
应对不良信息,应从遏制源头、监管传播、控制访问三个层面入手。遏制源头需要信息生产者不断提高专业素养和道德修养,同时加大对不良信息制造者的惩罚力度。而数峰的不良信息过滤技术,可以从监管传播和控制访问两方面精准过滤不良信息,从而监管传播者,隔离访问者,使不良信息失去生存空间。同时数峰自研的高效图像处理引擎大大降低了运算成本,能以极低的成本为企业提供不良信息过滤服务。
数峰科技的不良信息过滤技术对所有个人、企业级用户免费开放,并且可以为用户提供定制化服务。此外,数峰科技的一站式人工智能开放平台datapeak,还可以为机构和企业提供图像识别、人脸识别、人工智能模型定制等的整套人工智能服务解决方案,坚持将人工智能科技真正服务到个人和企业,实现人工智能普惠。
数峰科技于2016年获得200万美金种子轮投资由RemarkHoldings(NASDAQ:MARK)领投,携手CapitalGroup,AshfordInvestment以及天使投资人JamieDinan.
-
?
人脸识别技术在公安领域的应用
葛忆寒
展开
前言:
人脸识别系统在公安领域的应用越来越广泛,为什么这些区域都会使用人脸识别技术呢?
一、全站布控封锁
基于全境封锁布点建设的人脸前端数据,在需要对重点人员进行全区域筛查布控时,可利用大数据人脸碰撞特性,快速将目标人脸图像与所有人脸抓拍数据进行一次全区域24小时搜索,查找嫌疑人或重点人员在辖区的落脚情况。同时能将目标人像数据作为布控对象进行实时布控,一旦目标人出现,系统自动识别报警。
二、区域精准布控
可以快速高效的在需要的特定区域、特定时间对嫌疑人或重点人员进行精确搜索,确认目标轨迹,若对该对象需更加详细的了解其出没行踪,可对搜索出的多个落脚点照片进行多天的记录研判。同时能将目标人像数据作为布控对象进行指定区域实时布控,一旦目标人出现,系统自动识别报警。
三、站内重点区域全方位防控
火车站内部的人员比较固定,同时站内除了旅客活动场所外都属于内部区域,不允许陌生人随意出入,更需防止某些怀有不轨企图的擅自闯入。因此,对于这类目标区域需要制定全方位防控的技战法。
将重点区域自有人员按照不同的分属区域准入权限设定白名单,在重点区域范围与抓拍人像库进行精准布控,一旦非白名单陌生人员出现,立即报警至保安值班室,(值班室管控人员可以将登记获准进入的外来人员临时授权白名单,以降低不必要的虚警)
将陌生人员库实时与高危人员库和黑名单库(比如暴恐分子在逃人员库等)进行比对识别,一旦发现信息吻合,立即向单位值班室和所属辖区派出所联动报警。
四、全站区域严密防控
火车站内旅客活动场所,一般进出人流的数量比较大,身份各异,因此对于这类目标区域需要制定严密性的防控技战法。
将一些重点人员,如偷盗前科人员、吸毒人员等,注册为重点人员库,设定重点区域,实时与人像抓拍库进行比对,一旦发现其进入,立即报警至保安值班室,可以进行犯罪预警干预;
将抓拍人员库实时与黑名单库(比如暴恐分子在逃人员库等)进行比对识别,一旦发现信息吻合,立即向保安值班室和所属辖区派出所联动报警。
保留长时间的人像抓拍库数据,一旦发生案件,可以进行高效的线索筛查。
将一些重点人员,可以设定重点区域,或是出现次数阀值,或是设定的出现时间段,确认其活动态势,一旦发现异常,立即报警至管控中心(比如派出所等),可以进行重点人员动态监管,进行犯罪预警干预,一旦发生案件,可以进行高效的线索筛查。;
将在区域内连续一段时间(比如10天等)出现超过预定次数的陌生人员,设定为需要关注人员。可以动态掌握区域内人员情况。
五、人证合一报警联动
在验票登记处布设人证合一系统:自动从人脸摄像机数据中提取人脸,经工作人员刷身份证后,自动检验身份证并读取身份证照片、文字等信息,现场进行人脸和身份证照片进行比对,判断是否为本人。如果一旦判别为身份信息和人脸信息不一致,马上产生告警信息到指挥中心,并自动将人脸照片与预设的重点人员库进行比对识别,如果确认目标身份为公安布控嫌疑人的,立即提高报警级别并启动相关联动程序(比如马上关联实时视频,多警种值班室同步报警等。)
六、警务通APP动态识别检索
某公司开发了能装载在警务通手机系统上的人脸识别检索APP应用服务。下载安装后,可在连连接平台人脸数据库,将一线警务通采集的人像照片与重点人员库、逃犯库等预设人脸资源库进行大数据检索比对,在秒级的反馈时间内确认目标嫌疑人的身份信息,精确快速高效的支持一线治安反恐实战。
-
?
后起之秀“图像识别技术”是谁对它青睐有加?
张效瑞
展开
【中国安防展览网 市场分析】对人类来说,描述我们眼睛所看到的事物,即“视觉世界”,看起来太微不足道了,以至于我们根本没有意识到那正是我们时时刻刻在做的事情。在看到某件事物时,不管是汽车、大树,还是一个人,我们通常都不需要过多的思考就能立刻叫出名字。然而对于一台计算机来说,区分识别“人类对象”(比如:在小狗、椅子或是闹钟这些“非人类对象”中识别出奶奶这一“人类对象”)却是相当困难的。
后起之秀“图像识别技术”是谁对它青睐有加?
能解决这一问题可以带来非常高的收益。“图像识别”技术,更宽泛地说是“计算机视觉”技术,是许多新兴技术的基础。从无人驾驶汽车和面部识别软件到那些看似简单但十分重要的发展成果——能够监测流水线缺陷和违规的“智能工厂”,以及保险公司用来处理和分类索赔照片的自动化软件。这些新兴科技是离不开“图像识别”的。
据了解,图像识别作为人工智能的一个重要领域,近几年越来越贴近人们的生活。目前,图像识别技术已经应用于公安、网络购物、医疗影像领域,图像识别在医疗影像领域可以让手术更加精准,大大降低手术风险。通过“深度学习”可以对X光和CT影片进行分析,针对肿瘤等疾病进行辅助诊断,大大降低医生的漏诊率。
近些年比较经典的应用,就是谷歌和百度推出的识图功能。百度将图像识别技术成功“跨界”到语音领域,大幅度提升语音识别产品性能,是继端对端语音识别后取得的另一次重大技术突破。去年,Google
的研究人员宣称,他们已经在训练图像识别算法来检测与糖尿病相关的眼病。研发的软件用以检查患者视网膜照片,从而发现微小的动脉瘤,这是糖尿病视网膜病变(简称「糖网病」)的早期阶段,如果未经治疗就会导致失明。
根据市场调查显示,2016年,图像识别主导了应用程序领域,获得了40%多的市场份额。Facebook的面部识别功能是这项技术中一个最广泛的应用。不过,图像识别在医疗和国防这两个垂直领域的推广有望在下一个八年中成为行业的增长点。汽车和金融服务正准备采用这项技术改善运营,改进产品。
安防和金融备受图像识别公司青睐
安防市场增长空间巨大。2016年我国的GDP增长为6.7%,而安防行业的增速是它的两倍。随着我国社会经济发展水平的提升,对于人脸识别技术的应用需求也将扩大。根据前瞻产业研究院发布的数据,预计到2021年,人脸识别市场规模将达到51亿元左右。
同时,伴随着国内平安城市、智慧城市项目的深入发展,城市监控高清化的进一步普及,将使得数据采集上的阻碍大幅度减小,有助于人工智能在这一领域的应用。
一方面是图像识别技术和安防的刚性需求天然契合。公共安防的重点区域在公共交通场所,人流大、工作量大、环境复杂。而智能视频分析技术,可以解决视频监控必须由人工查看的问题,实现自动化安防;依图开发的“车辆识别系统”可有效识别套牌车,协助公安系统破案;人脸比对可以大大提高破案效率,准确率高达98%。
另一方面,在对海外市场开发过程中,图像识别技术成为海外安防拓展人们路径之一。国内图像识别在ToB应用的黄暴恐图片鉴定中比较成熟。虽然我们会有海外言论自由的直观印象,
但各国对于黄色、暴恐内容其实都有或多或少的限制。诸如叙利亚、伊朗、埃塞俄比亚、乌兹别克斯坦、沙特、巴林、巴基斯坦等也是严格网络审查制度国家。全球不少地区出于宗教信仰,对于色情图片有严格限制。此外,出于维护、监测领导人形象等需求,也有可能对图像识别等产生需求。
图像识别技术的另一大应用领域就是金融。可以说,是互联网金融的兴起,才真正助推了图像识别应用产业在2015年的公司成立热潮和2016年的投资热潮。
根据融360的数据,当前移动金融的渗透率不到2%,如果这个比率上升到电商12%的水平,那么人脸识别技术的应用将得到极大的推广。此外,传统金融机构的市场潜力不容忽视。银行有很多应用场景,整体的智能化是大趋势。
对于图像识别领域来说,最佳的商业模式至今仍然没有被探索出来。但可以预见的是,更多创业者涌入,B端快速增长。2017年人工智能所服务的企业会找到新的盈利点。创业创新的本质是整个社会效率的提高。我们看到,一次次的技术变革确实是让这个世界变得更美好一点点的原动力。尽管困难重重,但当资本的泡沫渐渐消退,真正的勇士会继续前行。
本文据KPMG专业数据挖掘团队、猎云网、36氦、linux信息整理,中国安防展览网编辑发布
-
?
Facebook怒了:用AI识别恐怖和虚假消息
Godfery
展开
北京时间6月16日消息,本周四Facebook在介绍自己对于恐怖虚假信息处理工作时表示,技术可以是解决方案的一部分。直到最近,Facebook才在反恐方面使用AI技术。其中使用的一种技术就是图像匹配。
Facebook用AI识别恐怖和虚假消息(图片来自baidu)
Facebook表示,如果用户发布一张图片,上面出现了已知的恐怖分子,Facebook软件就会自动匹配,比如将图片与ISIS的宣传视频匹配,或者与Facebook上出现的其它极端图片和视频匹配,这些图片视频已经被删除。
不只如此,Facebook还在做实验,对网站上恐怖分子可能使用的语言进行解析。Facebook还准备扩大技术的应用范围,用在其它App中,包括WhatsApp和Instagram。
据了解,现在Facebook每月有用户20亿。在过去几个月里,Facebook受到了假新闻的困扰。一些人还用Facebook Live直播谋杀、暴力内容。在反恐问题上,Facebook认为技术并不是完美的“答案”,它还依赖人力来控制。Facebook反恐团队已经有150名成员,有些人之前是检查官,或者来自执法机构,或者是工程师。
Facebook全球政策管理主管莫妮卡·比科特(Monika Bickert)、反恐政策经理布莱恩·菲什曼(Brian Fishman)在博文中表示:“我们的立场非常简单:在Facebook没有恐怖分子的容身之地。我们删除恐怖主义内容以及支持恐怖主义的内容,一旦发现就会删除。当我们收到报告,说某些帖子可以涉及恐怖主义,我们马上会对帖子进行评估审查。”
-
?
在暴露人脸识别技术的深层问题上,有一群很拼的人……
裘大娘
展开
他们要做的,就是不断扰乱技术预期,让潜在问题充分暴露在公众视野下。
作者 | Thomas McMullan
来源 | Medium
编译 | 探险家 微胖
「它能实时识别数百万张人脸,并从海量照片中精准检测出多达 100 张。」
亚马逊这样描述自己的人脸识别软件 Rekognition Technology。
但是几个月之后,它就卷入了美国警方监控纠纷。
美国人权联盟披露的文件显示,亚马逊把这个强大的人脸识别软件授权给了佛罗里达州奥兰多市和俄勒冈州华盛顿县的警方,让他们来监控人群。
以奥兰多市为例,软件能够实时追踪和分析全市几个摄像头的监控数据。另外,Rekognition 的推销内容中还特别提到,监控系统能连上警方的随身摄像头。
文件披露后,奥兰多市的警察局局长 John Mina 试图缓解公众的担心,他强调:
「我们永远不会把这项技术用于追踪普通市民,移民,社会活动者或者有色人种,」Mina 在一次记者招待会上保证。
「这是个实验项目,我们只是在测试这项技术是不是管用。」
然而,全世界都开始担心这种监控技术的滥用了。
人工智能和监控的结合在实际应用层面和道德层面都会带来问题,这引发了高层对这些带有原罪的科技公司的警惕。
与此同时,民间的反击战也打响了。
就像法国著名哲学家 Paul Virilio 说的那样:有了船只,就会有海难。有了灯塔,就会有海盗。
人脸识别软件的人种偏差
现实表明,人脸识别的有效性并不够。
位于英国的人权组织 Big Brother Watch 的一份报告发现,伦敦市警察局的人脸识别配对结果有 98% 的错误率。
南威尔士警方在演唱会、节日庆典和皇家访问等场合的相似试验在 91%的时间里都识别错了人。
考虑到白人的人脸识别结果误差要小很多,这种失准又多了一层含义。
根据纽约时报的报道,微软,IBM 和 Face++ 联合进行的算法研究发现,浅肤色男性的性别识别错误率只有 1%,浅肤色女性为 7%,而深肤色男性的到了 12%,深肤色女性的甚至高达 35%。
「虽然很敏感,但是从根本上说,当我们讨论人脸识别的时候,我们在解决身份政治,」一家国际有色女性技术专家联合组织 Hyphen-Lab 通过邮件告诉我们。
新兴技术「中立」的假设,掩盖了它们会放大潜在的人种和性别误差的事实。这创造了一种加大歧视的机器,随身摄像头从可信赖的工具转变成了看不见的监控引擎。
对于 Hyphen-Lab 来说,有一些事情需要被测试,询问,以及颠覆。
「公众隐私权真的需要拓展到有色人种社区,」这家组织说道。
「除此之外,对身份和形象的控制已经成了一种对那些历史上被集体边缘化的人群进行自由压迫的方式,无论是美国还是全球其他国家。」
「我们想要掌控自己的身份,命运和形象。」
Hyphen-lab 开展了一个由 Ece Tankal,Ashley Baccus Clark 和 Carmen Aguilar Wedge 领导的项目。
该项目展示了在一个实时识别和追踪人脸的社会里,如何反击监控。
一个 HyperFace 面具原型,它可以迷惑人脸识别软件。
艺术家兼研究者 Adam Harvey 和这个团队一起设计了并创造了一条扰乱计算机视觉算法的围巾,它的紫色的材料布满了奇怪斑点——一种 21 世纪的迷彩伪装,可以发送潜在配对以迷惑摄像头。
「如果我们对机器的输入了如指掌,我们就能欺骗,诱导和利用它们来解决我们过分依赖它们而产生的问题,」Hyphen-Lab 解释到。
这条围巾是 Hyphen-Lab 的更宏大的 NeuroSpeculative AfroFeminism 项目的一部分,这个项目还包括了内嵌摄像头的耳环和一个 Afrofuturist「神经美容术」沙龙,它们全都在探索黑人女性在科技行业的角色和形象。
当讨论到人脸识别的时候,这条围巾可以吸引人们的注意力,让大家注意到新型监控技术的不完美,基于缺陷算法搭建的机器很可能会被欺骗、规避和劫持。
如何扰乱一个计算机系统
Hyphen-Lab 承认这条围巾的实际效用还不明确,因为它是基于开源人脸识别软件的,算法更容易过时。
另外,这个项目是为了揭露隐私问题和政治监控。
「这让人生气,未经允许就利用我们周围的摄像头捕捉我们的一举一动,」这家组织解释到。
当 Hyphen-Lab 正尝扰乱交互时,其他人正尝试在技术层面扰乱人脸识别。
这种眼镜架能够欺骗脸部生物识别系统。
举个例子,来自卡耐基梅隆大学的研究员们开发了一种特制的镜架来扰乱计算机系统,这意味着穿戴者能够避免被认出,而且最让人印象深刻的是,甚至可以伪装成一个完全不同的人。
这次研究中,一个系统把一个人错认成了既是女演员 Milla Jovovich,也是男演员 John Malkovich。
在另一个斯坦福研究员 Jiajun Lu 领导的项目里,他创造了「对立示例」来欺骗图像识别工具,包括人脸认证系统和识别红绿灯以及交通情况的自动驾驶汽车系统。
对于前者,Lu 和他的团队创造了一个看起来很像 Google DeepDream 噩梦之一的伪装面具。
「通过使用我们的伪装,人脸在各种视觉条件下都不会被检测出来:角度,距离,灯光等等,」Lu 说。
一个 DeepDream 式的伪装面具,覆盖在一个人的脸部录像上。
然而,这项研究中的伪装是覆盖在一个人的脸部录像上的,Lu 告诉我们「制作纹身贴纸,放在一个人的脸上是小菜一碟。」
他建议试验「活纹身」,它由基因编程过的活细胞制作而成,可以用来达到试验目的。
这种活纹身的好处是,面具能够被设计成在特定条件下才会显现,纹身里的细胞被程序设计成只有在收到命令时才会显露它们的颜色,或者其他特定的环境条件被满足。
考虑到这个伪装面具会让你看起来像一个行走的致幻剂,它能够随你心意关闭是很有用的。
中国的监控技术实验平台
然而,Lu 并不是在为示威者,黑客或者间谍开发这些「对立示例」。他说,这项研究背后的想法是推动神经网络的设计者们去改进他们系统里的算法。
「深度学习领域里的人正变得对网络安全越来越担心,即使这些网络取得越来越多的成就。我们承受不住安全隐患。毫无疑问会有越来越多的人尝试攻击这些系统。」
把船打翻,缺陷会暴露出来,也就会有改进的地方。这提醒了我们,即使伦敦市警察局最近的试验结果不够准确,令人发笑,但是这项技术是在不断进化的。
如果你想得到下一个十年它会走向何方的线索,朝东边看。
虽然英国和美国在发展人脸识别系统上面临着技术上和政治上的全方位阻碍,在中国,则是另一番景象。
商汤的监控系统在运行。
商汤科技,得益于公司的图像识别能力,这家处在中国 AI 热潮核心地位的公司的估值最近达到了 30 亿美元。
商汤的客户是一大堆政府相关的代理商,它们给公司提供了数量巨大的数据,这能让很多西方国家的 AI 公司垂涎三尺。
在与 Quartz 的对话中,商汤的 CEO 徐立指着一个超过 20 万张图片的训练数据库说到:
「如果你能拿到政府数据,你就有了全部中国人的数据。」
作为交换,商汤提供它的 Viper 监控系统,这个系统能把来自 CCTV,ATM 摄像头和办公室人脸扫描仪的影像资料收集起来,能够同时处理 10 万在线视频流数据。
在这些技术的核心地带,身份政治问题再次出现了。毕竟,在过去的几年里,这项高端监控技术的实验平台大多都放在边远省份,也是因一连串恐怖主义活动而备受指责的地方。
商汤强调 AI 图像识别可以用来做好事,比如可以用来帮助寻找丢失的小孩。这种看法在亚马逊的 Rekognition 系统上也有共鸣。
在美国人权联盟公开这家科技巨头与执法机关的合作关系细节之后,亚马逊发表了一份声明争辩到,Rekognition「在现实世界有很多用途,」包括在游乐园寻找丢失儿童。
毫无疑问这是事实,毫无疑问这也不是故事的全部。
图像识别的适用范围和能力在不断扩大,无论摄像头是在我们的手机里,在游乐场,还是在警察的胸部,我们的身份都是目标。
也许会有停止智能围巾和眼镜来欺骗系统的改进,但是一旦你发明船只,海南就会出现,海盗也会出现。
「我们知道会更新,」Hyphen-Lab 说。
「我们的手机,电脑,汽车都会更新,随着人脸识别技术的发展,我们仍然会坚持推出可能的手段来扰乱它的预期用途。」
-
?
人工智能是如何识别一张黄图的?
坎贝尔敦
展开
前言
本文尝试用通俗的语言为大家介绍人工智能是如何实现“黄图”的识别的,全文没有复杂的公式和晦涩的术语,适合初级技术人员和有强烈好奇心的读者。如果有兴趣对文章内提及的一些人工智能的基础概念(神经网络,梯度下降,卷积等)深入研究,网上资料已经很多了,可以自行查阅。(注意:由于演示需要,本文可能包含一些尺度较大的图片。)
色情作为人类最基本欲望的体现之一,一直伴随着人类社会的发展而以不同形式展现着。互联网时代的到来也给色情的表现形式带来了巨大的机会,有文章说互联网上的流量有50%都是与色情相关的,我不能证实这个数据的真实性,不过读者可以在日常生活中自行体会。
当然今天我们不讨论色情产业的合理性,只专注于从技术角度研究如何鉴别互联网上的这些数字内容。接下来我结合网易信息安全部门的实践经验来解释如何做到这件事。
鉴黄的历史
在计算机的“远古时代”,其实也就是十几年前吧,我们识别黄图的做法简单粗暴:人工审核。别小看了这个方法,其实针对当时的网络环境(带宽小,产品少,图片数据也少),效果还是很不错的。一天几万的图片量,安排几个人肉眼盯着看,发现有不良的图片人工删掉就好了。
后来,互联网产品普及率高了,网络数据量暴增,一个产品一天出现几百万的图片量也是很正常的情况,这个时候想要靠堆人力去完成审核几乎不可能了。(再说,有多少产品可以支撑得起几百上千审核人员的成本呢)。幸好相应的计算机视觉技术也有进步了,我们用肤色识别算法过滤掉一些没那么多“黄色”内容的图片,剩下的再进入到人工审核,可以大大节约审核量。据统计,经过机器肤色识别过滤后大约只有20%的图片还需要人工审核。
等到移动互联网普及,各种类型的网络数据量暴增,人工审核连20%的数据量也无法承受了,加上视频、直播等业务和数据的爆发式增长,我们迫切需要一个更加有效的方案来解决审核的问题。很自然的,我们也紧跟人工智能的技术热潮开始研发机器学习的鉴黄系统,并且取得了显著成果。
人工智能鉴黄原理
辨别一张图是不是黄图,从机器学习的角度看,本质上是一个分类问题:给定一张图片,让机器判断是不是“黄图”。我们要做的就是研发一个“分类器”,它能根据输入的图片计算出该图片属于“黄图”类别的概率,然后再根据这个概率值输出一个“是”或者“否”的结果。众所周知,电脑擅长的是数学运算,所以我们要把这个“分类器”先抽象成某种数学模型,这样才有可能用电脑来运算。
为了方便理解,我们把数学模型定义为:y=f(x)。即给定图片x,我们要找到一个函数f,通过计算f(x)可以得到这个图片的黄图概率y。很简单吧!理论上这个数学模型可以解决所有的分类问题。好了,那这个看似简单的工作到底应该怎么实现呢?我们按下面的步骤慢慢来:
第一步:给出定义。既然你要教机器分类,自然要有明确的分类标准,如果标准都没有,那机器计算出来的值就没有意义了。很自然的,我们先把露点的图片归类到黄图,再明确一点,就是男性露下体,女性露乳房或者下体的图。不过,多年的实践经验告诉我们只根据是否漏点来判断图片类别是远远不够的。比如这张图:
【介于图片尺度问题,无法公开,大家可以想象一张裸体XXOO但不露点的侧身图】
(图1:没露点的色情)
它并没有露点,但是很明显不能认为它是一个正常图片。(不考虑政策监管因素,仅从学术研究的角度讲,也应该把这个图片归类到黄图的一种)。反之,也并不是所有露点的图片都是黄图,比如图2:
(图2 :特殊但合理)
然而,意识到这些仅仅是定义工作的开始,在真实世界的数据形态和政策法规的约束下,更多的图片需要被分类,比如图3、图4等等:
(图3: 此处想象一张低俗但不漏点的图片)
通过上面的例子是为了让大家明白,仅靠“黄图”这样一个笼统的定义是无法满足实际情况的。我们得把一个“二分类问题”演进成更加复杂的“多分类问题”,并且尽量把定义和标准清晰化,这显然是一个庞大和繁杂的工作。我们组建了专门的运营团队对数据和政策法规进行研究,根据实际情况积累了许多的分类定义和标准。
第二步:收集样本。有了定义之后,我们就要根据定义来收集样本数据。幸好我们之前多年的审核工作积累了大量的图片数据,其中有很多经过了人工审核确认是黄图的,所以我们从里面筛选出部分图片作为训练的数据。由于定义的分类数量非常多,我们不得不开发专门的分类标签系统并组建额外的人工标注团队,把训练数据做进一步的筛选。训练数据的质量好坏对效果的影响非常大,所以我们必须很有耐心地投入到训练数据准备的工作中。这个工作消耗了大量的时间和人力成本,并且还一直在持续进行中。由于都是违禁的图片,为了避免二次传播,我们也难以像ImageNet一样通过众包的形式来完成。
第三步:训练模型。回到一开始的数学模型y=f(x),训练模型的目的就是为了得到f。我们通过前面的两步得到了标注好的图片样本集,把标注的结果定义为y*,图片为x,现在我们要想办法找到一个f,可以对样本集中所有的图片计算得到的y跟y*最接近,也就是得到使|y- y*|的值最小的f。我们可以把|y- y*|定义为损失函数。如何找一个函数的最小值在数学界已经有成熟的算法。一般采用梯度下降法去寻找合适的f。
虽然所有图片数据在电脑看来也都是0和1的二进制数据,比如下图就是前面图1的二进制形态的片段。但是直接拿这些0和1的数据计算,容易导致运算量过大,图片特征提取的效率和准确度都难以保证。
如何高效地提取出特征数据来代表图片x是很关键的一步。技术上称之为特征提取。幸好许多前辈科学家已经做了大量的研究,近些年来,基于深度学习的神经网络模型在各种图像识别的比赛中获得了突破性的进展。所以我们选用了CNN(卷积神经网络)、GoogLeNet、ResNet(残差网络)三种深度网络模型结构作为研究的基础。通过这些模型,我们就可以更加高效地把图片数据转变成了可以运算的数学模型,使我们可以更快更好地得到f。
当然实际情况下f是一个非常复杂的函数,为了简化运算,我们把f拆分成了fn(fn-1(fn-2(f…(f2(f0))…)),每一个f可以理解为神经网络的一层,n个f就是n层,这种层层递进的关系就是算法名称中“深度”的由来。理论上我们可以搭建任意深度(层次)的神经网络模型。把f拆分之后,我们用倒推的办法就能得到每一层的f。
我们以图4为例,经过不同层次的f运算得到的结果,如下图6:
(图6:不同网络层次特征结果)
每一个层次的f可能会得到许多特征结果,有一些是模型对应特征的响应(对应图中有高亮的部分),有一些没有响应(图中黑色部分)。最终经过所有层级的f运算所得结果经过Sigmoid函数映射到0-1之间,得到的就是y值了。y越接近1,那么它命中类别的概率就越大。演化到多分类的问题上,y就是一个多维度的数,理论上每个维度都可以得到一个0-1之前的值,我们按照一定算法选择某一个维度的y作为结果输出即可(一般按照y值大的)。
第四步:验证。经过前面3步运算我们得到了f。(其实是n层神经网络的参数,也就是所谓的“黄图”模型)。f的可视化结果可以参看图7(以GoogLeNet为例),图7展示了10个224*224的RGB图片作为输入,在第二个卷积层的时候就需要64*3*3*64=36864个f的参数。当然这个是在计算一个非常简单的图示情况下的数据量,实际情况的输入数据和网络深度都要远远大于图片所展示的。我们常说的算法调参,就是指调整这些f的上万甚至上百万个参数。
(图7 :神经网络结构模型)
接下来我们需要有一个验证的图片集来测试f的效果。由于f是根据训练集生成的,那么直接用训练集不足以反映它在真实环境下的效果。得益于我们大量的历史样本数据集,我们专门挑选一些图片作为验证使用。通过一个自动化的测试平台不停地对迭代出来的f做验证。在准确率达到更优的程度之后再更新上线。
人工智能鉴黄现状
我们经过不断迭代,得到了越来越精准的f(模型),在验证图集上也达到了99.8%以上的准确率。那么,我们就可以高枕无忧了么?恐怕还不行。
首先我们考虑真实世界里的场景:虽然互联网产品类型多样,但产品里面黄图的比例往往很小,一般都是万里挑一甚至是十万分之一的级别(明目张胆玩情色的产品在中国活不久)。我们假设10k张图像中有1张是黄图,我们的系统准确率为99.9%,即1k张图像会判错一张,那么我们计算伪阳性率(False Positive Rate),即判断为违禁图像集合中正常样本的比例为:
即11张判定为黄图的结果里面竟有10张是误判!不过用户也不用过分担心,统计为误判的图像,多数情况属于一些边界的情况,实际使用效果会更好。
其次,深度学习的模型会有一些奇怪的行为表现,比如相关论文([1] Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. "Explaining and harnessing adversarial examples." arXiv preprint arXiv:1412.6572 (2014).)里面描述的情况(图8)
(图8)
一张原本能被正确识别的大熊猫图像,在添加人眼几乎不可辨认的微小变化之后,竟然以99.3%的置信度被判别为长臂猿。
是神经网络结构有问题吗?不是,这个实验是基于获得ILSVRC竞赛冠军的GoogLeNet网络进行的。
是训练数据的问题吗?也不是,网络是基于目前最大的物体识别分类数据集ImageNet训练的。
也就是说,对于一个卷积神经网络,出现难以解释的正常图像误判是普遍现象。即便是在实际应用或比赛中取得满意效果和优异成绩的算法,也会犯反人类直觉的“低级”错误。
基于以上的原因,在真实的场景下,我们往往采取机器审核+人工审核的方式来做到双重保险。
结语
以上通过尽量简单的描述说明了网易云安全(易盾)反垃圾系统在识别黄图这个工作中所作的努力和成果。但是也提到了许多的挑战,比如反人类直觉的低级误判问题,对于边界条件的图片识别准确率问题等。技术的进步是无止境的,网易云安全(易盾)实验室的算法工程师们也一直在努力。目前,网易云安全(易盾)已经面向企业市场,我们每天会为中国的互联网过滤1亿条左右的有害信息。除了智能鉴黄,网易云安全(易盾)同时开放有广告过滤、暴恐识别、谣言检测等内容安全服务,验证码、营销反作弊、应用加固等业务安全服务,以及DDoS防护、SSL证书管理等网络安全服务。