-
?
百度人脸识别接口再升级 认证企业每月免费配置量翻倍
Pang
展开
中新网4月21日电 人工智能时代风口在燃烧,百度希望让每个人都能用上AI。4月20日,百度“燎原计划2018”暨百度AI开发者实战营第二季强势回归,首站北京即放送三大满足各类开发者需求的“超值大礼包”,平台、资源、指南三管齐下赋能开发者。
在“燎原计划2017”中,百度向全国各地开发者详细介绍了百度AI的开放技术能力,本季将更侧重帮助各行各业的合作伙伴真正用上百度AI。“去年,我们详细展示了百度AI的开放能力,今年,我们会把更多的时间留给合作伙伴,帮助大家更好地使用百度AI。”百度AI技术生态部总经理喻友平表示。
北京站中,百度放送的“三大礼包”包括一个平台、一个标准、一个资源。一个平台即EasyDL,它让“AI小白”也能零门槛训练一款定制化AI模型;一个标准即“深度学习工程师评价标准”,为深度学习工程师提供成长路线指引;一个资源即升级版百度人脸识别收费新政策,对中小企业等于完全免费,需求量大的企业调用成本降低40%。
截至目前,百度AI开放平台已经开放100多项AI技术能力,以及丰富的完整解决方案,接入开发者与合作伙伴超过50万,百度燎原计划赋能已超过20多个行业,共有45家企业进入百度AI加速器。在百度看来,开发者与合作伙伴的成功,就是百度AI的成功。
开放新升级:大波AI福利“点燃”现场
上一季百度AI开发者实战营中,百度陆续公布的重磅消息收获了大批开发者点赞。今年,百度再次拿出极大的诚意,持续开放新技术、新福利,惠及更多开发者与合作伙伴。
为了降低人工智能入门门槛,百度全面开放最领先的定制化训练与服务平台EasyDL。百度AI技术生态部技术经理谢永康介绍,EasyDL是一款定制模型训练和服务平台,用户根据文字提示进行简单的页面操作,只需简单四步,最快10分钟即可训练业务定制的深度学习模型。这意味着,即使是完全不懂代码编程的技术小白,也可以零门槛快速上手。
谢永康介绍,EasyDL具有可即用、更轻快、高精度、强安全四大特征,对新入门的AI开发者极其友好。目前,EasyDL已经开放图像分类、物体检测定制训练,未来还会陆续开放定制声音识别等能力,以及多环境部署及数据服务。EsayDL“不可思议大赛”也将在5月1日正式开赛。
此外,百度宣布了多项赋能深度学习领域发展的新举措,将深度学习能力带进各行各业。一方面,百度宣布开放“深度学习工程师评价标准”,它提供了包括通用能力、专业知识、专业能力、行业知识、组织管理5大维度,以及各维度细分的16类能力项参考标准,为深度学习工程师提供了从“通用能力”到“专业技能”再到“组织管理”的能力模型金字塔,指引开发者成长。
同时,百度搭建了一套完整的深度学习内容体系,通过线上、线下丰富的学习课程,支持深度学习人才发展,不论是入门级选手还是寻求升职进阶,都可以找到适合自己的发展路径。百度还与北京航空航天大学共同承办了由教育部、工业和信息化部指导,“信息技术新工科产学研联盟人工智能协同育人工作委员会”和“教师培训工作委员会”联合举办系列深度学习师资培训班,为高校青年教师量身定制培训,助力高校人才储备。
另一方面,百度还以商业实战的形式加快深度学习从开源到落地的步伐。去年年底,百度与科赛网联合举行PaddlePaddle AI大赛,致力于深度学习工业应用以及深度学习人才培养,旨在通过竞赛的模式辅助解决行业真实问题,让AI真正应用并服务于行业。大赛吸引了近500人参赛,共计收到近千个高质量作品。本次大赛的获奖团队集体亮相现场,喻友平、爱奇艺公司资深科学家王涛博士、科赛网CEO范向伟共同为获奖者颁奖。
成本是阻碍开发者或企业接入人工智能的一大门槛,喻友平再次宣布调整人脸识别商用接口收费模式。目前,百度人脸识别接口完全采用QPS包月收费模式,每月向开发者和认证企业分别赠送2QPS和5QPS的免费配置量,超过才需付费,费用标准为500元/月QPS或50元/天/QPS。本次调整之后,认证企业的免费配置量提升至10QPS/月,而超过免费部分的价格也降至300元/月QPS或30元/天/QPS。这意味着,对于人脸应用 QPS 不高的中小企业,依旧可以永久免费使用,而对于有大量需求的企业,人脸识别的调用成本降低40%。喻友平表示,此次百度再度下调人脸收费标准,就是希望早日实现技术“平民化”,让所有的合作伙伴都能使用百度 AI 技术做出更多产品和创新,进而惠及全社会。
百度AI:从全面开放到全面落地
现场,5家来自各行各业的合作伙伴分享他们基于百度AI技术打造的产品与经验,涉及零售、建筑、新能源、健康管理、营销多个领域。
在接入EasyDL后,惠合科技实现了对传统零售门店的商品陈列审核升级,推动传统快消品牌和全国零售门店的数据化改造。百度资深系统工程师分享了如何利用PaddlePaddle预测分析充电桩的工作问题,帮助提升充电桩的稳定性,进而减低人力投入成本;此外,通过将PaddlePaddle引入传统楼宇暖通设备运行中后,智能楼宇将大大节约电力消耗。
生动的应用讲述吸引现场的开发者和企业代表的高度关注,不少开发者在活动以后与百度AI人员及合作伙伴主动交流经验,并表示希望能与百度AI建立合作关系,实现在更多领域的落地。
喻友平表示,百度欢迎各类开发者和合作伙伴加入百度AI技术开放生态。在百度,不论是开发者、技术爱好者、深度学习爱好者还是合作伙伴、AI技术服务商,都可以在百度AI找到最合适的AI服务。百度有顶级的AI技术,也致力于应用的实践,百度始终秉持开放共赢的心态为开发者赋能,打造最开放、最平等、最贴心的AI技术生态,真正让AI走进各行各业、千家万户。
据悉,活动第二日还将开设深度学习公开课,由深度学习专家深入解读PaddlePaddle的特性、模型与应用案例,为AI工程师与希望进入AI领域的资深开发者打造一条快速进阶之路。此外,2018年4月至5月,百度AI开发者实战营第二季还将走进深圳、杭州、成都,每一站用两天时间,与开发者和合作伙伴们分享百度AI技术和产品的最新进展,并携手各地的合作伙伴详细解读百度AI技术的应用案例与产业价值,帮助希望应用人工智能实现创新或转型的企业与开发者快速打造出自己的AI产品。
-
?
iPhone 8 开炸,图像识别开挂
眼眸
展开
这几天,网上总是爆出iPhone 8 “膨胀” 的问题!
先是6天前,台湾一个果粉妹子买了一台金色的 iphone 8 plus。在还剩70%的电的情况下,连着充电线继续充。。。
结果!这个机子,荣幸成为 iphone 8“首炸”!
之后,同样的事情发生在了香港:
日本:
膨胀的把屏幕都顶翻了。。。
这让硅兔君想起了:
苹果对这一件件的膨胀事件做出的回应是:
“我们知道了,我们在查。”
同时,苹果在Instagram上继续推着广告,名为《8大你会爱上iPhone 8的理由》:
其中之一,就是消失的home键和图像识别技术。
抛却苹果膨胀风波不说,图像识别确凿是因为iPhone 8 & iPhoneX 而热了起来。
眼下,谷歌、微软、IBM Watson和亚马逊这些巨头纷纷建立起自己的应用程序接口API,试图在图片识别上能够力压群雄。同时,初创公司也跃跃欲试,仅仅2017年就有29家专门从事图像识别的初创公司成立。
除此之外,图像识别的初创公司平均都有510万美元的估值!
可谓是一块可以被资金滋润的巨大沃土!
在这种竞争下,有个公司也是神奇。它前身是做相册的,如今却把图像识别这种高科技玩得有模有样。不仅如此,人家前不久刚宣布拿到了1600万美元的B轮融资。投资方包括Icon Ventures、Felicis Ventures、Khosla Ventures等。
除了这些机构以外, A轮投资机构还包括著名投资人Keith Rabois、投资机构 Cherubic Ventures,种子轮投资方包括 UpHonest Capital 和 Atomic。
这,简直亮瞎了硅兔君的兔眼。
这家公司叫Ever,成立于2013年。
众所周知,人工智能发展的基础是大数据。
没有海量数据,就无法训练模型,人工智能也就失去了自主学习的能力,再牛的算法也只能是空中楼阁,毫无用武之地。因此,一家没钱、没数据的初创企业是搞不了人工智能的。
那么Ever这个江湖上名不见经传的小卒子,怎么有实力发展人工智能呢?
这就不得不夸赞Ever创始人的远见卓识了。
Ever依靠为用户提供照片存储服务起家,
凭着高分辨率照片储存、照片分享与电子相册制作等功能吸引了大批用户,时至今日:
Ever在App Store的效率类应用中总排名 TOP 5,
总收益超过320万美元,
总下载量超过1200万!
然而,它的功能简单到让人发指——帮你存照片。。。
Ever 不背靠YouTube, Instagram, Facebook等大树乘凉,
另辟蹊径,依靠自己的图片存储APP,
硬生生开拓出一个庞大的数据库。
这个打法也是新奇,
先用最简单直接的功能积累用户,
积累够了数据之后,
再pivot,摇身一变,成为一家AI公司。
这个套路简直是:
然后,95个国家,
1100万用户,
120亿图片、视频资源,
这些都成为了 Ever 发展图像识别的底气!
更妙的是,Ever拿个人用户上传的图片视频资源训练图像识别算法,再将训练好的顶尖算法(Ever AI)交付给企业用户使用,使得B端用户放下了担心企业数据外泄的顾虑,痛痛快快的接受Ever AI与企业内部的系统、数据资源进行整合。
Ever会不会玩脱?背负着赚钱使命的首席营收官(Chief Revenue Officer)强调“我们永远不会让数据脱离我们的掌控,用大数据训练出远超同侪的图像识别算法是我们的终极目标,也是我们长久以来一直在努力的方向。”
斩获1600万美元融资,引得一线VC竞相追逐,Ever靠的可不仅是它的数据库优势。
过硬的图像识别技术(Ever AI)才是本质,在一众图像识别技术公司中,Ever的图像识别准确率最高、数据处理速度最快。
错误率降低1%,就能帮助企业客户节省数十亿美元。相比微软,Ever AI的错误率降低了0.8%,硅兔君掐指一算,使用Ever的服务能省十几亿美元呢。
Ever AI数据处理速度最快,响应时间仅为143ms,避免企业用户在使用图像识别技术时无谓的等待。
除此之外,相比亚马逊的Amazon Rekognition 图像识别技术必须基于AWS云平台使用,微软图像识别受到利用率和价格不稳定问题的限制,IBM缺乏精准的脸部对焦技术并且也必须在Bluemix 云平台上使用,Ever AI因为B端客户提供的是API(开发者接口)和置于智能手机的移动SDK(软件开发工具包)而凭借灵活性取胜。
换句话说,想用亚马逊、IBM的图像识别技术,用户必须将数据上传至云平台,在亚马逊/IBM的云端别人的地盘上操作。Ever AI好就好在只负责用大数据训练出顶尖的图像识别技术,在哪使用、怎么使用都是客户自己的事。少了条条框框、多了灵活性的Ever AI能不受欢迎嘛。
虽说无人超市、iPhone X酷炫的脸部识别解锁将图像识别推上各大媒体的头条,引来热议,但投资人关注图像识别领域可不是因为它很“热”,关键在于其丰富的应用场景。
作为身份识别的一种手段,图像识别技术可以应用在安防领域,如手机解锁、社区出入门禁设置;可以应用在金融领域,如结账付款等金融活动中。
作为自动驾驶汽车的天眼,图像识别技术通过识别周围的环境,提醒自动驾驶系统规避障碍物、与行人和其他车辆保持安全距离。
在此基础上,Ever AI给出了在零售领域应用的新场景。
Ever AI 的图像识别技术能够识别商店中顾客的性别、年龄、种族以及情绪,如果系统中已经存有顾客的会员信息,Ever AI还能自动调取顾客的姓名、过往购物记录并进行智能化购物推荐。
插上智能图像识别的翅膀,商家能够根据顾客的个人信息为其提供个性化购物体验,实现口碑、销售业绩增长的双赢局面。
2013-2017四年间,
Ever从来只以图片存储APP的身份示人,
直至获得顶尖VC机构1600万美元投资的消息不胫而走,
直至远超亚马逊、微软、IBM的图像识别技术Ever AI横空出世,
人们才重新认识了Ever,才看懂了它四年前的布局,
才知道没有数据想发展人工智能还可以这样玩。
这年头,创业公司不用点套路,真心都走不通了。
-
?
使用Python+百度OCR文字识别提取图片内容
任怡
展开
百度文字识别工作中,我们常常会将图片中的文字整理成word文档,过去主要依靠人工识别,费时费力,随着人工智能技术的发展,OCR文字识别的准确度越来越高,此项工作完全可以交给系统来完成了,下面是一段Python版的文字识别代码,使用了百度的“百度文字识别接口”。
# -*- coding:utf-8 -*-from aip import AipOcr# 你的 APPID AK SK APP_ID = '你的 App ID'API_KEY = '你的 Api Key'SECRET_KEY = '你的 Secret Key'aipOcr = AipOcr(APP_ID, API_KEY, SECRET_KEY)# 读取图片def get_file_content(filePath): with open(filePath, 'rb') as fp: return fp.read()img = get_file_content('E://20171017152738.jpg')# 调用通用文字识别接口result = aipOcr.basicGeneral(img)# 如果有可选参数options = {}options["language_type"] = "CHN_ENG" # 识别语言类型 默认 中英混合options["detect_direction"] = "true" # 是否检测图像朝向 默认不检测options["detect_language"] = "true" # 是否检测语言,默认不检测。当前支持(中文、英语、日语、韩语)options["probability"] = "true" # 是否返回识别结果中每一行的置信度# 调用通用文字识别接口,同时携带可选参数#result = aipOcr.basicGeneral(img, options)# 获取返回识别结果if isinstance(result, dict): words = result['words_result']print words# 如果图片是url 调用示例如下#result = apiOcr.basicGeneral('http://xxxxxx/img.jpg')
百度文字识别还提供了许多其他接口,例如:通用文字识别(高精度版),网络图片文字识别,身份证识别,银行卡识别,车牌识别,营业执照识别,表格文字识别等。感兴趣的朋友可以到百度AI开放平台查找相关使用说明。
-
?
OCR识别相关技术原理
Lucine
展开
喜欢就关注【港口大数据观察】
导语:如果说算法和数据是跑车的发动机和汽油,那么系统则是变速箱,稳定而灵活的变速箱,是图像识别服务向前推进的基础。算法、数据、系统三位一体,随着算法的快速发展和数据的日益积累,系统也在高效而稳定地升级。
一、背景介绍
前面的系列文章分别介绍了算法和数据,如果说算法和数据是跑车的发动机和汽油,那么系统则是变速箱,稳定而灵活的变速箱,是图像识别服务向前推进的基础。算法、数据、系统三位一体,组合成完整的OCR在线服务。伴随着算法的升级和业务的持续接入,系统也经历了从单机版升级到分布式版本;从为了每个算法定制系统模块,到分离框架和算法逻辑,提高算法的运行效率和模块的可重用性;从单一的运行环境,升级到CPU/GPU异构并行。除了一般分布式系统所需要提供的功能,我们还结合算法和运维特性,增加了单点热更新和集群快照等特性。
二、我们面临的挑战
图像识别服务框架作为一个提供在线服务的系统,既面临一般的业务系统或平台所面临的挑战,也面临作为算法系统,需要支撑复杂算法和业务的挑战,主要表现在以下几点:
1.高性能与高可靠
任何在线系统都面临性能和可靠性的挑战。在我们系统中,图像识别服务作为在线服务,需要能够迅速响应并返回,并且不管在框架层还是算法层,都要保证高可用性。
2.系统解耦&高可扩展性
作为一个分布式的算法系统,算法模块与框架的解耦,可以使算法与后台人员更高效的同步开发,分别对算法与框架进行更新迭代。而高可扩展性,既要求框架在集群上支持资源可扩展,又要求做到单机算法的迅速接入与替换。
3.复杂业务与算法的支撑
随着业务的持续接入和算法的复杂化,需要在框架层灵活的支撑算法,高效的算法模块重用以及迅速适配新算法并接入新业务。
4.不同运行环境的支持
算法系统,尤其是图像识别算法系统,运行环境包括CPU与GPU,框架除了要支持不同环境的高效运行,也要支持不同环节运行在不同硬件环境,以保证资源合理高效的使用。
三、我们的解决方案
图像识别从算法研究、模型训练到规模化的提供服务,需要处理的流程比较多,我们将开发阶段主要分为如下两个阶段:
算法研究&模型训练:
算法人员进行算法研究、模型训练,以及业务对接。算法无需关心框架以及系统的调度,只需输出单个模块的算法SO和训练好的模型文件。
框架开发&算法集成:
后台开发人员进行服务框架的开发及算法SO的集成运行,即把算法研究人员研究好的算法及模型文件集成到服务框架中,提供稳定的在线图像识别服务。
接下来将重点介绍系统的设计和实现。
四、图像识别服务框架
4.1 系统架构
框架层使用Java编码,算法层采用插件化设计,可以加载jar包、so或者其他脚本,这是一个多语言的混编系统。图像识别算法一般都是计算密集型,并且一部分需要运行在GPU上,所以在算法层,我们使用CUDA C++编写so,使用JNI挂载so进行算法的执行和调度。如图1,架构上主要分为三层:接入层、框架层、算法层,再加上评测系统、存储系统、监控告警系统、日志系统等周边系统构成一套完整的图像识别服务系统。
图1 图像识别服务框架系统构架图
接入层:包括协议转换、参数输配和结果适配等
框架层:图像识别服务运行的系统框架,加载运行算法SO,提供稳定的识别服务,包括
Master:接收接入层的请求,进行请求拆分、请求调度、结果合并等Worker:实际执行算法的进程载体,主要包含算法SO/模型的加载、更新,进行算法的执行Zookeeper:存储worker心跳信息、算法映射关系、算法执行计划、算法静态/动态快照信息等ConfigServer:监听worker心跳并实时更新动态动态路由表,触发master更新路由规则及连接池算法层:算法人员提供各种算法模型及算法so
周边系统
评测系统:提供版本评测功能存储系统:非敏感图片及badcase存储监控告警:监控服务的运行状态,在异常时进行告警日志系统:请求日志的存储,为问题的跟踪排查提供依据框架运行时4.2 系统运行态
本节将结合实际的OCR预测请求剖析框架的运行态。
1) 一个OCR识别实例
如图2,我们以STR(Scene Text Recognition,场景文字识别)为例,一个典型的使用场景为广告图片素材理解。在任务中,我们将识别图片中文字,并给出具体坐标。
图2 一个OCR识别实例
2) 系统运行态
如图3,我们详细剖析上述实例在框架中的运行过程
图3 系统运行态
1. 业务侧的请求携带图片内容(或图片URL)、bid(标识不同的业务)及tid(标识不同算法大类)。
2. 在master节点找到对应的算法,然后找到相应执行计划,执行计划中定义了算法的执行步骤;根据各个步骤找到相应的路由节点,master将请求拆分/打包/路由到相应的worker
3. master将原始图片路由分发到检测子系统。检测过程运行在GPU上,算法so检测出模块中各个图片框(如图2中的“京东”、“内外真皮”等),切分好之后将结果返回给master
4. master将检测结果拆分,并行分发到识别子系统。识别过程运行在GPU上,算法so将识别出单个图片框的文字,分别返回给master
5. master将识别结果汇总,一起发送到重排序子系统。重排序子系统运行在CPU上,算法so将结果返回给master
6. master将最终结果封装并返回
每个模块在整个过程中的作用为:
算法映射:由bid+tid映射到一个具体的子算法。相同的tid与不同的bid组合,可以支持不同业务对同类算法的定制执行计划:定义算法的执行步骤,比如图中STR图片文字识别,包含三个步骤:检测、识别和重排序动态快照:即动态路由表,定义了算法每个阶段映射到的具体节点。worker上报心跳,由ConfigServer整理生成动态路由表,由Master节点监听路由表的变更4.3 容灾与集群热更新
热更新能力是一个系统提供可靠和稳定服务的基础功能,即可以保证系统的无损升级,又可以保障系统的容灾能力。如图4,系统主要借助zookeeper和worker的心跳机制实现集群热更新。
图4 集群热更新
Worker:在启动的时候与zookeeper建立临时节点维持心跳信息Configserver:监听worker在zookeeper的心跳信息,如果worker断连或重连,configserver立刻感知到并修改动态快照Master:监听zookeeper上的动态快照信息,动态快照变更立刻触发路由规则及路由连接池的更新通过这几个角色的配合,在worker节点出现异常的情况下,master迅速就完成了切换,保证了系统的稳定。这种机制也支持了集群的热更新,在需要对某个worker进行更新时,先对worker进行下线,master感知后不向此worker发请求,完成更新启动后,master再跟其重新建立连接并发送请求。
4.4 单点热更新
单点热更新,指的是在不重启服务的前提下,对进程内单个或多个模块进行替换升级。与其他业务系统不一样的,在算法平台下,考虑以下两种场景:
1) 一个进程内加载了多个算法SO,需要对其中一个算法模块进行更新;
2) 算法链上串行多个模块,需要对其中一个模块进行实验或更新。
这两种场景下,使用集群热更新或者对进程进行重启,就有点重了,所以我们实现了一套进程内单个so的动态更新方案。通过Java代码是无法直接实现SO的动态加载的,如图4,我们引入了代理so,通过在代理so进行(dlopen,dlsym和dlclose)操作,从而达到动态加载SO的目的。同时在代理so中,我们封装了所有JNI转换和算法需要使用的接口,很好的进行了框架和算法的解耦。除了so的动态加载,我们还实现了模型的动态加载。
图5 单点热更新
4.5 静态快照
通常在分布式框架中,是不需要静态快照的。但在算法系统中,我们通常需要频繁上下线一批so,而这些so会分布在不同机器不同节点上。虽然简单的通过上传/删除服务器上的本地so文件,可以触发相关进程的动态加载/卸载,但这种操作繁复,在算法复杂,一个进程加载了很多so的时候,操作容易出错。所以,这里我们需要在运维上对系统进行优化,提高系统可运维性。
如图5,我们在动态快照的同时还引入了静态快照,静态快照由运维通过脚本或配置文件写入静态路由表,将一个集群的预期初始状态配置到zookeeper上。ConfigServer整理静态快照和worker上报的心跳信息,生成最终的动态快照。
图6 静态快照
这种动静态快照结合的集群快照机制相比只有动态快照在运维上会稍微复杂,但可以通过运维工具降低复杂度。动静态集群快照机制优势也很明显,第一、在复杂算法下,不容易出错;第二、可以在动态快照之余快速上下线一些算法或者更改算法流程。
五、框架的一些思考
我们成功地将Java与CUDA C++混编系统作为图像识别服务框架,并且支撑了众多业务。成熟稳定的框架,可以解放更多的人力用于算法开发和业务接入。依托于Java成熟的开源工具,可以迅速开发出框架和进行维护,使用Java作为框架调度层和网络层,对比传统C++框架并没有性能差异;而使用CUDA C++编写SO的方式,可以更好的适配GPU环境和深度学习框架,更高效地利用机器计算资源。当然,我们的系统还在持续进化,后续将进一步在资源利用率、调度效率、业务接入速度和运维精细化等方向继续努力。
六、结束语
我们推出了OCR技术系列文章总共包括了《OCR技术之检测篇》、《OCR技术之识别篇》、《OCR技术之数据篇》、《OCR技术之系统篇》等4篇文章,希望通过这些文章能够与大家一同探讨OCR领域的一些技术与应用。在后续的工作中,团队也将继续在OCR领域深耕细作,不断前行,持续提升技术水平与服务质量,为OCR技术的发展贡献微薄之力。
-
?
如何利用TensorFlow.js部署简单的AI版「你画我猜」图像识别应用
斯特兰拉尔
展开
选自Medium,作者:Zaid Alyafeai,机器之心编译,参与:Geek AI、路。
本文创建了一个简单的工具来识别手绘图像,并且输出当前图像的名称。该应用无需安装任何额外的插件,可直接在浏览器上运行。作者使用谷歌 Colab 来训练模型,并使用 TensorFlow.js 将它部署到浏览器上。
代码和 demo
demo 地址:https://zaidalyafeai.github.io/sketcher/代码地址:https://github/zaidalyafeai/zaidalyafeai.github.io/tree/master/sketcher请通过以下链接在谷歌 Colab 上测试自己的 notebook:https://colab.research.google/github/zaidalyafeai/zaidalyafeai.github.io/blob/master/sketcher/Sketcher.ipynb
数据集
我们将使用卷积神经网络(CNN)来识别不同类型的手绘图像。这个卷积神经网络将在 Quick Draw 数据集(https://github/googlecreativelab/quickdraw-dataset)上接受训练。该数据集包含 345 个类别的大约 5 千万张手绘图像。
部分图像类别
流程
我们将使用 Keras 框架在谷歌 Colab 免费提供的 GPU 上训练模型,然后使用 TensorFlow.js 直接在浏览器上运行模型。我在 TensorFlow.js 上创建了一个教程(https://medium/tensorflow/a-gentle-introduction-to-tensorflow-js-dba2e5257702)。在继续下面的工作之前,请务必先阅读一下这个教程。下图为该项目的处理流程:
流程
在 Colab 上进行训练
谷歌 Colab 为我们提供了免费的 GPU 处理能力。你可以阅读下面的教程(https://medium/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d)了解如何创建 notebook 和开始进行 GPU 编程。
导入
我们将使用以 TensorFlow 作为后端、Keras 作为前端的编程框架
import os
import glob
import numpy as np
from tensorflow.keras import layers
from tensorflow import keras
import tensorflow as tf
加载数据
由于内存容量有限,我们不会使用所有类别的图像进行训练。我们仅使用数据集中的 100 个类别(https://raw.githubusercontent/zaidalyafeai/zaidalyafeai.github.io/master/sketcher/mini_classes.txt)。每个类别的数据可以在谷歌 Colab(https://console.cloud.google/storage/browser/quickdrawdataset/full/numpybitmap?pli=1)上以 NumPy 数组的形式获得,数组的大小为 [N, 784],其中 N 为某类图像的数量。我们首先下载这个数据集:
import urllib.request
def download():
base = 'https://storage.googleapis/quickdraw_dataset/full/numpy_bitmap/'
for c in classes:
cls_url = c.replace('_', '%20')
path = base+cls_url+'.npy'
print(path)
urllib.request.urlretrieve(path, 'data/'+c+'.npy')
由于内存限制,我们在这里将每类图像仅仅加载 5000 张。我们还将留出其中的 20% 作为测试数据。
def load_data(root, vfold_ratio=0.2, max_items_per_class= 5000 ):
all_files = glob.glob(os.path.join(root, '*.npy'))
#initialize variables
x = np.empty([0, 784])
y = np.empty([0])
class_names = []
#load a subset of the data to memory
for idx, file in enumerate(all_files):
data = np.load(file)
data = data[0: max_items_per_class, :]
labels = np.full(data.shape[0], idx)
x = np.concatenate((x, data), axis=0)
y = np.append(y, labels)
class_name, ext = os.path.splitext(os.path.basename(file))
class_names.append(class_name)
data = None
labels = None
#separate into training and testing
permutation = np.random.permutation(y.shape[0])
x = x[permutation, :]
y = y[permutation]
vfold_size = int(x.shape[0]/100*(vfold_ratio*100))
x_test = x[0:vfold_size, :]
y_test = y[0:vfold_size]
x_train = x[vfold_size:x.shape[0], :]
y_train = y[vfold_size:y.shape[0]]
return x_train, y_train, x_test, y_test, class_names
数据预处理
我们对数据进行预处理操作,为训练模型做准备。该模型将使用规模为 [N, 28, 28, 1] 的批处理,并且输出规模为 [N, 100] 的概率。
# Reshape and normalize
x_train = x_train.reshape(x_train.shape[0], image_size, image_size, 1).astype('float32')
x_test = x_test.reshape(x_test.shape[0], image_size, image_size, 1).astype('float32')
x_train /= 255.0
x_test /= 255.0
# Convert class vectors to class matrices
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)
创建模型
我们将创建一个简单的卷积神经网络。请注意,模型越简单、参数越少越好。实际上,我们将把模型转换到浏览器上然后再运行,并希望模型能在预测任务中快速运行。下面的模型包含 3 个卷积层和 2 个全连接层:
# Define model
model = keras.Sequential()
model.add(layers.Convolution2D(16, (3, 3),
padding='same',
input_shape=x_train.shape[1:], activation='relu'))
model.add(layers.MaxPooling2D(pool_size=(2, 2)))
model.add(layers.Convolution2D(32, (3, 3), padding='same', activation= 'relu'))
model.add(layers.MaxPooling2D(pool_size=(2, 2)))
model.add(layers.Convolution2D(64, (3, 3), padding='same', activation= 'relu'))
model.add(layers.MaxPooling2D(pool_size =(2,2)))
model.add(layers.Flatten())
model.add(layers.Dense(128, activation='relu'))
model.add(layers.Dense(100, activation='softmax'))
# Train model
adam = tf.train.AdamOptimizer()
modelpile(loss='categorical_crossentropy',
optimizer=adam,
metrics=['top_k_categorical_accuracy'])
print(model.summary())
拟合、验证及测试
在这之后我们对模型进行了 5 轮训练,将训练数据分成了 256 批输入模型,并且分离出 10% 作为验证集。
#fit the model
model.fit(x = x_train, y = y_train, validation_split=0.1, batch_size = 256, verbose=2, epochs=5)
#evaluate on unseen data
score = model.evaluate(x_test, y_test, verbose=0)
print('Test accuarcy: {:0.2f}%'.format(score[1] * 100))
训练结果如下图所示:
测试准确率达到了 92.20% 的 top 5 准确率。
准备 WEB 格式的模型
在我们得到满意的模型准确率后,我们将模型保存下来,以便进行下一步的转换。
model.save('keras.h5')
为转换安装 tensorflow.js:
!pip install tensorflowjs
接着我们对模型进行转换:
!mkdir model
!tensorflowjs_converter --input_format keras keras.h5 model/
这个步骤将创建一些权重文件和包含模型架构的 json 文件。
通过 zip 将模型进行压缩,以便将其下载到本地机器上:
!zip -r model.zip model
最后下载模型:
from google.colab import files
files.download('model.zip')
在浏览器上进行推断
本节中,我们将展示如何加载模型并且进行推断。假设我们有一个尺寸为 300*300 的画布。在这里,我们不会详细介绍函数接口,而是将重点放在 TensorFlow.js 的部分。
加载模型
为了使用 TensorFlow.js,我们首先使用下面的脚本:
你的本地机器上需要有一台运行中的服务器来托管权重文件。你可以在 GitHub 上创建一个 apache 服务器或者托管网页,就像我在我的项目中所做的那样(https://github/zaidalyafeai/zaidalyafeai.github.io/tree/master/sketcher)。
接着,通过下面的代码将模型加载到浏览器:
model = await tf.loadModel('model/model.json')
关键字 await 的意思是等待模型被浏览器加载。
预处理
在进行预测前,我们需要对数据进行预处理。首先从画布中获取图像数据:
//the minimum boudning box around the current drawing
const mbb = getMinBox()
//cacluate the dpi of the current window
const dpi = window.devicePixelRatio
//extract the image data
const imgData = canvas.contextContainer.getImageData(mbb.min.x * dpi, mbb.min.y * dpi,
(mbb.max.x - mbb.min.x) * dpi, (mbb.max.y - mbb.min.y) * dpi);
文章稍后将介绍 getMinBox()。dpi 变量被用于根据屏幕像素的密度对裁剪出的画布进行拉伸。
我们将画布当前的图像数据转化为一个张量,调整大小并进行归一化处理:
function preprocess(imgData)
{
return tf.tidy(()=>{
//convert the image data to a tensor
let tensor = tf.fromPixels(imgData, numChannels= 1)
//resize to 28 x 28
const resized = tf.image.resizeBilinear(tensor, [28, 28]).toFloat()
// Normalize the image
const offset = tf.scalar(255.0);
const normalized = tf.scalar(1.0).sub(resized.p(offset));
//We add a dimension to get a batch shape
const batched = normalized.expandDims(0)
return batched
})
}
我们使用 model.predict 进行预测,这将返回一个规模为「N, 100」的概率。
const pred = model.predict(preprocess(imgData)).dataSync()
我们可以使用简单的函数找到 top 5 概率。
提升准确率
请记住,我们的模型接受的输入数据是规模为 [N, 28, 28, 1] 的张量。我们绘图画布的尺寸为 300*300,这可能是两个手绘图像的大小,或者用户可以在上面绘制一个小图像。最好只裁剪包含当前手绘图像的方框。为了做到这一点,我们通过找到左上方和右下方的点来提取围绕图像的最小边界框。
//record the current drawing coordinates
function recordCoor(event)
{
//get current mouse coordinate
var pointer = canvas.getPointer(event.e);
var posX = pointer.x;
var posY = pointer.y;
//record the point if withing the canvas and the mouse is pressed
if(posX >=0 && posY >= 0 && mousePressed)
{
coords.push(pointer)
}
}
//get the best bounding box by finding the top left and bottom right cornders
function getMinBox(){
var coorX = coords.map(function(p) {return p.x});
var coorY = coords.map(function(p) {return p.y});
//find top left corner
var min_coords = {
x : Math.min.apply(null, coorX),
y : Math.min.apply(null, coorY)
}
//find right bottom corner
var max_coords = {
x : Math.max.apply(null, coorX),
y : Math.max.apply(null, coorY)
}
return {
min : min_coords,
max : max_coords
}
}
用手绘图像进行测试
下图显示了一些第一次绘制的图像以及准确率最高的类别。所有的手绘图像都是我用鼠标画的,用笔绘制的话应该会得到更高的准确率。
原文链接:https://medium/tensorflow/train-on-google-colab-and-run-on-the-browser-a-case-study-8a45f9b1474e
-
?
图谱科技:新一代的计算机视觉理解和人工智能引擎
曹紫菱
展开
21世纪是一个互联网时代,信息的传递和获取变得相当便利,我们随时随地可以通过互联网上传自己的动态,获取最新的资讯,软件打车、网购、教育、办公等。在社交方面已经将互联网体现的淋漓尽致,如YouTube、微信、微博、QQ等社交软件,随着流量的提速降费政策的实施,图片和视频等大流量数据已经成为人们记录生活、分享信息、传递知识的重要途径,也是大数据时代最主要的非结构化数据形态。
据2017年11月9日腾讯官方发布的《2017微信数据报告》指出,微信日登陆用户超9亿,日发送消息380一条,日发送语音61亿次,日发表到朋友圈的视频次数6800万次。当大量的图片和视频在互联网上流通时,存在很多违规的图片和视频需要我们整理、检索和分析,以前由于流量相对少,这些工作都是人工来完成的,现在这个数据已经庞大到只能用计算机来处理。
随着云计算、AI智能、数据挖掘、底层硬件等技术的发展和突破,计算机在视觉领域的拓展逐渐成熟起来,这也引导了一大批创业公司进入计算机视觉领域,已经有不少公司已经实现将视觉算法商业化应用。
图谱网络科技有限公司是一家基于深度学习技术解读图片和视频内容的人工智能科技公司,它创建并开放了各类图像识别能力的云服务平台,目前图谱云平台涵盖人脸识别、证件识别、黄暴识别、黄暴识别、图像风格等数十种图像识别接口,日均图像接口调用数亿次,累计处理图像超过1000亿。是一家较早将人工智能成功商业化落地的企业,在人工智能领域独树一帜。
AI智能图像识别大致包含以下几方面,图像内容审查:主要包括鉴黄、鉴暴、政治敏感、广告过滤、头像审核、直播监控等;人脸识别:主要应用于美艳特效、身份证、安防监控、人群分类等场景;物体及场景识别:包括各类物体、自然场景、服饰属性、车辆特征等。
传统的机器或软件识别存在很多的误判操作,比如仅通过皮肤占比率来识别裸体,当遇到近照或图片色彩和肤色特别接近时,就会出现误判。在商业模式下要求图像识别的准确率极高,这对图像识别技具有很大的挑战。图普科技具有优良的算法,比如:它可以将用户上传至云端的图片在识别后会对图片的在某个标签打分,根据预设的分值就可判断机器的判断的准确率。为了强调机器的可替代性,图谱科技采用了“分割”的方式,在鉴别过程中会将问题分割为“确定”和“疑问”,确定的部分识别精度达到99.5%,甚至超越了人工审核,疑问部分仅占总量的5%~15%,此时在进行人工审核,极大的降低了人工审核的工作量。
图普科技在国内与顶尖存储供应上七牛云以及国内的最大即时通信云服务商融云达成战略合作,为其平台上的数十万企业和开发者用户提供图像识别云服务。
(以上图片均来自网络,侵权请联系作者删除,谢谢!)
-
?
Web车牌识别中API接口的调用
习子
展开
Web Service车牌识别就是服务器版车牌OCR识别软件,属于后端识别,Web Service车牌识别软件目前支持Windows、Linux等主流服务器操作系统。
该软件可部署在私有服务器中(私有本地服务器或云服务器均可),APP和业务系统可通过web service接口调用该识别服务,设备端只负责拍摄图像后上传,上传到已部署Web Service车牌识别软件的服务器中进行识别,识别完成后再返回标准的XML数据。整个识别过程和我公司没有任何交互,均在企业自有的服务器上完成识别。
服务主要功能描述
识别服务API主要实现了以下功能:
1) 通过http协议post方法上传各种证件彩色图像文件(包括二代身份证正面,二代身份证背面,驾照、行驶证、银行卡、名片、车牌、人脸对比、护照、军官证、回乡证、港澳通行证、一代身份证等)通过http接口进行识别;
2) 将识别结果以XML或json格式返回给用户;
核验服务API主要实现了以下功能:
1) 通过http协议post方法上传指定参数和图片,通过http接口进行核验;
2) 将核验结果以XML或json格式返回给用户;
如需了解跟多信息请见账号某角落或【度娘搜索“车牌识别@赵硕”获取】;
-
?
解惑!卷积神经网络原来是这样实现图像识别的
吕乐天
展开
作者:Savaram Ravindra
来源:mindmajix
「机器人圈」编译:多啦A亮
图像识别是非常有趣和具有挑战性的研究领域。本文阐述了卷积神经网络用于图像识别的概念、应用和技术。
什么是图像识别,为什么要使用它?
在机器视觉领域,图像识别是指软件识别人物、场景、物体、动作和图像写入的能力。为了实现图像识别,计算机可以结合人工智能软件和摄像机使用机器视觉技术。
虽然人类和动物的大脑很容易识别物体,但计算机在相同的任务中却遇到了困难。当我们看着像树木、汽车或朋友的东西时,我们通常不需要有意识地去学习后才能判断它是什么。然而,对于计算机,识别任何东西(无论是钟、椅子、人类或动物)都是一个非常困难的问题,并且为该问题找到解决方案的风险非常高。
图片:CS231.github
图像识别是一种机器学习方法,其设计类似于人类大脑的功能。通过这种方法,计算机可以识别图像中的视觉元素。通过依靠大型数据库和注意显露模式(emerging patterns),计算机可以理解图像,并制定相关的标签和类别。
图像识别的流行应用
图像识别有各种应用。其中最常见和最受欢迎的是个人图片管理。照片管理应用程序的用户体验正在通过图像识别变得越来越好。除了提供照片存储,应用程序还要进一步向人们提供更好的发现和搜索功能。他们可以通过机器学习提供的自动图像组织的功能来实现。集成在应用中的图像识别应用编程接口根据识别的图案对图像进行分类,并将它们进行主题分组。
图像识别的其他应用包括全景图库和视频网站、互动营销和创意活动、社交网络上的面部和图像识别以及具有巨大视觉数据库的网站的图像分类。
图像识别是一项艰巨的任务
图像识别不是一件容易的事情。实现它的一个好方法是,将元数据应用于非结构化数据。聘请人类专家手动标注音乐和电影库可能是一项艰巨的任务,但是当涉及无人驾驶汽车的导航系统,如将道路上的行人与各种其他车辆区分开来或过滤,分类或标记每天在社交媒体上显示的用户上传的数百万个视频和照片等挑战时,将变得遥不可及。
解决这个问题的一个方法是利用神经网络。我们可以利用传统的神经网络在理论上分析图像,但在实践中,从计算的角度来说,成本将是非常昂贵的。例如,一个普通的试图处理小图像的神经网络(让它变为30 * 30像素)仍然需要50万个参数和900个输入。一个功能强大的机器可以处理这一点,但是,一旦图像变得更大(例如达到500 * 500像素),则需要的参数和输入数量就会增加到非常高的水平。
与图像识别神经网络的应用相关的另一个问题是过度拟合。简单来说,过度拟合发生在模型裁剪本身与其已经被训练的数据非常接近的时候。一般来说,这将导致附加参数(进一步增加计算成本)和模型对新数据的暴露导致一般性能下降。
卷积神经网络
卷积神经网络架构模型
就神经网络的结构而言,一个相对简单的变化可以使更大的图像更易于管理。结果就是我们所说的CNN或ConvNets(卷积神经网络)。
神经网络的一般适用性是其优点之一,但是这种优势在处理图像时变成了一种妨碍。卷积神经网络进行有意思的权衡:如果一个网络是专门为处理图像而设计的,那么为了更可行的解决方案,必须牺牲一些一般性。
如果你考虑任何图像,接近度与其中的相似性具有很强的相关性,并且卷积神经网络明确利用了这一事实。这意味着在给定图像中,彼此更接近的两个像素更可能与彼此分开的两个像素相关。然而,在一般的神经网络中,每个像素都都与每一个神经元相连。增加的计算负荷使得网络在这种情况下不太准确。
通过停止很多这些不太重要的连接,卷积解决了这个问题。在技术术语中,卷积神经网络使得图像处理可以通过邻近度对连接进行滤波而计算可管理。在给定层中,卷积神经网络不是将每个输入连接到每个神经元,而是有意限制了连接,使得任何一个神经元仅从它之前的层的小部分接受输入(例如5 * 5或3 * 3像素)。因此,每个神经元只负责处理图像的某一部分(顺便说一句,这几乎是个体皮质神经元在大脑中的作用,每个神经元只对整个视野的一小部分起反应)。
卷积神经网络的工作过程
图片:deeplearning4j
在上图中从左到右,你可以观察到:
·对特征进行扫描的真实输入图像。通过它的过滤器是光矩形。
·激活映射被安排在一个堆栈的顶部,另一个用于你使用的每个筛选器。较大的矩形为要进行下采样的1补丁。
·激活图通过下采样进行压缩。
·通过将过滤器通过堆栈进行下采样生成的一组新的激活映射。
·第二次下采样——将第二组激活图压缩。
·完全连接层,每个节点指定1个标签的输出。
CNN如何通过滤临近连接?秘密是添加了两种新的层:池化和卷积层。我们将以下述方式分解这个过程:使用一个被用于某种用途的,比如说,确定一张图片中是否包含祖父。
该过程的第一步是卷积层,其本身又包含几个步骤。
·首先,我们将把祖父的图片分解成一系列重叠的3 * 3像素的拼图。
·之后,我们将通过一个简单的单层神经网络来运行这些拼图,权重保持不变。将瓷砖排列组合,当我们保持每个图像尺寸是小的(在这种情况下为3 * 3)时,神经网络需要处理它们保证可控与小型化。
·然后,将以数字表示照片中每个区域的内容的数组进行输出值排列,其中坐标轴表示颜色,宽度和高度。所以,对于每个拼图,在这种情况下,我们将有一个3 * 3 * 3的表示。(如果我们谈论祖父的视频的话,我们会抛出第四个维度——时间)。
·下一步是池化层。它采用这些3或4维阵列,并与空间维度一起应用下采样功能。结果是一个池数组,其中仅包含重要的图像部分,同时丢弃剩余部分,这最大限度地减少了需要完成的计算量,同时也避免了过度拟合问题。
采用下采样阵列作为常规全连接神经网络的输入。由于使用池和卷积,输入的大小已经大大降低了,所以我们现在必须拥有普通网络能够处理的一些东西,同时保留最重要的数据部分。最后一步的输出将代表系统对于祖父图片的确信度。
在现实生活中,CNN的工作过程错综复杂,涉及许多隐藏、池化和卷积层。除此之外,真正的CNN通常涉及数百或数千个标签,而不仅仅是单一标签。
如何构建卷积神经网络?
从零开始构建CNN可能是一项昂贵而耗时的工作。话虽如此,人们最近开发了一些API,旨在使不同组织能够收集不同的见解,而无需自己研究机器学习或计算机视觉专业知识。
谷歌 Cloud Vision
GoogleCloud Vision是谷歌的视觉识别API,并使用REST API。它基于开源的TensorFlow框架。它检测单个面部和物体,并包含一个相当全面的标签集。
IBM沃森视觉识别
IBM沃森视觉识别是沃森开发者云(Watson Developer Cloud)的一部分,并附带了一大批内置的类别,但实际上是为根据你提供的图像来训练自定义定制类而构建的。它还支持一些很棒的功能,包括NSFW和OCR检测,如Google Cloud Vision。
Clarif.ai
Clarif.ai是一个新兴的图像识别服务,也使用REST API。关于Clarif.ai的一个有趣的方面是它附带了一些模块,有助于将其算法定制到特定主题,如食物、旅行和婚礼。
尽管上述API适用于少数一般应用程序,但你可能仍然需要为特定任务开发自定义解决方案。幸运的是,许多库可以通过处理优化和计算方面来使开发人员和数据科学家的生活变得更加容易,从而使他们专注于训练模型。有许多库,包括Theano、Torch、DeepLearning4J和TensorFlow已经成功应用于各种应用。
卷积神经网络的有趣应用
自动将声音添加到无声电影
为了匹配无声视频,系统必须在此任务中合成声音。该系统使用千个视频示例进行训练,用鼓棒击打不同的表面,产生不同的声音。深度学习模型将视频帧与预录音的数据库相关联,以选择与场景中发生的完全匹配的声音。然后系统将借助于类似于图灵测试的设置进行评估,人们必须确定哪个视频具有假(合成)或真实的声音。这是卷积神经网络和LSTM循环神经网络中非常酷的应用。在这里查看视频
-
?
身份证图像识别API接口
怡然
展开
(证件摄影辨认)近几年,随时移动的互联的发展及OCR技能的不断老练,移动端OCR辨认技能随处可见,经过手机摄影辨认身份证、行驶证、驾驶证、银行卡、手刺、各种单据等等。证件摄影辨认OCR引擎可以在安卓(android)、苹果(iOS)、Win8上高效运行,代码统一性保证了在各个渠道使用作用的一致性,满足使用程序多渠道支撑的需求。文通移动OCR引擎可以做到和PC端一样的辨认作用,相比较而言,移动OCR技能具有更优化、紧凑的代码和更小的软件体积。
证件作为承认个人身份信息的重要凭据,在各个行业都需求对身份证进行辨认,如航空、银行、信用社、保险、电信等部分单位处理手续或证件时,常需求身份证件,但事务人员手艺录入速度慢、工作功率太低是一大亟需处理的疑问,通常要先经过扫描或摄影,来获取身份证上面的头像,然后再手艺填写用户的身份信息,整个流程下来非常费事,且花费大量时刻。
软件主要是选用传统的OCR(即光学字符辨认技能)辨认技能开发,对图画、文字信息进行剖析和处理,该软件既可将身份证信息完好的提出,还可把头像同时抠取出来。
证件摄影辨认软件支撑身份证头像获取,经过该软件即可迅速完成对身份证图画的辨认,到达人证合一;另一方面,它可以将辨认后所获取的图片信息以及文字信息,精确地传送到指定的事务体系进行保存与处理,对事务人员迅速高效的处理有关事务有着积极的含义。
证件摄影辨认的支撑多个渠道(Windows/Linux/Android/IOS及嵌入式渠道)。