中企动力 > 商学院 > 文字检测识别
  • ?

    三款好用的OCR文字识别软件,绝对是良心推荐

    Jiang

    展开

    我们在工作中经常需要将图片转换成文本文字,或者是将扫描文件转换成可编辑的文档。其实扫描软件有很多,今天小编就给大家简单分享几款吧!

    扫描全能王

    CamScanner(扫描全能王),将智能手机变成随身携带的扫描仪。方便快捷地记录管理您的各种文档,收据,笔记和白板讨论等。并通过智慧精准的图像裁剪和图像增强演算法,保证您扫描的内容清晰可读。主要拥有高清扫描、智能管理批注、图片搜索、文档协同分享、云同步等特色功能。

    ABBYY FineReader 12.0

    ABBYY FineReader12是一款功能强大的OCR文字识别软件,它可以从图片上识别文件或表格,识别率非常高,对于英文的识别可以说是高达99%,而汉字的识别也在99%。与同类软件相比,具有识别速度快、支持语言最多等特点,识别后能够自动检查并调整识别结果,软件的操作界面非常直观,使用起来也比较上手。

    捷速OCR文字识别软件

    精准识别文字信息:软件采用先进的OCR识别技术,高达99%的识别精度,轻松实现文档数字化。

    完美还原文档格式:软件可一键读取文档,完美还原文档的逻辑结构和格式,无需重新录入和排版。

    自动解析图文版面:软件对图文混排的文档具有自动分析功能,将文字区域划分出来后自动进行识别。

    以上三款ocr文字识别软件都是比较好用的软件,可以一一进行尝试。

  • ?

    OCR文字识别技术——智能识别领域中的戏精

    干翠曼

    展开

    俗话说:人生如戏,全靠演技。不仅生活中有许多戏精,在人工智能领域,恰恰也有这么个戏精。作为人工智能的重要部分,OCR识别技术,在应用过程中也是分分钟为自己加戏。

    文字识别是OCR技术的核心,通过对图像进行扫描、输入、预处理、矫正、去噪、版面分析、字符切割、字符识别、后处理、校对等几十道工序,从而输出准确、易用、可行的识别结果。每一个OCR识别过程看似简单,却经历了一系列的算法处理。作为最贴近生活的识别技术,其技术的成熟度和完善度,直接关系到使用时的体验感受。

    “智能的终极目标不是制造更聪明的产品,

    而是让产品拥有暖人的温度”

    易泊时代OCR识别技术,识别精准性、高效性只是外在,其深厚技术底蕴才是核心实力。站在行业前端,时刻以用户需求为出发点,切实解决用户痛点,为其创造更多价值。易泊时代OCR识别,以文字识别为基准,衍生出更加多样化、人性化的识别应用。所谓“科技留温”,大抵是在应用产品的时候,解决实际问题,用完产品之后,加深了对品牌内涵的认同与理解。

    “创新不是刻意追求新颖,

    而是懂得如何更好的解决您的需求”

    文字识别,是所有衍生识别应用的根基,依托强大的研发团队和数十载技术积累,专为智能化而生。无论是资料检索、文字检测,还是内容监管、视频内容分析等,基于业界领先的OCR识别技术,能为您提供多场景、多语言、高精度的图文检测识别服务。其中中文、英文、日文、阿拉伯文的识别精准性,在业内有着较高的知名度。

    创新是时刻紧跟潮流,站在行业至高点,如此才能洞悉用户需求,为其提供准确、完整的解决方案。为创新注入更多生命力,是对技术的不断专注探索和完善。

    “专注需要一往无前的热情,

    但更需要的是十年磨一剑的锋芒”

    世界很大,以点带面,科技的力量可以无限。从文字识别到车牌识别、身份证识别、银行卡识别、护照识别、发票识别、名片识别等,每一个细分应用只为解决更具体的识别需求。用领先的算法,做最简单的应用,使得识别过程集成方便、轻松上手。

    如今,易泊时代OCR识别核心,在政府、金融、银行、保险、汽车、交通、社区、旅游、电信等许多行业中都有着广泛的应用,并获得顾客一致好评。

    作者:龚宪文,百度搜索“易泊龚宪文”获取更多信息/免费集成测试

    文章来源:http://eparkingxw/nd.jsp?id=32#_np=2_392

  • ?

    全球OCR文字识别测试最新结果公布:中国军团霸屏

    往昔

    展开

    【环球网科技 记者 樊俊卿】近年来,自然场景下的文字识别(OCR)引起了计算机视觉和机器学习界的极大关注。在照片翻译和图像内容识别等许多基于内容的图像应用推动下,它已成为学术界和工业界一个充满希望和挑战的研究领域。

    11月20日,有OCR领域奥斯卡之称的国际文档分析与识别大会(ICDAR)数据集最新结果公布,中国高校及企业包揽排行榜前五。中国人工智能“国家队”云从科技提出的Pixel-Anchor框架在多个ICDAR测试子集(ICDAR2015以及ICDAR2017 MLT)上均获得了第一名的好成绩,特别是在东亚语言(包括中文)部分表现亮眼。

    ICDAR2015数据集前五名及框架名称分别是:云从科技(Pixel-Anchor)、南京大学与南京理工大学(PSENet)、旷视科技(Mask Text)、商汤科技(FOTS)、阿里巴巴(IncepText)。

    ICDAR2017 MLT数据集前五名及框架名称分别是云从科技(Pixel-Anchor)、阿里巴巴(ATL-cangjie)、商汤科技(FOTS、旷视科技(EAST++)、南京大学(PSENet_NJU)。

    国际文档分析与识别大会(ICDAR)专注于文本领域的识别与应用,自2003年大会设立“Robust Reading Competitions”以来,该竞赛就成了评测和检验自然场景/网络图片/复杂视频文本自动提取与智能识别最新技术研究进展的最为重要的国际赛事及标准,竞赛中的诸多方法对OCR技术的发展具有强大推动力。高技术难度、强大实际应用性,也使该盛会受到科研院校、科技公司等的关注,至今已有全球89个国家的3500多支队伍参与。

    截至目前,全球顶级的高校、科研机构及企业都参加过这项测试,包括Google、Microsoft、Amazon、Facebook,以及中国的腾讯、搜狗、北京大学、中国科学技术大学等。

    云从科技、阿里巴巴、南京大学、南京理工大学、商汤科技、旷视科技在榜单中体现出良好的成绩,表明中国继续在国际上引领OCR领域的研究。

    计算机视觉基础技术应用前景广泛

    OCR(Optical Character Recognition)是指对输入图像进行分析识别处理,获取图像中文字信息的过程,具有广泛的应用场景。而自然场景中的OCR 技术不需要针对特殊场景进行定制,可以识别任意场景图片中的文字。

    和面对高质量文档图像的传统OCR相比,自然场景OCR跳出了对输入图像的质量和场景束缚,能够在更宽泛的领域中获取应用,引起了学术界以及工业界的极大关注。

    但相较于传统OCR,自然场景OCR中的各种商品、布景或自然场景图片中的文本检测与识别面临着复杂背景干扰、文字的模糊与退化、不可预测的光照、字体的多样性、垂直文本、倾斜文本等众多挑战。

    OCR是计算机视觉领域的经典问题,长久以来,一直受到学术界和工业界的持续关注。在工业界,Google、Microsoft、Amazon等大型互联网公司,以及云从科技等人工智能创业公司,都在OCR技术上耕耘多年。随着技术不断成熟,OCR也开始在互联网及其他行业逐步上线使用,应用范围也从文档识别扩展到车牌识别,图片广告过滤,场景理解,商品识别,街景定位,票据识别等广泛的领域。

    据悉,目前Pixel-Anchor框架已在云从科技的证件票据识别系统和图片广告过滤系统中上线,每天处理图片近千万张,自动反馈疑似违规图片准确率达96%以上;同时将证件处理和图文审核风险发现时间从“小时”降低到“秒”级。数据显示,2018年云从科技累计处理25亿证件数据、屏蔽400万条恶意推广,有效提高业务流程效率及净化营销环境。

    除OCR以外,包含人体姿态、跨镜追踪、车辆结构化、语音识别等智能感知的核心技术闭环已经在云从科技内部获得建立,比如安防大数据系统与智能商业运营平台应用“跨镜追踪(ReID)”技术,无需人脸也可以追踪目标。“逃犯克星”张学友的部分成果,就有“跨镜追踪”技术的参与。另外,云从科技也在浸入式大数据风控系统、AI-IoT物联网应用等场景中引入了智能感知技术。

  • ?

    OCR识别相关技术原理

    宣天德

    展开

    喜欢就关注【港口大数据观察】

    导语:如果说算法和数据是跑车的发动机和汽油,那么系统则是变速箱,稳定而灵活的变速箱,是图像识别服务向前推进的基础。算法、数据、系统三位一体,随着算法的快速发展和数据的日益积累,系统也在高效而稳定地升级。

    一、背景介绍

    前面的系列文章分别介绍了算法和数据,如果说算法和数据是跑车的发动机和汽油,那么系统则是变速箱,稳定而灵活的变速箱,是图像识别服务向前推进的基础。算法、数据、系统三位一体,组合成完整的OCR在线服务。伴随着算法的升级和业务的持续接入,系统也经历了从单机版升级到分布式版本;从为了每个算法定制系统模块,到分离框架和算法逻辑,提高算法的运行效率和模块的可重用性;从单一的运行环境,升级到CPU/GPU异构并行。除了一般分布式系统所需要提供的功能,我们还结合算法和运维特性,增加了单点热更新和集群快照等特性。

    二、我们面临的挑战

    图像识别服务框架作为一个提供在线服务的系统,既面临一般的业务系统或平台所面临的挑战,也面临作为算法系统,需要支撑复杂算法和业务的挑战,主要表现在以下几点:

    1.高性能与高可靠

    任何在线系统都面临性能和可靠性的挑战。在我们系统中,图像识别服务作为在线服务,需要能够迅速响应并返回,并且不管在框架层还是算法层,都要保证高可用性。

    2.系统解耦&高可扩展性

    作为一个分布式的算法系统,算法模块与框架的解耦,可以使算法与后台人员更高效的同步开发,分别对算法与框架进行更新迭代。而高可扩展性,既要求框架在集群上支持资源可扩展,又要求做到单机算法的迅速接入与替换。

    3.复杂业务与算法的支撑

    随着业务的持续接入和算法的复杂化,需要在框架层灵活的支撑算法,高效的算法模块重用以及迅速适配新算法并接入新业务。

    4.不同运行环境的支持

    算法系统,尤其是图像识别算法系统,运行环境包括CPU与GPU,框架除了要支持不同环境的高效运行,也要支持不同环节运行在不同硬件环境,以保证资源合理高效的使用。

    三、我们的解决方案

    图像识别从算法研究、模型训练到规模化的提供服务,需要处理的流程比较多,我们将开发阶段主要分为如下两个阶段:

    算法研究&模型训练:

    算法人员进行算法研究、模型训练,以及业务对接。算法无需关心框架以及系统的调度,只需输出单个模块的算法SO和训练好的模型文件。

    框架开发&算法集成:

    后台开发人员进行服务框架的开发及算法SO的集成运行,即把算法研究人员研究好的算法及模型文件集成到服务框架中,提供稳定的在线图像识别服务。

    接下来将重点介绍系统的设计和实现。

    四、图像识别服务框架

    4.1 系统架构

    框架层使用Java编码,算法层采用插件化设计,可以加载jar包、so或者其他脚本,这是一个多语言的混编系统。图像识别算法一般都是计算密集型,并且一部分需要运行在GPU上,所以在算法层,我们使用CUDA C++编写so,使用JNI挂载so进行算法的执行和调度。如图1,架构上主要分为三层:接入层、框架层、算法层,再加上评测系统、存储系统、监控告警系统、日志系统等周边系统构成一套完整的图像识别服务系统。

    图1 图像识别服务框架系统构架图

    接入层:包括协议转换、参数输配和结果适配等

    框架层:图像识别服务运行的系统框架,加载运行算法SO,提供稳定的识别服务,包括

    Master:接收接入层的请求,进行请求拆分、请求调度、结果合并等Worker:实际执行算法的进程载体,主要包含算法SO/模型的加载、更新,进行算法的执行Zookeeper:存储worker心跳信息、算法映射关系、算法执行计划、算法静态/动态快照信息等ConfigServer:监听worker心跳并实时更新动态动态路由表,触发master更新路由规则及连接池算法层:算法人员提供各种算法模型及算法so

    周边系统

    评测系统:提供版本评测功能存储系统:非敏感图片及badcase存储监控告警:监控服务的运行状态,在异常时进行告警日志系统:请求日志的存储,为问题的跟踪排查提供依据框架运行时4.2 系统运行态

    本节将结合实际的OCR预测请求剖析框架的运行态。

    1) 一个OCR识别实例

    如图2,我们以STR(Scene Text Recognition,场景文字识别)为例,一个典型的使用场景为广告图片素材理解。在任务中,我们将识别图片中文字,并给出具体坐标。

    图2 一个OCR识别实例

    2) 系统运行态

    如图3,我们详细剖析上述实例在框架中的运行过程

    图3 系统运行态

    1. 业务侧的请求携带图片内容(或图片URL)、bid(标识不同的业务)及tid(标识不同算法大类)。

    2. 在master节点找到对应的算法,然后找到相应执行计划,执行计划中定义了算法的执行步骤;根据各个步骤找到相应的路由节点,master将请求拆分/打包/路由到相应的worker

    3. master将原始图片路由分发到检测子系统。检测过程运行在GPU上,算法so检测出模块中各个图片框(如图2中的“京东”、“内外真皮”等),切分好之后将结果返回给master

    4. master将检测结果拆分,并行分发到识别子系统。识别过程运行在GPU上,算法so将识别出单个图片框的文字,分别返回给master

    5. master将识别结果汇总,一起发送到重排序子系统。重排序子系统运行在CPU上,算法so将结果返回给master

    6. master将最终结果封装并返回

    每个模块在整个过程中的作用为:

    算法映射:由bid+tid映射到一个具体的子算法。相同的tid与不同的bid组合,可以支持不同业务对同类算法的定制执行计划:定义算法的执行步骤,比如图中STR图片文字识别,包含三个步骤:检测、识别和重排序动态快照:即动态路由表,定义了算法每个阶段映射到的具体节点。worker上报心跳,由ConfigServer整理生成动态路由表,由Master节点监听路由表的变更4.3 容灾与集群热更新

    热更新能力是一个系统提供可靠和稳定服务的基础功能,即可以保证系统的无损升级,又可以保障系统的容灾能力。如图4,系统主要借助zookeeper和worker的心跳机制实现集群热更新。

    图4 集群热更新

    Worker:在启动的时候与zookeeper建立临时节点维持心跳信息Configserver:监听worker在zookeeper的心跳信息,如果worker断连或重连,configserver立刻感知到并修改动态快照Master:监听zookeeper上的动态快照信息,动态快照变更立刻触发路由规则及路由连接池的更新通过这几个角色的配合,在worker节点出现异常的情况下,master迅速就完成了切换,保证了系统的稳定。这种机制也支持了集群的热更新,在需要对某个worker进行更新时,先对worker进行下线,master感知后不向此worker发请求,完成更新启动后,master再跟其重新建立连接并发送请求。

    4.4 单点热更新

    单点热更新,指的是在不重启服务的前提下,对进程内单个或多个模块进行替换升级。与其他业务系统不一样的,在算法平台下,考虑以下两种场景:

    1) 一个进程内加载了多个算法SO,需要对其中一个算法模块进行更新;

    2) 算法链上串行多个模块,需要对其中一个模块进行实验或更新。

    这两种场景下,使用集群热更新或者对进程进行重启,就有点重了,所以我们实现了一套进程内单个so的动态更新方案。通过Java代码是无法直接实现SO的动态加载的,如图4,我们引入了代理so,通过在代理so进行(dlopen,dlsym和dlclose)操作,从而达到动态加载SO的目的。同时在代理so中,我们封装了所有JNI转换和算法需要使用的接口,很好的进行了框架和算法的解耦。除了so的动态加载,我们还实现了模型的动态加载。

    图5 单点热更新

    4.5 静态快照

    通常在分布式框架中,是不需要静态快照的。但在算法系统中,我们通常需要频繁上下线一批so,而这些so会分布在不同机器不同节点上。虽然简单的通过上传/删除服务器上的本地so文件,可以触发相关进程的动态加载/卸载,但这种操作繁复,在算法复杂,一个进程加载了很多so的时候,操作容易出错。所以,这里我们需要在运维上对系统进行优化,提高系统可运维性。

    如图5,我们在动态快照的同时还引入了静态快照,静态快照由运维通过脚本或配置文件写入静态路由表,将一个集群的预期初始状态配置到zookeeper上。ConfigServer整理静态快照和worker上报的心跳信息,生成最终的动态快照。

    图6 静态快照

    这种动静态快照结合的集群快照机制相比只有动态快照在运维上会稍微复杂,但可以通过运维工具降低复杂度。动静态集群快照机制优势也很明显,第一、在复杂算法下,不容易出错;第二、可以在动态快照之余快速上下线一些算法或者更改算法流程。

    五、框架的一些思考

    我们成功地将Java与CUDA C++混编系统作为图像识别服务框架,并且支撑了众多业务。成熟稳定的框架,可以解放更多的人力用于算法开发和业务接入。依托于Java成熟的开源工具,可以迅速开发出框架和进行维护,使用Java作为框架调度层和网络层,对比传统C++框架并没有性能差异;而使用CUDA C++编写SO的方式,可以更好的适配GPU环境和深度学习框架,更高效地利用机器计算资源。当然,我们的系统还在持续进化,后续将进一步在资源利用率、调度效率、业务接入速度和运维精细化等方向继续努力。

    六、结束语

    我们推出了OCR技术系列文章总共包括了《OCR技术之检测篇》、《OCR技术之识别篇》、《OCR技术之数据篇》、《OCR技术之系统篇》等4篇文章,希望通过这些文章能够与大家一同探讨OCR领域的一些技术与应用。在后续的工作中,团队也将继续在OCR领域深耕细作,不断前行,持续提升技术水平与服务质量,为OCR技术的发展贡献微薄之力。

  • ?

    拍照识别文字的软件有哪些

    瓦蓝

    展开

    如果我们不在公司又接到工作任务需要我们使用Word文档,但是身边又没有电脑怎么办呢,这时候就需要一些能拍照识别文字的软件了,下面我们就一起来看看。

    1、拍照识别文字软件

    拍照识别文字的软件

    识别率最高的文档识别工具:纸质文档识别后可以把它们变成可编辑的Txt文本文件。在进行同步后,还能实现手机、电脑等多终端操作

    最好用的文档管理办公工具:扫描识别的文件,可以美化生成PDF,并可以轻松分享到QQ、微信等社交应用中

    2、图片文字识别

    拍照识别文字的软件

    一个小巧简单的文字识别工具,需要联网,支持各国语言的识别,适合经常需要做方案的机友。一个小巧简单的文字识别工具,需要联网,支持各国语言的识别,适合经常需要做方案的机友。

    3、apus文字识别

    拍照识别文字的软件

    Apus文字识别是自然场景OCR服务,依托业界领先的OCR算法,提供了整图文字检测、识别、整图文字识别、整图文字行定位和单字图像识别等功能,识别支持常用的图片格式,可以试试哦。

  • ?

    旷视科技 CSG 算法负责人姚聪:深度学习时代的文字检测与识别技术 | AI 研习社 103 期大讲堂

    梦思念

    展开

    雷锋网 AI 研习社按:随着深度学习的兴起和发展,计算机视觉领域发生了极大的变化。作为计算机视觉中一个重要的研究课题,场景文字检测和识别也无法避免地被这股浪潮席卷,一起进入了深度学习的时代。近年来,这个问题的研究者们都共同见证了思维、方法和性能方面的巨大变化,本次公开课的嘉宾将与大家分享相关内容。

    分享嘉宾:

    姚聪,于华中科技大学电信学院获得学士和博士学位,其主要研究方向为自然场景文字检测和识别。在国际重要期刊IEEE TPAMI, IEEE TIP以及顶级会议CVPR、ICCV和ECCV等上发表论文十余篇。目前在旷视科技(Face++)担任云服务业务算法负责人,主持自然场景OCR、人脸活体检测等技术的研发工作,为FaceID互联网身份验证服务、Face++开放平台等提供算法支持。

    公开课回放地址:http://mooc.ai/open/course/605

    分享主题:深度学习时代的文字检测与识别技术

    分享提纲:

    背景与概述场景文字检测与识别的近期进展未来趋势与潜在方向典型应用雷锋网 AI 研习社将其分享内容整理如下:

    背景与概述

    视觉识别中,文字为什么如此重要?有两个原因,分别是作为载体的文字和作为线索的文字。

    ▊文字作为载体

    首先,文字并非自然产生,而是人类的创造物,天生包含着丰富而准确的高层语义信息,传达人类的思想和情感,这是一般的图像或者视频信息很难直接描述的,但是文字可以做到。比如《史记》,通过它可以了解两千年前的某个历史事件相关的人物、时间和地点。

    ▊文字作为线索

    其次,文字是视觉识别的重要线索。如上所示,这是一张街景图像,有建筑物,有植物;如果进一步提问,图像拍摄地点是哪儿,光靠以上信息无从得知,而移除中间的灰色掩膜,会发现这是「中关村广场购物中心」。借助文字信息可以精确获知图像的拍摄地点。由此可知,文字与其他视觉线索(边缘、颜色、纹理等)有着非常强的互补作用,通过文字检测和识别,可以获得更丰富、准确的信息。

    ▊定义

    那么,从研究角度讲,如何界定文字检测与识别问题呢?

    简单来讲,文字检测是指通过算法计算判断自然场景中在单词或者文字行层面是否含有文字实例(如果有,则标出位置)的过程。

    文字识别则更进一步,它在文字检测基础之上把文字区域转化为计算机可读取和编辑的符号的过程。

    ▊挑战

    目前,文字检测与识别面临诸多挑战。首先,它与传统 OCR(光学字符识别)有所区别,因自然场景之中文字变化非常之多,如下所示,左边是一张典型的扫描文档图像,右边则是自然场景中采集的多张图像。

    通过对比可以发现,左图的背景非常干净,右图的背景非常杂乱;左边字体非常规整,右边则千变万化 ;左边布局较为平整统一,右边则多元复杂,缺乏规范;左边颜色单调,右边颜色种类繁多。

    总体而言,文字检测与识别存在三个方面的重大挑战:

    1)场景文字的多样性。如文字的颜色、大小、方向、语言、字体等。

    2)图像背景的干扰。日常生活中随处可见的信号灯、指示标、栅栏、屋顶、窗户、砖块、花草等局部来看和文字有一定相似性,这为文字检测与识别过程带来很大干扰。

    3)第三个挑战来自图像本身的成像过程。比如拍照包含文字的图像存在噪声、模糊、非均匀光照(强反光、阴影)、低分辨率、局部遮挡等问题,对算法的检测和识别也是是非常大的挑战。

    场景文字检测与识别的近期进展

    正是由于存在上述多个挑战,研究者尝试从各种角度解决上述问题。这次探讨的主题是深度学习时代文字检测与识别领域的最新进展。这些进展被分成 5 个类别:

    从语义分割和目标检测方法中汲取灵感更简化的 Pipeline处理任意形态文字使用 Attention使用合成数据。▊第一个分类:从语义分割和目标检测方法中汲取灵感

    自然场景文字检测与识别技术从语义分割和目标检测方法中汲取灵感而产生的代表性工作主要有:

    Holistic Multi-Channel PredictionTextBoxesRotation ProposalsCorner Localization and Region Segmentation。深度学习方法相较于相较于传统方法而言,会从通用物体语义分割和目标检测算法中汲取灵感。比如科旷视科技 2015 年有一个工作,称之为 Holistic Multi-Channel Prediction。

    区别于传统文字检测方法,Holistic Multi-Channel Prediction 把文字检测问题转变为一个语义分割问题,通过对全图进行语义分割来获取文字区域,如上所示,左边为原图,右边为已预测的掩膜图,文字区域高亮,背景区域则被抑制。

    Holistic Multi-Channel Prediction 的输入并非局部区域,而是整张图像;另外,无论从概念还是功能上来讲,该方法皆区别于滑窗或者连通分量方法。

    具体来讲,Holistic Multi-Channel Prediction 会输出全局的三种像素级预测,包括图像区域、字符位置和相邻字符间的连接方向。通过这三种信息,输出最右边的结果图,如红色矩形部分所示。这一方法的好处是可以同时处理水平、多方向、弯曲文字。

    另一种方法是 TextBoxes,它受到单步的通用物体检测器 SSD 启发,其本质是把文字作为一种特殊的目标,通过 SSD 对其进行建模。这里的基础模型是 VGG-16,卷积层输出目标文字是否存在以及长宽、大小、方向等信息,同时取得了很高的精度及效率。

    目标检测领域还存在两步的检测器,比如 Faster R-CNN。第三种文字检测方法称之为 Rotation Proposals,它属于两步检测的范畴,主要借鉴了 Faster R-CNN,在框架保持一致之时,又有所修改,以更好地检测场景文字,这是因为文字和通用目标有所区别,比如有剧烈的长宽比变化、旋转方向。

    Rotation Proposals 主要做两件事:第一是拓展锚点,增加方向,改变长宽比变化;第二是 RRoI 池化层,处理各种旋转情况,分离出规整的特征图,方便后续操作。

    旷视科技 CVPR 2018 收录论文《Multi-Oriented Scene Text Detection via Corner Localization and Region Segmentation》提出了一种复合的文字检测方法——Corner Localization and Region Segmentation(角点检测和区域分割),它最大亮点是综合利用目标分割与语义分割两种方法。

    为什么提出这种方法?这源于实际场景文字实例有时相邻较近甚至粘连,分割和检测变得无济于事。这时通过两个分支进行处理,一个分支定位文字区域的角点,另一个分支进行文字区域分割,结合这两种信息文字输出文字位置和置信度。

    如上所示,Corner Localization and Region Segmentation 基础模型是 VGG-16,其上添加大量的卷积层,以提取特征,再往上是两个分支:

    角点检测分支通过 SSD 定位角点,通过网络提取角点,最终得到角点位置;文字区域分割分支则利用基于 R-FCN 的位置敏感分割,生成不同相对位置的分割图,得到更准确的文字检测结果。▊第二个分类:更简化的 Pipeline

    深度学习时代,几乎所有的文字检测与识别方法都会使用更加简化、更加高效的 Pipelines。这是要分享的第二个类方法,其代表性工作是 EAST。

    旷视科技在 CVPR 2017 收录论文《EAST:An Efcient and Accurate Scene Text Detector》提出一种高度简化的 Pipeline 结构。如上图所示,最左侧是输入图像,最右侧是算法输出结果,中间则是处理步骤,EAST(最下面)把 Pipeline 精简为中间两步,其中一步是通过多通道 FCN 进行几何信息预测以及前景、背景预测;另外一步是 NMS,最终得到多方向文字检测结果。

    那么如何实现 EAST 呢?很简单,通过单一网络刻画并建模位置、尺度、方向等文字的主要信息,同时加上多个损失函数,即所谓的多任务训练。如上所示,再借助对几何信息的预测即可得到文字检测的结果。

    这种方法的好处主要体现在两个方面:

    精度方面,允许端到端的训练和优化效率方面,剔除了中间冗余的处理步骤。

    上图是多种方法的应用对比,横轴是速度,纵轴是精度,红点是 EAST 的两个变体,可以看到其在精度和速度上都优于传统方法,且在精度和速度质检取得了极佳的平衡。EAST 已成为为行业标准方法,且代码开源,有趣的是,这是由热心网友 @argman 完成的(旷视贡献了部分代码)有兴趣的童鞋可以尝试;如果只想使用不想看源代码,目前 EAST 也作为官方模块,集成到最新版 OpenCV 之中。

    ▊第三个分类:处理任意形态文字

    要处理现实世界的文字还面临着一个挑战:文字形态的多变性。文字检测与识别算法要如何应对呢?旷视科技为此给出了两个代表性方案:

    TextSnakeMask TextSpotter。

    旷视科技 ECCV 2018 收录论文《TextSnake: A Flexible Representation for Detecting Textf Abies》提出一种全新而灵活的表征,称之为 TextSnake。

    如上所示,对于弯曲的文字区域,图 a 使用了传统的坐标对齐的矩形,包含了大量不需要的背景内容;图 b 将矩形框旋转,背景内容减少,适应力也随之变强;图 c 使用了不规则四边形进行包围,效果依然不理想。由此可以得出结论,四边形无法很好地包围弯曲的文字区域。

    为了更精确地处理这种情况,图 d 使用了 TextSnake 方法,用一系列圆盘覆盖文字区域,更好地适应文字的变化,包括尺度、方向、形变等等。

    TextSnake 原理示意图如上,黄色区域代表不规则的弯曲文字区域,绿线代表文字区域的中心线,红点代表覆盖文字区域的圆盘中心点,用 c 表示,圆盘半径用 r 表示,方向信息用 θ 表示。由此,文字实例可建模为一系列以对称轴为中心的有序重叠的圆盘。由于文字的尺度和方向是变化的,圆盘也有着可变的半径和方向,随文字变化而变化。这种灵活的表示方式可以精确适应各种形态的文字,比如多方向、弯曲文字。

    有了 TextSnake 之后,如何设计一个计算模型完成文字检测呢?其实很简单,即几何属性定义完成,通过 FCN 输出多个通道的预测结果,并进行整合,分开前景、背景,找出中心线,根据其半径和方向即可恢复出文字区域。

    旷视科技 ECCV 2018 收录论文《Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes》完成了另外一项工作,在 Mask R-CNN 启发之下提出一种新模型 Mask TextSpotter,通过端到端的方式同时实现了文字检测和识别。Mask TextSpotter 整体框架基于 Mask R-CNN 并进行改造,同样也把文字当作一种特殊目标处理。

    具体细节如上所示,左边是输入图像,右边是输出结果。RPN 做文字候选区域的产生;Fast R-CNN 对候选区域打分并回归其坐标;另外还有一个掩膜分支,同时对字符做像素级的分割和识别。

    这有别于传统方法的识别模块基于 RNN 序列进行建模,或者借助 CTC loss 进行计算,Mask TextSpotter 则直接做像素级分割,对每一像素进行分类,最后连接所有结果完成识别。

    ▊第四个分类:借鉴 Attention

    由于 NLP 领域兴起的 Attention 模型的重大影响,其也进入了文字检测与识别的视野,激发出一些新想法,代表性成果有:

    CRNNASTERFAN。

    在讲 Attention 之前,首先讲一下旷视科技 TPAMI 2017 的一个工作,称之为 CRNN,其底层用 CNN 提取特征,中层用 RNN 进行序列建模,上层用 CTC loss 对目标进行优化。它是一个端到端可训练的文字识别结构,但并未使用 Attention。目前,CRNN 已成长为该领域的一个标准方法,在 GitHub 上已开源。

    随后,旷视科技在 TPAMI 2018 提出一个称之为 ASTER 的解决方案。由于文字存在倾斜、弯曲等问题,在识别阶段,检测也不一定是最理想的,这时需要分两步做识别。第一步是给定一张输入图像,把其中的文字矫正到一个有利于识别的状态;第二步则是进行识别。这里需强调的是矫正过程是网络自动学习的,并不存在标注。

    那么,如上所示,ASTER 主要有矫正和识别两个模块。矫正模块在 STN 的基础上做了优化,使得控制点的预测更精确;识别模块则是一个经典的 CNN+RNN 同时带有 Attention 的结构,可以对序列进行预测。

    当然,Attention 本身也存在一些问题,比如 ICCV 2017 收录论文《Focusing Attention: Towards Accurate Text Recognition in Natural Images》提出了 FAN 这一工作。

    某些情况下,Attention 预测不一定准确,如图 a 中 Attention 把后两个点定位在「K」上,造成 Attention 点发生重合,进而导致定位不准确与漂移。FAN 方法通过约束 Attention 点位置,将其锁定为目标文字中心,这样就避免了重合、漂移等情况,Attention 区域变得更整齐,最终识别效果也得到了提升。

    ▊第五个分类:使用合成数据

    深度学习时代,对数据的需求量大增,大量数据有利于训练出优秀模型。因此,深度学习时代的文字检测和识别方法几乎都会采用合成数据,代表性数据集有 SynthText。

    SynthText 是一个经典的通过合成方式产生的场景文字数据集,已在文字检测和识别领域获得广泛应用。其主要思路是先采集几千张真实场景图像,然后往上贴字,如上图所示。

    具体而言,给定一些自然场景图像之后,SynthText 使用基础算法估计几何信息以及区域分割的结果,比如估计深度,通过底层算法分割连通的区域,同时找到一些平滑的区域放置文字,最后生成包含文字的图像数据集。

    未来趋势与潜在方向

    根据自然场景文字检测与识别技术发展的现状,通过分析其æ...

  • ?

    如何提取图片中的文字 OCR图片文字识别方法

    加里

    展开

    如果想提取图片中的文字内容,我们需要借助专门用于对图片进行识别的工具来实现。对此直接在百度中搜索下载OCR文字识别工具。

    安装并运行任意一款OCR文字识别工具,在其“首页界面”中选择“从图片中读取”以选择相应的图片打开。如图所示:

    待打开对应的图片文件后,点击“页面解析”按钮,此时将自动完成对整个图片的识别操作,并显示可识别的文字内容区域。

    此时我们可以对可识别的区域进行编辑操作,可以删除部分不需要识别的区域:点击相应识别区域左上角的“A”标记,选择“删除”项即可。

    待需要识别的区域确定后,点击“识别”按钮,即可在对应图片的右侧显示识别后的文字内容。如图所示:

    完成图片中文字的识别及提取操作后,我们就可以对其中的文字内容进行编辑操作了,当然也可以进行复制。

    如果希望对图片中的文字进行提取并进行编辑,我们还可以直接将对应的图片转换成Word文档来实现。如图所示:

  • ?

    文字识别是顺应时代发展的产物

    呓语

    展开

    昨天看一篇文章讲80后刚大学毕业的时候特别好找工作‘那时候是计算机刚发展的时代,70后都不会用电脑,很多家电视台会雇佣很多刚毕业的大学生作为打字员,而我们的文字识别起源大概也在这个时期吧。ocr文字识别是指将纸面上的文字灰度变换成电信号,输入到计算机中去。ocr文字识别的出现可以大大减轻工作量。中安未来基于ocr文字识别技术推出了ocr文字识别软件,经过不断的完善ocr文字识别技术,优化算法,中安未来已发展成为国内顶尖OCR SDK文字识别的厂商之一。

    中安未来ocr文字识别软件利用的是OCR的原理,通过对文字的亮、暗检测,判断到底是哪个文字,与字符库对比,输出正确文字。中安未来的文字OCR识别技术源于清华,经过资深图像识别教授团队的开发与研究,衍生出了很多产品,图片文字识别技术趋于完美。像中安未来的数据录入工厂,它的中文识别率高达99.8%,日文、英文、韩文等识别率也是闻名世界。

    中安未来文字识别包括长微博图片OCR文字识别、视频文字OCR识别、场景文字OCR识别等。另开源的OCR SDK只支持简体中文,殊不知,像中安未来这样专业的OCR开发公司已成功研发了支持简繁体互换识别、中英混排识别、日文、韩文、英德法俄意大利文、藏文、维文识别的。至今在世界范围内的OCR文字识别的厂商中仍是翘楚。

    ocr文字识别软件有着非常广的应用范围,比如在各个招聘网站上我们经常可以看见高薪打字员的招聘,其实文字识别软件完全可以代替这些工作,并且中安未来慧视ocr文字识别软件比打字员的速度快,准确率更高,可以自动校正形成高清图片,每张的识别速度少于两秒,识别率接近百分之百。

    ocr文字识别软件实现了纸质图书的可检索性。将图书、报纸、杂志等需要物理空间存储的事物变成电子版存储在电子图书馆内。不仅预防了图书的丢失与毁损,还大大提高了相关人员的工作效率。现在是网络信息时代,像图片文字识别这样提高效率的工具软件,会因为实用性而得到广泛的普及。

  • ?

    基于深度学习的自然场景文字检测及端到端的OCR中文文字识别

    贺听枫

    展开

    实现功能

    ● 文字方向检测 0、90、180、270度检测 ● 文字检测 后期将切换到keras版本文本检测 实现keras端到端的文本检测及识别 ● 不定长OCR识别

    环境部署

    Bash##GPU环境sh setup.sh##CPU环境sh setup-cpu.sh##CPU python3环境sh setup-python3.sh使用环境:python3.6+tensorflow1.7+cpu/gpu

    模型训练

    ● 一共分为3个网络 ● 1. 文本方向检测网络-Classify(vgg16) ● 2. 文本区域检测网络-CTPN(CNN+RNN) ● 3. EndToEnd文本识别网络-CRNN(CNN+GRU/LSTM+CTC)

    文字方向检测-vgg分类

    基于图像分类,在VGG16模型的基础上,训练0、90、180、270度检测的分类模型.详细代码参考angle/predict.py文件,训练图片8000张,准确率88.23%

    模型地址

    文字区域检测CTPN

    支持CPU、GPU环境,一键部署

    文本检测训练参考

    https://github/eragonruan/text-detection-ctpn

    OCR 端到端识别:CRNN

    ocr识别采用GRU+CTC端到到识别技术,实现不分隔识别不定长文字

    提供keras 与pytorch版本的训练代码,在理解keras的基础上,可以切换到pytorch版本,此版本更稳定

    如果你只是测试一下

    运行demo.py 写入测试图片的路径即可,如果想要显示ctpn的结果,修改文件./ctpn/ctpn/other.py的draw_boxes函数的最后部分,cv2.inwrite('dest_path',img),如此,可以得到ctpn检测的文字区域框以及图像的ocr识别结果

    如果你想训练这个网络

    1 对ctpn进行训练

    ● 定位到路径--./ctpn/ctpn/train_net.py ● 预训练的vgg网络路径VGG_imagenet.npy将预训练权重下载下来,pretrained_model指向该路径即可, 此外整个模型的预训练权重checkpoint ● ctpn数据集还是百度云数据集下载完成并解压后,将.ctpn/lib/datasets/pascal_voc.py 文件中的pascal_voc 类中的参数self.devkit_path指向数据集的路径即可

    2 对crnn进行训练

    ● keras版本 ./train/keras_train/train_batch.py model_path--指向预训练权重位置 MODEL_PATH---指向模型训练保存的位置keras模型预训练权重 ● pythorch版本./train/pytorch-train/crnn_main.py

    parser.add_argument('--crnn', help="path to crnn (to continue training)",default=预训练权重的路径,看你下载的预训练权重在哪啦)parser.add_argument('--experiment', help='Where to store samples and models',default=模型训练的权重保存位置,这个自己指定)

    识别结果展示

    文字检测及OCR识别结果

    主要是因为训练的时候,只包含中文和英文字母,因此很多公式结构是识别不出来的

    看看纯文字的

    可以看到,对于纯文字的识别结果还是阔以的呢,感觉可以在crnn网络在加以改进,现在的crnn中的cnn有点浅,并且rnn层为单层双向+attention,目前正在针对这个地方进行改动,使用迁移学习,以restnet为特征提取层,使用多层双向动态rnn+attention+ctc的机制,将模型加深,目前正在进行模型搭建,结果好的话就发上来。

  • ?

    独家|一文读懂文字识别(OCR)

    采珊

    展开

    文字识别是计算机视觉研究领域的分支之一,归属于模式识别和人工智能,是计算机科学的重要组成部分

    本文将以上图为主要线索,简要阐述在文字识别领域中的各个组成部分。

    一 ,文字识别简介

    计算机文字识别,俗称光学字符识别,英文全称是Optical Character Recognition(简称OCR),它是利用光学技术和计算机技术把印在或写在纸上的文字读取出来,并转换成一种计算机能够接受、人又可以理解的格式。OCR技术是实现文字高速录入的一项关键技术。

    在OCR技术中,印刷体文字识别是开展最早,技术上最为成熟的一个。早在1929年德国科学家Taushek就取得了一项光学字符识别(Optical Character Recognition,简称OCR)的专利131。欧美国家为了将浩如烟海、与日俱增的大量报刊杂志、文件资料和单据报表等文字材料输入计算机进行信息处理,从上世纪50年代就开始了西文OCR技术的研究,以便代替人工键盘输入。经过40多年的不断发展和完善,并随着计算机技术的飞速发展,西文OCR技术现已广泛应用于各个领域,使得大量的文字资料能够快速、方便、省时省力和及时地输入到计算机中,实现了信息处理的“电子化”。

    与印刷体西文OCR相比,印刷体汉文OCR技术的研究是在印刷体数字识别和印刷体英文识别的基础上发展起来的,最早可以追溯到上世纪60年代。1966年,BIM公司的Casey和Nagy发表了第一篇关于印刷体汉字识别的论文,在这篇论文中他们利用简单的模板匹配法,识别了1000个印刷体汉字。从上世纪70年代以来,日本学者在汉文OCR方面做了许多研究工作,其中有代表性的系统有1977年东芝综合研究所研制的可以识别2000个单体印刷汉字的识别系统;80年代初期,日本武藏野电气研究所研制的可以识别2300个多体汉字的印刷体汉字识别系统,代表了当时汉字识别的最高水平。此外,日本的三洋、松下、理光和富士等公司也有其研制的印刷体汉字识别系统。这些系统在方法上,大都采用基于K-L数字变换的匹配方案,使用了大量专用硬件,其设备有的相当于小型机甚至大型机,价格极其昂贵,所以并没有得到广泛应用。

    与国外相比,我国的印刷体汉字识别研究是从上世纪70年代末起步的,至今己有近三十年的发展历史,大致可以分成如下三个阶段:

    1)探索阶段(1979一1985)

    在对数字、英文、符号识别研究的基础上,自上世纪70年代末,国内就有少数单位的研究人员对汉字识别方法进行了探索,发表了一些论文,研制了少量模拟识别软件和系统。这个阶段漫长,成果不多,但是却孕育了下一个阶段的丰硕果实。

    2)研制阶段(1986~1988)

    1986年初到1988年底,这三年是汉字识别技术研究的高潮期,也是印刷体汉字识别技术研究的丰收期。总共有11个单位进行了14次印刷体汉字识别的成果鉴定,这些系统对样张识别能达到高指标:可以识别宋体、仿宋体、黑体、楷体,识别的字数最多可达6763个,字号从3号到5号,识别率高达99.5%以上,识别速度在286微机条件下能够达到10~14字/秒,但对真实文本识别率大大下降,这是由于以上系统对印刷体文字形状变化(如文字模糊、笔划粘连、断笔、黑白不均、纸质质量差、油墨反透等等)的适应性和抗干扰性比较差造成的。但是这三年研制的识别系统为印刷体汉字识别系统的实用化打下了基础,是识别系统从研制到实用化必经的过程。

    3)实用阶段(1989一至今)

    印刷体汉字识别自1986年掀起高潮以来,清华大学电子工程系、中国科学院计算所智能中心、北京信息工程学院、沈阳自动化研究所等多家单位分别研制并开发出了实用化的印刷体汉字识别系统。尤其是由清华大学电子工程系研制的清华TH一OCR产品和由汉王集团开发的尚书OCR产品,它们始终都处于技术发展的最前沿,并占据着最大的市场份额,代表着印刷体汉字识别技术的发展潮流。目前,印刷体汉字识别技术的研究热点已经从单纯的文字识别转移到了表格的自动识别与录入,图文混排和多语种混排的版面分析、版面理解和版面恢复,名片识别,金融票据识别和古籍识别等内容上。并且出现了许多相关的识别系统,如:紫光文通推出的名片识别系统(e一card)、身份证识别系统(e验通)和“慧视”屏幕文字图像识别系统等等。这些新的识别系统的出现,标志着印刷体汉字识别技术的应用领域得到了广阔的扩展。

    国家高技术研究发展“863”计划、国家重点科技攻关计划、国家自然科学基金和军事基础研究基金都对印刷体汉字识别这一研究课题予以极大的重视和大力的支持。目前,印刷体汉字识别和联机手写汉字识别走向实用化,其技术水平和当前世界最高水平并驾齐驱。

    这篇文章将对OCR技术进行分类描述,并介绍一些在OCR领域中较常使用的算法,由于个人主要参与的项目实践与印刷体识别较为相关,所以对于其他领域的描述若有不当之处,请大家指正,希望本文的介绍会让大家对OCR的整个流程有一个简要的概念。

    二 ,印刷体文字识别

    OCR技术的兴起便是从印刷体识别开始的,印刷体识别的成功为后来手写体的发展奠定了坚实的基础。印刷体识别的主要流程大致分为以下几个部分:图像预处理;版面处理;图像切分;特征提取、匹配及模型训练、匹配;识别后处理。

    2.1 图像预处理

    输入文本经过扫描仪进入计算机后,由于纸张的厚薄、光洁度和印刷质量都会造成文字畸变,产生断笔、粘连和污点等干扰,所以在进行文字识别之前,要对带有噪声的文字图像进行处理。由于这种处理工作是在文字识别之前,所以被称为预处理。预处理一般包括灰度化、二值化,倾斜检测与校正,行、字切分,平滑,规范化等等。

    2.1.1灰度化

    通过外设采集的图像通常为彩色图像,彩色图像会夹杂一些干扰信息,灰度化处理的主要目的就是滤除这些信息,灰度化的实质其实就是将原本由三维描述的像素点,映射为一维描述的像素点。转换的方式和规则有很多,在这里不详细介绍。

    2.1.2 二值化

    经过灰度处理的彩色图像还需经过二值化处理将文字与背景进一步分离开,所谓二值化,就是将灰度值(或者彩色值)图像信号转化成只有黑(l)和白(0)的二值图像信号。二值化效果的好坏,会直接影响灰度文本图像的识别率。二值化方法大致可以分为局部阈值二值化和整体阈值二值化。目前使用较多的日本学者大津提出的“大津法”

    2.1.3倾斜校正

    印刷体文本资料大多是由平行于页面边缘的水平(或者垂直)的文本行(或者列)组成的,即倾斜角度为零度。然而在文本页面扫描过程中,不论是手工扫描还是机器扫描,都不可避免地会出现图像倾斜现象。而倾斜的文档图像对后期的字符分割、识别和图像压缩等工作将产生很大影响。为了保证后续处理的正确性,对文本图像进行倾斜检测和校正是十分必要的。

    文本图像的倾斜校正分为手动校正和自动校正两种。手动校正,是指识别系统提供某种人机交互手段,实现文本图像的倾斜校正。自动校正,是指由计算机自动分析文本图像的版面特征,估计图像的倾斜角度,并根据倾斜角度对文本图像进行校正。

    目前,文本图像的倾斜检测方法有许多种,主要可以划分为以下五类:基于投影图的方法,基于Houhg变换的方法,基于交叉相关性的方法,基于Fourier变换的方法和基于最近邻聚类方法。

    最简单的基于投影图的方法是将文本图像沿不同方向进行投影。当投影方向和文字行方向一致时,文字行在投影图上的峰值最大,并且投影图存在明显的峰谷,此时的投影方向就是倾斜角度。

    Huogh变换也是一种最常用的倾斜检测方法,它是利用Hough变换的特性,将图像中的前景像素映射到极坐标空间,通过统计极坐标空间各点的累加值得到文档图像的倾斜角度。

    Fourier变换的方法是利用页面倾角对应于使Fourier空间密度最大的方向角的特性,将文档图像的所有像素点进行Fourier变换。这种方法的计算量非常大,目前很少采用。

    基于最近邻聚类方法,取文本图像的某个子区域中字符连通域的中心点作为特征点,利用基线上的点的连续性,计算出对应的文本行的方向

    角,从而得到整个页面的倾斜角。

    2.1.4规范化

    规范化操作就是将输入的任意尺寸的文字都处理成统一尺寸的标准文字,以便与己经预先存储在字典中的参考模板相匹配。规范化操作包括1211:位置规范化、大小规范化以及笔划粗细规范化。在本节只讨论位置规范化和大小规范化。

    为了消除文字点阵位置上的偏差,需要把整个文字点阵图移动到规定的位置上,这个过程被称为位置规范化。常用的位置规范化操作有两种,一种是基于质心的位置规范化,另一种是基于文字外边框的位置规范化。基于文字外边框的位置规范化需要首先计算文字的外边框,并找出中心,然后把文字中心移动到指定的位置上来。基于质心的位置规范化方法抗干扰能力比基于文字外边框的位置规范化方法要强。

    使用基于文字外边框的位置规范化方法对文字进行位置规范化的操作结果,如下图所示。

    对不同大小的文字做变换,使之成为同一尺寸大小,这个过程被称为大小规范化。很多已有的多字号印刷体识别系统都是通过大小规范化来识别不同字号的文字。常用的大小规范化操作也有两种,一种是将文字的外边框按比例线性放大或缩小成规定尺寸的文字,另一种是根据水平和垂直两个方向上文字黑像素的分布情况进行大小规范化。

    使用根据水平和垂直两个方向上文字黑像素的分布情况方法对文字进行大小规范化操作的效果,如下图所示。

    2.1.5图像平滑

    文本图像经过平滑处理之后,能够去掉笔划上的孤立白点和笔划外部的孤立黑点,以及笔划边缘的凹凸点,使得笔划边缘变得平滑。一种简单的平滑处理方法如下。采用NxN窗口(N一般为3,如图2-1所示是一个3X3窗口),依次在二值文字点阵中进行扫描,根据窗口中黑白像素的分布情况,使处于窗口中心的被平滑像素X。,从“0”变成“1”或者从“l”变成“0”。

    该方法是按以下规则对文字轮廓边缘进行平滑的。

    规则1如果满足图2-2中(a),(b),(c),(d)四种情况中的任何一种,则中心点应该由“0”变成“l”。

    规则2如果满足图2-2中(e),(f),(g),(h)四种情况中的任何一种,则中心点应该由“1”变成“0”。

    2.2版面处理

    通常版面处理分为三个主要部分,版面分析、版面理解、版面重构。

    2.2.1版面分析

    将文本图像分割为不同部分,并标定各部分属性,如:文本、图像、表格。目前在版面分析方面的工作核心思想都是基于连通域分析法,后衍生出的基于神经网络的版面分析法等也都是以连通域为基础进行的。连通域是指将图像经过二值化后转为的二值矩阵中任选一个像素点,若包围其的所有像素点中存在相同像素值的像素点则视为两点连通,以此类推,这样的像素点构成的一个集合在图像中所在的区域即一个连通域。根据连通域大小或像素点分布等特征可以将连通域的属性标记出来,用作进一步处理的依据。

    2.2.2版面理解

    获取文章逻辑结构,包括各区域的逻辑属性、文章的层次关系和阅读顺序。根据版面分析时记载的连通域位置信息,确定连通域归属序列。

    2.2.3版面重构

    根据版面分析和OCR的结果,重构出包含文字信息和版面信息的电子文档。

    2.3 图像切分

    图像切分大致可以分为两个个主要类别,行(列)切分和字切分。经过切分处理后,才能方便对单个文字进行识别处理。如下图所示。

    2.3.1 行列切分

    由于印刷体文字图像行列间距.、字间距大致相等,且几乎不存在粘连现象,所以可以采用投影法对图像进行切分,得到每列(行)在坐标轴的像素值投影曲线是一个不平滑的曲线,通过高斯平滑后的曲线在每个波谷位置间的区域即为要的一行(列)。

    2.3.2 字切分

    字切分对于不同的文种存在着比较明显的差异,通常意义下,字切分是指将整行或整列文字切分成独立的一个个文字,而实际上根据文种差异,可能还需需要将单个文字进行进一步切分。而因为文种不同,构词法或钩字法也有所不同,所以切分方法的难度差别也是天壤之别。例如将汉字“屋”切分开的难度和将英文“house”切分开的难度差别就很大,因此在识别模式上,也会根据文种特性,设计不同的识别方法。

    2.4 特征提取与模型训练

    在深度学习广泛应用于图像识别领域之前,模板匹配是较为常见的一种识别方式,之后由于神经网络的复苏,基于反馈的神经网络给OCR领域带来了又一春。现在随着计算机硬件算力的提升,利用大批数据训练深度神经网络在图像识别方面取得了傲人的成绩。

    2.4.1 特征提取及匹配

    特征提取是从单个字符图像上提取统计特征或结构特征的过程。所提取的特征的稳定性及有效性,决定了识别的性能。对于统计特征的提取,可利用统计模式识别中的特征提取方法,而对结构特征的提取,应根据具体文字所确定的识别基元确定相应的特征提取方法。在相当长的文字识别的研究过程中,是利用人们的经验知识,指导文字特征的提取。例如边缘特征...

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。