- ?
图像到文本的工作原理,又名光学字符识别
碧彤
展开
借助光学字符识别(OCR)技术,从图像中拉出文本从未如此简单。
OCR允许我们做各种有用的事情,比如使用文本查询搜索图像,再现文档而不用手工输入,甚至将手写文本转换为数字文本。
但什么是光学字符识别?它是如何实际工作的?
光学字符识别如何工作
要了解如何从图像中提取文本,我们首先要了解图像是什么以及它们如何存储在计算机上。
甲像素为特定颜色的一个点。一个图像本质上是像素的集合。图像中的像素越多,其分辨率越高。计算机不知道路标的图像实际上是路标 - 它只知道第一个像素是这种颜色,下一个像素就是那个颜色,并显示它的所有像素供你查看。
这意味着文本和非文本与计算机没有什么不同,这就是光学字符识别如此困难的原因。考虑到这一点,这是它的工作原理。
第1步:预处理图像
在拉动文本之前,需要以某种方式对图像进行按摩,以使提取更容易并且更有可能成功。这称为预处理,不同的软件解决方案使用不同的技术组合。
更常见的预处理技术包括:
二值化图像中的每个像素都转换为黑色或白色。目标是明确哪些像素属于文本以及哪些像素属于背景,这加速了实际的OCR过程。
歪斜由于文档很少以完美对齐方式扫描,因此字符可能会倾斜甚至颠倒。这里的目标是识别水平文本行,然后旋转图像,使这些行实际上是水平的。
去除斑点图像是否已被二值化,可能存在可能干扰字符识别的噪声。去斑点去掉那个噪音并试图平滑图像。
行删除标识可能不是字符的所有行和标记,然后删除它们,以便实际的OCR过程不会混淆。使用表格和框扫描文档时尤为重要。
分区将图像分成不同的文本块,例如识别多列文档中的列。
第2步:处理图像
首先,OCR过程尝试为图像中的每一行文本建立基线(或者如果它在预处理中被分区,它将一次一个地通过每个区域)。每个识别的字符行逐个处理。
对于每行字符,OCR软件通过查找非文本像素的垂直线来识别字符之间的间距(通过适当的二值化应该是明显的)。这些非文本行之间的每个像素块被标记为表示一个字符的“标记”。因此,此步骤称为标记化。
一旦图像中的所有潜在字符都被标记化,OCR软件就可以使用两种不同的技术来识别这些标记实际上是什么字符:
模式识别每个标记都按照像素到像素的比较与整组已知字形(包括数字,标点符号和其他特殊符号)进行比较,并选择最接近的匹配。该技术也称为矩阵匹配。
这里有几个缺点。首先,令牌和字形需要具有相似的大小,否则它们都不匹配。其次,令牌需要与字形相似,这排除了笔迹。但如果令牌的字体已知,则模式识别可以快速准确。
特征提取将每个标记与描述它可能是什么类型的不同规则进行比较。例如,由单个水平线连接的两条等高垂直线可能是大写字母H.
这种技术很有用,因为它不限于某些字体或大小。在识别大写字母I,小写字母L和数字1之间的细微差别时,它也可以更加细微差别。对规则进行编程比简单地将令牌中的像素与字形中的像素进行比较要复杂得多。
第3步:对图像进行后处理
完成所有令牌匹配后,OCR软件可以在一天内调用它并将结果呈现给您。但通常需要做一些更多的捏造,以确保你不会在结果上睁大眼睛。
词汇限制将所有单词与已批准单词的词典进行比较,将任何不匹配的单词替换为最接近的拟合单词。字典是词典的一个例子。这可以帮助纠正具有错误字符的单词,例如“thorn”而不是“th0rn”。
特定于应用程序的优化当OCR用于利基设置时,例如医疗或法律文档,可以使用专门为该设置设计的特殊OCR。在这些情况下,OCR软件可能会查找数学公式,行业特定术语等。
自然语言这种先进的技术通过使用一种语言模型来纠正句子,该模型描述了某些单词被其他单词所遵循的可能性。它类似于预测移动键盘上要输入的单词的技术。
- ?
为什么图像和文本识别可能是当今最强大的RPA工具
郝夏青
展开
在当今的商业世界中,增长趋势之一是机器人过程自动化或RPA。这种新兴的技术形式使用人工智能来识别和识别不同形式的数据,包括用户采取的行动,某人与不同软件交互的方式,或仅仅分析不同的数据源。
它基本上允许您设置机器人工作者,让他们在您执行其他操作时继续完成手头的任务。这些任务包括图像和文本识别,似乎这可能是RPA可用的最强大的用途之一。
采取行动,更快
如果您拥有大量数据,例如数千张照片或由数百万字组成的文档,那么您面临的最大问题之一就是您将如何度过难关。通过设置您的人员完成任务,让他们梳理数据并挑选您需要的信息(例如姓名,面孔或其他重要信息),可能需要数周甚至数月才能完成任务。
人工只能在工作日和他们的身体允许的情况下工作,但使用机器人过程自动化的AI工作人员能够更快地完成工作。一旦编程以寻找您需要的信息,您的AI驱动的助手可以快速,有效地完成手头的任务,并允许您比一组人类进行搜索更快地对结果采取行动。
让员工提高工作效率
不仅图像和文本识别对您的员工而言非常耗时,而且也非常繁琐。根据相机制造商佳能关于如何提高工作场所生产率的报告,最好的方法之一是“打破常规。”减少工作日的单调是拥有高效劳动力的关键。
不幸的是,必须阅读类似的文本或相似的照片和图像以获得相同类型的信息,这有助于实现单调。这种无聊的感觉可能导致他们完成一项任务很糟糕,因为他们试图通过它来完成任务并完成任务。拥有机器人过程自动化的AI工作人员不会感到无聊,但是,允许您将不太有趣的任务委派给AI,同时您的员工会做一些感兴趣并参与其中的事情。
图像识别可以使您的底线受益
同样重要的是要考虑图像(和文本)识别可以使您的企业的底线受益。根据The Next Web,图像识别的使用包括价格比较,增强现实应用,图像搜索,安全性甚至拼图解决。
通过机器人过程自动化收集的数据可以以多种方式使用。可以使您的业务陷入困境或允许您向用户提供新的,可能有利可图的服务的方式。机器人过程自动化可能是下一次重大业务革命的关键。您选择处理数据和路径的方式完全取决于您。
- ?
OCR神器来了!Facebook推出大规模图像文本提取系统Rosetta
宜男
展开
选自KDD 2018,作者:Fedor Borisyuk等,机器之心编译,参与:路、晓坤。
近日,Facebook 研究人员发表论文,提出大规模图像文本提取和识别系统 Rosetta。该系统每天可以处理 Facebook 社交网络上的数亿张图像,提取文字信息,为下游任务提供大量数字化资源,如图像搜索。目前 Rosseta 已经作为云 API 被实现和部署到客户端应用程序中,并将逐渐覆盖所有客户。本文是 Rosseta 系统的技术解读,论文已被 KDD 2018 接收。
人们在社交网络上分享和获取信息的主要途径之一是视觉媒介,如照片和视频。近年来,上传至社交媒体的照片数量成指数级增长,每天可达数亿张 [27],处理日渐增多的视觉信息成为一大技术挑战。图像理解的挑战之一是从图像中检索文本信息,也叫光学字符识别(OCR),表示将包含键入、印刷或场景文本的电子图像转换成机器编码文本的过程。从图像中获取此类文本信息很重要,因为这可以促进很多不同的应用,如图像搜索和推荐。
在 OCR 任务中,给出一张图像,OCR 系统可以准确地提取出印刷或嵌入图像中的文本。随着大量字体、语言、词典和其他语言变体(包括特殊符号、不在词典内的单词,以及 URL 和电邮 id 等特殊信息)出现在图像中,图像质量随着文本出现的背景不同而出现变化,OCR 任务的难度增大。另一个原因是每天上传至社交媒体、需要处理的图像规模非常巨大。由于下游应用的本质,人们对 OCR 任务的期待是实时处理,这要求我们花费大量时间优化系统各部分,以在合理的延迟时间内执行 OCR 任务。因此,OCR 任务的相关问题可以描述如下:构建稳健、准确率高的 OCR 系统,能够实时处理每天数以亿计的图像。
今天介绍的这篇论文展示了 Facebook 的可扩展 OCR 系统 Rosetta,该系统已经被实现和部署在生产中,并主导了 Facebook 内的下游应用。Rosetta 遵循当前最优 OCR 系统的架构,分为文本检测阶段和文本识别阶段两部分。文本检测方法基于 Faster-RCNN 模型 [24],负责检测图像中包含文本的区域。文本识别方法使用全卷积字符识别模型,处理检测到的区域,并识别这些区域所包含的文本内容。图 1 展示了 Rosetta 生成的一些结果。
图 1:使用 Rosetta 系统的 OCR 文本识别。基于 Faster-RCNN 的方法检测出单个单词,然后全卷积 CNN 生成每个单词的转录。
论文:Rosetta: Large Scale System for Text Detection and Recognition in Images
论文链接:http://kdd.org/kdd2018/accepted-papers/view/rosetta-large-scale-system-for-text-detection-and-recognition-in-imagesPDF链接:http://delivery.acm.org/10.1145/3220000/3219861/p71-borisyuk.pdf?ip=222.249.170.76&id=3219861&acc=OPENTOC&key=4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E054E54E275136550
摘要:本论文展示了一个已部署的可扩展光学字符识别(OCR)系统 Rosetta,该系统旨在 Facebook 每天上传图像数量级的图像处理。图像内容分享已经成为目前互联网用户在社交网络上最主要的信息交流方式,理解图像(包括其文本信息)对于搜索和推荐应用来说至关重要。我们展示了高效图像文本检测和识别的建模技术,介绍了 Rosetta 的系统架构。我们对现有技术进行了大量评估,解释了构建大规模 OCR 系统的有效实用方法,并基于 Rosetta 系统的开发和部署过程解释了特定组件的工作原理。
3. 文本提取模型
OCR 过程分两个独立步骤:检测和识别。第一步中,我们检测图像中有可能包含文本的矩形区域。第二步执行文本识别,即使用 CNN 对检测出的每一个区域中的文字进行识别和转录。这个流程有诸多好处,如分离训练过程和文本检测、识别模型的部署更新、并行运行文本识别,以及独立支持对不同语言的文本识别。详见图 2。
Figure 2: Two-step model architecture. The first step performs word detection based on Faster-RCNN. The second step performs word recognition using a fully convolutional model with CTC loss. The two models are trained independently.
图 2:模型架构(包含两个步骤)。第一步基于 Faster-RCNN 执行文本检测。第二步使用带 CTC 损失的全卷积模型执行文本识别。两个模型分开训练。
图 3:文本识别模型架构。
图 4:在 CTC 文本识别模型的训练中,学习率、图像宽度和最大单词长度的行为的可视化图示。
算法 1:CTC 文本识别模型的训练过程。
4. 系统架构
这部分主要介绍 Facebook 的实时大规模 OCR 系统 Rosetta 的系统架构。图 5 展示了 Rosetta 的架构。Rosetta 使用拉式模型(pull-based model),将客户端应用程序上传的图像(图 5 第一步)添加到分布式处理序列中。当资源可用时,Rosetta 中的这一推断器承担将图像添加到队列的工作,然后进行异步处理。执行添加队列工作时,用户可以注册回调。每次添加结束后,Rosetta 可以启用回调,实现下游应用对结果的直接使用。该处理序列已经得到优化,以适应高吞吐量和可用性,且使用 RocksDB [8] 保障持续性。这种拉式异步架构具备很多优势,包括更好的负载平衡、请求峰值场景中的限速情况(例如,Facebook 上图像上传数的激增),以及优化系统以适应高吞吐量的能力。
图 5:Rosetta 架构。
Rosetta 内的在线图像处理流程包含以下步骤:
图像被下载到 Rosetta 集群内的本地机器上,然后执行预处理,如调整图像大小和归一化。执行文本检测模型(图 5 第 4 步),获取图像中所有单词的位置信息(边界框坐标和得分)。将单词位置信息传输到文本识别模型(图 5 第 5 步),提取图像中所有单词区域中的字符。提取出的文本信息和文本区域被存储在 Facebook 的分布式图数据库 TAO [9] 中(图 5 第 6 步)。下游应用(如 Search)可以直接从 TAO 中获取图像对应的文本信息(图 5 第 7 步)。
5. 实验
我们对 Rosetta OCR 系统进行了大量评估。我们首先定义用于判断系统准确率和处理时间的指标,然后介绍用于训练和评估的数据集。我们遵循标准做法,在独立的留出数据集上进行模型训练和评估。我们介绍了模型评估过程,解释了为准确率和推断速度之间的权衡所做的设计决策。最后我们分享了在 Rosetta 开发和部署过程中学到的经验,这些经验帮助我们可以处理 Facebook 级别的图像。
6. 部署
Rosetta 服务已在 Facebook 中部署,为图像文本提取提供了一个云 API,处理每天上传至 Facebook 的海量图像。在 Rosetta 中,图像的大小被调整到 800px,然后传输到检测模型中,输出每个单词的边界框坐标。这些单词块被裁剪下来,将高度调整至 32px,保持原来的宽高比,最后使用识别模型进行处理。识别模型的推断运行时间取决于图像中检测到的单词数量。
Rosetta 服务已被逐渐应用到客户端应用程序中,部署计划包括每周增加服务于预定义内部用户的流量,然后向公众流量开放,从 1%、5%、10%、25%、40%、80%,直至 100%。我们继续评估资源使用,并渐进式地向处理机群增加更多机器,直到服务部署范围达到 100%。
Faster-RCNN 检测模型使用近期开源的 Detectron 框架 [5] 训练,它是基于 Caffe2 [2] 构建的。文本识别模型使用 PyTorch [1] 训练,因其在快速原型和序列建模场景中的灵活性。这两个模型都使用 Caffe2 部署到生产,使用中间 ONNX 格式 [4] 将文本识别模型从 PyTorch 转到 Caffe2。
- ?
三星Galaxy S8手机Bixby Assistant能实现视觉搜索和文本识别功能
Haidee
展开
据Sammobile报道,三星即将发布的Galaxy S8手机Bixby功能在相机访问权限开启的情况下能够对相机所拍摄的东西执行视觉搜索和文本识别等功能。Bixby是三星收购Viv Labs的成果,Bixby可以帮助手机搜索相机所拍摄的图像对象,或使用光学字符识别来处理任何指向手机的文本。文本识别功能在旅游时能够实现未知语言的及时翻译。
三星Galaxy S8除了集成了Bixby,还将推出一个与WebMD集成的改进版S健康应用程序。这款健康应用程序将允许用户预订视频约会,创建和管理他们的病史,并查找附近的药店。
- ?
识别信息文本功能
元半邪
展开
介绍(10分钟)通过您的信息文本之一学习学生。要求学生描述什么使这本书与普通的小说图画书不同。(预计学生将指出图表,图表和其他文字功能示例。)与学生回顾文字功能的目的。文本功能为故事添加了重要的细节和信息。作者使用文本结构来进一步解释他们的主题。良好的读者使用文本结构来加深他们的理解。给出一些文本功能的示例:图形,图表,地图,索引,词汇表,图表,表格和图片。
明示/教师建模(15分钟)请务必使用介绍中使用的书籍查看每种类型的文本功能及其用途。带出你的图表纸并显示。强调文本特征的目的是深化读者对文本的理解。当您模拟分析每个功能时,请解释它如何帮助您更好地了解文本。
指导实践/互动建模(15分钟)向学生解释,今天他们将会去寻找寻找不同的文字功能的例子。他们将需要在其列表中找到所有文本功能,并在每个文本功能旁边记录页码。学生可以与合作伙伴一起找文本功能。为每对学生提供一个信息文本。早期完成者可能会重复用第二本书的清道夫狩猎。
独立工作时间(15分钟)简要介绍他们书中发现的文字特征。让学生标记一张空白的宾果卡,并附上自己选择的文字功能。朗读您的第二个信息文本。学生将会在阅读时寻找文字功能而玩宾果。
- ?
拍照识别文字的软件有哪些
忆囚
展开
如果我们不在公司又接到工作任务需要我们使用Word文档,但是身边又没有电脑怎么办呢,这时候就需要一些能拍照识别文字的软件了,下面我们就一起来看看。
1、拍照识别文字软件
拍照识别文字的软件识别率最高的文档识别工具:纸质文档识别后可以把它们变成可编辑的Txt文本文件。在进行同步后,还能实现手机、电脑等多终端操作
最好用的文档管理办公工具:扫描识别的文件,可以美化生成PDF,并可以轻松分享到QQ、微信等社交应用中
2、图片文字识别
拍照识别文字的软件一个小巧简单的文字识别工具,需要联网,支持各国语言的识别,适合经常需要做方案的机友。一个小巧简单的文字识别工具,需要联网,支持各国语言的识别,适合经常需要做方案的机友。
3、apus文字识别
拍照识别文字的软件Apus文字识别是自然场景OCR服务,依托业界领先的OCR算法,提供了整图文字检测、识别、整图文字识别、整图文字行定位和单字图像识别等功能,识别支持常用的图片格式,可以试试哦。
- ?
三款好用的OCR文字识别软件,绝对是良心推荐
宣绿真
展开
我们在工作中经常需要将图片转换成文本文字,或者是将扫描文件转换成可编辑的文档。其实扫描软件有很多,今天小编就给大家简单分享几款吧!
扫描全能王
CamScanner(扫描全能王),将智能手机变成随身携带的扫描仪。方便快捷地记录管理您的各种文档,收据,笔记和白板讨论等。并通过智慧精准的图像裁剪和图像增强演算法,保证您扫描的内容清晰可读。主要拥有高清扫描、智能管理批注、图片搜索、文档协同分享、云同步等特色功能。
ABBYY FineReader 12.0
ABBYY FineReader12是一款功能强大的OCR文字识别软件,它可以从图片上识别文件或表格,识别率非常高,对于英文的识别可以说是高达99%,而汉字的识别也在99%。与同类软件相比,具有识别速度快、支持语言最多等特点,识别后能够自动检查并调整识别结果,软件的操作界面非常直观,使用起来也比较上手。
捷速OCR文字识别软件
精准识别文字信息:软件采用先进的OCR识别技术,高达99%的识别精度,轻松实现文档数字化。
完美还原文档格式:软件可一键读取文档,完美还原文档的逻辑结构和格式,无需重新录入和排版。
自动解析图文版面:软件对图文混排的文档具有自动分析功能,将文字区域划分出来后自动进行识别。
以上三款ocr文字识别软件都是比较好用的软件,可以一一进行尝试。
- ?
有道云中使用OCR文本识别功能的操作步骤介绍
Tanya
展开
在有道云中有个OCR文本识别功能,你们知道如何使用吗?接下来,就是小编讲解的有道云中使用OCR文本识别功能的操作步骤。
有道云笔记软件版本:6.3.0.0 官方版应用工具立即查看
1)我们先打开有道云笔记软件点击右下角的【+】进入到功能菜单,接着再点击【文档扫描】功能。(如下图)
2)然后将要扫描的文档【放入】镜头里点击中间的按钮【拍摄】,拍摄完确定无误后点击【完成】。(如下图)
3)接着再选择好图片滤镜后点击【完成】,然后把拍摄的图片【创建】到文档中。(如下图)
4)随后再【点击】进入之前创建的图片文档,进去后点击要识别的【图片】。(如下图)
5)进去后点击下面的【识别】,接着等待系统的【OCR转换】。(如下图)
6)最后转换完成后就是识别出来的图片上的文字了,点击【完成】就可以保存了。PS:小编在拍摄的时候手抖了下就乱码了,正常情况是不会出现这种情况的。(如下图)
上文就是有道云中使用OCR文本识别功能的操作步骤,你们都学会了吗?
- ?
基于深度学习的自然场景文字检测及端到端的OCR中文文字识别
慕蕊
展开
实现功能
● 文字方向检测 0、90、180、270度检测 ● 文字检测 后期将切换到keras版本文本检测 实现keras端到端的文本检测及识别 ● 不定长OCR识别
环境部署
Bash##GPU环境sh setup.sh##CPU环境sh setup-cpu.sh##CPU python3环境sh setup-python3.sh使用环境:python3.6+tensorflow1.7+cpu/gpu
模型训练
● 一共分为3个网络 ● 1. 文本方向检测网络-Classify(vgg16) ● 2. 文本区域检测网络-CTPN(CNN+RNN) ● 3. EndToEnd文本识别网络-CRNN(CNN+GRU/LSTM+CTC)
文字方向检测-vgg分类
基于图像分类,在VGG16模型的基础上,训练0、90、180、270度检测的分类模型.详细代码参考angle/predict.py文件,训练图片8000张,准确率88.23%
模型地址
文字区域检测CTPN
支持CPU、GPU环境,一键部署
文本检测训练参考
https://github/eragonruan/text-detection-ctpn
OCR 端到端识别:CRNN
ocr识别采用GRU+CTC端到到识别技术,实现不分隔识别不定长文字
提供keras 与pytorch版本的训练代码,在理解keras的基础上,可以切换到pytorch版本,此版本更稳定
如果你只是测试一下
运行demo.py 写入测试图片的路径即可,如果想要显示ctpn的结果,修改文件./ctpn/ctpn/other.py的draw_boxes函数的最后部分,cv2.inwrite('dest_path',img),如此,可以得到ctpn检测的文字区域框以及图像的ocr识别结果
如果你想训练这个网络
1 对ctpn进行训练
● 定位到路径--./ctpn/ctpn/train_net.py ● 预训练的vgg网络路径VGG_imagenet.npy将预训练权重下载下来,pretrained_model指向该路径即可, 此外整个模型的预训练权重checkpoint ● ctpn数据集还是百度云数据集下载完成并解压后,将.ctpn/lib/datasets/pascal_voc.py 文件中的pascal_voc 类中的参数self.devkit_path指向数据集的路径即可
2 对crnn进行训练
● keras版本 ./train/keras_train/train_batch.py model_path--指向预训练权重位置 MODEL_PATH---指向模型训练保存的位置keras模型预训练权重 ● pythorch版本./train/pytorch-train/crnn_main.py
parser.add_argument('--crnn', help="path to crnn (to continue training)",default=预训练权重的路径,看你下载的预训练权重在哪啦)parser.add_argument('--experiment', help='Where to store samples and models',default=模型训练的权重保存位置,这个自己指定)
识别结果展示
文字检测及OCR识别结果
主要是因为训练的时候,只包含中文和英文字母,因此很多公式结构是识别不出来的
看看纯文字的
可以看到,对于纯文字的识别结果还是阔以的呢,感觉可以在crnn网络在加以改进,现在的crnn中的cnn有点浅,并且rnn层为单层双向+attention,目前正在针对这个地方进行改动,使用迁移学习,以restnet为特征提取层,使用多层双向动态rnn+attention+ctc的机制,将模型加深,目前正在进行模型搭建,结果好的话就发上来。
- ?
独家|一文读懂文字识别(OCR)
冷梅
展开
文字识别是计算机视觉研究领域的分支之一,归属于模式识别和人工智能,是计算机科学的重要组成部分
本文将以上图为主要线索,简要阐述在文字识别领域中的各个组成部分。
一 ,文字识别简介
计算机文字识别,俗称光学字符识别,英文全称是Optical Character Recognition(简称OCR),它是利用光学技术和计算机技术把印在或写在纸上的文字读取出来,并转换成一种计算机能够接受、人又可以理解的格式。OCR技术是实现文字高速录入的一项关键技术。
在OCR技术中,印刷体文字识别是开展最早,技术上最为成熟的一个。早在1929年德国科学家Taushek就取得了一项光学字符识别(Optical Character Recognition,简称OCR)的专利131。欧美国家为了将浩如烟海、与日俱增的大量报刊杂志、文件资料和单据报表等文字材料输入计算机进行信息处理,从上世纪50年代就开始了西文OCR技术的研究,以便代替人工键盘输入。经过40多年的不断发展和完善,并随着计算机技术的飞速发展,西文OCR技术现已广泛应用于各个领域,使得大量的文字资料能够快速、方便、省时省力和及时地输入到计算机中,实现了信息处理的“电子化”。
与印刷体西文OCR相比,印刷体汉文OCR技术的研究是在印刷体数字识别和印刷体英文识别的基础上发展起来的,最早可以追溯到上世纪60年代。1966年,BIM公司的Casey和Nagy发表了第一篇关于印刷体汉字识别的论文,在这篇论文中他们利用简单的模板匹配法,识别了1000个印刷体汉字。从上世纪70年代以来,日本学者在汉文OCR方面做了许多研究工作,其中有代表性的系统有1977年东芝综合研究所研制的可以识别2000个单体印刷汉字的识别系统;80年代初期,日本武藏野电气研究所研制的可以识别2300个多体汉字的印刷体汉字识别系统,代表了当时汉字识别的最高水平。此外,日本的三洋、松下、理光和富士等公司也有其研制的印刷体汉字识别系统。这些系统在方法上,大都采用基于K-L数字变换的匹配方案,使用了大量专用硬件,其设备有的相当于小型机甚至大型机,价格极其昂贵,所以并没有得到广泛应用。
与国外相比,我国的印刷体汉字识别研究是从上世纪70年代末起步的,至今己有近三十年的发展历史,大致可以分成如下三个阶段:
1)探索阶段(1979一1985)
在对数字、英文、符号识别研究的基础上,自上世纪70年代末,国内就有少数单位的研究人员对汉字识别方法进行了探索,发表了一些论文,研制了少量模拟识别软件和系统。这个阶段漫长,成果不多,但是却孕育了下一个阶段的丰硕果实。
2)研制阶段(1986~1988)
1986年初到1988年底,这三年是汉字识别技术研究的高潮期,也是印刷体汉字识别技术研究的丰收期。总共有11个单位进行了14次印刷体汉字识别的成果鉴定,这些系统对样张识别能达到高指标:可以识别宋体、仿宋体、黑体、楷体,识别的字数最多可达6763个,字号从3号到5号,识别率高达99.5%以上,识别速度在286微机条件下能够达到10~14字/秒,但对真实文本识别率大大下降,这是由于以上系统对印刷体文字形状变化(如文字模糊、笔划粘连、断笔、黑白不均、纸质质量差、油墨反透等等)的适应性和抗干扰性比较差造成的。但是这三年研制的识别系统为印刷体汉字识别系统的实用化打下了基础,是识别系统从研制到实用化必经的过程。
3)实用阶段(1989一至今)
印刷体汉字识别自1986年掀起高潮以来,清华大学电子工程系、中国科学院计算所智能中心、北京信息工程学院、沈阳自动化研究所等多家单位分别研制并开发出了实用化的印刷体汉字识别系统。尤其是由清华大学电子工程系研制的清华TH一OCR产品和由汉王集团开发的尚书OCR产品,它们始终都处于技术发展的最前沿,并占据着最大的市场份额,代表着印刷体汉字识别技术的发展潮流。目前,印刷体汉字识别技术的研究热点已经从单纯的文字识别转移到了表格的自动识别与录入,图文混排和多语种混排的版面分析、版面理解和版面恢复,名片识别,金融票据识别和古籍识别等内容上。并且出现了许多相关的识别系统,如:紫光文通推出的名片识别系统(e一card)、身份证识别系统(e验通)和“慧视”屏幕文字图像识别系统等等。这些新的识别系统的出现,标志着印刷体汉字识别技术的应用领域得到了广阔的扩展。
国家高技术研究发展“863”计划、国家重点科技攻关计划、国家自然科学基金和军事基础研究基金都对印刷体汉字识别这一研究课题予以极大的重视和大力的支持。目前,印刷体汉字识别和联机手写汉字识别走向实用化,其技术水平和当前世界最高水平并驾齐驱。
这篇文章将对OCR技术进行分类描述,并介绍一些在OCR领域中较常使用的算法,由于个人主要参与的项目实践与印刷体识别较为相关,所以对于其他领域的描述若有不当之处,请大家指正,希望本文的介绍会让大家对OCR的整个流程有一个简要的概念。
二 ,印刷体文字识别
OCR技术的兴起便是从印刷体识别开始的,印刷体识别的成功为后来手写体的发展奠定了坚实的基础。印刷体识别的主要流程大致分为以下几个部分:图像预处理;版面处理;图像切分;特征提取、匹配及模型训练、匹配;识别后处理。
2.1 图像预处理
输入文本经过扫描仪进入计算机后,由于纸张的厚薄、光洁度和印刷质量都会造成文字畸变,产生断笔、粘连和污点等干扰,所以在进行文字识别之前,要对带有噪声的文字图像进行处理。由于这种处理工作是在文字识别之前,所以被称为预处理。预处理一般包括灰度化、二值化,倾斜检测与校正,行、字切分,平滑,规范化等等。
2.1.1灰度化
通过外设采集的图像通常为彩色图像,彩色图像会夹杂一些干扰信息,灰度化处理的主要目的就是滤除这些信息,灰度化的实质其实就是将原本由三维描述的像素点,映射为一维描述的像素点。转换的方式和规则有很多,在这里不详细介绍。
2.1.2 二值化
经过灰度处理的彩色图像还需经过二值化处理将文字与背景进一步分离开,所谓二值化,就是将灰度值(或者彩色值)图像信号转化成只有黑(l)和白(0)的二值图像信号。二值化效果的好坏,会直接影响灰度文本图像的识别率。二值化方法大致可以分为局部阈值二值化和整体阈值二值化。目前使用较多的日本学者大津提出的“大津法”
2.1.3倾斜校正
印刷体文本资料大多是由平行于页面边缘的水平(或者垂直)的文本行(或者列)组成的,即倾斜角度为零度。然而在文本页面扫描过程中,不论是手工扫描还是机器扫描,都不可避免地会出现图像倾斜现象。而倾斜的文档图像对后期的字符分割、识别和图像压缩等工作将产生很大影响。为了保证后续处理的正确性,对文本图像进行倾斜检测和校正是十分必要的。
文本图像的倾斜校正分为手动校正和自动校正两种。手动校正,是指识别系统提供某种人机交互手段,实现文本图像的倾斜校正。自动校正,是指由计算机自动分析文本图像的版面特征,估计图像的倾斜角度,并根据倾斜角度对文本图像进行校正。
目前,文本图像的倾斜检测方法有许多种,主要可以划分为以下五类:基于投影图的方法,基于Houhg变换的方法,基于交叉相关性的方法,基于Fourier变换的方法和基于最近邻聚类方法。
最简单的基于投影图的方法是将文本图像沿不同方向进行投影。当投影方向和文字行方向一致时,文字行在投影图上的峰值最大,并且投影图存在明显的峰谷,此时的投影方向就是倾斜角度。
Huogh变换也是一种最常用的倾斜检测方法,它是利用Hough变换的特性,将图像中的前景像素映射到极坐标空间,通过统计极坐标空间各点的累加值得到文档图像的倾斜角度。
Fourier变换的方法是利用页面倾角对应于使Fourier空间密度最大的方向角的特性,将文档图像的所有像素点进行Fourier变换。这种方法的计算量非常大,目前很少采用。
基于最近邻聚类方法,取文本图像的某个子区域中字符连通域的中心点作为特征点,利用基线上的点的连续性,计算出对应的文本行的方向
角,从而得到整个页面的倾斜角。
2.1.4规范化
规范化操作就是将输入的任意尺寸的文字都处理成统一尺寸的标准文字,以便与己经预先存储在字典中的参考模板相匹配。规范化操作包括1211:位置规范化、大小规范化以及笔划粗细规范化。在本节只讨论位置规范化和大小规范化。
为了消除文字点阵位置上的偏差,需要把整个文字点阵图移动到规定的位置上,这个过程被称为位置规范化。常用的位置规范化操作有两种,一种是基于质心的位置规范化,另一种是基于文字外边框的位置规范化。基于文字外边框的位置规范化需要首先计算文字的外边框,并找出中心,然后把文字中心移动到指定的位置上来。基于质心的位置规范化方法抗干扰能力比基于文字外边框的位置规范化方法要强。
使用基于文字外边框的位置规范化方法对文字进行位置规范化的操作结果,如下图所示。
对不同大小的文字做变换,使之成为同一尺寸大小,这个过程被称为大小规范化。很多已有的多字号印刷体识别系统都是通过大小规范化来识别不同字号的文字。常用的大小规范化操作也有两种,一种是将文字的外边框按比例线性放大或缩小成规定尺寸的文字,另一种是根据水平和垂直两个方向上文字黑像素的分布情况进行大小规范化。
使用根据水平和垂直两个方向上文字黑像素的分布情况方法对文字进行大小规范化操作的效果,如下图所示。
2.1.5图像平滑
文本图像经过平滑处理之后,能够去掉笔划上的孤立白点和笔划外部的孤立黑点,以及笔划边缘的凹凸点,使得笔划边缘变得平滑。一种简单的平滑处理方法如下。采用NxN窗口(N一般为3,如图2-1所示是一个3X3窗口),依次在二值文字点阵中进行扫描,根据窗口中黑白像素的分布情况,使处于窗口中心的被平滑像素X。,从“0”变成“1”或者从“l”变成“0”。
该方法是按以下规则对文字轮廓边缘进行平滑的。
规则1如果满足图2-2中(a),(b),(c),(d)四种情况中的任何一种,则中心点应该由“0”变成“l”。
规则2如果满足图2-2中(e),(f),(g),(h)四种情况中的任何一种,则中心点应该由“1”变成“0”。
2.2版面处理
通常版面处理分为三个主要部分,版面分析、版面理解、版面重构。
2.2.1版面分析
将文本图像分割为不同部分,并标定各部分属性,如:文本、图像、表格。目前在版面分析方面的工作核心思想都是基于连通域分析法,后衍生出的基于神经网络的版面分析法等也都是以连通域为基础进行的。连通域是指将图像经过二值化后转为的二值矩阵中任选一个像素点,若包围其的所有像素点中存在相同像素值的像素点则视为两点连通,以此类推,这样的像素点构成的一个集合在图像中所在的区域即一个连通域。根据连通域大小或像素点分布等特征可以将连通域的属性标记出来,用作进一步处理的依据。
2.2.2版面理解
获取文章逻辑结构,包括各区域的逻辑属性、文章的层次关系和阅读顺序。根据版面分析时记载的连通域位置信息,确定连通域归属序列。
2.2.3版面重构
根据版面分析和OCR的结果,重构出包含文字信息和版面信息的电子文档。
2.3 图像切分
图像切分大致可以分为两个个主要类别,行(列)切分和字切分。经过切分处理后,才能方便对单个文字进行识别处理。如下图所示。
2.3.1 行列切分
由于印刷体文字图像行列间距.、字间距大致相等,且几乎不存在粘连现象,所以可以采用投影法对图像进行切分,得到每列(行)在坐标轴的像素值投影曲线是一个不平滑的曲线,通过高斯平滑后的曲线在每个波谷位置间的区域即为要的一行(列)。
2.3.2 字切分
字切分对于不同的文种存在着比较明显的差异,通常意义下,字切分是指将整行或整列文字切分成独立的一个个文字,而实际上根据文种差异,可能还需需要将单个文字进行进一步切分。而因为文种不同,构词法或钩字法也有所不同,所以切分方法的难度差别也是天壤之别。例如将汉字“屋”切分开的难度和将英文“house”切分开的难度差别就很大,因此在识别模式上,也会根据文种特性,设计不同的识别方法。
2.4 特征提取与模型训练
在深度学习广泛应用于图像识别领域之前,模板匹配是较为常见的一种识别方式,之后由于神经网络的复苏,基于反馈的神经网络给OCR领域带来了又一春。现在随着计算机硬件算力的提升,利用大批数据训练深度神经网络在图像识别方面取得了傲人的成绩。
2.4.1 特征提取及匹配
特征提取是从单个字符图像上提取统计特征或结构特征的过程。所提取的特征的稳定性及有效性,决定了识别的性能。对于统计特征的提取,可利用统计模式识别中的特征提取方法,而对结构特征的提取,应根据具体文字所确定的识别基元确定相应的特征提取方法。在相当长的文字识别的研究过程中,是利用人们的经验知识,指导文字特征的提取。例如边缘特征...