中企动力 > 商学院 > ocr识别验证码
  • ?

    互联网灰色产业链之——暴富的验证码

    余尔风

    展开

    互联网灰色产业链之-----暴富的验证码

    《验证码》我们再熟悉不过了,登陆网站、APP、邮箱,都需要验证码,实际上就是验证身份的一种机制,今天我们就谈谈另类的验证码。

    掌声响起来,加班写文章。为了过新手,我真的拼了,头条原创作品,手工码字。

    验证码其实有很多种,比如短信验证码、数字验证码、文字验证码、图片验证码等等,那么今天就来说一说网站上各类图形数字等验证码。

    我们访问一个网站xxx输入账号密码后会出现一个图形验证码,输入正确后,才可以正常登陆,继续我们的业务。

    游戏中,网络环境的众多因素,也会提醒各类验证码,验证码说白了,就是验证是否是真人操作或者机器人操作的一种方式。

    因为验证码之多,造就了一部分非法获利的人群,下面分析一下结构和原理。

    实际上是一个链条行为,可以分为 软件作者 打码平台 终端用户。

    1. 软件作者开发 某某批量注册 某某游戏辅助 某某脚本等各类辅助程序,对接到打码平台。

    2. 打码平台通过邀请更多的作者入驻,获得更大利润。

    3. 终端客户通过购买游戏辅助。批量注册软件,接触到打码平台。从而充值使用。(终端客户充值后,软件作者会从打码平台获取利润分成)

    分析一下打码平台:

    当在游戏中出现验证码的时候,软件会自动发送至打码平台,打码平台识别完成后,发送给终端客户。

    打码平台会有两种模式在运作,一种自动模式,一种手动模式。自动模式是指通过OCR图片识别,软件的素材库,全自动识别验证码,识别后发送出去,并且扣除相应的打码费。

    手动模式是指出现验证码后发送至打码平台,电脑软件无法识别出验证码,那么就需要人工手动输入,输入后,发送至终端客户,并扣除相应的打码费,这又是一个链条。

    打码平台会低价招聘一批打码员,就是网上的兼职,下载软件后,就不停地输入验证码,就可以获得利润。

    为什么叫暴富,各类人群在做互联网的灰色产业,都需要以最少的人工操作更多的数据。俗称机器人。

    打码平台每天获取的资金可想而知,一夜暴富的产业链条。

    好了,今天就谈这么多,《《《《我要过新手》》》》,手工码字,头条原创作品,关注我的头条号,获取更多知识,谢谢大家。

  • ?

    深度学习在OCR中的应用

    Iolanthe

    展开

    背景

    计算机视觉是利用摄像机和电脑代替人眼,使得计算机拥有类似于人类的对目标进行检测、识别、理解、跟踪、判别决策的功能。以美团业务为例,在商家上单、团单展示、消费评价等多个环节都会涉及计算机视觉的应用,包括文字识别、图片分类、目标检测和图像质量评价等方向。本文将通过以OCR(光学字符识别)的场景来介绍深度学习在计算机视觉中的应用。

    基于深度学习的OCR

    文字是不可或缺的视觉信息来源。相对于图像/视频中的其他内容,文字往往包含更强的语义信息,因此对图像中的文字提取和识别具有重大意义。OCR在美团业务中主要起着两方面作用。一方面是辅助录入,比如在移动支付环节通过对银行卡卡号的拍照识别以实现自动绑卡,辅助运营录入菜单中菜品信息,在配送环节通过对商家小票的识别以实现调度核单,如图1所示。另一方面是审核校验,比如在商家资质审核环节对商家上传的身份证、营业执照和餐饮许可证等证件照片进行信息提取和核验以确保该商家的合法性,机器过滤商家上单和用户评价环节产生的包含违禁词的图片。

    图1 图像中的文字提取和识别流程

    OCR技术发展历程

    传统的OCR基于图像处理(二值化、连通域分析、投影分析等)和统计机器学习(Adaboost、SVM),过去20年间在印刷体和扫描文档上取得了不错的效果。传统的印刷体OCR解决方案整体流程如图2所示。

    图2 传统的印刷体OCR解决方案

    从输入图像到给出识别结果经历了图像预处理、文字行提取和文字行识别三个阶段。其中文字行提取的相关步骤(版面分析、行切分)会涉及大量的先验规则,而文字行识别主要基于传统的机器学习方法。随着移动设备的普及,对拍摄图像中的文字提取和识别成为主流需求,同时对场景中文字的识别需求越来越突出。因此,相比于印刷体场景,拍照文字的识别将面临以下三方面挑战:

    成像复杂。噪声、模糊、光线变化、形变。

    文字复杂。字体、字号、色彩、磨损、笔画宽度任意、方向任意。

    场景复杂。版面缺失、背景干扰。

    对于上述挑战,传统的OCR解决方案存在着以下不足:

    通过版面分析(连通域分析)和行切分(投影分析)来生成文本行,要求版面结构有较强的规则性且前背景可分性强(例如黑白文档图像、车牌),无法处理前背景复杂的随意文字(例如场景文字、菜单、广告文字等)。另外,二值化操作本身对图像成像条件和背景要求比较苛刻。

    通过人工设计边缘方向特征(例如方向梯度直方图)来训练字符识别模型,在字体变化、模糊或背景干扰时,此类单一的特征的泛化能力迅速下降。

    过度依赖于字符切分的结果,在字符扭曲、粘连、噪声干扰的情况下,切分的错误传播尤其突出。

    尽管图像预处理模块可有效改善输入图像的质量,但多个独立的校正模块的串联必然带来误差传递。另外由于各模块优化目标独立,它们无法融合到统一的框架中进行。

    为了解决上述问题,现有技术在以下三方面进行了改进。

    1.文字行提取

    传统OCR(如图3所示)采取自上而下的切分式,但它只适用于版面规则背景简单的情况。该领域还有另外两类思路。

    自底向上的生成式方法。该类方法通过连通域分析或最大稳定极值区域(MSER)等方法提取候选区域,然后通过文字/非文字的分类器进行区域筛选,对筛选后的区域进行合并生成文字行,再进行文字行级别的过滤,如图3所示。该类方法的不足是,一方面流程冗长导致的超参数过多,另一方面无法利用全局信息。

    图3 基于自底向上的文字检测

    基于滑动窗口的方法。该类方法利用通用目标检测的思路来提取文字行信息,利用训练得到的文字行/词语/字符级别的分类器来进行全图搜索。原始的基于滑动窗口方法通过训练文字/背景二分类检测器,直接对输入图像进行多尺度的窗口扫描。检测器可以是传统机器学习模型(Adaboost、Random Ferns),也可以是深度卷积神经网络。

    为了提升效率,DeepText、TextBoxes等方法先提取候选区域再进行区域回归和分类,同时该类方法可进行端到端训练,但对多角度和极端宽高比的文字区域召回低。

    2.传统单字识别引擎→基于深度学习的单字识别引擎

    由于单字识别引擎的训练是一个典型的图像分类问题,而卷积神经网络在描述图像的高层语义方面优势明显,所以主流方法是基于卷积神经网络的图像分类模型。实践中的关键点在于如何设计网络结构和合成训练数据。对于网络结构,我们可以借鉴手写识别领域相关网络结构,也可采用OCR领域取得出色效果的Maxout网络结构,如图4所示。对于数据合成,需考虑字体、形变、模糊、噪声、背景变化等因素。

    图4 基于Maxout 卷积神经网络结构的单字识别模型

    表1给出了卷积神经网络的特征学习和传统特征的性能比较,可以看出通过卷积神经网络学习得到的特征鉴别能力更强。

    表1 单字符识别引擎性能比较

    3.文字行识别流程

    传统OCR将文字行识别划分为字符切分和单字符识别两个独立的步骤,尽管通过训练基于卷积神经网络的单字符识别引擎可以有效提升字符识别率,但切分对于字符粘连、模糊和形变的情况的容错性较差,而且切分错误对于识别是不可修复的。因此在该框架下,文本行识别的准确率主要受限于字符切分。假设已训练单字符识别引擎的准确率p=99%,字符切分准确率为q= 95%,则对于一段长度为L的文字行,其识别的平均准确率为P= (pq)的L次方,其中L=10时,P=54.1%。

    由于独立优化字符切分提升空间有限,因此有相关方法试图联合优化切分和识别两个任务。现有技术主要可分为基于切分的方法(Segmentation-Based)和不依赖切分的方法(Segmentation-

    Free)两类方法。

    基于切分的方法

    该类方法还是保留主动切分的步骤,但引入了动态合并机制,通过识别置信度等信息来指导切分,如图5所示。

    图5基于CNN的动态切分与识别流程

    过切分模块将文字行在垂直于基线方向上分割成碎片,使得其中每个碎片至多包含一个字符。通常来说,过切分模块会将字符分割为多个连续笔划。过切分可以采用基于规则或机器学习的方法。规则方法主要是直接在图像二值化的结果上进行连通域分析和投影分析来确定候补切点位置,通过调整参数可以控制粒度来使得字符尽可能被切碎。基于规则的方法实现简单,但在成像/背景复杂的条件下其效果不好。机器学习方法通过离线训练鉴别切点的二类分类器,然后基于该分类器在文字行图像上进行滑窗检测。

    动态合并模块将相邻的笔划根据识别结果组合成可能的字符区域,最优组合方式即对应最佳切分路径和识别结果。直观来看,寻找最优组合方式可转换为路径搜索问题,对应有深度优先和广度优先两种搜索策略。深度优先策略在每一步选择扩展当前最优的状态,因此全局来看它是次优策略,不适合过长的文字行。广度优先策略在每一步会对当前多个状态同时进行扩展,比如在语音识别领域广泛应用的Viterbi解码和Beam Search。但考虑到性能,Beam Search通常会引入剪枝操作来控制路径长度,剪枝策略包含限制扩展的状态数(比如,每一步只扩展TopN的状态)和加入状态约束(比如,合并后字符形状)等。

    由于动态合并会产生多个候选路径,所以需要设计合适的评价函数来进行路径选择。评价函数的设计主要从路径结构损失和路径识别打分两方面出发。路径结构损失主要从字符形状特征方面衡量切分路径的合理性,路径识别打分则对应于特定切分路径下的单字平均识别置信度和语言模型分。

    该方案试图将字符切分和单字符识别融合在同一个框架下解决,但由于过分割是独立的步骤,因此没有从本质上实现端到端学习。

    不依赖切分的方法

    该类方法完全跨越了字符切分,通过滑动窗口或序列建模直接对文字行进行识别。

    滑窗识别借鉴了滑动窗口检测的思路,基于离线训练的单字识别引擎,对文字行图像从左到右进行多尺度扫描,以特定窗口为中心进行识别。在路径决策上可采用贪心策略或非极大值抑制(NMS)策略来得到最终的识别路径。图6给出了滑窗识别的示意流程。可见滑窗识别存在两个问题:滑动步长的粒度过细则计算代价大,过粗则上下文信息易丢失;无论采用何种路径决策方案,它们对单字识别的置信度依赖较高。

    图6基于滑动窗口的文字检测

    序列学习起源于手写识别、语音识别领域,因为这类问题的共同特点是需要对时序数据进行建模。尽管文字行图像是二维的,但如果把从左到右的扫描动作类比为时序,文字行识别从本质上也可归为这类问题。通过端到端的学习,摒弃矫正/切分/字符识别等中间步骤,以此提升序列学习的效果,这已经成为当前研究的热点。

    基于现有技术和美团业务涉及的OCR场景,我们在文字检测和文字行识别采用如图7所示的深度学习框架。

    图7基于深度学习的OCR解决方案

    后面将分别介绍文字检测和文字行识别这两部分的具体方案。

    基于深度学习的文字检测

    对于美团的OCR场景,根据版面是否有先验信息(卡片的矩形区域、证件的关键字段标识)以及文字自身的复杂性(如水平文字、多角度),图像可划分为受控场景(如身份证、营业执照、银行卡)和非受控场景(如菜单、门头图),如图8所示。

    图8受控场景与非受控场景

    考虑到这两类场景的特点不同,我们借鉴不同的检测框架。由于受控场景文字诸多约束条件可将问题简化,因此利用在通用目标检测领域广泛应用的Faster R-CNN框架进行检测。而对于非受控场景文字,由于形变和笔画宽度不一致等原因,目标轮廓不具备良好的闭合边界,我们需要借助图像语义分割来标记文字区域与背景区域。

    1.受控场景的文字检测

    对于受控场景(如身份证),我们将文字检测转换为对关键字目标(如姓名、身份证号、地址)或关键条目(如银行卡号)的检测问题。基于Faster R-CNN的关键字检测流程如图9所示。为了保证回归框的定位精度,同时提升运算速度,我们对原有框架和训练方式进行了微调。

    考虑到关键字或关键条目的类内变化有限,网络结构只采用了3个卷积层。

    训练过程中提高正样本的重叠率阈值。

    根据关键字或关键条目的宽高比范围来适配RPN层Anchor的宽高比。

    图9 基于Faster R-CNN的OCR解决方案

    Faster R-CNN框架由RPN(候选区域生成网络)和RCN(区域分类网络)两个子网络组成。RPN通过监督学习的方法提取候选区域,给出的是无标签的区域和粗定位结果。RCN引入类别概念,同时进行候选区域的分类和位置回归,给出精细定位结果。训练时两个子网络通过端到端的方式联合优化。图10以银行卡卡号识别为例,给出了RPN层和RCN层的输出。

    图10 基于Faster R-CNN的银行卡卡号检测

    对于人手持证件场景,由于证件目标在图像中所占比例过小,直接提取微小候选目标会导致一定的定位精度损失。为了保证高召回和高定位精度,可采用由粗到精的策略进行检测。首先定位卡片所在区域位置,然后在卡片区域范围内进行关键字检测,而区域定位也可采用Faster R-CNN框架,如图11所示。

    图11 由粗到精的检测策略

    非受控场景的文字检测

    对于菜单、门头图等非受控场景,由于文字行本身的多角度且字符的笔画宽度变化大,该场景下的文字行定位任务挑战很大。由于通用目标检测方法的定位粒度是回归框级,此方法适用于刚体这类有良好闭合边界的物体。然而文字往往由一系列松散的笔画构成,尤其对于任意方向或笔画宽度的文字,仅以回归框结果作为定位结果会有较大偏差。另外刚体检测的要求相对较低,即便只定位到部分主体(如定位结果与真值的重叠率是50%),也不会对刚体识别产生重大影响,而这样的定位误差对于文字识别则很可能是致命的。

    为了实现足够精细的定位,我们利用语义分割中常用的全卷积网络(FCN)来进行像素级别的文字/背景标注,整体流程如图12所示。

    图12 基于全卷积网络的文字检测

    多尺度全卷积网络通过对多个阶段的反卷积结果的融合,实现了全局特征和局部特征的联合,进而达到了由粗到精的像素级别标注,适应于任意非受控场景(门头图、菜单图片)。

    基于多尺度全卷积网络得到的像素级标注,通过连通域分析技术可得到一系列连通区域(笔划信息)。但由于无法确定哪些连通域属于同一文字行,因此需要借助单链聚类技术来进行文字行提取。至于聚类涉及的距离度量,主要从连通域间的距离、形状、颜色的相似度等方面提取特征,并通过度量学习自适应地得到特征权重和阈值,如图13所示。

    图13 基于全卷积网络的图像语义分割

    图14分别给出了在菜单和门头图场景中的全卷积网络定位效果。第二列为全卷积网络的像素级标注结果,第三列为最终文字检测结果。可以看出,全卷积网络可以较好地应对复杂版面或多角度文字定位。

    图14 基于FCN的文字定位结果

    基于序列学习的文字识别

    我们将整行文字识别问题å...

  • ?

    图形验证码在携程的实践之路

    充斥

    展开

    数十万互联网从业者的共同关注!

    作者:闵杰

    来源:携程技术中心(ID:ctriptech)

    编辑:Juvae

    从互联网行业出现自动化工具开始,验证码就作为对抗这些自动化尝试的主要手段登场了,在羊毛党,扫号情况层出不穷的今天,验证码服务的水平也直接决定一家互联网企业的安全系数。作为WEB看门人,它不仅仅要做到安全,也要兼顾体验。

    本文将分享携程信息业务安全团队在这几年里,对图形验证码服务所做的一些大大小小的改变。各位可以将本文作为自身网站图形验证码搭建的小攻略,减少重复踩坑的情况。

    1.0时代

    过去携程曾经使用了一套基于.NET的图形验证码作为控制登录,注册,发送手机短信,点评,重置密码以及其他相关场景的主要手段,目的也很简单,就是防止非实人的请求。

    在这个阶段,设计时仅仅是满足了防御异常请求,并没有考虑太多用户体验以及产品上线后,运营数据收集再分析改造的需求。

    主要实现的功能点为:

    图片验证一次失效

    图片生成超时失效

    支持生成4位和6位验证码,字符以英文和数字组成

    支持简单的字符粘连,干扰线,干扰点,字体,字符大小,字体扭曲等配置。

    验证码图示:

    流程图如图所示:

    事后来看,这套验证码系统由于架构简单,接入简便,在很长一段时间内,担当了携程门户主要的看门人的角色,尽管各大BU并不是非常情愿地使用了这套服务,但是在防范撞库,恶意请求短信,批量获取优惠卷等场景下,还是体现出了一个验证码服务所应该起到的作用。

    当时这套验证码服务上线后,遇到了不少的问题:

    1、服务并没有对接入方做场景,事务等区别,整个携程的验证码难度都是统一的(除了部分BU自己开发了验证码),经常发生在A页面出现被扫号情况,需要增强验证码难度,但是B页面随之反馈,验证码太难,收到用户投诉,需要降低难度,无法兼顾。

    2、服务记录的字段仅仅能支撑服务正常运行,业务数据没有进行记录。导致了验证码有时候调用和验证异常升高,完全无法知晓是谁在进行恶意尝试并进行拦截(比如封停恶意IP)。

    3、只有英文数字,并且字体单一,设置的扭曲干扰线简单点,极易被OCR识别,假如设置的太难,就会造成连正常用户都无法识别的窘境,在很长的一段时间内,只能将难度设置在简单-中等这种难度,谈不上对于批量OCR有任何的防御。

    而说到这类验证码的破解,业内目前通用的方案,我了解下来有这么几种:

    1、通过各种手段,绕过风控,或者绕过验证码,比如某些验证码是本地校验,有些验证码的关键参数会下发至前端,用户可以修改参数达到控制验证码的目的,有些业务方接入了验证码,但是没有把校验和业务接口绑在一起,导致人家可以直接请求业务接口,验证码形同虚设。也有业务方在接入验证码的时候,登录动作先于验证码校验,也导致了验证码毫无意义。这些在过往的接入过程中,都是实际发生过的情况。

    2、ORC,从二值化,去除干扰线/点,确定字体区域,到最后识别,会根据验证码本身难度的不同,显著的影响其识别率。

    3、人工打码平台。目前打码平台针对图片验证码已经很成熟了,针对数字,英文,汉字,智能问答都有不同的价格。

    4、CNN神经网络识别。通过大量的样本进行机器学习,对于某些OCR比较难识别的粘连字符字体,可能会有一个较好的识别结果。

    随着各类攻击越来越多,穿透性也日益增强,业务部门对于验证码难度需求不一致,以及自身对于验证码数据收集再改造的这些情况下,改造这个服务已经成为了摆在眼前的事情。

    1.5时代

    在总结了上述提到的这些问题以后,新需求就自然而然的产生了:

    英文和字母模型太过单一,极易破解,需要加入中文字库。

    业务数据保留,至少得知道威胁是哪些地方过来的。

    能够在面对大量的OCR或者暴力尝试场景下,自动变化难度,降低对方的识别率。

    区分接入的业务方,难度可以根据业务方做不同的调整。

    在产品开发测试的一轮轮投入后,新的需求完成了,并且又花了将近一年的时间推广了各个BU接入了这个新的验证码。

    (在这里说一个实际的情况,就是在第一版验证码开发的时候,并不重视保留接入方的信息,导致了在进行第二轮验证码重新接入的时候,发现老的接入方有3位数,但是要找谁,完全不清楚,以至于有些验证码到目前都没有进行更新,这个服务接入注册其实是一个很小的功能,但是在版本更迭,重大事务通知上,能起到非常重要的作用)。

    新版本验证码比较好的解决了下面这几个实际场景面对的问题:

    1、再也不会出现某个应用发现异常请求,刚刚调高难度没多久,就接到投诉电话,需要把难度降低这种场景,可以根据各自应用手动或者自动调节难度。(原先是整个公司都是统一的难度耦合在了一起)。

    2、可以知道威胁是来自于哪个IP或者设备的,针对性的做出响应,比如封停请求。

    3、在面对扫号配合OCR工具的情况下,这套验证码会自动不停的变换难度,干扰点/线,字体,背景色,粘连度等,经过实际对比观察,防御效果比老版本提高了2倍,这里我们的策略分为全局难度提高和针对纬度进行提高,比如假设只有一个IP或者设备的验证码请求发现异常,我们只会提高来自于这个IP或设备请求的验证码难度,对于其他正常请求是无感知的,但是在某些情况下,比如大规模的分布式扫号,可能你需要使用的就是全局难度提高。

    4、支持了中文验证码,实际测试,英文数字在成熟的OCR工具面前,哪怕做了混淆,解析成功率也接近50%,假设换成中文配合一定的混淆,解析成功率一般不高于20%,这也是很多团队初期,假设没有风控和其他的辅助服务,最直接,成本最低的提高防御力度的方案。

    这套方案,作为主流的验证码方案在携程应用了很久,但是在去年,团队也终于意识到,还有很多问题是这套验证码方案所无法解决的:

    1、用户的体验问题,这个问题被公司内部诟病很久,并偶尔会收到来自于外部用户的投诉。其实也很好理解,一个四个字的随机中文验证码,手机输入一次大约耗时15-20秒,这个在活动营销拉新场景下,是一个致命的转化率杀手。在很多力度不是非常大的活动面前,这个验证码会直接打消一部分正常用户去尝试的念头(尽管中文验证码在防御恶意请求接口上有着巨大的安全优势),作为业务方产品不得不考虑,假设恶意用户的比例是5%,牺牲剩下95%用户的体验是否值得,即便也只有5%的正常用户放弃了尝试(比如一些年纪大的客户),和恶意用户的比例相仿,但是剩下的用户还是需要输入这些验证码,在用户体验成本上的让步是巨大的,这样就会让安全和业务陷入一种零和博弈的局面,这往往也是安全部门不受欢迎的主要原因。

    2、接入繁琐,验证码和风控作为2个服务,需要业务方去耦合,分别接入,听起来就很繁琐,实际接入也确实很繁琐,大量的时间花费在接入服务上。

    3、无法应对国际化,中文验证码国外用户不认识,英文数字过于简单压根没办法防御主流扫号攻击。实际发生过的案例就是携程海外站点被大规模扫号,但是束手无策的局面,分布式IP和设备,无法采用中文,几万个IP手动封不谈累不累,CFX都装不下,只能看着他扫。

    4、丑,验证码图片由于需要防破解的关系,往往和整体页面UI的风格完全没有一个搭配感,让人很出戏。

    和各大竞品比起来,我们的验证码确实就像是石器时代在和工业时代比较,也被公司内部一次次吐槽实在太影响体验了。在这种内忧外患的局面下,验证码服务更新又一次被放到了台面上。

    2.0时代

    需求又一次的被明确:

    接入要简便,不要让业务方再需要自己对风控结果和验证码来处理相关逻辑。

    体验要好,移动端时代,尤其要考虑移动端输入的习惯。

    安全性和国际化问题,至少不能让有些用户投诉自己无法输入中文字。

    美观,和页面UI尽量融合,也需要可以让业务方自行美化。

    又是一轮一轮的测试开发,大约在半年前,完成了本次验证码重构的第一版,他主要实现了如下功能:

    1、体验问题被解决了,在对比多种竞品以后,我们采取的方案为“滑块+选字”,在安全认为请求有风险的情况下,会出现滑块,假设在你滑动滑块期间采集的数据不足以认为请求是可信的情况下,会出现选字或者直接禁止请求访问,根据实际数据,用户滑动滑块的时间耗时一般平均在0.5秒一次,仅有很少的一部分用户会出现选字,选字一般的耗时在7秒左右,平均下来,整体耗时目前在携程实践下来,在1.7秒左右。

    2、接入问题也得到了改进,业务方目前接入仅仅需要在页面上引入一个JS(APP为一个SDK),然后在监听到JS的一个事件提示,可以获取token后,获取token,由业务方服务端获取token以后到安全这里的校验服务校验,校验完成以后,整个流程就结束了,中间的判断风险,出现滑块,滑块校验,出现选字,选字校验这些步骤业务方都无需干涉以及传送数据,安全已经把后端的风控,风险仓库和验证码前端全部打通,业务方在无感知的情况下,相当于接入及使用了3个服务。

    3、国际化问题,目前已经支持东南亚多国语言的选字和提示语服务,常用国家再也不会有无法看懂和无法输入的诟病。

    新版验证码服务如图所示:

    流程图如图:

    这个版本作为目前携程验证码的主流应用版本,将在各个场景下代替过去的填字验证码,在体验和安全性上,大幅度超越之前的服务。

    按照目前携程的每日验证情况来计算,新验证码对比老验证码能每天给用户节约500小时的验证时间。

    填字验证码在H5端,通过大量实践,在保证安全性的前提下,输入正确率一般在88%-90%,存在了一个天花板,在新验证码上线后,整体通过率已经提高到了96%,接近了我们认为的实际异常比例。

    同时我们对于前端采集的大量数据做了模型训练,对于某些规则难以发现的问题,会采用模型的结果来进行处理。

    在某些公共登录注册场景下,我们会采用BI画像+特定活动物料的模式,给特定的用户进行验证码渠道的推广服务,如图:

    但是这套服务,也存在一定的问题:

    1、滑块服务存在被破解的可能,据一些外部专业测试机构报告,目前外部主流的一些SAAS滑块服务,被破解的概率在60%(他能让滑块认为他是安全的请求,选字就不会出现了)

    2、选字的OCR识别依然存在,虽然存在要识别两套并点选的难度,但是有些外部专业团队已经实现了一定程度的破解。

    3、体验上,在IOS系统,滑块容易造成页面的回退,对于一些指甲长的用户尤其容易造成这个问题,目前的解决方案只能是加大滑动条的大小,尽量远离屏幕边缘。

    结语

    没有一种验证码可以通吃所有场景,也没有绝对安全无法破解的验证码,只有在业务和安全不停权衡的前提下,找到一个属于体验和安全平衡的点,这才是验证码正确的打开方式。在和各种黑产团队不停斗争的过程中,验证码服务只有不停的改变,创新,才可以适应当前复杂的黑产现状以及业务多变的场景。

    作者简介:闵杰, 携程信息安全部产品经理。2015年加入携程,主要负责黑产防刷,验证码,反爬以及UGC方面的产品设计,关注在低成本的前提下,解决以上场景的实际问题。

    投稿邮箱:mm@zaodula

    本文由作者授权早读课发表,转载请联系作者。

  • ?

    【历史】虽然总是吐槽“奇葩”验证码但你真正懂它吗?

    杳然

    展开

    说起验证码,许多网友憋了一肚子火,有时输入半天都不对,极大的影响了登录体验。

    不过这也不能怪设置验证码的软件,毕竟也是为了你的安全着想。未来,安全策略更加周全、新型技术解决登录身份验证等问题,可以预想,终有一天验证码会退出互联网的历史舞台。

    日前,腾讯TEG安全平台部就验证码问题,结合腾讯的发展历史进行了来龙去脉的梳理,一起来了解下:

    腾讯出现验证码,得从13年前那股疯狂的“挂太阳”热潮说起。

    如果是QQ老用户,你一定记得那些年我们挂过的星星、月亮和太阳。伴随着这股热潮,网络上开始出现一种特殊服务——代挂QQ,也就是代挂团伙为有需要的用户长时间登录QQ以提升等级,这就需要用户把帐号密码给到他们。

    当年的挂机软件

    这个时候,坏人出现了。他们手里掌握的密码资源哗啦啦多了起来,并开始盗卖变现,还变本加厉,不断用机器高频的暴力破解,一个一个去试可能的密码。

    于是,正如大家所见,QQ登录场景中的验证码应运而生,并有效打断了坏人自动机暴破的疯狂节奏。

    从那时起,腾讯验证码正式登上历史舞台。在2008年之前,凡是在网页上登录QQ都得输入验证码。当时的策略是“一视同仁”,给所有用户下发验证码。

    经过一段时间的摸索,团队开始意识到一个问题:验证码的初衷,是为了拦住“坏人”,而不是拦住“所有人”。因此,腾讯开始尝试对那些明显是正常用户的行为免去下发验证码。

    也就是通过安全大数据的能力,自动区分机器与正常用户,向机器下发验证码拦截,对好人则免验证码直接登录,以此提升用户体验。

    在腾讯,这项平衡安全和体验的策略工作称之为“免验”。在下发“免验”策略初期,只能免掉10%的验证码。

    对可疑行为下发验证码

    随着数据积累和能力的提升,免验比例也在不断提高,力求免去正常用户辨别验证码的苦恼。直到现在,免验策略还在持续优化。

    电商、团购、互联网金融崛起,黑产从业者的可图之利增多,验证码的战场正式进入了一段破解与抗破解的持久博弈。

    早期的密码暴力破解软件

    业界普遍把验证码设计得越来越复杂。长久下来,就形成了机器人和用户都看不懂的尴尬局面。

    显然,这条路是走不通的。

    在长期的试错和斗争中,腾讯的研究人员发现坏人在破解验证码时存在一大死穴——时间。

    从一套新的验证码出现,到坏人成功破解,再集成到自动化软件流入黑市,整个过程需要一个周期。那么,如果我们更新验证码的速度快于坏人的工作周期,问题不就迎刃而解了?

    基于这种对抗理念,在2011年7月,“魔术师”验证码诞生了。如同魔术师快得让人看不清的手法,魔术师验证码采用了高频的切换策略,不停的更换字体,使对抗形成了“敌方未破我先变”的局面。

    原有验证码 vs 魔术师验证码

    果然,敌人自动机大军的步伐被成功遏制,铩羽而归。

    字库都用枯竭了,还有啥办法?

    但为了巨大的潜在利润,敌人永远不会消停。由于魔术师的字体库已经跑了一年,再加上图像识别技术的发展,坏人几乎遍历研究。

    以前,只要验证码的字体一切换,破解率立马就会刷刷地往下掉。而后来,破解率仅小掉一下马上又反弹了。

    换字体策略失效!该怎么办?研究人员发现,任何一种自动机,对验证码的识别率都不可能达到100%,有验证成功的图片,肯定也有验证失败的图片。

    做个假设,某种自动机的破解率是10%,也就是指在100张图片里,有90张无法识别。那么我们把这90张图片收集起来,每次都给它下发这些图片,10%的破解率会瞬间掉到0%。

    因为此时,自动机已陷入了绕不开的死结。根据这个思路,2013年元旦前,“猜你喜欢”验证码诞生了。“猜你喜欢”通过分析自动机行为特征,自动寻找、收集自动机的弱点,反复攻敌之弱。

    原有验证码 vs 猜你喜欢验证码

    在体验上,“猜你喜欢”摆脱了对图片复杂性的依赖,做到了“高清无码”,正常用户的识别率也大幅提高。在安全性上,防破解效果立竿见影.

    坏人永远不停歇,对抗也越发激烈。黑产也运用起了人工智能,推出验证码的杀手锏–打码平台,从设计原理上突破验证码。

    他们招募大批的打码工人,进行流水线作业。

    而让这个情况更糟糕的是打码和深度学习结合,打码平台和使用打码平台的开发者给自动机破解程序提供样本,通过神经网络学习,破解程序可以很快做到较高的破解率。

    再加上OCR(文字识别技术)的发展,字符验证码对抗非常艰难。

    此时,许多新型的验证码出现了:

    世界上没有绝对破不了的验证码。随着机器学习的不断发展,程序猿遇到的挑战也将越来越多。不断尝试和跟坏人斗智斗勇,更多新型验证码也正在研究当中。

    验证码团队不会采用一成不变的单一验证手段,而是配合策略,组合下发,快速迭代。

    可以肯定的是,无论是过去、现在,亦或是不远的将来,对抗黑产,这都注定是一场没有硝烟的血战。

    快问快答:

    Q:是不是字符验证码就不安全?

    A:不是。现在腾讯许多业务仍在使用字符验证码,不过也正在向新型验证码转移。

    除了验证码,保护用户的安全需要多元化手段综合运用,比如用户行为识别、后台策略对抗等,根据不同情况,启动不同的安全应对策略。

    Q:就上面提到的各种验证码来讲,现在哪种验证码的效果最好呢?

    不同产品面临的战场不一样,比较难下定论说哪一种验证码效果最好。

    从目前坏人的手段和技术来看,大家拼的更多的是后台策略,而不是单纯的验证码本身了。适合产品安全策略的才是最好的。

    Q:指纹验证的频率也越来越高,是不是以后可以免去验证码?

    指纹验证本质是身份验证,验证码是对抗自动机,不过随着移动设备指纹的普及,用指纹做身份验证,免去验证码是有可能的。

    Q:验证码属于反人类设计,未来什么情况下可能退出历史?

    验证码的设立很大程度上是为了对抗高频的暴力破解,阻挡坏人的自动机进攻的步伐。所以在现阶段还是非常必要的。

    验证码彻底退出历史舞台,预计还需要比较长的一段时间。

  • ?

    TensorFlow 与中文手写汉字识别

    雷阁

    展开

    本文目标是利用TensorFlow做一个简单的图像分类器,在比较大的数据集上,尽可能高效地做图像相关处理,从Train,Validation到Inference,是一个比较基本的Example, 从一个基本的任务学习如果在TensorFlow下做高效地图像读取,基本的图像处理,整个项目很简单,但其中有一些trick,在实际项目当中有很大的好处, 比如绝对不要一次读入所有的 的数据到内存(尽管在Mnist这类级别的例子上经常出现)…

    最开始看到是这篇blog里面的TensorFlow练习22: 手写汉字识别(http://blog.topspeedsnail/archives/10897), 但是这篇文章只用了140训练与测试,试了下代码 很快,但是当扩展到所有的时,发现32g的内存都不够用,这才注意到原文中都是用numpy,会先把所有的数据放入到内存,但这个不必须的,无论在MXNet还是TensorFlow中都是不必 须的,MXNet使用的是DataIter,会在程序运行的过程中异步读取数据,TensorFlow也是这样的,TensorFlow封装了高级的api,用来做数据的读取,比如TFRecord,还有就是从filenames中读取, 来异步读取文件,然后做shuffle batch,再feed到模型的Graph中来做模型参数的更新。具体在tf如何做数据的读取可以看看reading data in tensorflow

    这里我会拿到所有的数据集来做训练与测试,算作是对斗大的熊猫上面那篇文章的一个扩展。

    Batch Generate

    数据集来自于中科院自动化研究所,感谢分享精神!!!具体下载:

    wget http://nlpr.ia.ac/databases/download/feature_data/HWDB1.1trn_gnt.zip

    wget http://nlpr.ia.ac/databases/download/feature_data/HWDB1.1tst_gnt.zip

    解压后发现是一些gnt文件,然后用了斗大的熊猫里面的代码,将所有文件都转化为对应label目录下的所有png的图片。(注意在HWDB1.1trn_gnt.zip解压后是alz文件,需要再次解压 我在mac没有找到合适的工具,windows上有alz的解压工具)。

    处理好的数据,放到了云盘,大家可以直接在我的云盘来下载处理好的数据集HWDB1. 这里说明下,char_dict是汉字和对应的数字label的记录。

    得到数据集后,就要考虑如何读取了,一次用numpy读入内存在很多小数据集上是可以行的,但是在稍微大点的数据集上内存就成了瓶颈,但是不要害怕,TensorFlow有自己的方法:

    def batch_data(file_labels,sess,batch_size=128):

    image_list = [file_label[0]forfile_label infile_labels]

    label_list = [int(file_label[1])forfile_label infile_labels]

    print'tag2 {0}'.format(len(image_list))

    images_tensor = tf.convert_to_tensor(image_list,dtype=tf.string)

    labels_tensor = tf.convert_to_tensor(label_list,dtype=tf.int64)

    input_queue = tf.train.slice_input_producer([images_tensor,labels_tensor])

    labels = input_queue[1]

    images_content = tf.read_file(input_queue[0])

    # images = tf.image.decode_png(images_content, channels=1)

    images = tf.image.convert_image_dtype(tf.image.decode_png(images_content,channels=1),tf.float32)

    # images = images / 256

    images = pre_process(images)

    # print images.get_shape()

    # one hot

    labels = tf.one_hot(labels,3755)

    image_batch,label_batch = tf.train.shuffle_batch([images,labels],batch_size=batch_size,capacity=50000,min_after_dequeue=10000)

    # print 'image_batch', image_batch.get_shape()

    coord = tf.train.Coordinator()

    threads = tf.train.start_queue_runners(sess=sess,coord=coord)

    returnimage_batch,label_batch,coord,threads

    简单介绍下,首先你需要得到所有的图像的path和对应的label的列表,利用tf.convert_to_tensor转换为对应的tensor, 利用tf.train.slice_input_producer将image_list ,label_list做一个slice处理,然后做图像的读取、预处理,以及label的one_hot表示,然后就是传到tf.train.shuffle_batch产生一个个shuffle batch,这些就可以feed到你的 模型。 slice_input_producer和shuffle_batch这类操作内部都是基于queue,是一种异步的处理方式,会在设备中开辟一段空间用作cache,不同的进程会分别一直往cache中塞数据 和取数据,保证内存或显存的占用以及每一个mini-batch不需要等待,直接可以从cache中获取。

    Data Augmentation

    由于图像场景不复杂,只是做了一些基本的处理,包括图像翻转,改变下亮度等等,这些在TensorFlow里面有现成的api,所以尽量使用TensorFlow来做相关的处理:

    def pre_process(images):

    ifFLAGS.random_flip_up_down:

    images = tf.image.random_flip_up_down(images)

    ifFLAGS.random_flip_left_right:

    images = tf.image.random_flip_left_right(images)

    ifFLAGS.random_brightness:

    images = tf.image.random_brightness(images,max_delta=0.3)

    ifFLAGS.random_contrast:

    images = tf.image.random_contrast(images,0.8,1.2)

    new_size = tf.constant([FLAGS.image_size,FLAGS.image_size],dtype=tf.int32)

    images = tf.image.resize_images(images,new_size)

    returnimages

    Build Graph

    这里很简单的构造了一个两个卷积+一个全连接层的网络,没有做什么更深的设计,感觉意义不大,设计了一个dict,用来返回后面要用的所有op,还有就是为了方便再训练中查看loss和accuracy, 没有什么特别的,很容易理解, labels 为None时 方便做inference。

    def network(images,labels=None):

    endpoints = {}

    conv_1 = slim.conv2d(images,32,[3,3],1,padding='SAME')

    max_pool_1 = slim.max_pool2d(conv_1,[2,2],[2,2],padding='SAME')

    conv_2 = slim.conv2d(max_pool_1,64,[3,3],padding='SAME')

    max_pool_2 = slim.max_pool2d(conv_2,[2,2],[2,2],padding='SAME')

    flatten = slim.flatten(max_pool_2)

    out = slim.fully_connected(flatten,3755,activation_fn=None)

    global_step = tf.Variable(initial_value=0)

    iflabels isnotNone:

    loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(out,labels))

    train_op = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(loss,global_step=global_step)

    accuracy = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(out,1),tf.argmax(labels,1)),tf.float32))

    tf.summary.scalar('loss',loss)

    tf.summary.scalar('accuracy',accuracy)

    merged_summary_op = tf.summary.merge_all()

    output_score = tf.nn.softmax(out)

    predict_val_top3,predict_index_top3 = tf.nn.top_k(output_score,k=3)

    endpoints['global_step'] = global_step

    endpoints['labels'] = labels

    endpoints['train_op'] = train_op

    endpoints['loss'] = loss

    endpoints['accuracy'] = accuracy

    endpoints['merged_summary_op'] = merged_summary_op

    endpoints['output_score'] = output_score

    endpoints['predict_val_top3'] = predict_val_top3

    endpoints['predict_index_top3'] = predict_index_top3

    returnendpoints

    Train

    train函数包括从已有checkpoint中restore,得到step,快速恢复训练过程,训练主要是每一次得到mini-batch,更新参数,每隔eval_steps后做一次train batch的eval,每隔save_steps 后保存一次checkpoint。

    def train():

    sess = tf.Session()

    file_labels = get_imagesfile(FLAGS.train_data_dir)

    images,labels,coord,threads = batch_data(file_labels,sess)

    endpoints = network(images,labels)

    saver = tf.train.Saver()

    sess.run(tf.global_variables_initializer())

    train_writer = tf.train.SummaryWriter('./log' + '/train',sess.graph)

    test_writer = tf.train.SummaryWriter('./log' + '/val')

    start_step = 0

    ifFLAGS.restore:

    ckpt = tf.train.latest_checkpoint(FLAGS.checkpoint_dir)

    ifckpt:

    saver.restore(sess,ckpt)

    print"restore from the checkpoint {0}".format(ckpt)

    start_step += int(ckpt.split('-')[-1])

    logger.info(':::Training Start:::')

    try:

    whilenotcoord.should_stop():

    # logger.info('step {0} start'.format(i))

    start_time = time.time()

    _,loss_val,train_summary,step = sess.run([endpoints['train_op'],endpoints['loss'],endpoints['merged_summary_op'],endpoints['global_step']])

    train_writer.add_summary(train_summary,step)

    end_time = time.time()

    logger.info("the step {0} takes {1} loss {2}".format(step,end_time-start_time,loss_val))

    ifstep >FLAGS.max_steps:

    break

    # logger.info("the step {0} takes {1} loss {2}".format(i, end_time-start_time, loss_val))

    ifstep % FLAGS.eval_steps == 1:

    accuracy_val,test_summary,step = sess.run([endpoints['accuracy'],endpoints['merged_summary_op'],endpoints['global_step']])

    test_writer.add_summary(test_summary,step)

    logger.info('===============Eval a batch in Train data=======================')

    logger.info('the step {0} accuracy {1}'.format(step,accuracy_val))

    ifstep % FLAGS.save_steps == 1:

    logger.info('Save the ckpt of {0}'.format(step))

    saver.save(sess,os.path.join(FLAGS.checkpoint_dir,'my-model'),global_step=endpoints['global_step'])

    except tf.errors.OutOfRangeError:

    # print "============train finished========="

    logger.info('==================Train Finished================')

    finally:

    coord.request_stop()

    coord.join(threads)

    sess.close()

    Graph

    Loss and Accuracy

    Validation

    训练完成之后,想对最终的模型在测试数据集上做一个评估,这里我也曾经尝试利用batch_data,将slice_input_producer中epoch设置为1,来做相关的工作,但是发现这里无法和train 共用,会出现epoch无初始化值的问题(train中传epoch为None),所以这里自己写了shuffle batch的逻辑,将测试集的images和labels通过feed_dict传进到网络,得到模型的输出, 然后做相关指标的计算:

    def validation():

    # it should be fixed by using placeholder with epoch num in train stage

    file_labels = get_imagesfile(FLAGS.test_data_dir)

    test_size = len(file_labels)

    print test_size

    val_batch_size = FLAGS.val_batch_size

    test_steps = test_size / val_batch_size

    print test_steps

    # images, labels, coord, threads= batch_data(file_labels, sess)

    images = tf.placeholder(dtype=tf.float32,shape=[None,64,64,1])

    labels = tf.placeholder(dtype=tf.int32,shape=[None,3755])

    # read batch images from file_labels

    # images_batch = np.zeros([128,64,64,1])

    # labels_batch = np.zeros([128,3755])

    # labels_batch[0][20] = 1

    #

    # logger.info("restore from the checkpoint {0}".format(ckpt))

    # logger.info('Start validation')

    final_predict_val = []

    final_predict_index = []

    groundtruth = []

    foriinrange(test_steps):

    start = i*val_batch_size

    end = (i+1)*val_batch_size

    images_batch = []

    labels_batch = []

    labels_max_batch = []

    logger.info('=======start validation on {0}/{1} batch========='.format(i,test_steps))

    forjinrange(start,end):

    image_path = file_labels[j][0]

    temp_image = Image.open(image_path).convert('L')

    temp_image = temp_image.resize((FLAGS.image_size,FLAGS.image_size),Image.ANTIALIAS)

    temp_label = np.zeros([3755])

    label = int(file_labels[j][1])

    # print label

    temp_label[label] = 1

    # print "====",np.asarray(temp_image).shape

    labels_batch.append(temp_label)

    images_batch.append(np.asarray(temp_image)/255.0)

    labels_max_batch.append(label)

    # print images_batch

    images_batch = np.array(images_batch).reshape([-1,64,64,1])

    labels_batch = np.array(labels_batch)

    batch_predict_val,batch_predict_index = sess.run([endpoints['predict_val_top3'],

    endpoints['predict_index_top3']],feed_dict={images:images_batch,labels:labels_batch})

    logger.info('=======validation on {0}/{1} batch end========='.format(i,test_steps))

    final_predict_val += batch_predict_val.tolist()

    final_predict_index += batch_predict_index.tolist()

    groundtruth += labels_max_batch

    returnfinal_predict_val,final_predict_index,groundtruth

    在训练20w个step之后,大概能达到在测试集上能够达到:

    相信如果在网络设计上多花点时间能够在一定程度上提升accuracy和top 3 accuracy.有兴趣的小伙伴们可以玩玩这个数据集。

    Inference

    def inference(image):

    temp_image = Image.open(image).convert('L')

    logger.info('========start inference============')

    endpoints = network(images)

    predict_val,predict_index = sess.run([endpoints['predict_val_top3'],endpoints['predict_index_top3']],feed_dict={images:temp_image})

    returnfinal_predict_val,final_predict_index

    运气挺好,随便找了张图片就能准确识别出来

    Summary

    综上,就是利用tensorflow做中文手写识别的全部,从如何使用tensorflow内部的queue来有效读入数据,到如何设计network, 到如何做train,validation,inference,珍格格流程比较清晰, 美中不足的是,原本打算是在训练过程中,来对测试集做评估,但是在使用queue读test_data_dir下的filenames,和train本身的好像有点问题,不过应该是可以解决的,我这里就pass了。另外可能 还有一些可以改善的地方,比如感觉可以把batch data one hot的部分写入到network,这样,减缓在validation时内存会因为onehot的sparse开销比较大。

    感觉这个中文手写汉字数据集价值很大,后面感觉会有好多可以玩的,比如

    可以参考项亮大神的这篇文章端到端的OCR:验证码识别做定长的字符识别和不定长的字符识别,定长的基本原理是说,可以把最终输出扩展为k个输出, 每个值表示对应的字符label,这样cnn模型在feature extract之后就可以自己去识别对应字符而无需人工切割;而LSTM+CTC来解决不定长的验证码,类似于将音频解码为汉字

    最近GAN特别火,感觉可以考虑用这个数据来做某个字的生成,和text2img那个项目text-to-image

    这部分的代码都在我的github上tensorflow-101,有遇到相关功能,想参考代码的可以去上面找找,没准就能解决你们遇到的一些小问题.

    Update in 2017.02.13

    感谢@soloice的PR,使得代码更简洁, 并且修改了网络的结构,使得模型准确率上升很高, 最后top1和top3的结果:

  • ?

    棘手的验证码,python爬虫验证码识别之路

    瘦骆驼

    展开

    "写爬虫的时候遇到过反爬虫措施中的验证码吗,最终是怎样解决的",面试官经常这么问.

    什么是验证码?

    验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”(全自动区分计算机和人类的图灵测试)的缩写,是一种区分用户是计算机还是人的公共全自动程序。可以防止:恶意破解密码、刷票、论坛灌水,有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试,实际上用验证码是现在很多网站通行的方式,我们利用比较简易的方式实现了这个功能。这个问题可以由计算机生成并评判,但是必须只有人类才能解答。由于 计算机无法解答CAPTCHA的问题,所以回答出问题的用户就可以被认为是人类。

    常见的验证码有: 图片验证码、手机短信验证码、GIF动画验证码、图案验证码、手机语音验证码、视频验证码

    1).图片验证码

    a. 比较简单的图片验证码

    上面两个不用处理直接可以用OCR识别技术(利用python第三方库--tesserocr)来识别

    背景比较糊

    清晰可见

    经过灰度变换和二值化后,由模糊的验证码背景变成清晰可见的验证码

    b. 容易迷惑人的图片验证码

    对于在这种验证码,语言一般自带图形库,添加上扭曲就成了这个样子,我们可以利用9万张图片进行训练,完成类似人的精准度,到达识别验证码的效果

    2).短信验证码

    尝试用Webbrowser技术,模拟用户打开短信的行为,最终获取短信验证码

    3).计算题图片验证码

    把所有可能出现的汉字都人工取出来,保存为黑白图片,把验证码按照字体颜色二值化,去除噪点,然后将所有图片依次与之进行像素对比,计算出相似值,找到最像的那张图片

    4).滑动验证码

    对于滑动验证码 我们可以采用两个步骤:

    第一、滑动按钮.

    滑动按钮后我们惊奇的发现,右侧开始出现缺口,缺口出现了,我们就可以知道缺口的大致位置

    第二、从左向右滑动到缺口位置.

    (1)_如何确认缺口的位置?

    我们可以利用图片的像素作为线索,确定好基本属性值,查看位置的差值,对于差值超过基本属性值,我们就可以确定图片的大概位置

    (2)_如何自动截图后保存?

    我们利用Selenium、Testng、Reporter环境和工具,使用Selenium文档提供的方法来自动截取屏幕,使用Reporter监听器,

    当用例执行失败时截图,截图以出错时系统时间和出错方法的拼接命名,截图保存到项目目录下即可

    5)、图案验证码

    对于这种每次拖动的顺序不一样,结果就不一样,我们怎么做来识别呢?

    1.利用机器学习所有的拖动顺序,利用1万张图片进行训练,完成类似人的操作,最终将其识别

    2.利用selenium技术来模拟人的拖动顺序,穷尽所有拖动方式,这样达到是别的效果

    6)、标记倒立文字验证码

    我们不妨分析下:对于汉字而言,有中华五千年庞大的文字库,加上文字的不同字体、文字的扭曲和噪点,难度更大了,我们心里又捏了一把汗

    方法:首先点击前两个倒立的文字,之后通过scrapy框架确定7个文字的坐标(,具体见scrapy官方文档), 我们不难发现, 验证码中7个汉字的位置是确定的,只需要提前确认每个字所在的坐标并将其放入列表中,然后人工确定倒立文字的文字序号,将列表中序号对应的坐标加入input_points字段即可实现成功登录.

    最后,小编为大家总结了常用的验证码识别基本步骤,按照每一步进行操作,识别验证码不是问题,请及时收藏:

    验证码识别基本步骤: 1.预处理 2.灰度化 3.二值化 4.去噪 5.分割 6.识别

  • ?

    全国首例AI犯罪案:能识别98%的验证码,泄露10亿多组个人信息

    Eve

    展开

    AI 开始进入我们的生活,栖息在智能音箱或者手机里的它们,是能够给你放音乐、陪聊天的助手,而在互联网的灰色地带里,它们也正成为犯罪分子的帮凶。

    今年 9 月,浙江绍兴警方公布,破获全国首例利用人工智能技术窃取公民个人信息的案件,截获了 10 亿余组公民个人信息。

    被警方查封的平台叫做「快啊」,曾经是市场上最大的打码平台。他们在破解、窃取、贩卖和盗用个人信息实施诈骗有着完整的链条,其中人工智能技术运用在识别验证码这个环节。

    为什么 AI 会先学习识别验证码?

    一般而言,黑产最初盗取的账号密码信息往往是「粗糙」的。但由于人们的同一个邮箱,通常也是多个网站的登陆账号,同样的密码往往也在多个网站使用。因此黑产会通过利用已有的账号密码信息,去批量尝试这些账号密码能否在更多不同的平台上登陆。

    这个过程被称为「撞库」,而撞库的过程中最主要的障碍就是各个网站设置的验证码。

    黑产使用的 AI,就是用来应对这些验证码的。为什么 AI 会先学习识别验证码呢?我们先来解释一下验证码是什么。

    (图片来自安全牛)

    当我们登陆网站、提交信息时,总能遇上验证步骤,尤其是在 12306 上买票时,对那些图片验证码真的是咬牙切齿。但事实上,验证码是各个网站用来对抗网络黑产恶意登陆等行为而设置的安全策略。

    验证码的全名是「全自动区分计算机和人类的图灵测试」,由卡内基梅隆大学的路易斯 · 冯 · 安(Luis von Ahn)提出。图灵测试,顾名思义,验证码的目的,是为了识别网络请求的发起方是人类,亦或是机器。因此早期的验证码就是网站提出一些问题,这些问题不能被机器破解回答,又得能够被人类轻易答对。

    网络黑产在撞库时,他们就会将所遇到的海量验证码「打码」任务,交给「打码平台」去完成。

    (撞库流程,图片来自:freebuf)

    根据腾讯守护者计划安全团队的介绍,网络黑产撞库时,与打码平台是这样合作的:

    首先黑产把已窃取的账号密码信息导入到撞库软件,撞库软件模拟登录协议,向互联网公司的服务器发送登录请求。服务器检测到登录异常时,会通过验证码来进行拦截; 撞库软件将收到的验证码图片发送给「打码平台」,请求将图片转化为字符。打码平台后台破解验证码,将字符结果返回给撞库软件,完成撞库流程,得到更多的用户信息。 随后这些信息可能被贩卖、用于诈骗犯罪等。

    早期的打码平台,是通过众包让分布在各地电脑前的打码小工来完成的。后来进化到了「人工 + OCR 降维识别图片」。随着互联网公司对验证码识别难度的升级,「人工 + OCR 降维识别图片」的识别率在降低,因此像「快啊」这样的打码平台就开始运用 AI 技术训练机器,提高识别验证码的精度和效率。

    随着安全防护与破解入侵两方面的抗衡日益升级,验证码的难度在增加,形式也在多样化。从简单的字母数字、算术题,到扭曲的字符、模糊的图片,这些被归类为知识型验证码;如今新一代的验证码已经开始向无知识型进化,例如 Google 的 reCAPTCHA,某些网站需要拖动滑条的验证步骤。

    机器学习的发展,让字母、数字组成的知识性验证码被识别和破解的风险日渐增大,但这种验证码,依然是主流。据警方公布,这次抓捕的团伙所使用和训练的 AI,已经能够识别出 98% 以上的验证码。

    中国互联网协会发布的《中国网名权益保护调查报告 2016》显示,在 2016 年,我国 6.88 亿网民因诈骗短信、信息泄露等造成的经济损失约为 915 亿元。全国平均每个人的个人信息至少被泄露了 5 次。

    AI 犯罪离我们有多远?

    对于网络黑产而言,AI 技术就是他们所发现的一把更加好用的枪支。技术本身是不分善恶的,只是看如何去运用它、在哪些情景使用它。使用 AI 犯罪,其源头,依然是人类本身。

    今年 7 月,金融时报报道,国内人脸识别公司云从科技(Cloud Walk)正与警方合作,开发和测试用来识别犯罪嫌疑人的人工智能,其中包括人脸识别和步态分析等技术。

    总而言之,攻防双方的对抗是一直在迭代升级的。在 AI 使用的争议上,埃隆 · 马斯克则是一次一次地向公众发布自己的顾虑和警告。

    早在 2014 年 8 月,马斯克就通过推特说:AI 可能比核武器还要危险。在今年 8 月,马斯克与 Google 旗下 DeepMind 联合创始人穆斯塔法 · 苏莱曼(Mustafa Suleyman),以及 26 个国家的一百多名人工智能领域专家共同向联合国发表了一封联名信,希望能禁止有关杀人机器人的研究和使用。霍金也曾预言,2040 年 AI 的犯罪率将超过人类。

    (埃隆 · 马斯克和创业孵化器 Y Combinator 总裁山姆 · 奥特曼联合成立 OpenAI,图片来自 medium)

    2015 年,埃隆 · 马斯克创立人工智能公司 Open AI,并宣布会开源共享包括深度学习技术在内的研究成果。在 Open AI 成立前后,谷歌宣布开源 TensorFlow 人工智能引擎,Facebook 宣布开源 Big Sur 深度学习计算机服务器的设计。先进技术的获取,似乎也随着开源而变得简单。

    就像农药 DDT 能够让农业种植增产,也能让人们患病;核技术能够做成导弹武器,也能够用来发电。新技术让人类更轻松,也会造成新的社会问题。人工智能也不会例外,例如 AI 可以在医疗方面提供新的可能性,也能被运用在军事领域,制造成武器。

    (俄、美等国已制造出可实现自动驾驶、控制的坦克机器人,图片来自:Recode)

    随着人工智能的普及,我们会发现它们在很多方面比人类更聪明、高效,这个过程一开始是悄无声息只有蛛丝马迹,但当到了某一个拐点,我们就会发现这个趋势不可逆转。

    不过焦虑着急也没有用,在现阶段,我们还是静静地感受那些宣称搭载了 AI 技术的手机,怎么帮你把照片拍得好看,图片修得更美吧。

  • ?

    独家|一文读懂文字识别(OCR)

    红颜殆

    展开

    文字识别是计算机视觉研究领域的分支之一,归属于模式识别和人工智能,是计算机科学的重要组成部分

    本文将以上图为主要线索,简要阐述在文字识别领域中的各个组成部分。

    一 ,文字识别简介

    计算机文字识别,俗称光学字符识别,英文全称是Optical Character Recognition(简称OCR),它是利用光学技术和计算机技术把印在或写在纸上的文字读取出来,并转换成一种计算机能够接受、人又可以理解的格式。OCR技术是实现文字高速录入的一项关键技术。

    在OCR技术中,印刷体文字识别是开展最早,技术上最为成熟的一个。早在1929年德国科学家Taushek就取得了一项光学字符识别(Optical Character Recognition,简称OCR)的专利131。欧美国家为了将浩如烟海、与日俱增的大量报刊杂志、文件资料和单据报表等文字材料输入计算机进行信息处理,从上世纪50年代就开始了西文OCR技术的研究,以便代替人工键盘输入。经过40多年的不断发展和完善,并随着计算机技术的飞速发展,西文OCR技术现已广泛应用于各个领域,使得大量的文字资料能够快速、方便、省时省力和及时地输入到计算机中,实现了信息处理的“电子化”。

    与印刷体西文OCR相比,印刷体汉文OCR技术的研究是在印刷体数字识别和印刷体英文识别的基础上发展起来的,最早可以追溯到上世纪60年代。1966年,BIM公司的Casey和Nagy发表了第一篇关于印刷体汉字识别的论文,在这篇论文中他们利用简单的模板匹配法,识别了1000个印刷体汉字。从上世纪70年代以来,日本学者在汉文OCR方面做了许多研究工作,其中有代表性的系统有1977年东芝综合研究所研制的可以识别2000个单体印刷汉字的识别系统;80年代初期,日本武藏野电气研究所研制的可以识别2300个多体汉字的印刷体汉字识别系统,代表了当时汉字识别的最高水平。此外,日本的三洋、松下、理光和富士等公司也有其研制的印刷体汉字识别系统。这些系统在方法上,大都采用基于K-L数字变换的匹配方案,使用了大量专用硬件,其设备有的相当于小型机甚至大型机,价格极其昂贵,所以并没有得到广泛应用。

    与国外相比,我国的印刷体汉字识别研究是从上世纪70年代末起步的,至今己有近三十年的发展历史,大致可以分成如下三个阶段:

    1)探索阶段(1979一1985)

    在对数字、英文、符号识别研究的基础上,自上世纪70年代末,国内就有少数单位的研究人员对汉字识别方法进行了探索,发表了一些论文,研制了少量模拟识别软件和系统。这个阶段漫长,成果不多,但是却孕育了下一个阶段的丰硕果实。

    2)研制阶段(1986~1988)

    1986年初到1988年底,这三年是汉字识别技术研究的高潮期,也是印刷体汉字识别技术研究的丰收期。总共有11个单位进行了14次印刷体汉字识别的成果鉴定,这些系统对样张识别能达到高指标:可以识别宋体、仿宋体、黑体、楷体,识别的字数最多可达6763个,字号从3号到5号,识别率高达99.5%以上,识别速度在286微机条件下能够达到10~14字/秒,但对真实文本识别率大大下降,这是由于以上系统对印刷体文字形状变化(如文字模糊、笔划粘连、断笔、黑白不均、纸质质量差、油墨反透等等)的适应性和抗干扰性比较差造成的。但是这三年研制的识别系统为印刷体汉字识别系统的实用化打下了基础,是识别系统从研制到实用化必经的过程。

    3)实用阶段(1989一至今)

    印刷体汉字识别自1986年掀起高潮以来,清华大学电子工程系、中国科学院计算所智能中心、北京信息工程学院、沈阳自动化研究所等多家单位分别研制并开发出了实用化的印刷体汉字识别系统。尤其是由清华大学电子工程系研制的清华TH一OCR产品和由汉王集团开发的尚书OCR产品,它们始终都处于技术发展的最前沿,并占据着最大的市场份额,代表着印刷体汉字识别技术的发展潮流。目前,印刷体汉字识别技术的研究热点已经从单纯的文字识别转移到了表格的自动识别与录入,图文混排和多语种混排的版面分析、版面理解和版面恢复,名片识别,金融票据识别和古籍识别等内容上。并且出现了许多相关的识别系统,如:紫光文通推出的名片识别系统(e一card)、身份证识别系统(e验通)和“慧视”屏幕文字图像识别系统等等。这些新的识别系统的出现,标志着印刷体汉字识别技术的应用领域得到了广阔的扩展。

    国家高技术研究发展“863”计划、国家重点科技攻关计划、国家自然科学基金和军事基础研究基金都对印刷体汉字识别这一研究课题予以极大的重视和大力的支持。目前,印刷体汉字识别和联机手写汉字识别走向实用化,其技术水平和当前世界最高水平并驾齐驱。

    这篇文章将对OCR技术进行分类描述,并介绍一些在OCR领域中较常使用的算法,由于个人主要参与的项目实践与印刷体识别较为相关,所以对于其他领域的描述若有不当之处,请大家指正,希望本文的介绍会让大家对OCR的整个流程有一个简要的概念。

    二 ,印刷体文字识别

    OCR技术的兴起便是从印刷体识别开始的,印刷体识别的成功为后来手写体的发展奠定了坚实的基础。印刷体识别的主要流程大致分为以下几个部分:图像预处理;版面处理;图像切分;特征提取、匹配及模型训练、匹配;识别后处理。

    2.1 图像预处理

    输入文本经过扫描仪进入计算机后,由于纸张的厚薄、光洁度和印刷质量都会造成文字畸变,产生断笔、粘连和污点等干扰,所以在进行文字识别之前,要对带有噪声的文字图像进行处理。由于这种处理工作是在文字识别之前,所以被称为预处理。预处理一般包括灰度化、二值化,倾斜检测与校正,行、字切分,平滑,规范化等等。

    2.1.1灰度化

    通过外设采集的图像通常为彩色图像,彩色图像会夹杂一些干扰信息,灰度化处理的主要目的就是滤除这些信息,灰度化的实质其实就是将原本由三维描述的像素点,映射为一维描述的像素点。转换的方式和规则有很多,在这里不详细介绍。

    2.1.2 二值化

    经过灰度处理的彩色图像还需经过二值化处理将文字与背景进一步分离开,所谓二值化,就是将灰度值(或者彩色值)图像信号转化成只有黑(l)和白(0)的二值图像信号。二值化效果的好坏,会直接影响灰度文本图像的识别率。二值化方法大致可以分为局部阈值二值化和整体阈值二值化。目前使用较多的日本学者大津提出的“大津法”

    2.1.3倾斜校正

    印刷体文本资料大多是由平行于页面边缘的水平(或者垂直)的文本行(或者列)组成的,即倾斜角度为零度。然而在文本页面扫描过程中,不论是手工扫描还是机器扫描,都不可避免地会出现图像倾斜现象。而倾斜的文档图像对后期的字符分割、识别和图像压缩等工作将产生很大影响。为了保证后续处理的正确性,对文本图像进行倾斜检测和校正是十分必要的。

    文本图像的倾斜校正分为手动校正和自动校正两种。手动校正,是指识别系统提供某种人机交互手段,实现文本图像的倾斜校正。自动校正,是指由计算机自动分析文本图像的版面特征,估计图像的倾斜角度,并根据倾斜角度对文本图像进行校正。

    目前,文本图像的倾斜检测方法有许多种,主要可以划分为以下五类:基于投影图的方法,基于Houhg变换的方法,基于交叉相关性的方法,基于Fourier变换的方法和基于最近邻聚类方法。

    最简单的基于投影图的方法是将文本图像沿不同方向进行投影。当投影方向和文字行方向一致时,文字行在投影图上的峰值最大,并且投影图存在明显的峰谷,此时的投影方向就是倾斜角度。

    Huogh变换也是一种最常用的倾斜检测方法,它是利用Hough变换的特性,将图像中的前景像素映射到极坐标空间,通过统计极坐标空间各点的累加值得到文档图像的倾斜角度。

    Fourier变换的方法是利用页面倾角对应于使Fourier空间密度最大的方向角的特性,将文档图像的所有像素点进行Fourier变换。这种方法的计算量非常大,目前很少采用。

    基于最近邻聚类方法,取文本图像的某个子区域中字符连通域的中心点作为特征点,利用基线上的点的连续性,计算出对应的文本行的方向

    角,从而得到整个页面的倾斜角。

    2.1.4规范化

    规范化操作就是将输入的任意尺寸的文字都处理成统一尺寸的标准文字,以便与己经预先存储在字典中的参考模板相匹配。规范化操作包括1211:位置规范化、大小规范化以及笔划粗细规范化。在本节只讨论位置规范化和大小规范化。

    为了消除文字点阵位置上的偏差,需要把整个文字点阵图移动到规定的位置上,这个过程被称为位置规范化。常用的位置规范化操作有两种,一种是基于质心的位置规范化,另一种是基于文字外边框的位置规范化。基于文字外边框的位置规范化需要首先计算文字的外边框,并找出中心,然后把文字中心移动到指定的位置上来。基于质心的位置规范化方法抗干扰能力比基于文字外边框的位置规范化方法要强。

    使用基于文字外边框的位置规范化方法对文字进行位置规范化的操作结果,如下图所示。

    对不同大小的文字做变换,使之成为同一尺寸大小,这个过程被称为大小规范化。很多已有的多字号印刷体识别系统都是通过大小规范化来识别不同字号的文字。常用的大小规范化操作也有两种,一种是将文字的外边框按比例线性放大或缩小成规定尺寸的文字,另一种是根据水平和垂直两个方向上文字黑像素的分布情况进行大小规范化。

    使用根据水平和垂直两个方向上文字黑像素的分布情况方法对文字进行大小规范化操作的效果,如下图所示。

    2.1.5图像平滑

    文本图像经过平滑处理之后,能够去掉笔划上的孤立白点和笔划外部的孤立黑点,以及笔划边缘的凹凸点,使得笔划边缘变得平滑。一种简单的平滑处理方法如下。采用NxN窗口(N一般为3,如图2-1所示是一个3X3窗口),依次在二值文字点阵中进行扫描,根据窗口中黑白像素的分布情况,使处于窗口中心的被平滑像素X。,从“0”变成“1”或者从“l”变成“0”。

    该方法是按以下规则对文字轮廓边缘进行平滑的。

    规则1如果满足图2-2中(a),(b),(c),(d)四种情况中的任何一种,则中心点应该由“0”变成“l”。

    规则2如果满足图2-2中(e),(f),(g),(h)四种情况中的任何一种,则中心点应该由“1”变成“0”。

    2.2版面处理

    通常版面处理分为三个主要部分,版面分析、版面理解、版面重构。

    2.2.1版面分析

    将文本图像分割为不同部分,并标定各部分属性,如:文本、图像、表格。目前在版面分析方面的工作核心思想都是基于连通域分析法,后衍生出的基于神经网络的版面分析法等也都是以连通域为基础进行的。连通域是指将图像经过二值化后转为的二值矩阵中任选一个像素点,若包围其的所有像素点中存在相同像素值的像素点则视为两点连通,以此类推,这样的像素点构成的一个集合在图像中所在的区域即一个连通域。根据连通域大小或像素点分布等特征可以将连通域的属性标记出来,用作进一步处理的依据。

    2.2.2版面理解

    获取文章逻辑结构,包括各区域的逻辑属性、文章的层次关系和阅读顺序。根据版面分析时记载的连通域位置信息,确定连通域归属序列。

    2.2.3版面重构

    根据版面分析和OCR的结果,重构出包含文字信息和版面信息的电子文档。

    2.3 图像切分

    图像切分大致可以分为两个个主要类别,行(列)切分和字切分。经过切分处理后,才能方便对单个文字进行识别处理。如下图所示。

    2.3.1 行列切分

    由于印刷体文字图像行列间距.、字间距大致相等,且几乎不存在粘连现象,所以可以采用投影法对图像进行切分,得到每列(行)在坐标轴的像素值投影曲线是一个不平滑的曲线,通过高斯平滑后的曲线在每个波谷位置间的区域即为要的一行(列)。

    2.3.2 字切分

    字切分对于不同的文种存在着比较明显的差异,通常意义下,字切分是指将整行或整列文字切分成独立的一个个文字,而实际上根据文种差异,可能还需需要将单个文字进行进一步切分。而因为文种不同,构词法或钩字法也有所不同,所以切分方法的难度差别也是天壤之别。例如将汉字“屋”切分开的难度和将英文“house”切分开的难度差别就很大,因此在识别模式上,也会根据文种特性,设计不同的识别方法。

    2.4 特征提取与模型训练

    在深度学习广泛应用于图像识别领域之前,模板匹配是较为常见的一种识别方式,之后由于神经网络的复苏,基于反馈的神经网络给OCR领域带来了又一春。现在随着计算机硬件算力的提升,利用大批数据训练深度神经网络在图像识别方面取得了傲人的成绩。

    2.4.1 特征提取及匹配

    特征提取是从单个字符图像上提取统计特征或结构特征的过程。所提取的特征的稳定性及有效性,决定了识别的性能。对于统计特征的提取,可利用统计模式识别中的特征提取方法,而对结构特征的提取,应根据具体文字所确定的识别基元确定相应的特征提取方法。在相当长的文字识别的研究过程中,是利用人们的经验知识,指导文字特征的提取。例如边缘特征...

  • ?

    使用Python和Tesseract来识别图形验证码

    弗利克斯托

    展开

    *本文原创作者:ipenox,本文属FreeBuf原创奖励计划,未经许可禁止转载

    各位在企业中做Web漏洞扫描或者渗透测试的朋友,可能会经常遇到需要对图形验证码进行程序识别的需求。很多时候验证码明明很简单(对于非互联网企业,或者企业内网中的应用来说特别如此),但因为没有趁手的识别库,也只能苦哈哈地进行人肉识别,或者无奈地放弃任务。在这里,我分享一下自己使用Python和开源的tesseract OCR引擎做验证码识别的经验,并提供相关的源代码和示例供大家借鉴。

    一、关于图形验证码识别与tesseractOCR

    尽管多数图型验证码只有区区几个数字或字母,但你可能听说了,在进行机器识别的过程中,你要收集样本,对图片去噪、二值化、提取字符、计算特征,甚至还要祭出神经网络去训练数据进行机器学习……还没开干,退堂鼓早打响三遍了。其实我根本不想去钻研那么多高深的理论,只想要寥寥数行Python代码就搞定它,然后把主要精力投入到更重要的渗透测试中去。在这种情况下,tesseract就能帮上大忙了。

    Tesseract的OCR引擎最早是HP实验室开发的,曾经是 OCR业内最准确的三款识别引擎之一。2005年该引擎交给了Google,作为开源项目发布在Google Project上了。Tesseract提供独立程序和API两种形式供用户使用。纯白色背景、字符规整无干扰像素的验证码图片可以直接调用tesseract程序来进行识别。如要更方便灵活地在自己的程序中进行识别,则可以使用tesseract的API。

    二、Tesseract的编译和安装

    Tesseract的项目主页(https://github/tesseract-ocr/tesseract)上wiki中有详细的编译安装步骤,大家可以参考,本文中我们将以3.05.01版本为基础。我的系统环境是RHEL 7.4,64位版本。首先用yum安装各种依赖的图形库,然后用源码安装Leptonica(官方主页http://leptonica/download.html,版本需要1.74以上),编译安装很简单,解压后,以默认参数依次执行configure,make,make install命令即可。安装完之后需执行:

    exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig不然在下一步tesseract的configure脚本会报找不到Leptonica。

    将tesseract的源码解压后进入到源码主目录下依次执行:

    ./autogen.sh./configure--with-extra-libraries=/usr/local/libmakemake install即可成功安装。

    根据项目wiki,Data Files节的指南下载相应的数据文件,因为我们只识别英文和数字验证码,所以下载3.04/3.05版本的英语文件eng.traineddata即可,下载后放到/usr/local/share/tessdata目录下。至此,tesseract就安装完毕了。

    三、为Python封装tesseract API

    tesseract提供的是C++ API(接口界面是TessBaseAPI类),最核心的函数就是TessBaseAPI::TesseractRect这个函数。为了能在Python中方便地使用,我将其封装为Python模块了,详细代码放在github上:https://github/penoxcn/Decaptcha。该模块名为decaptcha,源文件包括以下四个文件:

    setup.py、decaptcha.i、decaptcha.h和depcaptcha.cpp。

    将以上文件放在同一个临时目录下,然后执行以下命令进行编译和安装:

    python setup.py install安装时需要调用swig命令,所以系统需要先安装swig。

    如果tesseract不是安装在默认的路径下,请参照setup.py代码自行修改相关的头文件和库文件的路径即可。

    安装完之后进入Python交互环境试着import一下看是否正常:

    from decaptcha import Decaptcha如果报错找不到libtesseract,那可能是tesseract的库目录(/usr/local/lib)没有在Python的库搜索目录中。这时候可以将tesseract的库目录添加到系统的/etc/ld.so.conf文件中(加了之后需要执行ldconfig命令以生效);或者每次import decaptcha模块之前,都先执行以下Python代码:

    import syssys.path.append("/usr/local/lib")四、安装Python PIL库

    PIL的全称是Python Imaging Library,是一个强大而易用的图像库。在其主页(http://pythonware/products/pil/)下载最新版(截止目前是1.1.7)源代码进行安装。安装之前确保系统已安装了png/jpeg/tiff等图像库。解压缩之后,在主目录下执行python setup.py install即可。

    使用很简单,下面的代码片段从任意格式图片文件创建一个Image对象,进行格式转换,获得其大小和像素数组,只需几行代码:

    from PIL import Imageimg = Image.open('test.png') # Your image here! img = img.convert("RGBA") pixdata = img.load() width,height = img.sizeprint 'imgsize: %dx %d' % (width, height)print'pixel[2,4]:', pixdata[2, 4] #eg,(0xD3,0xD3,0xD3,0xFF)五、实战验证码识别

    至此,进行图形验证码识别的依赖环境都已准备好,我们可以开干了。

    识别的流程简单来说如下:

    1. 用Image加载图像,转为RGBA格式,然后获取像素数据;2. 将RGBA格式的像素数据转换为0和1的字节串(其实就是二值化处理);3. 调用decaptcha模块进行图像识别,获得验证码字符串

    实际的代码也非常简单,请看我项目Decaptcha目录下的decaptcha_test.py文件,关键代码也就十几行。影响代码长短或复杂性的,就是二值化这一步了。其实很多图形验证码比较简单,细心分析一下,不难得出二值化的条件。下面以我工作中遇到过的一些验证码为例:

    有5组,均来自于我公司的不同业务网站。识别代码请参看我项目目录下decaptcha_demo.py文件,所有的示例验证码放在images目录下。大家可以用图片编辑器打开相关的验证码文件观察和分析像素的规律。

    第一组aa系列,字符颜色偏白,背景偏黑,所以可试着以像素RGB均值(或总和)大于某个数值为条件进行转换:r+g+b>=480则为1,否则为0。

    第二组bb系列,字符有颜色,背景偏白色,转换条件考虑为RGB中是否有两个要素大于0xf0:int(r/240)+int(g/240)+int(b/240)<=1则为1,否则为0。

    第三组cc系列,字符和背景都是单色,但是有不固定位置的点干扰,干扰点颜色与字符颜色相同,但是都是离散的。这种情况下,像素是白色的就是背景0,否则再判断一下是否离散的点,可以简单地判断它右边和下边的点是否都是白色背景来判定。

    第四组dd系列,字符颜色偏紫色,并且有背景干扰线。通过将一些样本图片的每个像素的RGB值打印出来,确赫然发现字符像素的G通道值都为0,其它情况要么是背景,要么是干扰线。

    第五组ee系列是最复杂的,有干扰线,干扰点,字符也有变形,颜色也不固定。实际上它来源于一个叫做securimage的php库所产生,恐怕不能一两行代码就二值化了。但是仔细观察它的模式会发现,它的大背景、干扰线、干扰点、字符都是用同一种颜色产生。所以我们可以以统计数量的方式来找出哪些是背景颜色(出现次数最多的自然是背景颜色)。另外我们再统计每个字符的颜色与背景颜色的偏差(将rgb差值的平方加起来),找出干扰线、字符与背景色的偏差值的阈值范围,再将其在二值化的时候进行应用,也可以成功地将其二值化。而字符变形的问题则不需要担心,交给tesseract就可以了。

    在二值化的时候,我在屏幕上用# 符号打印出了二值化后的图像,大家可以看下效果:

    python decaptcha_demo.py aa aa1.gif

    验证码实际是5648,识别为5649,错了一位。

    下面来个正确识别的:

    python decaptcha_demo.py bb bb1.jpg

    第五组的识别情况:

    python decaptcha_demo.py ee ee9.png >1.txt因图片有点长,超过了终端的列数,故输出到txt文件后再用notepad++打开的:

    验证码实际是912065,识别为912085,错了一位。

    再看看总体成绩如何:

    aa组10个验证码,整体正确识别的有5个。bb组10个验证码,整体正确识别的3个。cc组10个验证码,整体正确识别的9个。dd组10个验证码,整体正确识别的3个。ee组10个验证码,整体正确识别的4个。

    aa组、cc组和ee组识别得还可以,没有识别出来的多数仅错了一个字符。而bb和dd组识别得较差,没有识别出来的可能都错了两三个字符。

    这份成绩单,咋看之下,有些朋友可能觉得很不好看。但是,请不要太悲观,要想想投入产出比,大多数情况下,除了固定的模式化代码外,我们只需要编写寥寥几行二值化的代码就可以收获输出了啊,这意味着在测试时,程序自动化就可以搞了啊:不求百分之一百,只求十里有一发。即使只有30%的识别率,连续识别5个图片,获得其中一个准确识别的概率也达到了86%,无非多浪费一些Web请求而已。

    因为Image库支持从内存中加载图片,所以与requests库的结合也是非常的方便,直接通过HTTP请求下载下来,将内容丢给Image就可以了:

    import requests,StringIOr =requests.get(imgurl)imgbuf = StringIO.StringIO(r.content)img =Image.open(imgbuf)是不是很简单很愉快?

    六、后记

    通过以上的例子和代码,大家可以初探tesseract的能力。实际上tesseract支持学习,通过样本训练,可以大幅提高它的识别准确率,当然这个过程就有点复杂了,也不符合本文追求敏捷的宗旨。经过多年的技术对抗,传统的图片验证码已经显得过时了,但仍有很多企业网站在大量使用,希望本文能够给大家一些启发和帮助。

    *本文原创作者:ipenox,本文属FreeBuf原创奖励计划,未经许可禁止转载

  • ?

    能被自动识别和破解:验证码没你想的那么安全

    元冬

    展开

    请验证你的身份

    拖动

    自动复制验证码

    近日苹果手机面向开发者用户推送了iOS 12 beta 3的系统更新,据称从iOS12开始,iPhone手机也能自动复制短信验证码了。验证码复制在安卓(Android)系统上已经不是什么新鲜事,可以说是懒人的福音。实现验证码的复制一般有两种方式:1、通过短信数据库获取短信内容;2、通过广播监听短信息。然而这只是验证码黑科技的冰山一角,它在信息化的时代发挥着巨大的作用。

    明星版

    到底为何物

    验证码(CAPTCHA)的全称是全自动区分计算机和人类的图灵测试(Completely Automated Public Turing test to tell Computers and Humans Apart)。可以说是一种最简单的额人机互动过程。验证码常常分为“入门重复型”和“高阶问答型”两种,前者只需要用户重复输入程序给出的数字或者字母即可,后者就需要用户做出思考或者计算才能给出正确结果。人们一直热衷于验证码技术的研发,从论文发表网站知网搜索可以,关于验证码的研究在2003年逐渐增加,特别是在2015年左右达到了高峰。

    趋势

    前世今生

    验证码机制的概念是由卡内基梅隆大学的 Luis von Ahn 最早于2002年在《Science》杂志上提出的。可以说,我们每一天都要和验证码打交道。银行发送用来转账确认的数字验证码、购买火车票为了防止恶意刷票的图像验证码、登录手机系统的语音验证码……验证码在防止恶意登录网站、防止爬虫程序恶意抓取信息,防止垃圾邮件和恶意刷票等方面发挥着越来越重要的作用。

    系统

    识别破解

    尽管验证码在保护信息保护信息安全发明十分有效,但也有学者专门研究如何识别和破解验证码的黑科技。Captchaservice.org是知名的免费提供验证码生产服务的网站,号称可以防止用户使用当时市场上的OCR软件进行自动识别。但是Jeff Yan2007年在ACSAC上发表论文,用数像素的简单方法可以几乎100%破解了该网站提供的四种Visual CAPTCHA机制验证码,堪称神奇。这一技术常常包括:采集、去噪、校正、特征提取和识别等等一系列的过程。大有“以尔之矛,攻尔之盾”谁更厉害的意味,也从一个侧面说明了信息时代的验证码没你想的那么安全。

    火车票

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。