- ?
基于GAN的验证码识别工具,0.5秒宣告验证码死刑!
问梅
展开
新智元报道
来源:digitaltrends
编辑:大明
【新智元导读】在网上如何区别机器人和真人?目前基本还是要靠验证码, 目前已经用了近20年,但这招以后可能不管用了!中英两国研究人员联合开发了一套基于GAN的验证码AI识别系统,能在0.5秒之内识别出验证码,从 实际测试结果看,可以说宣布了对验证码的“死刑判决”。
在互联网上进行交流时,你如何证明自己是活生生的真人?
这是一个比较棘手的问题,多年来,这个问题的解决方案一直就是“验证码”,就是看看你能够能成功识别一系列机器无法识别的扭曲字符。这类安全验证工具被称为“CAPTCHA”(即“全自动区分机器和人类公共图灵测试”)。
验证码被广泛用于垃圾邮件过滤、在社交网络上,识别并防止机器人账号发布冒充真人的内容(这些内容很可能包含垃圾或欺诈信息)。在过去的20多年里,虽然有过波折,但总体上看,用验证码解决这类问题是管用的。
但现在,情况可能发生了变化。
近日,英国兰卡斯特大学、中国西北大学、北京大学的计算机科学家们共同开发了一种AI系统,能够在短短0.5秒内识别出多种验证码。该系统已在不同的33个验证码系统中进行了成功测试,其中11个来自世界上最受欢迎的一些网站,包括eBay和维基百科等。
该研究的发起人之一、兰卡斯特大学计算与通信学院副教授Zheng Wang表示:这项研究可能会对文本式验证码文本做出“死刑判决”。
这项研究基于深度神经网络的图像分类器。深度神经网络在图像识别方面表现出惊人的性能。但是,要构建成功的模型,通常需要数百万个手动标记的图像才能实现顺利学习。这项最新成果的新颖之处在于,它使用生成对抗网络(GAN)来创建训练数据。
图中数据为该系统与现行识别器对各网站验证码识别准确率的对比,可以看到,大部分测试中的成功识别率都得到了大幅度提升
这套系统不需要收集和标记数以百万计的验证码文本数据,只需要500组数据就可以成功学习。而且可以使用这些数据,来生成数百万甚至数十亿的合成训练数据,建立高性能的图像分类器。结果显示,该系统比迄今为止所见的任何验证码识别器系统的识别精度都高。
这种方法对于需要大量训练数据的任何图像识别任务都是有用的。然而,验证码识别在某种程度上是独一无二的,因为这类任务本身处在不断发展和变化的状态中。
与真人识别结果的准确率对比情况以及可用性评分。可以看到,第一项的模型表现达到100%识别,超过了真人
早期基于文本的验证码(如本文缩略图所示)是该技术的第一次迭代。但是,到目前为止,我们可能更习惯于使用范围更广的、基于交通标志的验证码。
这种不断变化的状态,让面向验证码识别的训练数据的收集成为一个棘手的任务。(相比之下,学习识别一只狗就不存在这个问题,因为狗的一生中其外观形态不会发生大的变化),
研究人员表示:“也就是说,当我们最终收集到足够的训练数据时,验证码的形式可能快要(或已经)发生变化了,这些变化可能会让之前收集的数据完全无用。
我们的研究成果提供了一种以更低的成本构建验证码识别器的新方法。因此,它对现有的验证码体系构成了真正的威胁,因为它可以以更快的速度地学习验证码的解算器。“
参考链接:
https://digitaltrends/cool-tech/ai-cracks-captcha-05-seconds/
论文地址:
http://lancaster.ac.uk/staff/wangz3/publications/ccs18.pdf
新智元 AI 技术 + 产业社群招募中,欢迎对 AI 技术 + 产业落地感兴趣的同学,加小助手_2 入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。
- ?
内容安全审核技术与审核逻辑
罗帷
展开
内容安全审核成为以短视频、新闻资讯,直播等平台优先级最高的运营需求,不管是通过人工审核还是以系统性的机器审核,都是以最安全与最适合产品的审核结果维度为主。随着国家监管的力度不断提升,暴力、血腥、政治、黄赌毒及危机青少年不良社会导内容向已成为重点关注区域。
常见的违规内容,在文字、图片、音视频很容易被肉眼所捕捉到,对于需要肉眼仔细审核才能会发现内容存在的问题,如文字中携带的形变、音变与直接赤裸显示粗陋内容;图片中常见的血腥、带有讽刺性、暗示性的内容导向;音频波形中杂乱外音包裹的其传达核心无法识别的讯息。视频中常见的漏点、涉黄、及音画不同步现象。而这些违规内容对现在的人工智能科技来讲,识别审核程度较难,且识别效果不准确。若处理类似于藏头诗、漫画图、带有正向文字的负面导向内容,机器更是难上加难。当企业领导为了减轻企业成本,执意采用机器来审核,可能被监管部门抽中的“中奖”几率性会增加很高,毕竟这场博弈,用侥幸的概率去对比约谈甚至关停的企业风险还是有些大的。
内容审核流程
内容审核常分为两个系统,一个是政治审核系统,一个其他系统审核。企业对于其他的审核条件会根据企业的运营需求调整宽松程度,甚至打擦边球。但对于政治审核来讲,没有企业甘愿冒此风险。内容审核系统基本上就是根据国家法律法规,外加地方网监法律法规,文化部和公安部的政策规定,进行审核的。对于内容审核,第一是相关部门是亲眼看到不良相关性的内容,第二是通过API接口审核排查,不管是地方的网监,还是国家监管部门,都是有一套相关的数据排查系统。政治违规相比其他违规监测更为严格,目前市面上内容审核方案服务商,对政治违规内容判别检测都做到近似100%。(这里普及一个知识:法律法规是已经成文的,就是不能触犯的信息。犯了就是犯罪,必须有行政处罚的。而政策规定只能算是规矩,触犯了根据情节严重,还有中国惯有国情的关系,可以有伸缩的。)
内容安全图像、文字、音视频是如何审核的?什么AI技术呢?这些审核的准确度如何呢? 接着看:
图片审核技术与逻辑:
对于政治人物(图片)的审核,可直接调用服务商的接口,如云净网、图谱科技、数美等,这些服务商已成型的识别技术可判断当前图片是否涉黄,涉政,及违规性指数,满足企业对于图片的审核条件。对于暴力、血腥、漫画这类图片,通常还是需配有人工逐条审核。在对于大并发量的上传情况下,单人审核肯定无法满足先审后发的规定,并可能会对用户体验造成产品不舒适的感觉,引发规模性的流失。而避免这一漏洞,这时,通常就需招聘多人甚至人工审核外包团队进行内容审核管理。
对图片识别技术方式而言,图片的识别一般采用大数据标签学习与相似度对比技术。对于政治人物检测识别则使用AI系统中的人脸识别系统,人脸识别技术被广泛采用的区域特征分析算法,通过深度学习技术从视频和照片中提取人像特征点,利用生物统计学的原理进行分析建立数学模型,即人脸特征模板。在已建成的人脸特征模板与被测者的人的面像进行特征分析,根据分析的结果来给出一个相似度值,最终搜索到最佳匹配人脸特征模板,并因此确定个人的身份信息。
广义的人脸识别实际包括构建人脸识别系统的一系列相关技术:包括图像采集、人脸检测、特征建模、比对辨识、身份确认等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。
文本的审核技术与逻辑:
文本的审核要比图片更加多样化及专业化,从文字场景来讲,文字可能是一个签名、一个词组,一段文本甚至是一篇文章,还有些文字附带在图片上,如一张海报,一张头像图等。从内容上分,内容应该分为三种,文字,图形与语言。在文字上来说,国内图书有中图法,国外有亚马逊分类法,高斯分类等。
对于图片中存在的文字,识别最多使用的还是OCR(文本识别技术)。对于长短文本及变形变异字体中,会使用到垃圾文本处理技术(在AI技术来讲:CRF分词,NLP,n-gram算法,随机森林算法)随机森林指的是利用多棵树对样本进行训练并预测的一种分类器,通过对文本的处理进行归类,自动预测文本内容的形式。
当你要做预测的时候,新的观察值随着决策树自上而下走下来并被赋予一个预测值或标签。一旦森林中的每棵树都给有了预测值或标签,所有的预测结果将被归总到一起,所有树的投票返回做为最终的预测结果。简单来说,99.9%不相关的树做出的预测结果涵盖所有的情况,这些预测结果将会彼此抵消。少数优秀的树的预测结果将会脱颖而出,从而得到一个好的预测结果。
在对于上下段落中,突然出现的垃圾文本或不相关的文字或词组,会采用上下语义识别技术(LSTM深度神经网络,word-embedding)。此算法技术,会判断此句话中是否跟上下文结合,是否是一段无效的垃圾文本,最常见场景是我们在评论区随意敲打着一串自己都看不懂的文本。此技术很适合用于评论区的灌水,刷屏,甚至辱骂性的文字内容。—以上文本技术请教于云净网CTO许城(云净网是一家内容安全运营服务商)
对于图片的识别,目前单靠机器识别,往往无法满足审核需求,恕我直言,目前阶段机器识别技术只能辅助人工审核,暂无法全面机器审核。AI机器审核还相当于人类三岁的智商,是处于弱智能时代,为了增强内容审核安全及无延迟的用户体验,建议企业还是组建人工审核团队。
语音识别技术与能力
语音在专业角度划分为两种:音频与视频。
语音(音频)识别的应用场景较多,比如AI智能音响常用到的语音识别,电话通话视频中的语音视频,甚至是直播平台中主播在讲的音频内容。音频等于说话,说话包含说了什么?(涉政、涉黄、涉赌还是广告信息)。
在音频技术识别方面,针对不同的内容有不同识别技术。针对说话内容有语音识别、关键词检索等;针对语种的判别有语种识别的技术;针对说话人的识别有声纹识别技术;针对说话内容无关的通常采用音频比对的技术来进行检测。通常一般短视频,直播或者音频平台,对音频对比、声纹的技术较为重视,是保证录音质量及外放声音很有效的一种运营手段,但对内容语音识别,则不太关注,毕竟语音识别技术对这些企业的应用场景不是刚需。
*图源于网络基于语音识别的关键词检索是将语音识别的结构构建成一个索引网络,然后把关键词从索引网络中找出来。从上图流程中可以看到,首先把语音进行识别处理,从里面提取索引构建索引网络,进行关键词检索的时候,在通过关键词表在网络中进行频率,找到概率最高的,输出其关键词匹配结果。(在这一步可通过垃圾文本处理及上下语义分,对转化的文本进行处理)
目前音频的识别技术能力还远远达不到准确阶段,比如音频出现的“娇喘声”单靠技术根本无法识别,或识别(转化)出来就是一串乱字。再如在人潮拥挤的杂音中,出现的音频,也无法准确的转化成文字识别。遇到这种隐晦场景下的文本,通常还是需要人工去审核。
视频识别技术与处理模式:
在视频上,根据内容不同,如直播、短视频、个人上传的视频,视频是画面与音频组成的以帧为单位的画面。对于音频常存在暴恐、淫秽传播、甚至是音画不同步等问题。在视频处理上面,通常采用截帧上传服务器数据对比来识别。其审核模式与图片审核相同,会判断场景(外室外还是室内)、会判断人脸(画面中出现的人是否是明星或者政治)、会判断是否色情(根据画面图片的裸露状态,可为正常、性感、色情等不同唯独)。
如抖音、映客、等以视频流为主的APP,对视频内容的审核往往通过机器的方式进大量的审核筛检,画面中存在的严重血腥、暴恐、色情、政治新闻等危害画面内容会优先被干掉,而那些不以直接性的画面展示的内容机器难以审查出来。
讲了这么多,内容违规存在的音、视、图、文,以技术的识别方式都是通用的,只不过在审核时设定的策略及宽进程度不同,如图片的识别,可设定存有性感,但不能色情,也可设置存有只能人脸,但不能物体,拦截的宽紧程度需要人工来设定,对于大量的内容并发,则是需要大量人工通过机器辅助人工进行审核,而非机器单独进行全方位过滤。
内容审核技术与逻辑不单单是套系统,而非一套非常的准确且严谨的工作,内容审核既要及时拦截违规内容信息,又不能对用户造成产品上的体验落差。内容审核,任重而道远。
---------------------------
95后聊科技,专注互联网的八卦,营销、新闻、融资讯息,我们不仅仅是传播者更是创造者,做深度的内容耕耘者。
- ?
小叮当深度学习:自然语言处理(二)文本处理流程
樊尔阳
展开
在”小叮当深度学习:自然语言处理(一)“中,想必大家已经基本了解了什么是自然语言处理,今天,小叮当接着为大家分享自然语言处理中的文本处理流程。
在自然语言处理过程中,计算机是不认识我们的文本信息的,它所认识的只有0和1。
于是,我们便可知道,想要使用计算机进行文本处理,首先我们得让计算机认识我们的文本信息。
那么,如何让计算机认识我们的文本信息呢?通常我们会对文本信息进行预处理,分词,特征化,将文本信息转化为计算机能够识别的0和1之后,再进行机器学习、深度学习等对计算机识别出的文本进行处理。
(1)预处理(Preprocess)
我们通常使用的文本信息中,包含了标点,特殊字符等,在大部分的文本处理任务中,我们认为文本中,携带的这些信息是无效的。预处理的目的就是去除这些无效的噪声。(有的地方也把预处理这步称之为”数据清洗“。)
(2) 分词(Tokenize)
分词是指,将我们预处理后的文本信息,以词为单位进行划分。这样,计算机便可以按词来分配存储单元。计算机凭借不同的存储位置,便可以识别出不同的词。
(3) 特征化(Make Features )
特征化,简单来说就是向量化。在这步,计算机会根据已知的一些算法将不同的词转化为对应的数字信息,从而使计算机能够识别。
(4)机器学习(Machine learning)
在文本处理过程中,机器学习,通常根据标签,对文本进行分类处理。例如对电商评论的情感分析,分析这句话是积极的还是消极的。对邮件的识别,判断文本邮件是否是垃圾邮件等。简单来理解就是,我们已知特征化后的x1,x2,以及对应的标签y1,y2;现在给我们一个x3,我们通过机器学习就可以预测出y3的值。
经过上面的介绍,想必大家已经基本了解文本处理的流程。那么,文本处理中,上面各步究竟是怎么实现的呢?贪多嚼不烂,小叮当下次再为大家继续分享~
- ?
算法有没有价值观?知乎内容推荐算法解析
段诗桃
展开
【IT168 技术】今年,我们已经听到了多家内容平台整改的消息,对于标题党、蹭热点等行为,用户早已经见怪不怪。同样是知识分享平台,知乎倒是躲过了每一次整改,肯定有人会说是幸运,也肯定有人会从理性的角度对知乎的内容推荐和讨论方式进行分析,就好像每一条知乎问答下的用户一样理性。
同样是AI算法,同样是内容推荐,知乎更侧重于将关注点放在内容生产本身,对违规内容的处理速度也是极其快速。本文详细介绍了知乎算法是如何通过识别垃圾广告导流信息、识别低质量回答并处理违规信息的,想必对业内不少工程师会有借鉴意义。
算法在社区氛围的应用(一):识别垃圾广告导流信息
近期,我们发现社区内出现了垃圾广告的导流内容,影响用户体验,破坏认真、专业和友善的社区氛围。为了解决这种情况,我们进行了大量努力和探索。最开始在识别导流信息上采用的是干扰转换+正则匹配+匹配项回溯的方式进行异常导流信息的识别与控制,取得了很好的效果。
但是我们发现,随着我们处理这些内容的同时,他们正在逐步增加导流信息的各种变体,常见的有以下几种方式:第一种变体是导流前缀的变化,如 QQ 导流前缀变化成企鹅,「腾顺」等等;第二变体是不使用前缀,如退款 123377281;第三种变体是导流中随机插入非特殊字符,如 319xxxx053xxxx7178。我们对这些变体进行了收集整理和分析。
通过对典型导流样本的分析,我们发现尽管导流信息变体在不断演化,但是它们所在的上下文变化并不明显。因此,我们尝试通过序列标注的方式来识别导流内容,提高算法的识别准确度。
模型
常用的序列标注算法,有 HMM、CRF、RNN、BILSTM-CRF 等。BILSTM-CRF 在多个自然语言序列标注问题(NER、POS)上都表现优秀,同时,通过实验,我们也发现 BILSTM-CRF 表现优于其他模型。
网络结构
BILSTM-CRF 模型结构如下图所示:
第一层为 Embedding 层,将输入文本转换为词向量表示。
第二层为双向 LSTM 层。LSTM 具有强大的序列建模能力,能够捕捉长远的上下文信息,同时还拥有神经网络拟合非线性的能力。相比单向的 LSTM,双向 LSTM 不仅能够利用以前的上下文信息,还能利用未来的上下文信息。
第三层为一个全连接层。作用是将上一层的输出,映射为 [T,C] 的向量,T为输入序列长度,C为标签数量。输出的也就是每个 timestep 对应的状态 score。
最后一层为 linear-chain CRF 层。CRF 计算的是一种联合概率,优化的是整个序列(最终目标),而不是将每个时刻的最优拼接起来。在 CRF 层,使用 viterbi 解码算法从状态 score 和转移矩阵中解码得到输出状态序列。
BILSTM-CRF 模型同时结合了 LSTM 和 CRF 的优点,使得其在序列标注任务上具有极强的优势。
CRF
从上述网络结构,可知要优化的目标函数由最后一层决定。
通常给定一个线性链条件随机场 ,当观测序列为
时,
标签序列为
的概率可写为
其中,Z(x) 为归一化函数,对所有可能的标签序列求和。
是特征函数,通常考虑转移特征和状态特征两方面。状态特征描述标签之间的相似程度,
是上一层网络的输出。
转移特征考虑状态之间的变化趋势
在模型的概率给出之后,可以使用最大似然估计优化参数,即最小化负对数似然 -logP(y|x),从而得到整个网络的 loss function。
是否包含前后缀?
训练模型之前,我们需要标记训练数据。
标记训练数据的一个问题是,是否要包含导流信息的前后缀。如「加V:xxxxxx」,是否需要包含「加V」。通常情况下,答案应该是不包含,因为我们的实体是微信号,「加 V」不属于我们要识别的实体。
但是,我们在实验过程中发现,如果不加前后缀,模型会把大量的英文单词,或者字母数字组合,标记为导流内容。原因是,作为中文社区,英文单词出现频率很低,同时大部分导流信息都是字母数字组合,从而使得模型出现错误。
针对这种情况,我们在处理数据时,将导流信息的前后缀也作为实体的一部分,有效的降低了上述问题出现的概率。
实体编码
序列标注模型另一个需要注意的问题是,实体编码的格式。常用的序列实体编码方式有IO、BIO、BMEWO三种。
IO 编码是最简单的编码,它将属于类型X的实体的序列元素标记为 I_X,不属于任何实体的序列元素标记为 O。这种编码存在缺陷,因为它不能代表彼此相邻的两个实体,因为没有边界标签。
BIO 编码是当前实体编码的行业标准。它将表示实体的 I_X 标签细分为实体开始标签 B_X和实体延续标签 I_X。
BMEWO 编码进一步区分实体结束元素 E_X 和实体中间元素令 M_X,并为单元素实体添加一个全新的标签 W_X。
上述三种编码的示例,如下所示:
综合考虑,我们选择 BIO 编码,一是满足我们对于导流信息的区分,二是其标记方式相对通用。
效果
在实验阶段,分别将 HMM、BILSTM、BIGRU、BILSTM-CRF 做了一系列的对比,将表现比较好的 BILSTM-CRF 放在线上与原本的 Base 模型进行 AB 实验。从结果上来看,宽深度学习模型在线下/线上都有比较好的效果。线上实验结论如下:
后续的改进
为了提高模型的效果,我们需要使用更多的训练数据,构造更复杂的网络结构,使用更多的超参数设置训练模型。然而,不断增加的模型尺寸和超参数极大地延长了训练时间。很明显,计算能力已经成为了模型优化的主要瓶颈。相比 CNN 和 Attention 等操作,LSTM 仍然不太适应多线程 /GPU 计算,训练速度偏慢,不能充分利用GPU的并行计算优势。因此,我们还在尝试 SRU 等RNN 加速方案,希望在模型效果损失不大的情况下,提高模型的训练速度。
我们当前采用的是Char-based model,Char-based model在一个优势在于利用词元(lemmas)和形态学信息(morphological information ),能更好的处理导流内容内部结构,如手机号的组成。另一方面,Word-based model 更多的利用词语信息,词语比字具有更高的抽象等级,通常正确率会更高。我们希望通过训练一个新的分词模型的方式,使得在保持处理导流内容内部结构的情况下,构建 Word-based model。
算法在社区氛围的应用(二):深度学习在不友善文本识别中的应用
此前,我们常常收到知友们的反馈说「好烦哦,TA 又不友善了」、「我要举报 XX,TA 在评论区又开始杠上了」、「这种辱骂他人的人,你们都不处理吗?」等等。今年年初,我们开始尝试用深度学习算法辅助审核人员处理不友善问题,经过近三个月的探索和尝试,目前该算法第一版已经上线,并且取得相对不错的效果。
知乎不友善文本识别应用的场景和策略
目前,瓦力识别不友善的算法已经应用在知友们的举报和社区实时产生的内容中。针对这两种内容的不同场景和特点,我们采用了不同的处理策略:
举报内容的处理策略
瓦力有效地提升了我们的举报处理效率和响应速度。目前,我们每天约收到知友们近 25,000 条举报。在这些举报中,大约有 7,000 条是关于不友善的内容。模型训练阶段,我们利用经过人工标注的举报内容进行模型训练。线上预测阶段,如果模型预测某条内容属于不友善的概率x 大于阈值 p_abuse,瓦力会在 0.3 秒间完成判断并直接删除,内容被处理后,知友们也会收到相应的私信通知;如果模型预测该内容属于非不友善类型的概率 x 大于阈值 p_friend,则认为该内容属于非不友善内容,那么该举报会被忽略;不满足以上条件的内容,我们会进行多次人工审核判断,人工审核后的判断标准也会用于下一轮模型的迭代和升级。
我们重视每一个举报,并根据举报内容增强瓦力可识别的范围和准确度,还会每日人工复核知友们的举报,针对可能存在不同处理意见的举报,会根据规范与实际的应用场景多次复审。在这里,我们也非常感谢知友们的每一次举报,感谢大家与我们一起并肩维护社区氛围,我们也正是在知友们的举报中逐渐形成统一的判断标准。
全量内容的处理策略
我们会对每天新产生的内容进行全量审核,每天可以实时拦截处理 3,000 条内容。在实际的操作过程中,我们发现全量内容有如下两个特点使其不能跟举报内容共用模型和策略:
不友善样本和非不友善样本分布非常不均衡;
词语分布和举报内容有区别。比如,举报内容中包含「SB、NC」之类的脏词的基本属于不友善类型;但是在全量内容中脏字、脏词可能出现在影视作品讨论、陈述自己的经历等场景等非不友善内容中,例如:坑到你头皮发麻。———《鲁班智商二百五》
由于数据不均衡、数据排查标注成本较高和上述数据的分布特点,全量内容模型要做到准确率 98% 以上非常困难,因此我们根据人工审核量,选择一个适宜的阈值,在保证每天召回量的基础上,维持召回内容的处理准确率到 80% 以上,并将召回的内容进行人工审核。
知乎社区不友善文本识别系统基本框架
目前,不友善内容处理系统架构如下图所示(以知友举报内容识别识别系统为例,全量内容识别系统与其类似)
▲不友善内容处理系统框图
我们在选择模型时在小批量数据集上对比了 lstm 模型、svm 和朴素贝叶斯模型,lstm 模型表现最好,因此我们的模型优化工作主要集中在深度学习模型上。
词向量
将词用「词向量」表示是深度学习模型处理 NLP 问题的关键一步,我们的系统中使用 Google 提出的 word2vec 词向量模型,训练数据采用来自知乎社区 300 多万条真实的提问、评论、回答数据,内容涉及娱乐、政治、新闻、科学等各个领域,词向量维度采用 128 维,训练模型窗口大小 5。
Word2vec 的原理和使用方法这里就不做过多介绍了,有兴趣的可以阅读文献[1],Python 版本实现的可以参考 gensim官方文档。
text-cnn
TextCNN 是利用卷积神经网络对文本进行分类的算法,2014 年由 Yoon Kim 提出(见参考[3])。 TextCNN 的结构比较简单,其模型的结构如下图:
▲ext-cnn 网络结构
Embedding Layer——该层将输入的自然语言编码成 distributed representation,我们的模型该层使用 word2vec 预先训练好的词向量,同时该层设置为 trainable。
Convolution Layer——这一层主要是通过卷积,提取文本的 n-gram 特征,输入文本通过 embedding layer 后,会转变成一个二维矩阵,假设文本的长度为 |T|,词向量的大小为 |d|,则该二维矩阵的大小为 |T|x|d|,接下的卷积工作就是对这一个 |T|x|d| 的二维矩阵进行的。卷积核的大小一般设为 n x |d|,n 是卷积核的长度,|d| 是卷积核的宽度(LP 中通常取词向量的维度)。我们的模型中 n 取 [2,3,4,5]4 个值,每个值固定取 128 个 filter。
Max Pooling Layer——最大池化层,对卷积后得到的若干个一维向量取最大值,然后拼接在一块,作为本层的输出值。如果卷积核的 size=2,3,4,5 每个 size 有 128 个 filter,则经过卷积层后会得到 4×128 个一维的向量,再经过 max-pooling 之后,会得到 4×128 个 scalar 值,拼接在一块,最终得到一个 512×1 的向量。max-pooling 层的意义在于对卷积提取的 n-gram 特征,提取激活程度最大的特征。
Fully-connected Layer——将 max-pooling layer 后再拼接一层,作为输出结果。实际中为了提高网络的学习能力,可以拼接多个全连接层。
Softmax——根据类别数目设定节点数,我们不友善文本识别项目是二分类问题,设置一个节点,激活函数选择 sigmoid。
Bi-LSTM
CNN 最大问题是固定 filter_size 的视野,无法建模更长的序列信息,自然语言处理中更常用的是 RNN,因为 RNN 能够更好的表达上下文信息。在文本分类任务中,由于语句过长,会出现梯度消失或梯度爆炸的问题,基本的RNN网络难于处理语言中的长程依赖问题,为了解决这个问题,人们提出了 LSTM 模型。我们在对比 LSTM 和 Bi-LSTM 效果后选择了 Bi-LSTM,Bi-LSTM 从某种意义上可以理解为可以捕获变长且双向的「n-gram」信息。图 3 是 Bi-LSTM 用于分类问题的网络结构,黄色的节点分别是前向和后向RNN的输出,示例中的是利用最后一个词的结果直接接全连接层 softmax 输出了。我们的实际使用的网络结构在全联接层之后加了一层 dropout 层,dropout 输出接 sigmoid 二元分类层。RNN、LSTM、BI-LSTM 可以参考文献[4]。
▲用于文本分类的双向 LSTM 网络结构
我们参考论文 A C-LSTM Neural Network for Text Classification 来实现 CNN-LSTM 文本分类模型,模型的网络结构如下所示(该图直接来自论文)
▲CNN-ISTM 网络结构
效果
举报的内容
知友举报内容不管是直接删除还是直接忽略,都要求算法有较高的准确率(本文准确率没有特别说明的情况下指 precision),经过对比不同模型的评测效果,目前线上选用模型和准确率、召回率如下:
全量内容
经过模型调优和对比不同模型的评测效果,目前线上使用的模型和准确率、召回率如下:
后续工作
我们会利用更多数据模型,尝试更复杂定神经网络并进行语义分析。通过分析实际操作中的 bad case 可以发现,有些文本带有脏字、脏词但并不属于不友善类别,同时也存在一些很隐晦的不友善内容,主要有以下ä...
- ?
干货 | 深度学习在文本分类中的应用
吴海蓝
展开
作者:llhthinker
个人博客:http://cnblogs/llhthinker/
1 文本分类任务介绍
文本分类是自然语言处理的一个基本任务,试图推断出给定的文本(句子、文档等)的标签或标签集合。
文本分类的应用非常广泛。如:
垃圾邮件分类:二分类问题,判断邮件是否为垃圾邮件情感分析
二分类问题,判断文本情感是积极(positive)还是消极(negative)多分类问题,判断文本情感属于{非常消极,消极,中立,积极,非常积极}中的哪一类
新闻主题分类:判断新闻属于哪个类别,如财经、体育、娱乐等自动问答系统中的问句分类社区问答系统中的问题分类:多标签分类,如知乎看山杯更多应用:
让AI当法官: 基于案件事实描述文本的罚金等级分类(多分类)和法条分类(多标签分类)。判断新闻是否为机器人所写: 二分类......
不同类型的文本分类往往有不同的评价指标,具体如下:
二分类:accuracy,precision,recall,f1-score,...多分类: Micro-Averaged-F1, Macro-Averaged-F1, ...多标签分类:Jaccard相似系数, ...
2 传统机器学习方法
传统的机器学习方法主要利用自然语言处理中的n-gram概念对文本进行特征提取,并且使用TFIDF对n-gram特征权重进行调整,然后将提取到的文本特征输入到Logistics回归、SVM等分类器中进行训练。但是,上述的特征提取方法存在数据稀疏和维度爆炸等问题,这对分类器来说是灾难性的,并且使得训练的模型泛化能力有限。因此,往往需要采取一些策略进行降维:
人工降维:停用词过滤,低频n-gram过滤等自动降维:LDA等
值得指出的是,将深度学习中的word2vec,doc2vec作为文本特征与上文提取的特征进行融合,常常可以提高模型精度。
3 CNN用于文本分类
论文Convolutional Neural Networks for Sentence Classification提出了使用CNN进行句子分类的方法。
3.1 CNN模型推导
一个句子是由多个词拼接而成的,如果一个句子有n个词,且第i个词表示为xi,词xi通过embedding后表示为k维的向量,即xi∈k,则一个句子x1:n为nk的矩阵,可以形式化如下:
3.2 优化CNN模型
随机初始化 (CNN-rand)预训练词向量进行初始化,在训练过程中固定 (CNN-static)预训练词向量进行初始化,在训练过程中进行微调 (CNN-non-static)多通道(CNN-multichannel):将固定的预训练词向量和微调的词向量分别当作一个通道(channel),卷积操作同时在这两个通道上进行,可以类比于图像RGB三通道。
上图为模型架构示例,在示例中,句长n=9,词向量维度k=6,filter有两种窗口大小(或者说kernel size),每种有2个,因此filter总个数m=4,其中:
一种的窗口大小h=2(红色框),卷积后的向量维度为nh+1=8另一种窗口大小h=3(黄色框),卷积后的向量维度为nh+1=7Dropout: 对全连接层的输入z向量进行dropout
y=W(zr)+b其中r∈m为masking向量(每个维度值非0即1,可以通过伯努利分布随机生成),和向量z进行元素与元素对应相乘,让r向量值为0的位置对应的z向量中的元素值失效(梯度无法更新)。L2-norms: 对L2正则化项增加限制:当正则项‖W‖2>s时, 令‖W‖2=s,其中s为超参数。
3.3 一些结论
Multichannel vs. Single Channel Models: 虽然作者一开始认为多通道可以预防过拟合,从而应该表现更高,尤其是在小规模数据集上。但事实是,单通道在一些语料上比多通道更好;Static vs. Non-static Representations: 在大部分的语料上,CNN-non-static都优于CNN-static,一个解释:预训练词向量可能认为‘good’和‘bad’类似(可能它们有许多类似的上下文),但是对于情感分析任务,good和bad应该要有明显的区分,如果使用CNN-static就无法做调整了;Dropout可以提高2%–4%性能(performance);对于不在预训练的word2vec中的词,使用均匀分布U[a,a]随机初始化,并且调整a使得随机初始化的词向量和预训练的词向量保持相近的方差,可以有微弱提升;可以尝试其他的词向量预训练语料,如Wikipedia[Collobert et al. (2011)]Adadelta(Zeiler, 2012)和Adagrad(Duchi et al., 2011)可以得到相近的结果,但是所需epoch更少。
3.4 进一步思考CNN
3.4.1 为什么CNN能够用于文本分类(NLP)?
为什么CNN能够用于文本分类(NLP)?
RNN可以提取全局特征RCNN(下文说明): RNN和CNN的结合filter相当于N-gram ?filter只提取局部特征?全局特征怎么办?可以融合吗?
3.4.2 超参数怎么调?
论文A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification提供了一些策略。
用什么样的词向量
使用预训练词向量比随机初始化的效果要好采取微调策略(non-static)的效果比固定词向量(static)的效果要好无法确定用哪种预训练词向量(Google word2vec / GloVe representations)更好,不同的任务结果不同,应该对于你当前的任务进行实验;
filter窗口大小、数量
在实践中,100到600是一个比较合理的搜索空间。每次使用一种类型的filter进行实验,表明filter的窗口大小设置在1到10之间是一个比较合理的选择。首先在一种类型的filter大小上执行搜索,以找到当前数据集的“最佳”大小,然后探索这个最佳大小附近的多种filter大小的组合。每种窗口类型的filter对应的“最好”的filter个数(feature map数量)取决于具体数据集;但是,可以看出,当feature map数量超过600时,performance提高有限,甚至会损害performance,这可能是过多的feature map数量导致过拟合了;
激活函数 (tanh, relu, ...)
Sigmoid, Cube, and tanh cube相较于Relu和Tanh的激活函数,表现很糟糕;tanh比sigmoid好,这可能是由于tanh具有zero centering property(过原点);与Sigmoid相比,ReLU具有非饱和形式(a non-saturating form)的优点,并能够加速SGD的收敛。对于某些数据集,线性变换(Iden,即不使用非线性激活函数)足够捕获词嵌入与输出标签之间的相关性。(但是如果有多个隐藏层,相较于非线性激活函数,Iden就不太适合了,因为完全用线性激活函数,即使有多个隐藏层,组合后整个模型还是线性的,表达能力可能不足,无法捕获足够信息);因此,建议首先考虑ReLU和tanh,也可以尝试Iden
池化策略:最大池化就是最好的吗
对于句子分类任务,1-max pooling往往比其他池化策略要好;这可能是因为上下文的具体位置对于预测Label可能并不是很重要,而句子某个具体的n-gram(1-max pooling后filter提取出来的的特征)可能更可以刻画整个句子的某些含义,对于预测label更有意义;(但是在其他任务如释义识别,k-max pooling可能更好。)
正则化
0.1到0.5之间的非零dropout rates能够提高一些performance(尽管提升幅度很小),具体的最佳设置取决于具体数据集;对l2 norm加上一个约束往往不会提高performance(除了Opi数据集);当feature map的数量大于100时,可能导致过拟合,影响performance,而dropout将减轻这种影响;在卷积层上进行dropout帮助很小,而且较大的dropout rate对performance有坏的影响。
3.5 字符级别的CNN用于文本分类
论文Character-level convolutional networks for text classification将文本看成字符级别的序列,使用字符级别(Character-level)的CNN进行文本分类。
3.5.1 字符级CNN的模型设计
首先需要对字符进行数字化(quantization)。具体如下:
定义字母表(Alphabet):大小为m (对于英文m=70,如下图,之后会考虑将大小写字母都包含在内作为对比)
字符数字化(编码): "one-hot"编码序列(文本)长度:l0 (定值)然后论文设计了两种类型的卷积网络:Large和Small(作为对照实验)它们都有9层,其中6层为卷积层(convolutional layer);3层为全连接层(fully-connected layer):Dropout的概率都为0.5使用高斯分布(Gaussian distribution)对权重进行初始化:最后一层卷积层单个filter输出特征长度(the output frame length)为 l6=(l096)/27,推第一层全连接层的输入维度(其中1024和256为filter个数或者说frame/feature size):
Large: l61024Small: l6256
下图为模型的一个图解示例。其中文本长度为10,第一层卷积的kernel size为3(半透明黄色正方形),卷积个数为9(Feature=9),步长为1,因此Length=10-3+1=8,然后进行非重叠的max-pooling(即pooling的stride=size),pooling size为2,因此池化后的Length = 8 / 2 = 4。
3.5.2 字符级CNN的相关总结与思考
字符级CNN是一个有效的方法数据集的大小可以为选择传统方法还是卷积网络模型提供指导:对于几百上千等小规模数据集,可以优先考虑传统方法,对于百万规模的数据集,字符级CNN开始表现不错。字符级卷积网络很适用于用户生成数据(user-generated data)(如拼写错误,表情符号等),没有免费的午餐(There is no free lunch)中文怎么办
中文中的同音词非常多,如何克服?如果把中文中的每个字作为一个字符,那么字母表将非常大是否可以把中文先转为拼音(pinyin)?论文Character-level Convolutional Network for Text Classification Applied to Chinese Corpus进行了相关实验。
将字符级和词级进行结合是否结果更好
英文如何结合中文如何结合
3.5.3 使用同义词表进行数据增强
对于深度学习模型,采用适当的数据增强(Data Augmentation)技术可以提高模型的泛化能力。数据增强在计算机视觉领域比较常见,例如对图像进行旋转,适当扭曲,随机增加噪声等操作。对于NLP,最理想的数据增强方法是使用人类复述句子(human rephrases of sentences),但是这比较不现实并且对于大规模语料来说代价昂贵。
一个更自然的选择是使用词语或短语的同义词或同义短语进行替换,从而达到数据增强的目的。具体做法如下:
英文同义词典: from the mytheas component used in LibreOffice1 project. http://libreoffice.org/从给定的文本中抽取出所有可以替换的词,然后随机选择r个进行替换,其中r由一个参数为pp的几何分布(geometric distribution)确定,即P[r]pr给定一个待替换的词,其同义词可能有多个(一个列表),选择第s个的概率也通过另一个几何分布确定,即P[s]qs。这样是为了当前词的同义词列表中的距离较远(s较大)的同义词被选的概率更小。论文实验设置:p=0.5,q=0.5。
4 RNN用于文本分类
策略1:直接使用RNN的最后一个单元输出向量作为文本特征策略2:使用双向RNN的两个方向的输出向量的连接(concatenate)或均值作为文本特征策略3:将所有RNN单元的输出向量的均值pooling或者max-pooling作为文本特征策略4:层次RNN+Attention, Hierarchical Attention Networks
5 RCNN(RNN+CNN)用于文本分类
论文Recurrent Convolutional Neural Networks for Text Classification设计了一种RNN和CNN结合的模型用于文本分类。
5.1 RCNN模型推导
5.1.1 词表示学习
使用双向RNN分别学习当前词wi的左上下文表示cl(wi)和右上下文表示cr(wi),再与当前词自身的表示e(wi)连接,构成卷积层的输入xi。具体如下:
然后将xi作为wi的表示,输入到激活函数为tanh,kernel size为1的卷积层,得到wi的潜在语义向量(latent semantic vector)
将kernel size设置为1是因为xi中已经包含wi左右上下文的信息,无需再使用窗口大于1的filter进行特征提取。但是需要说明的是,在实践中仍然可以同时使用多种kernel size的filter,如[1, 2, 3],可能取得更好的效果,一种可能的解释是窗口大于1的filter强化了wi的左右最近的上下文信息。此外,实践中可以使用更复杂的RNN来捕获wi的上下文信息如LSTM和GRU等。
5.1 2 文本表示学习
经过卷积层后,获得了所有词的表示,然后在经过最大池化层和全连接层得到文本的表示,最后通过softmax层进行分类。具体如下:
下图为上述过程的一个图解:
5.2 RCNN相关总结
NN vs. traditional methods: 在该论文的所有实验数据集上,神经网络比传统方法的效果都要好Convolution-based vs. RecursiveNN: 基于卷积的方法比基于递归神经网络的方法要好RCNN vs. CFG and C&J: The RCNN可以捕获更长的模式(patterns)RCNN vs. CNN: 在该论文的所有实验数据集上,RCNN比CNN更好CNNs使用固定的词窗口(window of words), 实验结果受窗口大小影响RCNNs使用循环结构捕获广泛的上下文信息
6 一定要CNN/RNN吗
上述的深度学习方法通过引入CNN或RNN进行特征提取,可以达到比较好的效果,但是也存在一些问题,如参数较多导致训练时间过长,超参数较多模型调整麻烦等。下面两篇论文提出了一些简单的模型用于文本分类,并且在简单的模型上采用了一些优化策略。
6.1 深层无序组合方法
论文Deep Unordered Composition Rivals Syntactic Methods for Text Classification提出了NBOW(Neural Bag-of-Words)模型和DAN(Deep Averaging Networks)模型。对比了深层无序组合方法(Deep Unordered Composition)和句法方法(Syntactic Methods)应用在文本分类任务中的优缺点,强调深层无序组合方法的有效性、效率以及灵活性。
6.1.1 Neural Bag-of-Words Models
论文首先提出了一个最简单的无序模型Neural Bag-of-Words Models (NBOW model)。该模型直接将文本中所有词向量的平均值作为文本的表示,然后输入到softmax 层,形式化表示如下:
6.1.2 Considering Syntax for Composition
一些考虑语法的方法:
Recursive neural networks (RecNNs)可以考虑一些复杂的语言学现象,如否定、转折等 (优点)实现效果依赖输入序列(文本)的句法树(可能不适合长文本和不太规范的文本)需要更多的训练时间Using a convolutional network instead of a R...
- ?
电脑垃圾不要文件无论如何都删除不掉,轻松解决
燕映天
展开
电脑有一些不需要的垃圾文件,无论如何要删除就是删除不了,那么当你遇到桌面上的文件删不掉怎么办?不知道的朋友赶紧看看可可整理的桌面上的文件删不掉的解决方法吧!
遇到问题:
1、就是下面这种奇怪的后缀名不对的文档。点击删除,显示找不到这个项目,无法删除。
解决方法:
1、对于大家遇到的这类问题,首先我们的处理方式还是点击刷新桌面。刷新桌面还没有消除的话,通常重启系统就好了。
2、但是对于步骤一没有效果的问题,要用下面的方法。首先,为了确保方法的成功,首先要点击进入我的电脑,再点击文件夹选项。
3、切换到查看标签,不隐藏文件扩展名。
4、好,现在在桌面新建一个文本文件,并输入如下内容。
5、保存文件,把文件的后缀改成.bat,文件名随意。点击确定。
6、把需要删除的文件拖动到这个.bat文件上(会显示用它打开),然后我们发现,就这样删除了,成功!
以上就是桌面上文件删不掉的解决方法了,方法很简单,我们只需要创建一个.bat批处理文件,之后把删不掉的文件拖到.bat批处理文件图标上就能删除了。
- ?
如何用自然语言处理来预测垃圾邮件?
权傀斗
展开
自然语言处理可以帮助计算机进行文本分析,比如说检测垃圾邮件、自动纠错等。那么,自然语言处理技术是如何用于理解人类语言的?
本文详细讲述了如何执行基本自然语言处理任务并使用机器学习分类器来预测SMS是垃圾邮件还是非垃圾邮件。通过理论和代码的配合,用最生动的实例让你轻松掌握这一主题。
自然语言处理
在机器学习领域中,自然语言处理指的是教会计算机理解、分析、处理并能潜在地生成人类语言。
在现实生活中,自然语言处理主要表现在:
信息检索(谷歌发现相关或者相似的结果)知识提取(谷歌邮箱从无数邮件中构建事件信息)机器翻译(谷歌翻译将一种语言翻译成另一种语言)文本简化(Rewordify能够简化句子含义)情感分析(Hater News能够展现用户的情感 )文本总结(Smmry或者Reddit的 autotldr机器人能够总结句子 )垃圾邮件过滤(谷歌邮箱能够过滤垃圾邮件)自动预测(谷歌搜索能够预测用户的搜索结果)自动纠错(谷歌键盘和 Grammarly能够纠正拼写错误)语音识别(谷歌 WebSpeech或者Vocalware)问答(IBM的沃森机器人能够对问题进行回答)自然语言生成(从图像或者视频数据中生成文本)
- ?
专栏|自然语言处理第一番之文本分类器
愚昧
展开
机器之心专栏
作者:想飞的石头
文本分类应该是自然语言处理中最普遍的一种应用,例如文章自动分类、邮件自动分类、垃圾邮件识别、用户情感分类等等,在生活中有很多例子,本文主要从传统和深度学习两块来向大家介绍如何构建一个文本分类器。
文本分类方法
传统的文本方法的主要流程是人工设计一些特征,从原始文档中提取特征,然后指定分类器如 LR、SVM,训练模型对文章进行分类,比较经典的特征提取方法如频次法、tf-idf、互信息方法、N-Gram。
深度学习兴起之后,也有很多人开始使用一些经典的模型如 CNN、LSTM 这类方法来做特征的提取,在本文中,作者会简要描述一下各种方法,及其在文本分类任务中的一些实验。
传统文本分类方法
这里主要描述两种特征提取方法:频次法、tf-idf、互信息、N-Gram。
频次法
频次法,顾名思义,十分简单。它记录每篇文章的次数分布,然后将分布输入机器学习模型,训练一个合适的分类模型。对这类数据进行分类,需要指出的是:在统计次数分布时,可合理提出假设,频次比较小的词对文章分类的影响比较小。因此,我们可合理地假设阈值,滤除频次小于阈值的词,减少特征空间维度。
TF-IDF
TF-IDF 相对于频次法,有更进一步的考量。词出现的次数能从一定程度反应文章的特点,即 TF,而 TF-IDF,增加了所谓的反文档频率,如果一个词在某个类别上出现的次数多,而在全部文本上出现的次数相对比较少,我们就认为这个词有更强大的文档区分能力。TF-IDF 是综合考虑了频次和反文档频率两个因素的方法。
互信息方法
互信息方法也是一种基于统计的方法,计算文档中出现词和文档类别的相关程度,即互信息。
N-Gram
基于 N-Gram 的方法是把文章序列,通过大小为 N 的窗口,形成一个个 Group。然后对这些 Group 做统计,滤除出现频次较低的 Group,再把这些 Group 组成特征空间,传入分类器,进行分类。
深度学习方法
基于 CNN 的文本分类方法
最普通的基于 CNN 的方法就是 Keras 上的 example 做情感分析,接 Conv1D,指定大小的 window size 来遍历文章,加上一个 maxpool。如此多接入几个,得到特征表示,然后加上 FC,进行最终的分类输出。
基于 CNN 的文本分类方法,最出名的应该是 2014 Emnlp 的 Convolutional Neural Networks for Sentence Classication,使用不同 filter 的 cnn 网络,然后加入 maxpool,然后 concat 到一起。
论文链接:http://aclweb.org/anthology/D14-1181
这类 CNN 的方法,通过设计不同的 window size 来建模不同尺度的关系,但是很明显,丢失了大部分的上下文关系,论文《Recurrent Convolutional Neural Networks for Text Classification》对此进行了研究。将每一个词形成向量化表示时,加上上文和下文的信息,每一个词的表示如下:
整个结构框架如下:
如针对这句话「A sunset stroll along the South Bank affords an array of stunning vantage points」,stroll 的表示包括 c_l(stroll),pre_word2vec(stroll),c_r(stroll), c_l(stroll) 编码 A sunset 的语义,而 c_r(stroll) 编码 along the South Bank affords an array of stunning vantage points 的信息,每一个词都如此处理,因此会避免普通 cnn 方法的上下文缺失的信息。
基于 LSTM 的方法
和基于 CNN 的方法中第一种类似,直接暴力地在 embedding 之后加入 LSTM,然后输出到一个 FC 进行分类,基于 LSTM 的方法,我觉得这也是一种特征提取方式,可能比较偏向建模时序的特征;
在暴力的方法之上,如论文《A C-LSTM Neural Network for Text Classification》的研究,将 embedding 输出不直接接入 LSTM,而是接入到 CNN,通过 CNN 得到一些序列,然后吧这些序列再接入到 LSTM,文章说这么做会提高最后分类的准去率。
代码实践
语料及任务介绍
训练的语料来自于大概 31 个新闻类别的新闻语料,但是其中有一些新闻数目比较少,所以取了数量比较多的前 20 个新闻类比的新闻语料,每篇新闻稿字数从几百到几千不等,任务就是训练合适的分类器然后将新闻分为不同类别:
Bow
Bow 对语料处理,得到 tokens set:
def __get_all_tokens(self)\n """ get all tokens of the corpus ""\ fwrite = open(self.data_path.replace("all.csv","all_token.csv"), 'w') with open(self.data_path, "r") as fread\n i = \n # while True\n for line in fread.readlines(): try\n line_list = line.strip().split("\t"\n label = line_list[0\n self.labels.append(label\n text = line_list[1\n text_tokens = self.cut_doc_obj.run(text\n self.corpus.append(' '.join(text_tokens)\n self.dictionary.add_documents([text_tokens]\n fwrite.write(label+"\t"+"\\".join(text_tokens)+"\n"\n i+=\n except BaseException as e\n msg = traceback.format_exc() print msg print "=====>Read Done<======\ brea\n self.token_len = self.dictionary.__len__()
print "all token len "+ str(self.token_len\n self.num_data = \n fwrite.close()
然后,tokens set 以频率阈值进行滤除,然后对每篇文章做处理来进行向量化:
def __filter_tokens(self, threshold_num=10)\n small_freq_ids = [tokenid for tokenid, docfreq in self.dictionary.dfs.items() if docfreq < threshold_num \n self.dictionary.filter_tokens(small_freq_ids\n self.dictionarypactify()def vec(self)\n """ vec: get a vec representation of bow ""\ self.__get_all_tokens()
print "before filter, the tokens len: {0}".format(self.dictionary.__len__()\n self.__filter_tokens()
print "After filter, the tokens len: {0}".format(self.dictionary.__len__()\n self.bow = []
for file_token in self.corpus\n file_bow = self.dictionary.doc2bow(file_token\n self.bow.append(file_bow) # write the bow vec into a fil\n bow_vec_file = open(self.data_path.replace("all.csv","bow_vec.pl"), 'wb'\n pickle.dump(self.bow,bow_vec_file\n bow_vec_file.close(\n bow_label_file = open(self.data_path.replace("all.csv","bow_label.pl"), 'wb'\n pickle.dump(self.labels,bow_label_file\n bow_label_file.close()
最终得到了每篇文章的 bow 的向量,由于这块的代码是在我的笔记本电脑上运行的,直接跑占用内存太大,因为每一篇文章在 token set 中的表示是极其稀疏的,因此我们可以选择将其转为 csr 表示,然后进行模型训练,转为 csr 并保存中间结果代码如下:
def to_csr(self)\n self.bow = pickle.load(open(self.data_path.replace("all.csv","bow_vec.pl"), 'rb')\n self.labels = pickle.load(open(self.data_path.replace("all.csv","bow_label.pl"), 'rb')\n data = [\n rows = [\n cols = [\n line_count = \n for line in self.bow:
for elem in line\n rows.append(line_count\n cols.append(elem[0]\n data.append(elem[1]\n line_count += \n print "dictionary shape ({0},{1})".format(line_count, self.dictionary.__len__()\n bow_sparse_matrix = csr_matrix((data,(rows,cols)), shape=[line_count, self.dictionary.__len__()])
print "bow_sparse matrix shape: \ print bow_sparse_matrix.shape # rarray=np.random.random(size=line_count\n self.train_set, self.test_set, self.train_tag, self.test_tag = train_test_split(bow_sparse_matrix, self.labels, test_size=0.2)
print "train set shape: \ print self.train_set.shap\n train_set_file = open(self.data_path.replace("all.csv","bow_train_set.pl"), 'wb'\n pickle.dump(self.train_set,train_set_file\n train_tag_file = open(self.data_path.replace("all.csv","bow_train_tag.pl"), 'wb'\n pickle.dump(self.train_tag,train_tag_file\n test_set_file = open(self.data_path.replace("all.csv","bow_test_set.pl"), 'wb'\n pickle.dump(self.test_set,test_set_file\n test_tag_file = open(self.data_path.replace("all.csv","bow_test_tag.pl"), 'wb'\n pickle.dump(self.test_tag,test_tag_file)
最后训练模型代码如下:
def train(self)\n print "Beigin to Train the model\ lr_model = LogisticRegression(\n lr_model.fit(self.train_set, self.train_tag)
print "End Now, and evalution the model with test dataset\ # print "mean accuracy: {0}".format(lr_model.score(self.test_set, self.test_tag)\n y_pred = lr_model.predict(self.test_set)
print classification_report(self.test_tag, y_pred)
print confusion_matrix(self.test_tag, y_pred)
print "save the trained model to lr_model.pl\ joblib.dump(lr_model, self.data_path.replace("all.csv","bow_lr_model.pl"))
TF-IDF 和 Bow 的操作十分类似,只是在向量化使使用 tf-idf 的方法:
def vec(self)\n """ vec: get a vec representation of bo\n ""\ self.__get_all_tokens()
print "before filter, the tokens len: {0}".format(self.dictionary.__len__()\n vectorizer = CountVectorizer(min_df=1e-5\n transformer = TfidfTransformer() # sparse matri\n self.tfidf = transformer.fit_transform(vectorizer.fit_transform(self.corpus)\n words = vectorizer.get_feature_names()
print "word len: {0}".format(len(words)) # print self.tfidf[0\n print "tfidf shape ({0},{1})".format(self.tfidf.shape[0], self.tfidf.shape[1])
# write the tfidf vec into a fil\n tfidf_vec_file = open(self.data_path.replace("all.csv","tfidf_vec.pl"), 'wb'\n pickle.dump(self.tfidf,tfidf_vec_file\n tfidf_vec_file.close(\n tfidf_label_file = open(self.data_path.replace("all.csv","tfidf_label.pl"), 'wb'\n pickle.dump(self.labels,tfidf_label_file\n tfidf_label_file.close()
这两类方法效果都不错,都能达到 98+% 的准确率。
CNN
语料处理的方法和传统的差不多,分词之后,使用 pretrain 的 word2vec。在这里我遇到一个坑,我一开始对自己的分词太自信了,最后模型一直不能收敛,后来向我们组博士请教,极有可能是由于分词的词序列中很多在 pretrained word2vec 里面是不存在的,而我这部分直接丢弃了,所有可能存在问题,分词添加了词典。然后,我对于 pre-trained word2vec 不存在的词做了一个随机初始化,然后就能收敛了,学习了!
载入 word2vec 模型和构建 CNN 网络代码如下(增加了一些 bn 和 dropout 的手段):
def gen_embedding_matrix(self, load4file=True)\n """ gen_embedding_matrix: generate the embedding matrix ""\ if load4file\n self.__get_all_tokens_v2()
else\n self.__get_all_tokens()
print "before filter, the tokens len: {0}".format\n self.dictionary.__len__()\n self.__filter_tokens()
print "after filter, the tokens len: {0}".format\n self.dictionary.__len__()\n self.sequence = []
for file_token in self.corpus\n temp_sequence = [x for x, y in self.dictionary.doc2bow(file_token)] print temp_sequenc\n self.sequence.append(temp_sequence\\n self.corpus_size = len(self.dictionary.token2id\n self.embedding_matrix = np.zeros((self.corpus_size, EMBEDDING_DIM)) print "corpus size: {0}".format(len(self.dictionary.token2id)) for key, v in self.dictionary.token2id.items()\n key_vec = self.w2vec.get(key)
if key_vec is not None\n self.embedding_matrix[v] = key_vec
else\n self.embedding_matrix[v] = np.random.rand(EMBEDDING_DIM) - 0.\n print "embedding_matrix len {0}".format(len(self.embedding_matrix))def __build_network(self)\n embedding_layer = Embedding\n self.corpus_size\n EMBEDDING_DIM\n weights=[self.embedding_matrix]\n input_length=MAX_SEQUENCE_LENGTH\n trainable=False) # train a 1D convnet with global maxpoolin\n sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH, ), dtype='int32'\n embedded_sequences = embedding_layer(sequence_input\n x = Convolution1D(128, 5)(embedded_sequences\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(5)(x\n x = Convolution1D(128, 5)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(5)(x)
print "before 256", x.get_shape(\n x = Convolution1D(128, 5)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(15)(x\n x = Flatten()(x\\n x = Dense(128)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = Dropout(0.5)(x)
print x.get_shape(\n preds = Dense(self.class_num, activation='softmax')(x)
print preds.get_shape(\n adam = Adam(lr=0.0001\n self.model = Model(sequence_input, preds\n self.modelpile\n loss='categorical_crossentropy', optimizer=adam, metrics=['acc'])
另外一种网络结构,韩国人那篇文章,网络构造如下:
def __build_network(self):
LSTM
由于我们的任务是对文章进行分类,序列太长,直接接 LSTM 后直接爆内存,所以我在文章序列直接,接了两层 Conv1D+MaxPool1D 来提取维度较低的向量表示然后接入 LSTM。网络结构代码如下:
def __build_network(self)\n embedding_layer = Embedding\n self.corpus_size\n EMBEDDING_DIM\n weights=[self.embedding_matrix]\n input_length=MAX_SEQUENCE_LENGTH\n trainable=False) # train a 1D convnet with global maxpoolin\n sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH, ), dtype='int32'\n embedded_sequences = embedding_layer(sequence_input\n x = Convolution1D\n self.num_filters, 5, activation="relu")(embedded_sequences\n x = MaxPooling1D(5)(x\n x = Convolution1D(self.num_filters, 5, activation="relu")(x\n x = MaxPooling1D(5)(x\n x = LSTM(64, dropout_W=0.2, dropout_U=0.2)(x\n preds = Dense(self.class_num, activation='softmax')(x)
print preds.get_shape(\n rmsprop = RMSprop(lr=0.01\n self.model = Model(sequence_input, preds\n self.modelpile\n loss='categorical_crossentropy'\n optimizer=rmsprop\n metrics=['acc'])
CNN结果:
C-LSTM 结果:
整个实验的结果由于深度学习这部分都是在公司资源上运行的,没有真正意义上地去做一些 trick 来调参来提高性能,这里所有的代码的网络配置包括参数都仅供参考,更深地工作需要耗费更多的时间来做参数的优化。
PS: 这里发现了一个 keras 1.2.2 的 bug,在写回调函数 TensorBoard,当 histogram_freq=1 时,显卡占用明显增多,M40 的 24g 不够用,个人感觉应该是一个 bug,但是考虑到 1.2.2 而非 2.0,可能后面 2.0 都优化了。
所有的代码都在 github 上:tensorflow-101/nlp/text_classifier/scripts
总结和展望
在本文的实验效果中,虽然基于深度学习的方法和传统方法相比没有什么优势,可能原因有几个方面:
Pretrained Word2vec Model 并没有覆盖新闻中切分出来的词,而且比例还挺高,如果能用网络新闻语料训练出一个比较精准的 Pretrained Word2vec,效果应该会有很大的提升;
可以增加模型训练收敛的 tric...
- ?
通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题
卜友蕊
展开
ACL 2017 Long Papers
通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题
HandlingCold-Start Problem in Review Spam Detection by Jointly Embedding Texts andBehaviors
中国科学院
Chinese Academy of Sciences
【摘要】解决垃圾评论检测中的冷启动问题是一项紧迫而重要的任务。它可以帮助在线评论网站及时减轻垃圾内容发送者的破坏,但从未被以前的工作研究过。本文提出了一种新的神经网络模型来检测垃圾评论的冷启动问题,并通过共同嵌入文本和行为信息来表示新评论者的评论。实验结果表明,该模型具有较好的性能,具有较好的领域适应性。它也适用于非监督方式的大规模数据集。
1 引言
随着网络产品评论数据的快速增长,人们在作出购买决定之前,习惯性地先阅读评论。评论通常包含消费者丰富的的个人经验。这显著影响了企业财务收益和业绩。现有研究表明,Yelp额外的半星评级导致餐馆更频繁地出售19%(Anderson和Magruder,2012年),Yelp的一星级增长导致收入增长了5-9%(Luca ,2011)。不幸的是,这种做法给予冒名顶替者(称为垃圾内容发送者)强大的动机来与系统进行游戏。他们发布假评论或意见(称为垃圾评论)来宣传或抹黑某些有针对性的产品和服务。来自英国广播公司BBC的消息显示,约25%的Yelp评论可能是假的。因此,检测垃圾评论是非常迫切的,以确保在线评论继续受到信赖。
Jindal和Liu(2008)做出了检测垃圾评论的第一步。大多数努力致力于通过后续工作来探索有效的语言和行为特征,以区分这种垃圾评论与真实的评论。然而,为了注意这种模式或形成行为特征,开发人员应该花费很长时间来观察数据,因为这些特征是基于统计数据的。例如,Mukherjee等人(2013c)提出的特征“活动窗口”是衡量评论者的活动新鲜度。通常需要几个月的时间才能计算出评论者的最后和第一次评论之间的时间戳差异。当最终形成特征时,可能已经形成了一些重大损失。因此,重要的是设计一个可以在新评论者发布后尽快检测出垃圾评论的算法。这是一个冷启动问题,这是本文的重点。
在本文中,我们假设当新的评论者发表一个评论时,我们必须立即识别假评论。不幸的是,这是非常困难的,因为用于检测假评论的可用信息非常少。基于统计学的传统行为特征只能在频繁的用户行为上发挥作用。获得的行为信息越多,传统行为特征越有效(参见第3节中的实验)。在冷启动的情况下,新的评论者只有一个行为:发表评论。因此,我们无法从数据中获取有效的行为特征。虽然,评论的语言特征不需要花费很多时间来形成,Mukherjeeet al.(2013c)已经证明,语言特征在检测现实中商业网站假评论识别方面不够有效,我们也获得注意到了这一点(细节见第3节)。
因此,冷启动垃圾评论问题的主要困难在于,新的评论者没有足够的行为来构建有效的行为特征。然而,现有评论员发表的丰富评论中有大量的文字和行为信息(图1)。我们可以使用现有的类似评论者的行为信息给新的评论者来近似模拟他的行为特征。我们认为,评论者的个人特征,如背景信息、动机和互动行为风格,对评论者的文字和行为信息有很大的影响。所以评论者的文本信息和行为信息是相互关联的(Li等人(2016)的类似论据)。例如,学校的学生可能会在暑假期间选择青年旅馆,并在评论中倾向于评论房价。但是,商务旅行中的金融分析师可能会选择商务酒店,环境和服务是他们在评论中关心的。
为了在冷启动问题中增加新评论者的行为信息,我们首先尝试从现有评论中找到与新评论者类似的文本信息。有几种方法可以对垃圾评论的文本信息进行建模,如Unigram(Mukherjeeet al., 2013c),POS(Ott等,2011)和LIWC(语言查询和字数)(Newman et al., 2003)。我们采用CNN(卷积神经网络)对评论文本进行建模,已经证明它可以捕捉使用传统的离散人工特征难以表达的复杂全局语义信息(Ren andZhang,2016)。然后,我们采用与找到的文本信息相关的行为信息来近似模拟新评论者的行为信息。一个直观的方法是搜索最新的评论的最相似的现有评论,然后将发现的评论者的行为特征作为新的评论者的特征(详见5.3节)。然而,在评论图(图1)中存在着丰富的行为信息,传统的离散人工行为特征难以记录全局行为信息(Wang etal., 2016)。此外,由于在评论系统中没有明确的特征标签(第5.3节中的实验),传统特征无法捕捉评论者的个人特征。因此,我们提出了一种神经网络模型,将文本和行为信息共同编码成评论向量,用于解决垃圾评论检测的冷启动问题。通过对评论图结构进行编码(图1),所提出的模型可以以无监督的方式记录现有评论者的全局行为,并进一步记录评论者潜在的特征信息。这种联合学习的评论表示可以对评论者的文本和行为信息的相关性建模。当新的评论者发表评论时,提出的模型可以利用编码了类似文本信息和相关行为信息的词向量来表示该条评论。最后,将新评论者的词向量输入分类器,以确定它是否是垃圾评论。
图1 Yelp的简化评论局部图
总的来说,我们的主要贡献包括:
据我们所知,这是首次在垃圾评论检测中探讨冷启动问题的工作。我们定性和定量地证明了传统的语言和行为特征在检测冷启动任务的垃圾评论方面是不够有效的。我们提出了一个神经网络模型,将文本和行为信息共同编码为冷启动垃圾评论检测任务的词向量输入。它是一种无监督的分布式表示模型,可以从大规模的未标记的审查数据中学习。两个领域(酒店和餐厅)的实验结果有效地验证了提出模型在冷启动垃圾评论检测任务中的有效性。
2 相关工作
和Liu(2008)做出了检测垃圾评论的第一步。随后的工作致力于探索有效特征和垃圾评论发送者的线索。
语言特征: Ott et al.(2011)应用心理和语言学线索来识别垃圾评论;Harris(2012)探讨了几种写作风格的特征。Feng等人(2012a)研究了用于审查垃圾评论检测的句法文体;Xu andZhao (2012) 使用深层语言特征来发现欺骗性垃圾评论; Li et al.(2013) 研究了垃圾评论中的主题;Li et al.(2014b)进一步分析了语言用法的一般差异。Fornaciari和Poesio(2014)证明了N-gram在检测欺骗性亚马逊书评中的有效性。Cagnina和Rosso(2015)也探讨了N-gram的有效性。 Li et al.(2014a)提出了基于一元和二元文法的积极的无标签学习方法; Kim等人(2015)设计了一种深度语义分析框架。Hai et al.(2016)利用多重垃圾评论检测任务和可用的未标记数据的相关性,通过使用语言特征来解决垃圾评论标注数据的稀缺性。此外,(Ren和Zhang,2016)证明CNN模型比RNN和传统的离散人工语言特征更为有效。Hovy(2016)使用N-gram生成模型来生成评论并评估其有效性。
行为特征: Lim et al.(2010)分析了评论者评级的行为特征;Jindal等(2010)识别了异常评论模式,它可以代表评论中的可疑行为; Li et al.(2011)提出了一种基于行为特征的双视点半训练共同训练方法。Feng等(2012b)研究垃圾评论发送者个人行为的分布情况。Mukherjee等人(2012) 研究了垃圾评论发送者的行为特征。 Xieet al. (2012), Fei et al. (2013)等人对垃圾评论发送者的时间模式进行了调查。Li et al. (2015) 探讨了时间和空间模式。Wang etal. (2011), Akoglu et al. (2013) 对该评价图进行了分析。Mukherjee等人(2013a)研究了评论流行度。 Mukherjeeet al. (2013c)和Mukherjee et al. (2013b)证明,评论者的行为特征比垃圾评论检测的语言特征更有效。基于这一结论,最近研究人员(Rayana和Akoglu,2015; KC和Mukherjee,2016)已经更加努力地采用评论者的行为特征来检测垃圾评论,其目的是捕捉评论者的行为,并假定那些与垃圾评论发布者行为类似的评论将是垃圾评论。Wang etal. (2016) 探索了一种通过全局行为信息学习评论表征的方法。Viviani和Pasi(2017)聚焦在每个单一真实特征的聚合过程上。
3 传统特征是否是有效
因为新评论者只发表了一个评论,而我们必须立即确定其是否是垃圾评论发布者,冷启动任务面临的主要挑战是,有关新评论者的现有信息非常差。新评论者只为我们提供一个评论记录。对于基于统计数据的大多数传统特征,它们不能自己形成且没有任何意义,例如在周末写的评论的百分比(Li et al.,2015)、用户评论的评级分布熵(Rayana和Akoglu,2015年)。为了研究传统特征在冷启动任务中是否有效,我们对Mukherjee等人(2013c)的Yelp数据集进行了实验。我们在2012年1月1日之前发布的现有评论中训练了具有不同功能的SVM模型,并对2012年1月1日以后新评论者发布的新评论进行了测试。结果如表1所示。
表1 跨语言特征的SVM分类结果(LF,二元文法(Mukherjee等,2013b)),行为特征(BF:RL,RD,M-CS(Mukherjee et al., 2013b))和行为信息丰富的行为特征(BF:RL, RD, M- CS)。训练和测试都使用平衡数据(50:50)。
3.1 语言特征表现不佳
语言特征不需要花太多时间形成。但是Mukherjee等人(2013c)已经证明,与人群资料数据集的表现相比,语言特征在检测现实中商业网站的虚假评论方面不够有效(Ott等,2011)。他们表明,二元文法比其他语言特征表现得更好,如LIWC(Newman etal., 2003; Pennebaker et al., 2007),局部语音序列模式(Mukherjee和Liu,2010),深层语法(Feng etal., 2012a),信息增益(Mukherjee et al., 2013c)等。所以,我们用二元文法特征来进行实验。如表1(a, b)第1行所示,二元文法在酒店和餐厅领域的精确度仅为55%左右。这表明最有效的传统语言特征(即二元文法)无法在冷启动任务中有效检测垃圾评论
3.2行为信息仅在丰富信息情况下表现良好
由于没有足够的有关新评论者的可用信息,对于基于统计机制的大多数传统行为特征,他们无法形成且没有任何意义。我们调查了以前的工作,发现有三个行为特征可以应用于冷启动任务。它们由Mukherjee等人提出(2013b),即1.Reviewlength(RL):新评论者发表的新评论的长度; 2.审查人员偏离(RD):新评论者对同一业务的其他评论的评估的绝对评级偏差; 3.最大内容相似度(MCS):新评论者的评论与同一业务的其他评论之间的最大内容相似度(使用余弦相似度)。
表1(a,b)第2行示出了通过组合二进制特征和上述三个行为特征的实验结果。与仅使用二元文法相比,行为特征使酒店领域的准确性提高了5%左右(餐厅领域的2.7%)。精度有所提高,但平均只有近60%。这表明传统特征对于行为信息匮乏情况不够有效。此外,行为特征导致F1-score下降约4.6%,酒店和餐厅领域的召回率减少约19%。显然,与仅使用二元文法比较,行为特征存在更多的垃圾评论识别错误。它进一步表明,传统的行为特征歧视被匮乏的行为信息削弱。
进一步,我们使用大量行为信息进行的三个行为特征实验。当新评论者在几周后继续发布更多评论时,他们的行为信息就会变得更多。然后与冷启动时期匮乏的行为信息相比,评论系统可以获得足够的数据来提取行为特征。因此,与表1(a)第2行的结果相比,信息丰富的行为特征在酒店领域的准确性(6.4%)显著提高(表1(a)第3行)。但在餐厅领域只有0.6%。根据数据集的统计,我们发现新评论者在酒店领域第一次发布后平均发布了约54.4条评论,但平均而言,餐厅领域的新评论者平均只有10条评论。在酒店领域添加的行为信息比餐厅领域更丰富。这表明:
传统的行为特征只能在行为信息丰富的情况下发挥作用;获取越多的行为信息,传统行为特征越有效。
图2 模型图
4 模型
在冷启动任务中检测垃圾评论的难度在于新评论者的可用行为信息非常少。新评论者刚刚发布了一个评论,我们必须立即过滤,然而并没有任何历史评论提供给我们。正如我们所说,评论者的文本信息和行为信息是相互关联的。因此,为了增加新评论者的行为信息,我们尝试从现有评论中找到与新评论者类似的文本信息。然后我们将与发现的文本信息相关的行为信息作为新评论者最可能的行为信息。为此,我们提出了一种神经网络模型,将文本和行为信息共同编码到成冷启动的垃圾评论检测的输入词向量(如图2所示)。当新的评论者发表评论时,神经网络可以用类似的文本信息和词向量中编码的相关行为信息来表示评论。最后,将新评论的特征表示输入分类器,以确定它是否是垃圾评论。
4.1 行为信息编码
图1是从Yelp网站简化的局部评论图。如图所示,评论图包含现有评论者的全局行为信息(足迹)。由于垃圾评论发送者和真实评论者的动机是完全不同的,所以他们行为信息的分布是不同的(Mukherjeeet al., 2013a)。有些企业(甚至是高信誉的)支付给佣金进行虚假评论,以促进他们的产品/服务和/或诋毁他们的竞争对手(Liu, 2015)。因此,垃圾评论发送者的行为足迹是由企业的需求决定的。但真正的评论者只会对他们实际遇到的产品或服务发表评论。他们的行为足迹受到自身特点的影响。前人从这些行为信息中提取评论者的行为特征。但是,新评论在冷启动任务中是不切实é™...
- ?
从文本处理到自动驾驶:机器学习最常用的50大免费数据集
世界
展开
机器学习领域里有哪些开放数据集?Gengo 近日发布了一份高质量免费数据集列表,其搜索范围不仅包含内容广泛(如 Kaggle),也包括高度特化的(如自动驾驶汽车专用数据集)数据集种类。
首先,在选择数据集时要记住几个重要标准:
数据集不能是混乱的,因为你不希望花费大量时间整理数据。数据集不应该有过多的行或者列,这样才能容易处理。数据越干净越好——清理大型数据集可能会非常耗时。该数据集可以用于回答一些有趣的问题。
这样的话,让我们看看能找到点什么?
查找数据集
Kaggle:一个数据科学竞赛网站,其中包含大量外部贡献的有趣数据集。你可以在它长长的列表中(https://kaggle/datasets)找到各种小众数据集,从拉面的评分、篮球数据,到西雅图的宠物牌照。
UCI Machine Learning Repository:它是网络中最古老的数据集源之一,是寻找各种有趣数据集的第一选择。在这里,尽管数据集都是用户自行贡献的,但清洁程度仍然很高。此外,你可以直接从 UCI Machine Learning Repository 上下载数据,无需注册。
通用数据集
公共政府数据集
Data.gov:这个网站可以从多个美国政府机构下载数据,从政府预算到学校成绩。不过要注意:其中的大部分数据需要进一步研究。
链接:https://data.gov/
Food Environment Atlas:包含有关本地食物选择如何影响美国饮食习惯的数据。
链接:https://catalog.data.gov/dataset/food-environment-atlas-f4a22
School system finances:美国学校系统财务状况调查。
链接:https://catalog.data.gov/dataset/annual-survey-of-school-system-finances
Chronic disease data:美国各地慢性病指标数据。
链接:https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9
The US National Center for Education Statistics:美国和世界各地教育机构和教育人口统计数据。
链接:https://nces.ed.gov/
The UK Data Centre:英国最大的社会、经济和人口数据收集。
链接:https://ukdataservice.ac.uk/
Data USA:美国公共数据的全面可视化。
链接:http://datausa.io/
金融类
Quandl:很好的财经数据来源——有助于建立预测经济指标或股票价格的模型。
链接:https://quandl/
World Bank Open Data:涵盖人口统计和世界各地大量经济和发展指标的数据集。
链接:https://data.worldbank.org/
IMF Data:国际货币基金组织公布有关国际金融、债务利率、外汇储备、商品价格和投资的数据。
链接:https://imf.org/en/Data
Financial Times Market Data:世界金融市场的最新信息,包括股票价格指数、商品和外汇。
链接:https://markets.ft/data/
Google Trends:观察和分析有关互联网搜索活动和世界各地新闻故事趋势的数据。
链接:http://google/trends?q=google&ctab=0&geo=all&date=all&sort=0
AmericanEconomic Association (AEA):寻找美国宏观经济数据的来源。
链接:https://aeaweb.org/resources/data/us-macro-regional
机器学习数据集
图像
Labelme:注释图像的大数据集。
链接:http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php
ImageNet:著名的 ImageNet,由斯坦福大学教授李飞飞等人发起,它是面向新算法的真实图像数据集。根据 WordNet 层次结构来组织,其中层次结构的每个节点都由成百上千个图像来描述。
链接:http://image-net.org/
LSUN:场景理解和许多辅助任务(房间布局估计、显著性预测等)。
链接:http://lsun.cs.princeton.edu/2016/
MS COCO:ImageNet 之外另一个常用的图像数据集,包含通用图像理解和注释。
链接:http://cocodataset.org/
COIL100:100 个不同的物体在 360°旋转中以每个角度成像。
链接:http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php
Visual Genome:非常详细的视觉知识库,配有约 100K 个图像的注释。
链接:http://visualgenome.org/
Google's Open Images:Creative Commons 下的 900 万个图片的网址集合,「已经标注了跨越 6000 多个类别的标签」。
链接:https://research.googleblog/2016/09/introducing-open-images-dataset.html
Labelled Faces in the Wild:13000 张贴有标签的人脸图像,用于开发涉及人脸识别的应用。
链接:http://vis-cs.umass.edu/lfw/
Stanford Dogs Dataset:包含 20580 个图像和 120 个不同品种的狗类别。
链接:http://vision.stanford.edu/aditya86/ImageNetDogs/
Indoor Scene Recognition:非常具体的数据集,适用于大多数场景识别模型,因为后者在「外部」表现更好。包含 67 个室内类别,总共 15620 个图像。
链接:http://web.mit.edu/torralba/www/indoor.html
情感分析
Multidomain Sentiment analysis dataset:有点旧的一个数据集,以亚马逊的产品评论为特色。
链接:http://cs.jhu.edu/~mdredze/datasets/sentiment/
IMDB reviews:用于二进制情感分类的较旧的、相对较小的数据集,具有 25000 个电影评论。
链接:http://ai.stanford.edu/~amaas/data/sentiment/
Stanford Sentiment Treebank:带有情感注释的标准情感数据集。
链接:https://nlp.stanford.edu/sentiment/code.html
Sentiment140:一个流行的数据集,使用 16 万条预先删除表情符号的推文
链接:http://help.sentiment140/for-students/
Twitter US Airline Sentiment:2015 年 2 月以来美国航空公司的推特数据,分为正面、负面和中性。
链接:https://kaggle/crowdflower/twitter-airline-sentiment
自然语言处理
Enron Dataset:Enron 公司高层管理人员的电子邮件数据,整理成文件夹。
链接:https://cs.cmu.edu/~./enron/
Amazon Reviews:包含来自亚马逊长达 18 年的约 3500 万条评论。数据包括产品和用户信息、评级和明文审查。
链接:https://snap.stanford.edu/data/web-Amazon.html
Google Books Ngrams:Google 书籍中的词汇集合。
链接:https://aws.amazon/cn/datasets/google-books-ngrams/
Blogger Corpus:从 blogger . com 收集的 681288 篇博客文章。每个博客至少包含 200 个常用英语单词。
链接:http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm
Wikipedia Links data:维基百科全文。数据集包含 400 多万篇文章中的近 19 亿字。你可以根据单词、短语或段落本身的一部分进行搜索。
链接:https://code.google/p/wiki-links/downloads/list
Gutenberg eBooks List:古腾堡计划电子书注释清单。
链接:http://gutenberg.org/wiki/Gutenberg:Offline_Catalogs
Hansards text chunks of Canadian Parliament:加拿大第 36 届国会记录 130 万对文本。
链接:https://isi.edu/natural-language/download/hansard/
Jeopardy:机智问答节目 Jeopardy 中存档的 20 多万个问题。
链接:https://reddit/r/datasets/comments/1uyd0t/200000jeopardyquestionsinajsonfile/
SMS Spam Collection in English:由 5574 条英文短信垃圾邮件组成的数据集
链接:http://dt.fee.unicamp.br/~tiago/smsspamcollection/
Yelp Reviews:Yelp 发布的开放数据集包含 500 多万条评论。
链接:https://yelp/dataset
UCI's Spambase:大型垃圾邮件数据集,可用于垃圾邮件过滤。
链接:https://archive.ics.uci.edu/ml/datasets/Spamb (https://archive.ics.uci.edu/ml/datasets/Spambase)
自动驾驶
Berkeley DeepDrive BDD100k:目前最大的自动驾驶人工智能数据集。包含 100000 多段视频,内容涉及一天中不同时间和天气条件下 1100 多小时的驾驶体验。注释图像来自纽约和旧金山地区。
链接:http://bdd-data.berkeley.edu/
Baidu Apolloscapes:百度 Apollo 计划开放的大规模自动驾驶数据集。它定义了 26 个不同语义项目,如汽车、自行车、行人、建筑物、路灯等。
链接:http://apolloscape.auto/
Comma.ai:7 小时以上的公路行驶体验。详细信息包括车速、加速度、转向角和 GPS 坐标。
链接:https://archive.org/details/comma-dataset
Oxford's Robotic Car:一年内在英国牛津同一条路线重复 100 多次的行驶。数据集捕捉天气、交通和行人的不同组合,以及建筑和道路工程等长期变化。
链接:http://robotcar-dataset.robots.ox.ac.uk/
Cityscape Dataset:记录 50 个不同城市街道场景的大型数据集。
链接:https://cityscapes-dataset/
CSSAD Dataset:该数据集可用于自主车辆的感知和导航。数据集在发达国家的道路上出现严重偏差。
链接:http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset
KUL Belgium Traffic Sign Dataset:比利时佛兰德区数以千计截然不同的超过 10000 个的交通标志标注。
链接:http://vision.ee.ethz.ch/~timofter/traffic_signs/
MIT AGE Lab:在 AgeLab 收集的 1000 多个小时的多传感器驱动数据集样本。
链接:http://lexfridman/carsync/
LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets:此数据集包括交通标志、车辆检测、交通灯和轨迹模式。
链接:http://cvrr.ucsd.edu/LISA/datasets.html
如果你知道本文中有哪些漏掉的重要数据集,欢迎留言补充。