-
?
如何给普通人解释机器学习是什么?
甄白易
展开
数据挖掘只是机器学习中涉猎的领域之一,机器学习还有模式识别、计算机视觉、语音识别、统计学习以及自然语言处理等,而在目前机器学习中,深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。这里也抛砖引玉说一点自己所通俗易懂了解的一些机器学习的知识,相对机器学习有一个入门或者更深入的认识可以在网上找一些公开看,从我目前接触的比较浅显易懂的是斯坦福大学计算机科学系和电子工程系副教授,人工智能实验室主任:Andrew Ng(吴恩达)关于机器学习的公开课。
首先,机器学习即 ML,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
机器学习作为人工智能研究较为年轻的分支,机器学习也分监督学习和非监督学习,同时随着人工智能越来越被人们重视和越热,深度学习也是机器学习的一个新的领域。
那么,我们要问,机器学习能帮我们干什么?
可以帮我们抽象一些因子的关联系(非监督学习)
这样的案例莫过于数据挖掘中最经典的案例之一啤酒与尿布的故事
“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中,沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中,这种独特的销售现象引起了管理人员的注意,经过后续调查发现,这种现象出现在年轻的父亲身上。
在美国有婴儿的家庭中,一般是母亲在家中照看婴儿,年轻的父亲前去超市购买尿布。父亲在购买尿布的同时,往往会顺便为自己购买啤酒,这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。如果这个年轻的父亲在卖场只能买到两件商品之一,则他很有可能会放弃购物而到另一家商店,直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象,开始在卖场尝试将啤酒与尿布摆放在相同的区域,让年轻的父亲可以同时找到这两件商品,并很快地完成购物;而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件,从而获得了很好的商品销售收入,这就是“啤酒与尿布”故事的由来。
当然“啤酒与尿布”的故事必须具有技术方面的支持。1993年美国学者Agrawal (个人翻译--艾格拉沃)提出通过分析购物篮中的商品集合,从而找出商品之间关联关系的关联算法,并根据商品之间的关系,找出客户的购买行为。艾格拉沃从数学及计算机算法角度提出了商品关联关系的计算方法——A prior算法。沃尔玛从上个世纪90年代尝试将A prior算法引入到POS机数据分析中,并获得了成功,于是产生了“啤酒与尿布”的故事。
可以帮我们做一些海量数据的文本分类甚至语义分析(监督学习)
在文类信息特征提取中,向量空间模型(VSM: Vector Space Model),把对文本内容的处理简化为向量空间中的向量运算,并且它以空间上的相似度表达语义的相似度。它特征词条(T1 ,T2 ,…Tn)及其权值Wi来表征目标文本。在进行信息匹配时,使用这些特征项评价未知文本与目标样本的相关程度。特征词条及其权值的选取称为目标样本的特征提取。
比如基于NLP的朴素贝叶斯进行文本分类
那么将贝叶斯函数利用到工作中,它能帮助我们干什么呢?如果生活中你的工作邮件经常收到各种垃圾邮件,对你来说如果能够有效的拦截和识别这些垃圾邮件是不是很好的一件事,那么就有了以下做法:
我们现在要对邮件进行分类,识别垃圾邮件和普通邮件,如果我们选择使用朴素贝叶斯分类器,那目标就是判断P(“垃圾邮件”|“具有某特征”)是否大于1/2。现在假设我们有垃圾邮件和正常邮件各1万封作为训练集。需要判断以下这个邮件是否属于垃圾邮件:
“我司可办理正规发票(保真)17%增值税发票点数优惠!”
也就是判断概率P(“垃圾邮件”|“我司可办理正规发票(保真)17%增值税发票点数优惠!”)是否大于1/2。
咳咳,有木有发现,转换成的这个概率,计算的方法:就是写个计数器,然后+1 +1 +1统计出所有垃圾邮件和正常邮件中出现这句话的次数啊,具体点说:
如果真的这么做了,很多人会觉得如果这样一个句子去做语料库是不是太low了,傻子才会将文本信息一句不差的发给所有人或者每次都是同样的作弊特征。本身我们能够穷举的训练集是有限的,而句子的可能性则是无限的。那么,我们就得找到可替代的方案——切词/分词
如果以句子作为训练集,可能它的组合是无限,但是词语的搭配都是按照语义去搭配的,我们汉语常用字2500个,常用词语也就56000个。那么我们再拆词的时候就能够抓住词的作弊特征。
比如“我司可办理正规发票,17%增值税发票点数优惠!”,这句话就比之前那句话少了“(保真)”这个词,但是意思基本一样。那我们可以作为训练集的样本数量就会增加,这就方便我们计算了。
我们以词作为特征去提取作弊特征这样我们可供训练和提取的特征明显多了。eg:“正规发票”、“增值税”可以作为一个单独的词语,如果在工作中再建立体套豁免机制豁免本公司白名单用户,是不是这些词明显能够提高垃圾邮件的拦截。
句子“我司可办理正规发票,17%增值税发票点数优惠!”就可以变成(“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”))。
我们观察(“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”),这可以理解成一个向量:向量的每一维度都表示着该特征词在文本中的特定位置存在。这种将特征拆分成更小的单元,依据这些更灵活、更细粒度的特征进行判断的思维方式,在自然语言处理与机器学习中都是非常常见又有效的。
因此贝叶斯公式就变成了:
我们找了个最简单常见的例子:垃圾邮件识别,说明了一下朴素贝叶斯进行文本分类的思路过程。基本思路是先区分好训练集与测试集,对文本集合进行分词、去除标点符号等特征预处理的操作,然后使用条件独立假设,将原概率转换成词概率乘积,再进行后续的处理。
贝叶斯公式 + 条件独立假设 = 朴素贝叶斯方法
物以类聚、人以群分-聚类分析(非监督学习)
经常我们会听到一句俗话:物以类聚,人以群分,聚类分析就是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。但是聚类和分类不同的是,分类是监督学习;聚类是非监督学习 ,聚类所要求划分的类是未知的。
聚类分析被应用于很多方面,在商业上,聚类分析被用来发现不同的客户群,并且通过购买模式刻画不同的客户群的特征;在生物上,聚类分析被用来动植物分类和对基因进行分类,获取对种群固有结构的认识;在地理上,聚类能够帮助在地球中被观察的数据库商趋于的相似性;在保险行业上,聚类分析通过一个高的平均消费来鉴定汽车保险单持有者的分组,同时根据住宅类型,价值,地理位置来鉴定一个城市的房产分组;在因特网应用上,聚类分析被用来在网上进行文档归类来修复信息。
比如利用word2vec对关键词进行聚类,加入我们要知道新闻的推荐和关键词有什么联系?首先析,我们收集一批数据,这里不可能一下子就得到所有词的集合,最常见的方法是自己写个爬虫去收集网页上的数据,这里的数据应该说越多越好。其次,我们开始分词,将一些非文本的信息去掉,这样有助于对文本聚类的时候不会出现干扰项。然后利用谷歌开源的word2vec算法进行聚类分析,得到如下;
(图片来源于Felven个人博客,由于word2vec计算的是余弦值,距离范围为0-1之间,值越大代表这两个词关联度越高,所以越排在上面的词与输入的词越紧密。)
此外,还有回归分析(线性和非线性回归分析)、主成分分析(降维分析)等,都是机器学习中必不可少的模型分析。总之,机器学习从20世纪50年代中叶到60年代中叶到现在不断的在拓展新的领域,可能随着人工智能的兴起,机器学习也将大放异彩!
-
?
文字:就像是手机的垃圾一直都会出现,人的烦恼和问题也总会不断地产生。
Nissa
展开
中午和同事在微信上商量事,说到关键地方时,来了通电话。
正准备接听,手机突然卡住了。
把屏幕的各处点击了个遍,毫无反应。
于是,只好眼睁睁看着手机不断震动,在一边干着急。
电话响了一会后被挂断,屏幕恢复了反应,所有程序都随之崩溃。
“卡住了?赶紧清一下手机吧。”
路过的同事说。
打开清理软件,经过漫长的等待。。
居然有这么多?
仔细看了下明细列表,里面是各种没任何实际用处的应用缓存、垃圾文件、卸载残留。
犹豫了几秒,点下了“确认清理”。
画面里,垃圾数量飞速减少,清理进度条慢慢从1%爬到了100%。
爽!
清理完成,内存终于被释放了出来,告别了令人抓狂的卡顿,仿佛瞬间得到了一个全新的手机。
把这些全都清理了一遍后,如释重负,还带着些意犹未尽。
刚刚的气恼一扫而空,整个人好像都因此而变得神清气爽、焕然一新。
然后,不由得冒出了一个念头:
要是生活里的糟心事,也能被清理一下就好了。
好像每过一段时间,生活就会慢慢变得卡顿,人也会随之陷入一种莫名的丧和消沉之中。
大体上表现为:
对身边事物的感觉越来越迟钝,好像没什么难过,却也高兴不起来。
但其实仔细想想,很多时候我们不开心,并非是遇到了什么天大的难题,而是被很多微小的烦恼所困扰——
因为想拓宽人脉,添加了很多微信,却只是朋友圈里多了一堆陌生人;
因为害怕麻烦,选择了轻松简单的任务,结果完成后才发现毫无自我提升;
因为无法面对结果而选择逃避感情,内心惋惜,却硬是装作满不在乎。
我们没及时去处理的这些琐碎而细小的问题,全都变成了“后台程序”。
看上去,也对生活产生不了什么巨大的影响,实际上却持续堆砌,一步步地侵蚀了情绪。
每当空闲下来,它们就立刻窜出来,把欢乐的火苗浇熄。
最后,郁结成了堵在胸口咽不下去的那口气。
我们往往会试图通过清理手机、换新衣服或剪个发型,来刷新生活。
可让人有些崩溃的是——
即使不断地努力去清理和更新,还是会不断地有新的乱麻出现。
之前看一个家装改造节目,觉得很有意思。
每个参加改造的家庭,在设计师的精心设计下,都仿若重获新生,借助丢弃和重新设计,发现并改变了生活里的各类隐藏问题。
可惜的是,这种“重生”的美丽只是一时的。
几个月后,节目组做了次回访,发现部分家庭在新居生活了一段时间后,又再次恢复了原来的样子——
有时候,生活的无力,可能就像是《了不起的盖茨比》里,结尾写的那样:
“于是我们奋力前行,却如同逆水行舟,注定要不停地退回过去。”
手机又变得越来越卡了。
因为担心内存不够,一直不敢下载新的软件。
可后来,实在忍不住,还是删除了些不常用软件,安装了期待很久的游戏。
游戏确实很有意思也很耐玩。
只不过,每次游戏结束后,需要立刻去清理一下手机。
即便如此,我也乐此不疲。
就像是李宫俊所说的:
“人只需烦恼如何让自己快乐起来,而不是烦恼如何让烦恼快乐起来。”
就像是手机的垃圾一直都会出现,烦恼和问题也总会不断地产生。
根本没有必要担心和恐慌问题的降临。
寻找快乐,才是一件更重要的事情。
-
?
电脑垃圾不要文件无论如何都删除不掉,轻松解决
相遇
展开
电脑有一些不需要的垃圾文件,无论如何要删除就是删除不了,那么当你遇到桌面上的文件删不掉怎么办?不知道的朋友赶紧看看可可整理的桌面上的文件删不掉的解决方法吧!
遇到问题:
1、就是下面这种奇怪的后缀名不对的文档。点击删除,显示找不到这个项目,无法删除。
解决方法:
1、对于大家遇到的这类问题,首先我们的处理方式还是点击刷新桌面。刷新桌面还没有消除的话,通常重启系统就好了。
2、但是对于步骤一没有效果的问题,要用下面的方法。首先,为了确保方法的成功,首先要点击进入我的电脑,再点击文件夹选项。
3、切换到查看标签,不隐藏文件扩展名。
4、好,现在在桌面新建一个文本文件,并输入如下内容。
5、保存文件,把文件的后缀改成.bat,文件名随意。点击确定。
6、把需要删除的文件拖动到这个.bat文件上(会显示用它打开),然后我们发现,就这样删除了,成功!
以上就是桌面上文件删不掉的解决方法了,方法很简单,我们只需要创建一个.bat批处理文件,之后把删不掉的文件拖到.bat批处理文件图标上就能删除了。
-
?
干货 | 深度学习在文本分类中的应用
武梦山
展开
作者:llhthinker
个人博客:http://cnblogs/llhthinker/
1 文本分类任务介绍
文本分类是自然语言处理的一个基本任务,试图推断出给定的文本(句子、文档等)的标签或标签集合。
文本分类的应用非常广泛。如:
垃圾邮件分类:二分类问题,判断邮件是否为垃圾邮件情感分析
二分类问题,判断文本情感是积极(positive)还是消极(negative)多分类问题,判断文本情感属于{非常消极,消极,中立,积极,非常积极}中的哪一类
新闻主题分类:判断新闻属于哪个类别,如财经、体育、娱乐等自动问答系统中的问句分类社区问答系统中的问题分类:多标签分类,如知乎看山杯更多应用:
让AI当法官: 基于案件事实描述文本的罚金等级分类(多分类)和法条分类(多标签分类)。判断新闻是否为机器人所写: 二分类......
不同类型的文本分类往往有不同的评价指标,具体如下:
二分类:accuracy,precision,recall,f1-score,...多分类: Micro-Averaged-F1, Macro-Averaged-F1, ...多标签分类:Jaccard相似系数, ...
2 传统机器学习方法
传统的机器学习方法主要利用自然语言处理中的n-gram概念对文本进行特征提取,并且使用TFIDF对n-gram特征权重进行调整,然后将提取到的文本特征输入到Logistics回归、SVM等分类器中进行训练。但是,上述的特征提取方法存在数据稀疏和维度爆炸等问题,这对分类器来说是灾难性的,并且使得训练的模型泛化能力有限。因此,往往需要采取一些策略进行降维:
人工降维:停用词过滤,低频n-gram过滤等自动降维:LDA等
值得指出的是,将深度学习中的word2vec,doc2vec作为文本特征与上文提取的特征进行融合,常常可以提高模型精度。
3 CNN用于文本分类
论文Convolutional Neural Networks for Sentence Classification提出了使用CNN进行句子分类的方法。
3.1 CNN模型推导
一个句子是由多个词拼接而成的,如果一个句子有n个词,且第i个词表示为xi,词xi通过embedding后表示为k维的向量,即xi∈k,则一个句子x1:n为nk的矩阵,可以形式化如下:
3.2 优化CNN模型
随机初始化 (CNN-rand)预训练词向量进行初始化,在训练过程中固定 (CNN-static)预训练词向量进行初始化,在训练过程中进行微调 (CNN-non-static)多通道(CNN-multichannel):将固定的预训练词向量和微调的词向量分别当作一个通道(channel),卷积操作同时在这两个通道上进行,可以类比于图像RGB三通道。
上图为模型架构示例,在示例中,句长n=9,词向量维度k=6,filter有两种窗口大小(或者说kernel size),每种有2个,因此filter总个数m=4,其中:
一种的窗口大小h=2(红色框),卷积后的向量维度为nh+1=8另一种窗口大小h=3(黄色框),卷积后的向量维度为nh+1=7Dropout: 对全连接层的输入z向量进行dropout
y=W(zr)+b其中r∈m为masking向量(每个维度值非0即1,可以通过伯努利分布随机生成),和向量z进行元素与元素对应相乘,让r向量值为0的位置对应的z向量中的元素值失效(梯度无法更新)。L2-norms: 对L2正则化项增加限制:当正则项‖W‖2>s时, 令‖W‖2=s,其中s为超参数。
3.3 一些结论
Multichannel vs. Single Channel Models: 虽然作者一开始认为多通道可以预防过拟合,从而应该表现更高,尤其是在小规模数据集上。但事实是,单通道在一些语料上比多通道更好;Static vs. Non-static Representations: 在大部分的语料上,CNN-non-static都优于CNN-static,一个解释:预训练词向量可能认为‘good’和‘bad’类似(可能它们有许多类似的上下文),但是对于情感分析任务,good和bad应该要有明显的区分,如果使用CNN-static就无法做调整了;Dropout可以提高2%–4%性能(performance);对于不在预训练的word2vec中的词,使用均匀分布U[a,a]随机初始化,并且调整a使得随机初始化的词向量和预训练的词向量保持相近的方差,可以有微弱提升;可以尝试其他的词向量预训练语料,如Wikipedia[Collobert et al. (2011)]Adadelta(Zeiler, 2012)和Adagrad(Duchi et al., 2011)可以得到相近的结果,但是所需epoch更少。
3.4 进一步思考CNN
3.4.1 为什么CNN能够用于文本分类(NLP)?
为什么CNN能够用于文本分类(NLP)?
RNN可以提取全局特征RCNN(下文说明): RNN和CNN的结合filter相当于N-gram ?filter只提取局部特征?全局特征怎么办?可以融合吗?
3.4.2 超参数怎么调?
论文A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification提供了一些策略。
用什么样的词向量
使用预训练词向量比随机初始化的效果要好采取微调策略(non-static)的效果比固定词向量(static)的效果要好无法确定用哪种预训练词向量(Google word2vec / GloVe representations)更好,不同的任务结果不同,应该对于你当前的任务进行实验;
filter窗口大小、数量
在实践中,100到600是一个比较合理的搜索空间。每次使用一种类型的filter进行实验,表明filter的窗口大小设置在1到10之间是一个比较合理的选择。首先在一种类型的filter大小上执行搜索,以找到当前数据集的“最佳”大小,然后探索这个最佳大小附近的多种filter大小的组合。每种窗口类型的filter对应的“最好”的filter个数(feature map数量)取决于具体数据集;但是,可以看出,当feature map数量超过600时,performance提高有限,甚至会损害performance,这可能是过多的feature map数量导致过拟合了;
激活函数 (tanh, relu, ...)
Sigmoid, Cube, and tanh cube相较于Relu和Tanh的激活函数,表现很糟糕;tanh比sigmoid好,这可能是由于tanh具有zero centering property(过原点);与Sigmoid相比,ReLU具有非饱和形式(a non-saturating form)的优点,并能够加速SGD的收敛。对于某些数据集,线性变换(Iden,即不使用非线性激活函数)足够捕获词嵌入与输出标签之间的相关性。(但是如果有多个隐藏层,相较于非线性激活函数,Iden就不太适合了,因为完全用线性激活函数,即使有多个隐藏层,组合后整个模型还是线性的,表达能力可能不足,无法捕获足够信息);因此,建议首先考虑ReLU和tanh,也可以尝试Iden
池化策略:最大池化就是最好的吗
对于句子分类任务,1-max pooling往往比其他池化策略要好;这可能是因为上下文的具体位置对于预测Label可能并不是很重要,而句子某个具体的n-gram(1-max pooling后filter提取出来的的特征)可能更可以刻画整个句子的某些含义,对于预测label更有意义;(但是在其他任务如释义识别,k-max pooling可能更好。)
正则化
0.1到0.5之间的非零dropout rates能够提高一些performance(尽管提升幅度很小),具体的最佳设置取决于具体数据集;对l2 norm加上一个约束往往不会提高performance(除了Opi数据集);当feature map的数量大于100时,可能导致过拟合,影响performance,而dropout将减轻这种影响;在卷积层上进行dropout帮助很小,而且较大的dropout rate对performance有坏的影响。
3.5 字符级别的CNN用于文本分类
论文Character-level convolutional networks for text classification将文本看成字符级别的序列,使用字符级别(Character-level)的CNN进行文本分类。
3.5.1 字符级CNN的模型设计
首先需要对字符进行数字化(quantization)。具体如下:
定义字母表(Alphabet):大小为m (对于英文m=70,如下图,之后会考虑将大小写字母都包含在内作为对比)
字符数字化(编码): "one-hot"编码序列(文本)长度:l0 (定值)然后论文设计了两种类型的卷积网络:Large和Small(作为对照实验)它们都有9层,其中6层为卷积层(convolutional layer);3层为全连接层(fully-connected layer):Dropout的概率都为0.5使用高斯分布(Gaussian distribution)对权重进行初始化:最后一层卷积层单个filter输出特征长度(the output frame length)为 l6=(l096)/27,推第一层全连接层的输入维度(其中1024和256为filter个数或者说frame/feature size):
Large: l61024Small: l6256
下图为模型的一个图解示例。其中文本长度为10,第一层卷积的kernel size为3(半透明黄色正方形),卷积个数为9(Feature=9),步长为1,因此Length=10-3+1=8,然后进行非重叠的max-pooling(即pooling的stride=size),pooling size为2,因此池化后的Length = 8 / 2 = 4。
3.5.2 字符级CNN的相关总结与思考
字符级CNN是一个有效的方法数据集的大小可以为选择传统方法还是卷积网络模型提供指导:对于几百上千等小规模数据集,可以优先考虑传统方法,对于百万规模的数据集,字符级CNN开始表现不错。字符级卷积网络很适用于用户生成数据(user-generated data)(如拼写错误,表情符号等),没有免费的午餐(There is no free lunch)中文怎么办
中文中的同音词非常多,如何克服?如果把中文中的每个字作为一个字符,那么字母表将非常大是否可以把中文先转为拼音(pinyin)?论文Character-level Convolutional Network for Text Classification Applied to Chinese Corpus进行了相关实验。
将字符级和词级进行结合是否结果更好
英文如何结合中文如何结合
3.5.3 使用同义词表进行数据增强
对于深度学习模型,采用适当的数据增强(Data Augmentation)技术可以提高模型的泛化能力。数据增强在计算机视觉领域比较常见,例如对图像进行旋转,适当扭曲,随机增加噪声等操作。对于NLP,最理想的数据增强方法是使用人类复述句子(human rephrases of sentences),但是这比较不现实并且对于大规模语料来说代价昂贵。
一个更自然的选择是使用词语或短语的同义词或同义短语进行替换,从而达到数据增强的目的。具体做法如下:
英文同义词典: from the mytheas component used in LibreOffice1 project. http://libreoffice.org/从给定的文本中抽取出所有可以替换的词,然后随机选择r个进行替换,其中r由一个参数为pp的几何分布(geometric distribution)确定,即P[r]pr给定一个待替换的词,其同义词可能有多个(一个列表),选择第s个的概率也通过另一个几何分布确定,即P[s]qs。这样是为了当前词的同义词列表中的距离较远(s较大)的同义词被选的概率更小。论文实验设置:p=0.5,q=0.5。
4 RNN用于文本分类
策略1:直接使用RNN的最后一个单元输出向量作为文本特征策略2:使用双向RNN的两个方向的输出向量的连接(concatenate)或均值作为文本特征策略3:将所有RNN单元的输出向量的均值pooling或者max-pooling作为文本特征策略4:层次RNN+Attention, Hierarchical Attention Networks
5 RCNN(RNN+CNN)用于文本分类
论文Recurrent Convolutional Neural Networks for Text Classification设计了一种RNN和CNN结合的模型用于文本分类。
5.1 RCNN模型推导
5.1.1 词表示学习
使用双向RNN分别学习当前词wi的左上下文表示cl(wi)和右上下文表示cr(wi),再与当前词自身的表示e(wi)连接,构成卷积层的输入xi。具体如下:
然后将xi作为wi的表示,输入到激活函数为tanh,kernel size为1的卷积层,得到wi的潜在语义向量(latent semantic vector)
将kernel size设置为1是因为xi中已经包含wi左右上下文的信息,无需再使用窗口大于1的filter进行特征提取。但是需要说明的是,在实践中仍然可以同时使用多种kernel size的filter,如[1, 2, 3],可能取得更好的效果,一种可能的解释是窗口大于1的filter强化了wi的左右最近的上下文信息。此外,实践中可以使用更复杂的RNN来捕获wi的上下文信息如LSTM和GRU等。
5.1 2 文本表示学习
经过卷积层后,获得了所有词的表示,然后在经过最大池化层和全连接层得到文本的表示,最后通过softmax层进行分类。具体如下:
下图为上述过程的一个图解:
5.2 RCNN相关总结
NN vs. traditional methods: 在该论文的所有实验数据集上,神经网络比传统方法的效果都要好Convolution-based vs. RecursiveNN: 基于卷积的方法比基于递归神经网络的方法要好RCNN vs. CFG and C&J: The RCNN可以捕获更长的模式(patterns)RCNN vs. CNN: 在该论文的所有实验数据集上,RCNN比CNN更好CNNs使用固定的词窗口(window of words), 实验结果受窗口大小影响RCNNs使用循环结构捕获广泛的上下文信息
6 一定要CNN/RNN吗
上述的深度学习方法通过引入CNN或RNN进行特征提取,可以达到比较好的效果,但是也存在一些问题,如参数较多导致训练时间过长,超参数较多模型调整麻烦等。下面两篇论文提出了一些简单的模型用于文本分类,并且在简单的模型上采用了一些优化策略。
6.1 深层无序组合方法
论文Deep Unordered Composition Rivals Syntactic Methods for Text Classification提出了NBOW(Neural Bag-of-Words)模型和DAN(Deep Averaging Networks)模型。对比了深层无序组合方法(Deep Unordered Composition)和句法方法(Syntactic Methods)应用在文本分类任务中的优缺点,强调深层无序组合方法的有效性、效率以及灵活性。
6.1.1 Neural Bag-of-Words Models
论文首先提出了一个最简单的无序模型Neural Bag-of-Words Models (NBOW model)。该模型直接将文本中所有词向量的平均值作为文本的表示,然后输入到softmax 层,形式化表示如下:
6.1.2 Considering Syntax for Composition
一些考虑语法的方法:
Recursive neural networks (RecNNs)可以考虑一些复杂的语言学现象,如否定、转折等 (优点)实现效果依赖输入序列(文本)的句法树(可能不适合长文本和不太规范的文本)需要更多的训练时间Using a convolutional network instead of a R...
-
?
Word文本框用得好就是战斗机,用不好就是垃圾
周子安
展开
Word可以直接输入文,字还要文本框有什么用?
是战斗机还是垃圾就看你怎么用。
布局、排版、美化……想怎么用就怎么用。
1.制作旋转字
打开就输文字,输了半天发现,想要排版个性化一点,旋转一下文字角度,却无计可施。这个时候就需要文本框出马啦!把文字放到文本框中,旋转文本框,实现文字旋转,想怎么转就怎么转。
补充:如果不希望显示文本框,只想呈现文字旋转效果,只用将文本框的填充色和轮廓色都设置无,文本框就“消失”啦!
2.美化文字背景
这个年代,不会用Word做海报的文案不是好行政。要想Word排版更美观,就要学会使用文本框来美化文字。毕竟在Word直接输入文字,除了设计一下文字的颜色、边框、效果,就不能再设计其他的了。
但是在文本框中输入文字后,可以统一设置文本框和文字和颜色、边框、效果,让普通的文字顿时高大上起来。(学会这招,不露一手都不行了。)
如果你对自己的审美不自信,怕自己设计出辣眼睛的文本框。不妨使用微软妈妈自带的文本框设计。在插入文本框时,直接选择一种设计好的内置样式就可以了。像下面的动图这样,选择一种文本框样式后,再将自己的文字粘贴进去,妥妥的。
3.灵活进行文字排版
秘密就是,使用文本框。不过需要注意的是,在文本框中输入文字后,要调整一下文本框的环绕方式,例如下面的动图中选择【四周型】,让其他文字乖乖排列在文本框周围。嗯,学会了文本框排版,天天都可以开心鸭。
在使用文本框进行排版时,可能会遇到一个问题:文本框位于页面底部,但是文本框中的内容太多了,装不下,后面的内容就显示不出来了。
此时可以用链接功能,将第1页最后的文本框与第2页最前面的文本框链接起来,效果是:第1页中文本框中装不下来的文字会在第2页的文本框中显示。操作方法如下面的动图所示。
4.制作形状文字
这几年突然流行起的文字云,其实可以在Word中制作,虽然不是名副其实的文字云,但是因为制作简单,也可以应付一下不时之需。
其秘密就是,改变一下文本框的形状,例如变成云朵形、笑脸形、爱心形……快动手试一下吧。
5.改变文字方向
文本框还有一个妙用,那就制作出特定排列方向的文字。例如横向文字、竖排文字、旋转90°的文字等等。这也是排版使用频繁很高的一个技巧哦。
-
?
《史上最牛村长》14文字垃圾的处理方式
狄香菱
展开
看到小黄狗可怜兮兮的样子,刘大炮便蹲了下来,小黄狗马上怯生生的往后退了几步。 “别怕,来,这个西红柿给你吃了。” 刘大炮伸手将咬开的西红柿摊在手心,然后伸出手去,递到小黄狗面前。 小黄狗又看了刘大炮一眼,估计实在是忍不住了,张口在西红柿上舔了舔,随即大口的吃了起来,几口就将这个西红柿给吃掉了。
刘大炮笑道:“小家伙,你真是运气不错,遇到本大爷了,以后就跟炮哥混吧,来,跟炮哥回家。” 说完,刘大炮就往屋里走,小黄狗马上就跟了进来,狗这种东西,大多数都喜欢给它食物的人,吃了一个西红柿,小黄狗精神也好了起来,摇着尾巴跟在刘大炮屁股后面。 晚饭正好有不少剩菜,这会儿正装在塑料袋里,刘大炮便将这些骨剩菜倒在一个盆子里,又盛了点米饭放在里面,从三多河里引出一碗灵泉泡上,然后将盆子放在门口,唤小黄狗来吃。
小黄狗这下子尾巴摇得更加的欢快了,它冲着刘大炮呜咽了几声,这是感谢刘大炮,然后就跑到盆子面前,大口大口的吃了起来。 灵泉的味道非常的舒服,小黄狗又饿了,没多久,一盆的狗食就给它吃得干干净净。 小黄狗这才舔了舔盆,跑到刘大炮面前,趴在刘大炮的脚上,抬起头看着刘大炮。 “咦,你这腿不瘸了?看来是被灵泉给治好了,这也太快了。小家伙,吃了炮哥的东西,以后可要听炮哥的话哟,我看就叫你阿黄吧,阿黄。”刘大炮看着小黄狗,发现它的后腿已经好了。
灵泉的神奇效果再次得到了印证,这玩意救死扶伤没问题。 阿黄满意的呜咽着,摇着尾巴看着刘大炮。 这时候,方老太太终于是看够了电视,大概是听到狗叫,走了过来,看见阿黄趴在刘大炮面前,便问道:“大炮,你从哪儿弄来的狗啊?怎么那么脏啊。” 刘大炮笑道:“奶奶,这狗叫阿黄,阿黄是自己跑来的,我听人说啊,猪来穷,狗来富,咱家这是走运了,我这就给它洗一洗,以后就让它看家了。” 方老太太说道:“是有这么一说,那你就好好给它洗洗,用点肥皂,这天气热,容易滋生细菌和跳蚤。”
刘大炮点了点头,带着阿黄来到水池边,给它洗澡。 水池里面的水还有一定的灵泉味道,阿黄直接就跳入了水池,在里面欢快的游了起来,这倒是让刘大炮省了事儿,等阿黄游了一会儿,刘大炮才抓住它的脖子,用一把刷子在他身上刷了起来,同时给阿黄身上抹上肥皂,很快,就有不少泡沫冒了出来。 阿黄很享受刷子在它身上的摩擦,它竟然眯上了眼睛,任凭刘大炮摆布。 洗刷了一会儿,刘大炮给阿黄冲掉身上的泡沫,然后又用系统将水池的垃圾全部回收,找来一件旧衣服,将阿黄的身体擦了一下,总算是将卫生搞好了。 “以后要爱干净,不要在地上打滚,还有,我给你做个窝,你就睡在栅栏边好了。”
刘大炮说着,打着电筒来到地里,用石头和木头给阿黄做了个窝,为了防雨,还加上了一层油布,除非下大雨,这个狗窝就是个不错的建筑。 阿黄摇着尾巴跑到自己的狗窝里面,很满意的转了一圈,然后趴在【床】上。 刘大炮看着这条狗的状态,心情也颇为不错,回到屋里,他开始继续写【寻秦记】。
不知怎么的,刘大炮今天写得有些很糟糕,不知怎么的,那些熟悉的情节竟然无法组织起来。 “这是怎么了?为什么看起来很简单的情节,写了这么多次也不行?”刘大炮嘀咕起来。 突然,系统提示道:“发现地球文字垃圾,是否回收?” 刘大炮跳了起来,忙问系统:“文字垃圾?难道这也能回收再生?” 系统说道:“当然可以,一切垃圾都可以回收再生,包括人。” “我靠,这系统,果然不愧是250版本!回收,然后再生!”刘大炮果断说道。
瞬间,刘大炮放在一边的手稿就被系统回收了,很快,系统提示道:“再生成功,系统根据相关文字信息,已经找到了最佳版本,再生成完整版的【寻秦记】,已经放到仓库,请及时查看。” 刘大炮听了这话,那简直更加的疯狂了,就凭自己写的一段文字,这系统竟然生成了完整版的【寻秦记】,如此神奇系统,那给自己简直帮了大忙了。
刘大炮忙将系统再生成的【寻秦记】从系统仓库里面拿了出来,发现再生价格居然只有100块钱,看来,这价格也挺便宜。 这是十本古代线装本,上面的文字是用毛笔写出来的,文字倒是简体字,真是个怪胎。 刘大炮快速的翻了一遍,发现情节居然是原著作者老黄写的。 “原来完整版的,就是原版。” 刘大炮叹道。 现在好了,不用自己一个字一个字的写了,这部书过几天就交给老金,不过得一本一本的交,钱已经收了,书也给老金就两清了。
想要哪本,只需要写上一段垃圾文,这系统就可以回收并再生出完整版本,这以后的娱乐圈,还能有什么人敢跟刘大炮相比呢? “老金,你看到这样的手稿,是不是会非常惊讶呢?” 刘大炮笑了。 既然系统有这样的本事,刘大炮干脆又把自己脑海里的那些经典网络小说回忆了一遍。 刘大炮比较喜欢历史穿越文,仙侠武侠文,还有就是种田文。
先把《回到明朝当皇帝》这本网络神作给写了几段,当然了,为了满足文字垃圾的条件,刘大炮故意乱写。 系统也果然提示:“发现地球文字垃圾,是否回收?” “回收!然后再生!” 刘大炮高兴的说道。 系统迅速完成了这一神奇的过程,刘大炮又得到了一部《回到明朝当王爷》。 翻了翻,发现居然又是原版,这部小说的情节依然非常精彩,人物刻画也很丰富,感情戏更是非常的好看,像主角儿为了自己的妻子居然违抗圣旨这样的感情,实在是让人羡慕。
当然了,权利斗争也很精彩,战争戏份也有很多看点,是难得的佳作。 刘大炮看了看两本书,觉得距离武侠的概念还是有些偏颇,他回想了一下,觉得还是可以将那些玄幻、仙侠小说弄几本出来,应该可以大红大紫。
回忆了一下情节,刘大炮开始写了起来,大概写了十几本,这才罢手,然后通过系统,将这些书全部再生了出来。 “《凡人修仙传》,《诛仙》,《斗破苍穹》,《大圣传》……,有这么多,可以应付好多年了。老金,这些作品虽然有些超越时代的观念,但绝对是好文章啊,到时候可以让香江的文学走上另一条道路。” 刘大炮满意看着一本本经典,就想看着一堆钞票。
-
?
研究:在垃圾食物标示警告文字不健康的饮食可能缩短你的寿命
开了
展开
澳洲广播公司(ABC)报导,澳洲墨尔本大学一项研究显示,在洋芋片、巧克力棒等垃圾食物外包装标示和香烟包装类似的警示文字或图片,可能有助于民众改善饮食习惯。
墨尔本大学研究共同作者伯德(Stefan Bode)表示:「我们目前还不知道那些讯息效果对民众会比其他更好。但理论上,我们很高兴这是可行的,因为这是一个容易施行的方法。」
该份研究同时发表在科学期刊《临床神经影像》(NeuroImage: Clinical)和《食欲》(Appetite)上。
为了评估食物警示图片、警告文字对消费者的影响,伯德及其他研究人员让96名饥饿的受试者看洋芋片、巧克力棒、坚果、水果、蔬菜等点心零食的照片,要受试者评分他们想吃这些食物的程度。
接着,研究人员让受试者看文字或图片,包括警语「食用含糖食物会提高你的蛀牙风险」,但也有正面讯息,例如「保持健康体重可降低心脏疾病风险」等。然后要受试者再度为相同食物评分。
研究人员发现,在垃圾食物上同时标示负面文字、图片的讯息最有效,能说服民众避开垃圾食物,改选更健康的食物;另外,同时标示文字、图片讯息的健康食物,也比只标示文字的健康食物更有效。
研究人员利用电极监看大脑活动。伯德表示,警示图片能启动大脑自制能力,降低消费者冲动消费的机会,「我们看到大脑明显发布自制信号,抗拒选择垃圾食物。」
然而,研究香烟警示标语效用的国立澳洲大学教授西蒙娜.丹尼斯(Simone Dennis)表示,很难在现实生活中预测,民众是否会如研究结果行动。因为如同消费者会把香烟藏进手提袋,民众也可能把垃圾食物换装容器,以求眼不见为净,或是干脆忽略警语。
丹尼斯表示,警示图文在实际生活中的效用可能不如研究结果,因为该研究假定,民众每次看到食物都会面对警示。
丹尼斯另外表示,包装警示的震撼效应可能有期限,「这种(警语)能够真正吓唬人的时间周期非常有限」。
伯德表示:「我们现在还没办法讲,现实生活中消费者在超市看到一堆讯息轰炸时,警语还会行得通。」他提到,研究团队想进一步知道食物警示文字、图片效力可以持续多久。
研究人员发现,在垃圾食物上同时标示警告文字、图片讯息最有效。图片标语为「不健康的饮食可能缩短你的寿命」。墨尔本大学提供
-
?
如何用自然语言处理来预测垃圾邮件?
经孤晴
展开
自然语言处理可以帮助计算机进行文本分析,比如说检测垃圾邮件、自动纠错等。那么,自然语言处理技术是如何用于理解人类语言的?
本文详细讲述了如何执行基本自然语言处理任务并使用机器学习分类器来预测SMS是垃圾邮件还是非垃圾邮件。通过理论和代码的配合,用最生动的实例让你轻松掌握这一主题。
自然语言处理
在机器学习领域中,自然语言处理指的是教会计算机理解、分析、处理并能潜在地生成人类语言。
在现实生活中,自然语言处理主要表现在:
信息检索(谷歌发现相关或者相似的结果)知识提取(谷歌邮箱从无数邮件中构建事件信息)机器翻译(谷歌翻译将一种语言翻译成另一种语言)文本简化(Rewordify能够简化句子含义)情感分析(Hater News能够展现用户的情感 )文本总结(Smmry或者Reddit的 autotldr机器人能够总结句子 )垃圾邮件过滤(谷歌邮箱能够过滤垃圾邮件)自动预测(谷歌搜索能够预测用户的搜索结果)自动纠错(谷歌键盘和 Grammarly能够纠正拼写错误)语音识别(谷歌 WebSpeech或者Vocalware)问答(IBM的沃森机器人能够对问题进行回答)自然语言生成(从图像或者视频数据中生成文本)
-
?
通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题
Troy
展开
ACL 2017 Long Papers
通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题
HandlingCold-Start Problem in Review Spam Detection by Jointly Embedding Texts andBehaviors
中国科学院
Chinese Academy of Sciences
【摘要】解决垃圾评论检测中的冷启动问题是一项紧迫而重要的任务。它可以帮助在线评论网站及时减轻垃圾内容发送者的破坏,但从未被以前的工作研究过。本文提出了一种新的神经网络模型来检测垃圾评论的冷启动问题,并通过共同嵌入文本和行为信息来表示新评论者的评论。实验结果表明,该模型具有较好的性能,具有较好的领域适应性。它也适用于非监督方式的大规模数据集。
1 引言
随着网络产品评论数据的快速增长,人们在作出购买决定之前,习惯性地先阅读评论。评论通常包含消费者丰富的的个人经验。这显著影响了企业财务收益和业绩。现有研究表明,Yelp额外的半星评级导致餐馆更频繁地出售19%(Anderson和Magruder,2012年),Yelp的一星级增长导致收入增长了5-9%(Luca ,2011)。不幸的是,这种做法给予冒名顶替者(称为垃圾内容发送者)强大的动机来与系统进行游戏。他们发布假评论或意见(称为垃圾评论)来宣传或抹黑某些有针对性的产品和服务。来自英国广播公司BBC的消息显示,约25%的Yelp评论可能是假的。因此,检测垃圾评论是非常迫切的,以确保在线评论继续受到信赖。
Jindal和Liu(2008)做出了检测垃圾评论的第一步。大多数努力致力于通过后续工作来探索有效的语言和行为特征,以区分这种垃圾评论与真实的评论。然而,为了注意这种模式或形成行为特征,开发人员应该花费很长时间来观察数据,因为这些特征是基于统计数据的。例如,Mukherjee等人(2013c)提出的特征“活动窗口”是衡量评论者的活动新鲜度。通常需要几个月的时间才能计算出评论者的最后和第一次评论之间的时间戳差异。当最终形成特征时,可能已经形成了一些重大损失。因此,重要的是设计一个可以在新评论者发布后尽快检测出垃圾评论的算法。这是一个冷启动问题,这是本文的重点。
在本文中,我们假设当新的评论者发表一个评论时,我们必须立即识别假评论。不幸的是,这是非常困难的,因为用于检测假评论的可用信息非常少。基于统计学的传统行为特征只能在频繁的用户行为上发挥作用。获得的行为信息越多,传统行为特征越有效(参见第3节中的实验)。在冷启动的情况下,新的评论者只有一个行为:发表评论。因此,我们无法从数据中获取有效的行为特征。虽然,评论的语言特征不需要花费很多时间来形成,Mukherjeeet al.(2013c)已经证明,语言特征在检测现实中商业网站假评论识别方面不够有效,我们也获得注意到了这一点(细节见第3节)。
因此,冷启动垃圾评论问题的主要困难在于,新的评论者没有足够的行为来构建有效的行为特征。然而,现有评论员发表的丰富评论中有大量的文字和行为信息(图1)。我们可以使用现有的类似评论者的行为信息给新的评论者来近似模拟他的行为特征。我们认为,评论者的个人特征,如背景信息、动机和互动行为风格,对评论者的文字和行为信息有很大的影响。所以评论者的文本信息和行为信息是相互关联的(Li等人(2016)的类似论据)。例如,学校的学生可能会在暑假期间选择青年旅馆,并在评论中倾向于评论房价。但是,商务旅行中的金融分析师可能会选择商务酒店,环境和服务是他们在评论中关心的。
为了在冷启动问题中增加新评论者的行为信息,我们首先尝试从现有评论中找到与新评论者类似的文本信息。有几种方法可以对垃圾评论的文本信息进行建模,如Unigram(Mukherjeeet al., 2013c),POS(Ott等,2011)和LIWC(语言查询和字数)(Newman et al., 2003)。我们采用CNN(卷积神经网络)对评论文本进行建模,已经证明它可以捕捉使用传统的离散人工特征难以表达的复杂全局语义信息(Ren andZhang,2016)。然后,我们采用与找到的文本信息相关的行为信息来近似模拟新评论者的行为信息。一个直观的方法是搜索最新的评论的最相似的现有评论,然后将发现的评论者的行为特征作为新的评论者的特征(详见5.3节)。然而,在评论图(图1)中存在着丰富的行为信息,传统的离散人工行为特征难以记录全局行为信息(Wang etal., 2016)。此外,由于在评论系统中没有明确的特征标签(第5.3节中的实验),传统特征无法捕捉评论者的个人特征。因此,我们提出了一种神经网络模型,将文本和行为信息共同编码成评论向量,用于解决垃圾评论检测的冷启动问题。通过对评论图结构进行编码(图1),所提出的模型可以以无监督的方式记录现有评论者的全局行为,并进一步记录评论者潜在的特征信息。这种联合学习的评论表示可以对评论者的文本和行为信息的相关性建模。当新的评论者发表评论时,提出的模型可以利用编码了类似文本信息和相关行为信息的词向量来表示该条评论。最后,将新评论者的词向量输入分类器,以确定它是否是垃圾评论。
图1 Yelp的简化评论局部图
总的来说,我们的主要贡献包括:
据我们所知,这是首次在垃圾评论检测中探讨冷启动问题的工作。我们定性和定量地证明了传统的语言和行为特征在检测冷启动任务的垃圾评论方面是不够有效的。我们提出了一个神经网络模型,将文本和行为信息共同编码为冷启动垃圾评论检测任务的词向量输入。它是一种无监督的分布式表示模型,可以从大规模的未标记的审查数据中学习。两个领域(酒店和餐厅)的实验结果有效地验证了提出模型在冷启动垃圾评论检测任务中的有效性。
2 相关工作
和Liu(2008)做出了检测垃圾评论的第一步。随后的工作致力于探索有效特征和垃圾评论发送者的线索。
语言特征: Ott et al.(2011)应用心理和语言学线索来识别垃圾评论;Harris(2012)探讨了几种写作风格的特征。Feng等人(2012a)研究了用于审查垃圾评论检测的句法文体;Xu andZhao (2012) 使用深层语言特征来发现欺骗性垃圾评论; Li et al.(2013) 研究了垃圾评论中的主题;Li et al.(2014b)进一步分析了语言用法的一般差异。Fornaciari和Poesio(2014)证明了N-gram在检测欺骗性亚马逊书评中的有效性。Cagnina和Rosso(2015)也探讨了N-gram的有效性。 Li et al.(2014a)提出了基于一元和二元文法的积极的无标签学习方法; Kim等人(2015)设计了一种深度语义分析框架。Hai et al.(2016)利用多重垃圾评论检测任务和可用的未标记数据的相关性,通过使用语言特征来解决垃圾评论标注数据的稀缺性。此外,(Ren和Zhang,2016)证明CNN模型比RNN和传统的离散人工语言特征更为有效。Hovy(2016)使用N-gram生成模型来生成评论并评估其有效性。
行为特征: Lim et al.(2010)分析了评论者评级的行为特征;Jindal等(2010)识别了异常评论模式,它可以代表评论中的可疑行为; Li et al.(2011)提出了一种基于行为特征的双视点半训练共同训练方法。Feng等(2012b)研究垃圾评论发送者个人行为的分布情况。Mukherjee等人(2012) 研究了垃圾评论发送者的行为特征。 Xieet al. (2012), Fei et al. (2013)等人对垃圾评论发送者的时间模式进行了调查。Li et al. (2015) 探讨了时间和空间模式。Wang etal. (2011), Akoglu et al. (2013) 对该评价图进行了分析。Mukherjee等人(2013a)研究了评论流行度。 Mukherjeeet al. (2013c)和Mukherjee et al. (2013b)证明,评论者的行为特征比垃圾评论检测的语言特征更有效。基于这一结论,最近研究人员(Rayana和Akoglu,2015; KC和Mukherjee,2016)已经更加努力地采用评论者的行为特征来检测垃圾评论,其目的是捕捉评论者的行为,并假定那些与垃圾评论发布者行为类似的评论将是垃圾评论。Wang etal. (2016) 探索了一种通过全局行为信息学习评论表征的方法。Viviani和Pasi(2017)聚焦在每个单一真实特征的聚合过程上。
3 传统特征是否是有效
因为新评论者只发表了一个评论,而我们必须立即确定其是否是垃圾评论发布者,冷启动任务面临的主要挑战是,有关新评论者的现有信息非常差。新评论者只为我们提供一个评论记录。对于基于统计数据的大多数传统特征,它们不能自己形成且没有任何意义,例如在周末写的评论的百分比(Li et al.,2015)、用户评论的评级分布熵(Rayana和Akoglu,2015年)。为了研究传统特征在冷启动任务中是否有效,我们对Mukherjee等人(2013c)的Yelp数据集进行了实验。我们在2012年1月1日之前发布的现有评论中训练了具有不同功能的SVM模型,并对2012年1月1日以后新评论者发布的新评论进行了测试。结果如表1所示。
表1 跨语言特征的SVM分类结果(LF,二元文法(Mukherjee等,2013b)),行为特征(BF:RL,RD,M-CS(Mukherjee et al., 2013b))和行为信息丰富的行为特征(BF:RL, RD, M- CS)。训练和测试都使用平衡数据(50:50)。
3.1 语言特征表现不佳
语言特征不需要花太多时间形成。但是Mukherjee等人(2013c)已经证明,与人群资料数据集的表现相比,语言特征在检测现实中商业网站的虚假评论方面不够有效(Ott等,2011)。他们表明,二元文法比其他语言特征表现得更好,如LIWC(Newman etal., 2003; Pennebaker et al., 2007),局部语音序列模式(Mukherjee和Liu,2010),深层语法(Feng etal., 2012a),信息增益(Mukherjee et al., 2013c)等。所以,我们用二元文法特征来进行实验。如表1(a, b)第1行所示,二元文法在酒店和餐厅领域的精确度仅为55%左右。这表明最有效的传统语言特征(即二元文法)无法在冷启动任务中有效检测垃圾评论
3.2行为信息仅在丰富信息情况下表现良好
由于没有足够的有关新评论者的可用信息,对于基于统计机制的大多数传统行为特征,他们无法形成且没有任何意义。我们调查了以前的工作,发现有三个行为特征可以应用于冷启动任务。它们由Mukherjee等人提出(2013b),即1.Reviewlength(RL):新评论者发表的新评论的长度; 2.审查人员偏离(RD):新评论者对同一业务的其他评论的评估的绝对评级偏差; 3.最大内容相似度(MCS):新评论者的评论与同一业务的其他评论之间的最大内容相似度(使用余弦相似度)。
表1(a,b)第2行示出了通过组合二进制特征和上述三个行为特征的实验结果。与仅使用二元文法相比,行为特征使酒店领域的准确性提高了5%左右(餐厅领域的2.7%)。精度有所提高,但平均只有近60%。这表明传统特征对于行为信息匮乏情况不够有效。此外,行为特征导致F1-score下降约4.6%,酒店和餐厅领域的召回率减少约19%。显然,与仅使用二元文法比较,行为特征存在更多的垃圾评论识别错误。它进一步表明,传统的行为特征歧视被匮乏的行为信息削弱。
进一步,我们使用大量行为信息进行的三个行为特征实验。当新评论者在几周后继续发布更多评论时,他们的行为信息就会变得更多。然后与冷启动时期匮乏的行为信息相比,评论系统可以获得足够的数据来提取行为特征。因此,与表1(a)第2行的结果相比,信息丰富的行为特征在酒店领域的准确性(6.4%)显著提高(表1(a)第3行)。但在餐厅领域只有0.6%。根据数据集的统计,我们发现新评论者在酒店领域第一次发布后平均发布了约54.4条评论,但平均而言,餐厅领域的新评论者平均只有10条评论。在酒店领域添加的行为信息比餐厅领域更丰富。这表明:
传统的行为特征只能在行为信息丰富的情况下发挥作用;获取越多的行为信息,传统行为特征越有效。
图2 模型图
4 模型
在冷启动任务中检测垃圾评论的难度在于新评论者的可用行为信息非常少。新评论者刚刚发布了一个评论,我们必须立即过滤,然而并没有任何历史评论提供给我们。正如我们所说,评论者的文本信息和行为信息是相互关联的。因此,为了增加新评论者的行为信息,我们尝试从现有评论中找到与新评论者类似的文本信息。然后我们将与发现的文本信息相关的行为信息作为新评论者最可能的行为信息。为此,我们提出了一种神经网络模型,将文本和行为信息共同编码到成冷启动的垃圾评论检测的输入词向量(如图2所示)。当新的评论者发表评论时,神经网络可以用类似的文本信息和词向量中编码的相关行为信息来表示评论。最后,将新评论的特征表示输入分类器,以确定它是否是垃圾评论。
4.1 行为信息编码
图1是从Yelp网站简化的局部评论图。如图所示,评论图包含现有评论者的全局行为信息(足迹)。由于垃圾评论发送者和真实评论者的动机是完全不同的,所以他们行为信息的分布是不同的(Mukherjeeet al., 2013a)。有些企业(甚至是高信誉的)支付给佣金进行虚假评论,以促进他们的产品/服务和/或诋毁他们的竞争对手(Liu, 2015)。因此,垃圾评论发送者的行为足迹是由企业的需求决定的。但真正的评论者只会对他们实际遇到的产品或服务发表评论。他们的行为足迹受到自身特点的影响。前人从这些行为信息中提取评论者的行为特征。但是,新评论在冷启动任务中是不切实é™...
-
?
关于“文字垃圾”
初柳
展开
近些日子,手放在键盘上时,总是心怀敬畏。脑中总有一个声音告诉我,我写下的这个字会被人看到,写下的这句话会被人看到;观者可能是一个经历过沧桑的成人,也可能只是一个一无所知的孩童。而不论是成人还是孩童,哪怕向我的产物献出一个眼神,这些东西就拥有一个眼神长短的魔力,在这段时间内埋下种子,等待合适的水和阳光,终有开出话来。怎能不心怀敬畏?
但是几年前,我是从没想过这些的。我敏感易碎,自诩为玻璃心,时常因书中的或电脑上的某些文字伤心或愤怒,然后以笔为刃,反击或者守护,但求一时舒畅。满网络都是污言秽语,我多加一些又如何?我这样说,无数个我一样的人这样说。我永远不会设想,看到我的文字的人可能和我一样敏感易碎,心是脆弱的玻璃制成的。别人就是陌生人,而陌生人与己无关。我所讲的“文字垃圾”便是如此了,但又不止于如此。
“文字垃圾”有两种,一种“有毒”,一种“无用”。有毒的“文字垃圾”直接明显,存在最广泛,如上文所述,遍布网络,随便一则新闻下就遍布许多。它们一眼就可辨别,然后激怒某个人以类似的“文化垃圾”回应。一种直观的“文字垃圾”繁殖方式。“无用”的文化垃圾多来自于写作者,题材多涉及情感领域这样的软性环节,男女情爱或职场人际关系。它们很多以一些正确而无用的废话为核心,再灌进浅白的感情,然后加进水和酵母,让它酝酿,呈现烈酒易醉的假象。既然都是酒,那就不要分好酒和坏酒了,他们说。
“文字垃圾”就是微型的“文化垃圾”。然而互联网世界鼓励“文字垃圾”,它们是并存的孪生兄弟。有人说移动互联时代是个信息爆炸或知识爆炸的时代,真的是信息“爆炸”了么?爆炸的是“垃圾”,不是“信息”和“知识”。
但是我现在正在散步的又何尝不是“文字垃圾”。