-
?
文字:就像是手机的垃圾一直都会出现,人的烦恼和问题也总会不断地产生。
灵珊
展开
中午和同事在微信上商量事,说到关键地方时,来了通电话。
正准备接听,手机突然卡住了。
把屏幕的各处点击了个遍,毫无反应。
于是,只好眼睁睁看着手机不断震动,在一边干着急。
电话响了一会后被挂断,屏幕恢复了反应,所有程序都随之崩溃。
“卡住了?赶紧清一下手机吧。”
路过的同事说。
打开清理软件,经过漫长的等待。。
居然有这么多?
仔细看了下明细列表,里面是各种没任何实际用处的应用缓存、垃圾文件、卸载残留。
犹豫了几秒,点下了“确认清理”。
画面里,垃圾数量飞速减少,清理进度条慢慢从1%爬到了100%。
爽!
清理完成,内存终于被释放了出来,告别了令人抓狂的卡顿,仿佛瞬间得到了一个全新的手机。
把这些全都清理了一遍后,如释重负,还带着些意犹未尽。
刚刚的气恼一扫而空,整个人好像都因此而变得神清气爽、焕然一新。
然后,不由得冒出了一个念头:
要是生活里的糟心事,也能被清理一下就好了。
好像每过一段时间,生活就会慢慢变得卡顿,人也会随之陷入一种莫名的丧和消沉之中。
大体上表现为:
对身边事物的感觉越来越迟钝,好像没什么难过,却也高兴不起来。
但其实仔细想想,很多时候我们不开心,并非是遇到了什么天大的难题,而是被很多微小的烦恼所困扰——
因为想拓宽人脉,添加了很多微信,却只是朋友圈里多了一堆陌生人;
因为害怕麻烦,选择了轻松简单的任务,结果完成后才发现毫无自我提升;
因为无法面对结果而选择逃避感情,内心惋惜,却硬是装作满不在乎。
我们没及时去处理的这些琐碎而细小的问题,全都变成了“后台程序”。
看上去,也对生活产生不了什么巨大的影响,实际上却持续堆砌,一步步地侵蚀了情绪。
每当空闲下来,它们就立刻窜出来,把欢乐的火苗浇熄。
最后,郁结成了堵在胸口咽不下去的那口气。
我们往往会试图通过清理手机、换新衣服或剪个发型,来刷新生活。
可让人有些崩溃的是——
即使不断地努力去清理和更新,还是会不断地有新的乱麻出现。
之前看一个家装改造节目,觉得很有意思。
每个参加改造的家庭,在设计师的精心设计下,都仿若重获新生,借助丢弃和重新设计,发现并改变了生活里的各类隐藏问题。
可惜的是,这种“重生”的美丽只是一时的。
几个月后,节目组做了次回访,发现部分家庭在新居生活了一段时间后,又再次恢复了原来的样子——
有时候,生活的无力,可能就像是《了不起的盖茨比》里,结尾写的那样:
“于是我们奋力前行,却如同逆水行舟,注定要不停地退回过去。”
手机又变得越来越卡了。
因为担心内存不够,一直不敢下载新的软件。
可后来,实在忍不住,还是删除了些不常用软件,安装了期待很久的游戏。
游戏确实很有意思也很耐玩。
只不过,每次游戏结束后,需要立刻去清理一下手机。
即便如此,我也乐此不疲。
就像是李宫俊所说的:
“人只需烦恼如何让自己快乐起来,而不是烦恼如何让烦恼快乐起来。”
就像是手机的垃圾一直都会出现,烦恼和问题也总会不断地产生。
根本没有必要担心和恐慌问题的降临。
寻找快乐,才是一件更重要的事情。
-
?
小叮当深度学习:自然语言处理(二)文本处理流程
Ianthe
展开
在”小叮当深度学习:自然语言处理(一)“中,想必大家已经基本了解了什么是自然语言处理,今天,小叮当接着为大家分享自然语言处理中的文本处理流程。
在自然语言处理过程中,计算机是不认识我们的文本信息的,它所认识的只有0和1。
于是,我们便可知道,想要使用计算机进行文本处理,首先我们得让计算机认识我们的文本信息。
那么,如何让计算机认识我们的文本信息呢?通常我们会对文本信息进行预处理,分词,特征化,将文本信息转化为计算机能够识别的0和1之后,再进行机器学习、深度学习等对计算机识别出的文本进行处理。
(1)预处理(Preprocess)
我们通常使用的文本信息中,包含了标点,特殊字符等,在大部分的文本处理任务中,我们认为文本中,携带的这些信息是无效的。预处理的目的就是去除这些无效的噪声。(有的地方也把预处理这步称之为”数据清洗“。)
(2) 分词(Tokenize)
分词是指,将我们预处理后的文本信息,以词为单位进行划分。这样,计算机便可以按词来分配存储单元。计算机凭借不同的存储位置,便可以识别出不同的词。
(3) 特征化(Make Features )
特征化,简单来说就是向量化。在这步,计算机会根据已知的一些算法将不同的词转化为对应的数字信息,从而使计算机能够识别。
(4)机器学习(Machine learning)
在文本处理过程中,机器学习,通常根据标签,对文本进行分类处理。例如对电商评论的情感分析,分析这句话是积极的还是消极的。对邮件的识别,判断文本邮件是否是垃圾邮件等。简单来理解就是,我们已知特征化后的x1,x2,以及对应的标签y1,y2;现在给我们一个x3,我们通过机器学习就可以预测出y3的值。
经过上面的介绍,想必大家已经基本了解文本处理的流程。那么,文本处理中,上面各步究竟是怎么实现的呢?贪多嚼不烂,小叮当下次再为大家继续分享~
-
?
干货 | 深度学习在文本分类中的应用
高垣
展开
作者:llhthinker
个人博客:http://cnblogs/llhthinker/
1 文本分类任务介绍
文本分类是自然语言处理的一个基本任务,试图推断出给定的文本(句子、文档等)的标签或标签集合。
文本分类的应用非常广泛。如:
垃圾邮件分类:二分类问题,判断邮件是否为垃圾邮件情感分析
二分类问题,判断文本情感是积极(positive)还是消极(negative)多分类问题,判断文本情感属于{非常消极,消极,中立,积极,非常积极}中的哪一类
新闻主题分类:判断新闻属于哪个类别,如财经、体育、娱乐等自动问答系统中的问句分类社区问答系统中的问题分类:多标签分类,如知乎看山杯更多应用:
让AI当法官: 基于案件事实描述文本的罚金等级分类(多分类)和法条分类(多标签分类)。判断新闻是否为机器人所写: 二分类......
不同类型的文本分类往往有不同的评价指标,具体如下:
二分类:accuracy,precision,recall,f1-score,...多分类: Micro-Averaged-F1, Macro-Averaged-F1, ...多标签分类:Jaccard相似系数, ...
2 传统机器学习方法
传统的机器学习方法主要利用自然语言处理中的n-gram概念对文本进行特征提取,并且使用TFIDF对n-gram特征权重进行调整,然后将提取到的文本特征输入到Logistics回归、SVM等分类器中进行训练。但是,上述的特征提取方法存在数据稀疏和维度爆炸等问题,这对分类器来说是灾难性的,并且使得训练的模型泛化能力有限。因此,往往需要采取一些策略进行降维:
人工降维:停用词过滤,低频n-gram过滤等自动降维:LDA等
值得指出的是,将深度学习中的word2vec,doc2vec作为文本特征与上文提取的特征进行融合,常常可以提高模型精度。
3 CNN用于文本分类
论文Convolutional Neural Networks for Sentence Classification提出了使用CNN进行句子分类的方法。
3.1 CNN模型推导
一个句子是由多个词拼接而成的,如果一个句子有n个词,且第i个词表示为xi,词xi通过embedding后表示为k维的向量,即xi∈k,则一个句子x1:n为nk的矩阵,可以形式化如下:
3.2 优化CNN模型
随机初始化 (CNN-rand)预训练词向量进行初始化,在训练过程中固定 (CNN-static)预训练词向量进行初始化,在训练过程中进行微调 (CNN-non-static)多通道(CNN-multichannel):将固定的预训练词向量和微调的词向量分别当作一个通道(channel),卷积操作同时在这两个通道上进行,可以类比于图像RGB三通道。
上图为模型架构示例,在示例中,句长n=9,词向量维度k=6,filter有两种窗口大小(或者说kernel size),每种有2个,因此filter总个数m=4,其中:
一种的窗口大小h=2(红色框),卷积后的向量维度为nh+1=8另一种窗口大小h=3(黄色框),卷积后的向量维度为nh+1=7Dropout: 对全连接层的输入z向量进行dropout
y=W(zr)+b其中r∈m为masking向量(每个维度值非0即1,可以通过伯努利分布随机生成),和向量z进行元素与元素对应相乘,让r向量值为0的位置对应的z向量中的元素值失效(梯度无法更新)。L2-norms: 对L2正则化项增加限制:当正则项‖W‖2>s时, 令‖W‖2=s,其中s为超参数。
3.3 一些结论
Multichannel vs. Single Channel Models: 虽然作者一开始认为多通道可以预防过拟合,从而应该表现更高,尤其是在小规模数据集上。但事实是,单通道在一些语料上比多通道更好;Static vs. Non-static Representations: 在大部分的语料上,CNN-non-static都优于CNN-static,一个解释:预训练词向量可能认为‘good’和‘bad’类似(可能它们有许多类似的上下文),但是对于情感分析任务,good和bad应该要有明显的区分,如果使用CNN-static就无法做调整了;Dropout可以提高2%–4%性能(performance);对于不在预训练的word2vec中的词,使用均匀分布U[a,a]随机初始化,并且调整a使得随机初始化的词向量和预训练的词向量保持相近的方差,可以有微弱提升;可以尝试其他的词向量预训练语料,如Wikipedia[Collobert et al. (2011)]Adadelta(Zeiler, 2012)和Adagrad(Duchi et al., 2011)可以得到相近的结果,但是所需epoch更少。
3.4 进一步思考CNN
3.4.1 为什么CNN能够用于文本分类(NLP)?
为什么CNN能够用于文本分类(NLP)?
RNN可以提取全局特征RCNN(下文说明): RNN和CNN的结合filter相当于N-gram ?filter只提取局部特征?全局特征怎么办?可以融合吗?
3.4.2 超参数怎么调?
论文A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification提供了一些策略。
用什么样的词向量
使用预训练词向量比随机初始化的效果要好采取微调策略(non-static)的效果比固定词向量(static)的效果要好无法确定用哪种预训练词向量(Google word2vec / GloVe representations)更好,不同的任务结果不同,应该对于你当前的任务进行实验;
filter窗口大小、数量
在实践中,100到600是一个比较合理的搜索空间。每次使用一种类型的filter进行实验,表明filter的窗口大小设置在1到10之间是一个比较合理的选择。首先在一种类型的filter大小上执行搜索,以找到当前数据集的“最佳”大小,然后探索这个最佳大小附近的多种filter大小的组合。每种窗口类型的filter对应的“最好”的filter个数(feature map数量)取决于具体数据集;但是,可以看出,当feature map数量超过600时,performance提高有限,甚至会损害performance,这可能是过多的feature map数量导致过拟合了;
激活函数 (tanh, relu, ...)
Sigmoid, Cube, and tanh cube相较于Relu和Tanh的激活函数,表现很糟糕;tanh比sigmoid好,这可能是由于tanh具有zero centering property(过原点);与Sigmoid相比,ReLU具有非饱和形式(a non-saturating form)的优点,并能够加速SGD的收敛。对于某些数据集,线性变换(Iden,即不使用非线性激活函数)足够捕获词嵌入与输出标签之间的相关性。(但是如果有多个隐藏层,相较于非线性激活函数,Iden就不太适合了,因为完全用线性激活函数,即使有多个隐藏层,组合后整个模型还是线性的,表达能力可能不足,无法捕获足够信息);因此,建议首先考虑ReLU和tanh,也可以尝试Iden
池化策略:最大池化就是最好的吗
对于句子分类任务,1-max pooling往往比其他池化策略要好;这可能是因为上下文的具体位置对于预测Label可能并不是很重要,而句子某个具体的n-gram(1-max pooling后filter提取出来的的特征)可能更可以刻画整个句子的某些含义,对于预测label更有意义;(但是在其他任务如释义识别,k-max pooling可能更好。)
正则化
0.1到0.5之间的非零dropout rates能够提高一些performance(尽管提升幅度很小),具体的最佳设置取决于具体数据集;对l2 norm加上一个约束往往不会提高performance(除了Opi数据集);当feature map的数量大于100时,可能导致过拟合,影响performance,而dropout将减轻这种影响;在卷积层上进行dropout帮助很小,而且较大的dropout rate对performance有坏的影响。
3.5 字符级别的CNN用于文本分类
论文Character-level convolutional networks for text classification将文本看成字符级别的序列,使用字符级别(Character-level)的CNN进行文本分类。
3.5.1 字符级CNN的模型设计
首先需要对字符进行数字化(quantization)。具体如下:
定义字母表(Alphabet):大小为m (对于英文m=70,如下图,之后会考虑将大小写字母都包含在内作为对比)
字符数字化(编码): "one-hot"编码序列(文本)长度:l0 (定值)然后论文设计了两种类型的卷积网络:Large和Small(作为对照实验)它们都有9层,其中6层为卷积层(convolutional layer);3层为全连接层(fully-connected layer):Dropout的概率都为0.5使用高斯分布(Gaussian distribution)对权重进行初始化:最后一层卷积层单个filter输出特征长度(the output frame length)为 l6=(l096)/27,推第一层全连接层的输入维度(其中1024和256为filter个数或者说frame/feature size):
Large: l61024Small: l6256
下图为模型的一个图解示例。其中文本长度为10,第一层卷积的kernel size为3(半透明黄色正方形),卷积个数为9(Feature=9),步长为1,因此Length=10-3+1=8,然后进行非重叠的max-pooling(即pooling的stride=size),pooling size为2,因此池化后的Length = 8 / 2 = 4。
3.5.2 字符级CNN的相关总结与思考
字符级CNN是一个有效的方法数据集的大小可以为选择传统方法还是卷积网络模型提供指导:对于几百上千等小规模数据集,可以优先考虑传统方法,对于百万规模的数据集,字符级CNN开始表现不错。字符级卷积网络很适用于用户生成数据(user-generated data)(如拼写错误,表情符号等),没有免费的午餐(There is no free lunch)中文怎么办
中文中的同音词非常多,如何克服?如果把中文中的每个字作为一个字符,那么字母表将非常大是否可以把中文先转为拼音(pinyin)?论文Character-level Convolutional Network for Text Classification Applied to Chinese Corpus进行了相关实验。
将字符级和词级进行结合是否结果更好
英文如何结合中文如何结合
3.5.3 使用同义词表进行数据增强
对于深度学习模型,采用适当的数据增强(Data Augmentation)技术可以提高模型的泛化能力。数据增强在计算机视觉领域比较常见,例如对图像进行旋转,适当扭曲,随机增加噪声等操作。对于NLP,最理想的数据增强方法是使用人类复述句子(human rephrases of sentences),但是这比较不现实并且对于大规模语料来说代价昂贵。
一个更自然的选择是使用词语或短语的同义词或同义短语进行替换,从而达到数据增强的目的。具体做法如下:
英文同义词典: from the mytheas component used in LibreOffice1 project. http://libreoffice.org/从给定的文本中抽取出所有可以替换的词,然后随机选择r个进行替换,其中r由一个参数为pp的几何分布(geometric distribution)确定,即P[r]pr给定一个待替换的词,其同义词可能有多个(一个列表),选择第s个的概率也通过另一个几何分布确定,即P[s]qs。这样是为了当前词的同义词列表中的距离较远(s较大)的同义词被选的概率更小。论文实验设置:p=0.5,q=0.5。
4 RNN用于文本分类
策略1:直接使用RNN的最后一个单元输出向量作为文本特征策略2:使用双向RNN的两个方向的输出向量的连接(concatenate)或均值作为文本特征策略3:将所有RNN单元的输出向量的均值pooling或者max-pooling作为文本特征策略4:层次RNN+Attention, Hierarchical Attention Networks
5 RCNN(RNN+CNN)用于文本分类
论文Recurrent Convolutional Neural Networks for Text Classification设计了一种RNN和CNN结合的模型用于文本分类。
5.1 RCNN模型推导
5.1.1 词表示学习
使用双向RNN分别学习当前词wi的左上下文表示cl(wi)和右上下文表示cr(wi),再与当前词自身的表示e(wi)连接,构成卷积层的输入xi。具体如下:
然后将xi作为wi的表示,输入到激活函数为tanh,kernel size为1的卷积层,得到wi的潜在语义向量(latent semantic vector)
将kernel size设置为1是因为xi中已经包含wi左右上下文的信息,无需再使用窗口大于1的filter进行特征提取。但是需要说明的是,在实践中仍然可以同时使用多种kernel size的filter,如[1, 2, 3],可能取得更好的效果,一种可能的解释是窗口大于1的filter强化了wi的左右最近的上下文信息。此外,实践中可以使用更复杂的RNN来捕获wi的上下文信息如LSTM和GRU等。
5.1 2 文本表示学习
经过卷积层后,获得了所有词的表示,然后在经过最大池化层和全连接层得到文本的表示,最后通过softmax层进行分类。具体如下:
下图为上述过程的一个图解:
5.2 RCNN相关总结
NN vs. traditional methods: 在该论文的所有实验数据集上,神经网络比传统方法的效果都要好Convolution-based vs. RecursiveNN: 基于卷积的方法比基于递归神经网络的方法要好RCNN vs. CFG and C&J: The RCNN可以捕获更长的模式(patterns)RCNN vs. CNN: 在该论文的所有实验数据集上,RCNN比CNN更好CNNs使用固定的词窗口(window of words), 实验结果受窗口大小影响RCNNs使用循环结构捕获广泛的上下文信息
6 一定要CNN/RNN吗
上述的深度学习方法通过引入CNN或RNN进行特征提取,可以达到比较好的效果,但是也存在一些问题,如参数较多导致训练时间过长,超参数较多模型调整麻烦等。下面两篇论文提出了一些简单的模型用于文本分类,并且在简单的模型上采用了一些优化策略。
6.1 深层无序组合方法
论文Deep Unordered Composition Rivals Syntactic Methods for Text Classification提出了NBOW(Neural Bag-of-Words)模型和DAN(Deep Averaging Networks)模型。对比了深层无序组合方法(Deep Unordered Composition)和句法方法(Syntactic Methods)应用在文本分类任务中的优缺点,强调深层无序组合方法的有效性、效率以及灵活性。
6.1.1 Neural Bag-of-Words Models
论文首先提出了一个最简单的无序模型Neural Bag-of-Words Models (NBOW model)。该模型直接将文本中所有词向量的平均值作为文本的表示,然后输入到softmax 层,形式化表示如下:
6.1.2 Considering Syntax for Composition
一些考虑语法的方法:
Recursive neural networks (RecNNs)可以考虑一些复杂的语言学现象,如否定、转折等 (优点)实现效果依赖输入序列(文本)的句法树(可能不适合长文本和不太规范的文本)需要更多的训练时间Using a convolutional network instead of a R...
-
?
研究:在垃圾食物标示警告文字不健康的饮食可能缩短你的寿命
Miriam
展开
澳洲广播公司(ABC)报导,澳洲墨尔本大学一项研究显示,在洋芋片、巧克力棒等垃圾食物外包装标示和香烟包装类似的警示文字或图片,可能有助于民众改善饮食习惯。
墨尔本大学研究共同作者伯德(Stefan Bode)表示:「我们目前还不知道那些讯息效果对民众会比其他更好。但理论上,我们很高兴这是可行的,因为这是一个容易施行的方法。」
该份研究同时发表在科学期刊《临床神经影像》(NeuroImage: Clinical)和《食欲》(Appetite)上。
为了评估食物警示图片、警告文字对消费者的影响,伯德及其他研究人员让96名饥饿的受试者看洋芋片、巧克力棒、坚果、水果、蔬菜等点心零食的照片,要受试者评分他们想吃这些食物的程度。
接着,研究人员让受试者看文字或图片,包括警语「食用含糖食物会提高你的蛀牙风险」,但也有正面讯息,例如「保持健康体重可降低心脏疾病风险」等。然后要受试者再度为相同食物评分。
研究人员发现,在垃圾食物上同时标示负面文字、图片的讯息最有效,能说服民众避开垃圾食物,改选更健康的食物;另外,同时标示文字、图片讯息的健康食物,也比只标示文字的健康食物更有效。
研究人员利用电极监看大脑活动。伯德表示,警示图片能启动大脑自制能力,降低消费者冲动消费的机会,「我们看到大脑明显发布自制信号,抗拒选择垃圾食物。」
然而,研究香烟警示标语效用的国立澳洲大学教授西蒙娜.丹尼斯(Simone Dennis)表示,很难在现实生活中预测,民众是否会如研究结果行动。因为如同消费者会把香烟藏进手提袋,民众也可能把垃圾食物换装容器,以求眼不见为净,或是干脆忽略警语。
丹尼斯表示,警示图文在实际生活中的效用可能不如研究结果,因为该研究假定,民众每次看到食物都会面对警示。
丹尼斯另外表示,包装警示的震撼效应可能有期限,「这种(警语)能够真正吓唬人的时间周期非常有限」。
伯德表示:「我们现在还没办法讲,现实生活中消费者在超市看到一堆讯息轰炸时,警语还会行得通。」他提到,研究团队想进一步知道食物警示文字、图片效力可以持续多久。
研究人员发现,在垃圾食物上同时标示警告文字、图片讯息最有效。图片标语为「不健康的饮食可能缩短你的寿命」。墨尔本大学提供
-
?
电脑垃圾不要文件无论如何都删除不掉,轻松解决
安467
展开
电脑有一些不需要的垃圾文件,无论如何要删除就是删除不了,那么当你遇到桌面上的文件删不掉怎么办?不知道的朋友赶紧看看可可整理的桌面上的文件删不掉的解决方法吧!
遇到问题:
1、就是下面这种奇怪的后缀名不对的文档。点击删除,显示找不到这个项目,无法删除。
解决方法:
1、对于大家遇到的这类问题,首先我们的处理方式还是点击刷新桌面。刷新桌面还没有消除的话,通常重启系统就好了。
2、但是对于步骤一没有效果的问题,要用下面的方法。首先,为了确保方法的成功,首先要点击进入我的电脑,再点击文件夹选项。
3、切换到查看标签,不隐藏文件扩展名。
4、好,现在在桌面新建一个文本文件,并输入如下内容。
5、保存文件,把文件的后缀改成.bat,文件名随意。点击确定。
6、把需要删除的文件拖动到这个.bat文件上(会显示用它打开),然后我们发现,就这样删除了,成功!
以上就是桌面上文件删不掉的解决方法了,方法很简单,我们只需要创建一个.bat批处理文件,之后把删不掉的文件拖到.bat批处理文件图标上就能删除了。
-
?
如何用自然语言处理来预测垃圾邮件?
南安普顿
展开
自然语言处理可以帮助计算机进行文本分析,比如说检测垃圾邮件、自动纠错等。那么,自然语言处理技术是如何用于理解人类语言的?
本文详细讲述了如何执行基本自然语言处理任务并使用机器学习分类器来预测SMS是垃圾邮件还是非垃圾邮件。通过理论和代码的配合,用最生动的实例让你轻松掌握这一主题。
自然语言处理
在机器学习领域中,自然语言处理指的是教会计算机理解、分析、处理并能潜在地生成人类语言。
在现实生活中,自然语言处理主要表现在:
信息检索(谷歌发现相关或者相似的结果)知识提取(谷歌邮箱从无数邮件中构建事件信息)机器翻译(谷歌翻译将一种语言翻译成另一种语言)文本简化(Rewordify能够简化句子含义)情感分析(Hater News能够展现用户的情感 )文本总结(Smmry或者Reddit的 autotldr机器人能够总结句子 )垃圾邮件过滤(谷歌邮箱能够过滤垃圾邮件)自动预测(谷歌搜索能够预测用户的搜索结果)自动纠错(谷歌键盘和 Grammarly能够纠正拼写错误)语音识别(谷歌 WebSpeech或者Vocalware)问答(IBM的沃森机器人能够对问题进行回答)自然语言生成(从图像或者视频数据中生成文本)
-
?
专栏|自然语言处理第一番之文本分类器
沛春
展开
机器之心专栏
作者:想飞的石头
文本分类应该是自然语言处理中最普遍的一种应用,例如文章自动分类、邮件自动分类、垃圾邮件识别、用户情感分类等等,在生活中有很多例子,本文主要从传统和深度学习两块来向大家介绍如何构建一个文本分类器。
文本分类方法
传统的文本方法的主要流程是人工设计一些特征,从原始文档中提取特征,然后指定分类器如 LR、SVM,训练模型对文章进行分类,比较经典的特征提取方法如频次法、tf-idf、互信息方法、N-Gram。
深度学习兴起之后,也有很多人开始使用一些经典的模型如 CNN、LSTM 这类方法来做特征的提取,在本文中,作者会简要描述一下各种方法,及其在文本分类任务中的一些实验。
传统文本分类方法
这里主要描述两种特征提取方法:频次法、tf-idf、互信息、N-Gram。
频次法
频次法,顾名思义,十分简单。它记录每篇文章的次数分布,然后将分布输入机器学习模型,训练一个合适的分类模型。对这类数据进行分类,需要指出的是:在统计次数分布时,可合理提出假设,频次比较小的词对文章分类的影响比较小。因此,我们可合理地假设阈值,滤除频次小于阈值的词,减少特征空间维度。
TF-IDF
TF-IDF 相对于频次法,有更进一步的考量。词出现的次数能从一定程度反应文章的特点,即 TF,而 TF-IDF,增加了所谓的反文档频率,如果一个词在某个类别上出现的次数多,而在全部文本上出现的次数相对比较少,我们就认为这个词有更强大的文档区分能力。TF-IDF 是综合考虑了频次和反文档频率两个因素的方法。
互信息方法
互信息方法也是一种基于统计的方法,计算文档中出现词和文档类别的相关程度,即互信息。
N-Gram
基于 N-Gram 的方法是把文章序列,通过大小为 N 的窗口,形成一个个 Group。然后对这些 Group 做统计,滤除出现频次较低的 Group,再把这些 Group 组成特征空间,传入分类器,进行分类。
深度学习方法
基于 CNN 的文本分类方法
最普通的基于 CNN 的方法就是 Keras 上的 example 做情感分析,接 Conv1D,指定大小的 window size 来遍历文章,加上一个 maxpool。如此多接入几个,得到特征表示,然后加上 FC,进行最终的分类输出。
基于 CNN 的文本分类方法,最出名的应该是 2014 Emnlp 的 Convolutional Neural Networks for Sentence Classication,使用不同 filter 的 cnn 网络,然后加入 maxpool,然后 concat 到一起。
论文链接:http://aclweb.org/anthology/D14-1181
这类 CNN 的方法,通过设计不同的 window size 来建模不同尺度的关系,但是很明显,丢失了大部分的上下文关系,论文《Recurrent Convolutional Neural Networks for Text Classification》对此进行了研究。将每一个词形成向量化表示时,加上上文和下文的信息,每一个词的表示如下:
整个结构框架如下:
如针对这句话「A sunset stroll along the South Bank affords an array of stunning vantage points」,stroll 的表示包括 c_l(stroll),pre_word2vec(stroll),c_r(stroll), c_l(stroll) 编码 A sunset 的语义,而 c_r(stroll) 编码 along the South Bank affords an array of stunning vantage points 的信息,每一个词都如此处理,因此会避免普通 cnn 方法的上下文缺失的信息。
基于 LSTM 的方法
和基于 CNN 的方法中第一种类似,直接暴力地在 embedding 之后加入 LSTM,然后输出到一个 FC 进行分类,基于 LSTM 的方法,我觉得这也是一种特征提取方式,可能比较偏向建模时序的特征;
在暴力的方法之上,如论文《A C-LSTM Neural Network for Text Classification》的研究,将 embedding 输出不直接接入 LSTM,而是接入到 CNN,通过 CNN 得到一些序列,然后吧这些序列再接入到 LSTM,文章说这么做会提高最后分类的准去率。
代码实践
语料及任务介绍
训练的语料来自于大概 31 个新闻类别的新闻语料,但是其中有一些新闻数目比较少,所以取了数量比较多的前 20 个新闻类比的新闻语料,每篇新闻稿字数从几百到几千不等,任务就是训练合适的分类器然后将新闻分为不同类别:
Bow
Bow 对语料处理,得到 tokens set:
def __get_all_tokens(self)\n """ get all tokens of the corpus ""\ fwrite = open(self.data_path.replace("all.csv","all_token.csv"), 'w') with open(self.data_path, "r") as fread\n i = \n # while True\n for line in fread.readlines(): try\n line_list = line.strip().split("\t"\n label = line_list[0\n self.labels.append(label\n text = line_list[1\n text_tokens = self.cut_doc_obj.run(text\n self.corpus.append(' '.join(text_tokens)\n self.dictionary.add_documents([text_tokens]\n fwrite.write(label+"\t"+"\\".join(text_tokens)+"\n"\n i+=\n except BaseException as e\n msg = traceback.format_exc() print msg print "=====>Read Done<======\ brea\n self.token_len = self.dictionary.__len__()
print "all token len "+ str(self.token_len\n self.num_data = \n fwrite.close()
然后,tokens set 以频率阈值进行滤除,然后对每篇文章做处理来进行向量化:
def __filter_tokens(self, threshold_num=10)\n small_freq_ids = [tokenid for tokenid, docfreq in self.dictionary.dfs.items() if docfreq < threshold_num \n self.dictionary.filter_tokens(small_freq_ids\n self.dictionarypactify()def vec(self)\n """ vec: get a vec representation of bow ""\ self.__get_all_tokens()
print "before filter, the tokens len: {0}".format(self.dictionary.__len__()\n self.__filter_tokens()
print "After filter, the tokens len: {0}".format(self.dictionary.__len__()\n self.bow = []
for file_token in self.corpus\n file_bow = self.dictionary.doc2bow(file_token\n self.bow.append(file_bow) # write the bow vec into a fil\n bow_vec_file = open(self.data_path.replace("all.csv","bow_vec.pl"), 'wb'\n pickle.dump(self.bow,bow_vec_file\n bow_vec_file.close(\n bow_label_file = open(self.data_path.replace("all.csv","bow_label.pl"), 'wb'\n pickle.dump(self.labels,bow_label_file\n bow_label_file.close()
最终得到了每篇文章的 bow 的向量,由于这块的代码是在我的笔记本电脑上运行的,直接跑占用内存太大,因为每一篇文章在 token set 中的表示是极其稀疏的,因此我们可以选择将其转为 csr 表示,然后进行模型训练,转为 csr 并保存中间结果代码如下:
def to_csr(self)\n self.bow = pickle.load(open(self.data_path.replace("all.csv","bow_vec.pl"), 'rb')\n self.labels = pickle.load(open(self.data_path.replace("all.csv","bow_label.pl"), 'rb')\n data = [\n rows = [\n cols = [\n line_count = \n for line in self.bow:
for elem in line\n rows.append(line_count\n cols.append(elem[0]\n data.append(elem[1]\n line_count += \n print "dictionary shape ({0},{1})".format(line_count, self.dictionary.__len__()\n bow_sparse_matrix = csr_matrix((data,(rows,cols)), shape=[line_count, self.dictionary.__len__()])
print "bow_sparse matrix shape: \ print bow_sparse_matrix.shape # rarray=np.random.random(size=line_count\n self.train_set, self.test_set, self.train_tag, self.test_tag = train_test_split(bow_sparse_matrix, self.labels, test_size=0.2)
print "train set shape: \ print self.train_set.shap\n train_set_file = open(self.data_path.replace("all.csv","bow_train_set.pl"), 'wb'\n pickle.dump(self.train_set,train_set_file\n train_tag_file = open(self.data_path.replace("all.csv","bow_train_tag.pl"), 'wb'\n pickle.dump(self.train_tag,train_tag_file\n test_set_file = open(self.data_path.replace("all.csv","bow_test_set.pl"), 'wb'\n pickle.dump(self.test_set,test_set_file\n test_tag_file = open(self.data_path.replace("all.csv","bow_test_tag.pl"), 'wb'\n pickle.dump(self.test_tag,test_tag_file)
最后训练模型代码如下:
def train(self)\n print "Beigin to Train the model\ lr_model = LogisticRegression(\n lr_model.fit(self.train_set, self.train_tag)
print "End Now, and evalution the model with test dataset\ # print "mean accuracy: {0}".format(lr_model.score(self.test_set, self.test_tag)\n y_pred = lr_model.predict(self.test_set)
print classification_report(self.test_tag, y_pred)
print confusion_matrix(self.test_tag, y_pred)
print "save the trained model to lr_model.pl\ joblib.dump(lr_model, self.data_path.replace("all.csv","bow_lr_model.pl"))
TF-IDF 和 Bow 的操作十分类似,只是在向量化使使用 tf-idf 的方法:
def vec(self)\n """ vec: get a vec representation of bo\n ""\ self.__get_all_tokens()
print "before filter, the tokens len: {0}".format(self.dictionary.__len__()\n vectorizer = CountVectorizer(min_df=1e-5\n transformer = TfidfTransformer() # sparse matri\n self.tfidf = transformer.fit_transform(vectorizer.fit_transform(self.corpus)\n words = vectorizer.get_feature_names()
print "word len: {0}".format(len(words)) # print self.tfidf[0\n print "tfidf shape ({0},{1})".format(self.tfidf.shape[0], self.tfidf.shape[1])
# write the tfidf vec into a fil\n tfidf_vec_file = open(self.data_path.replace("all.csv","tfidf_vec.pl"), 'wb'\n pickle.dump(self.tfidf,tfidf_vec_file\n tfidf_vec_file.close(\n tfidf_label_file = open(self.data_path.replace("all.csv","tfidf_label.pl"), 'wb'\n pickle.dump(self.labels,tfidf_label_file\n tfidf_label_file.close()
这两类方法效果都不错,都能达到 98+% 的准确率。
CNN
语料处理的方法和传统的差不多,分词之后,使用 pretrain 的 word2vec。在这里我遇到一个坑,我一开始对自己的分词太自信了,最后模型一直不能收敛,后来向我们组博士请教,极有可能是由于分词的词序列中很多在 pretrained word2vec 里面是不存在的,而我这部分直接丢弃了,所有可能存在问题,分词添加了词典。然后,我对于 pre-trained word2vec 不存在的词做了一个随机初始化,然后就能收敛了,学习了!
载入 word2vec 模型和构建 CNN 网络代码如下(增加了一些 bn 和 dropout 的手段):
def gen_embedding_matrix(self, load4file=True)\n """ gen_embedding_matrix: generate the embedding matrix ""\ if load4file\n self.__get_all_tokens_v2()
else\n self.__get_all_tokens()
print "before filter, the tokens len: {0}".format\n self.dictionary.__len__()\n self.__filter_tokens()
print "after filter, the tokens len: {0}".format\n self.dictionary.__len__()\n self.sequence = []
for file_token in self.corpus\n temp_sequence = [x for x, y in self.dictionary.doc2bow(file_token)] print temp_sequenc\n self.sequence.append(temp_sequence\\n self.corpus_size = len(self.dictionary.token2id\n self.embedding_matrix = np.zeros((self.corpus_size, EMBEDDING_DIM)) print "corpus size: {0}".format(len(self.dictionary.token2id)) for key, v in self.dictionary.token2id.items()\n key_vec = self.w2vec.get(key)
if key_vec is not None\n self.embedding_matrix[v] = key_vec
else\n self.embedding_matrix[v] = np.random.rand(EMBEDDING_DIM) - 0.\n print "embedding_matrix len {0}".format(len(self.embedding_matrix))def __build_network(self)\n embedding_layer = Embedding\n self.corpus_size\n EMBEDDING_DIM\n weights=[self.embedding_matrix]\n input_length=MAX_SEQUENCE_LENGTH\n trainable=False) # train a 1D convnet with global maxpoolin\n sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH, ), dtype='int32'\n embedded_sequences = embedding_layer(sequence_input\n x = Convolution1D(128, 5)(embedded_sequences\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(5)(x\n x = Convolution1D(128, 5)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(5)(x)
print "before 256", x.get_shape(\n x = Convolution1D(128, 5)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(15)(x\n x = Flatten()(x\\n x = Dense(128)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = Dropout(0.5)(x)
print x.get_shape(\n preds = Dense(self.class_num, activation='softmax')(x)
print preds.get_shape(\n adam = Adam(lr=0.0001\n self.model = Model(sequence_input, preds\n self.modelpile\n loss='categorical_crossentropy', optimizer=adam, metrics=['acc'])
另外一种网络结构,韩国人那篇文章,网络构造如下:
def __build_network(self):
LSTM
由于我们的任务是对文章进行分类,序列太长,直接接 LSTM 后直接爆内存,所以我在文章序列直接,接了两层 Conv1D+MaxPool1D 来提取维度较低的向量表示然后接入 LSTM。网络结构代码如下:
def __build_network(self)\n embedding_layer = Embedding\n self.corpus_size\n EMBEDDING_DIM\n weights=[self.embedding_matrix]\n input_length=MAX_SEQUENCE_LENGTH\n trainable=False) # train a 1D convnet with global maxpoolin\n sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH, ), dtype='int32'\n embedded_sequences = embedding_layer(sequence_input\n x = Convolution1D\n self.num_filters, 5, activation="relu")(embedded_sequences\n x = MaxPooling1D(5)(x\n x = Convolution1D(self.num_filters, 5, activation="relu")(x\n x = MaxPooling1D(5)(x\n x = LSTM(64, dropout_W=0.2, dropout_U=0.2)(x\n preds = Dense(self.class_num, activation='softmax')(x)
print preds.get_shape(\n rmsprop = RMSprop(lr=0.01\n self.model = Model(sequence_input, preds\n self.modelpile\n loss='categorical_crossentropy'\n optimizer=rmsprop\n metrics=['acc'])
CNN结果:
C-LSTM 结果:
整个实验的结果由于深度学习这部分都是在公司资源上运行的,没有真正意义上地去做一些 trick 来调参来提高性能,这里所有的代码的网络配置包括参数都仅供参考,更深地工作需要耗费更多的时间来做参数的优化。
PS: 这里发现了一个 keras 1.2.2 的 bug,在写回调函数 TensorBoard,当 histogram_freq=1 时,显卡占用明显增多,M40 的 24g 不够用,个人感觉应该是一个 bug,但是考虑到 1.2.2 而非 2.0,可能后面 2.0 都优化了。
所有的代码都在 github 上:tensorflow-101/nlp/text_classifier/scripts
总结和展望
在本文的实验效果中,虽然基于深度学习的方法和传统方法相比没有什么优势,可能原因有几个方面:
Pretrained Word2vec Model 并没有覆盖新闻中切分出来的词,而且比例还挺高,如果能用网络新闻语料训练出一个比较精准的 Pretrained Word2vec,效果应该会有很大的提升;
可以增加模型训练收敛的 tric...
-
?
关于“文字垃圾”
迎波
展开
近些日子,手放在键盘上时,总是心怀敬畏。脑中总有一个声音告诉我,我写下的这个字会被人看到,写下的这句话会被人看到;观者可能是一个经历过沧桑的成人,也可能只是一个一无所知的孩童。而不论是成人还是孩童,哪怕向我的产物献出一个眼神,这些东西就拥有一个眼神长短的魔力,在这段时间内埋下种子,等待合适的水和阳光,终有开出话来。怎能不心怀敬畏?
但是几年前,我是从没想过这些的。我敏感易碎,自诩为玻璃心,时常因书中的或电脑上的某些文字伤心或愤怒,然后以笔为刃,反击或者守护,但求一时舒畅。满网络都是污言秽语,我多加一些又如何?我这样说,无数个我一样的人这样说。我永远不会设想,看到我的文字的人可能和我一样敏感易碎,心是脆弱的玻璃制成的。别人就是陌生人,而陌生人与己无关。我所讲的“文字垃圾”便是如此了,但又不止于如此。
“文字垃圾”有两种,一种“有毒”,一种“无用”。有毒的“文字垃圾”直接明显,存在最广泛,如上文所述,遍布网络,随便一则新闻下就遍布许多。它们一眼就可辨别,然后激怒某个人以类似的“文化垃圾”回应。一种直观的“文字垃圾”繁殖方式。“无用”的文化垃圾多来自于写作者,题材多涉及情感领域这样的软性环节,男女情爱或职场人际关系。它们很多以一些正确而无用的废话为核心,再灌进浅白的感情,然后加进水和酵母,让它酝酿,呈现烈酒易醉的假象。既然都是酒,那就不要分好酒和坏酒了,他们说。
“文字垃圾”就是微型的“文化垃圾”。然而互联网世界鼓励“文字垃圾”,它们是并存的孪生兄弟。有人说移动互联时代是个信息爆炸或知识爆炸的时代,真的是信息“爆炸”了么?爆炸的是“垃圾”,不是“信息”和“知识”。
但是我现在正在散步的又何尝不是“文字垃圾”。
-
?
从文本处理到自动驾驶:机器学习最常用的50大免费数据集
冷夏
展开
机器学习领域里有哪些开放数据集?Gengo 近日发布了一份高质量免费数据集列表,其搜索范围不仅包含内容广泛(如 Kaggle),也包括高度特化的(如自动驾驶汽车专用数据集)数据集种类。
首先,在选择数据集时要记住几个重要标准:
数据集不能是混乱的,因为你不希望花费大量时间整理数据。数据集不应该有过多的行或者列,这样才能容易处理。数据越干净越好——清理大型数据集可能会非常耗时。该数据集可以用于回答一些有趣的问题。
这样的话,让我们看看能找到点什么?
查找数据集
Kaggle:一个数据科学竞赛网站,其中包含大量外部贡献的有趣数据集。你可以在它长长的列表中(https://kaggle/datasets)找到各种小众数据集,从拉面的评分、篮球数据,到西雅图的宠物牌照。
UCI Machine Learning Repository:它是网络中最古老的数据集源之一,是寻找各种有趣数据集的第一选择。在这里,尽管数据集都是用户自行贡献的,但清洁程度仍然很高。此外,你可以直接从 UCI Machine Learning Repository 上下载数据,无需注册。
通用数据集
公共政府数据集
Data.gov:这个网站可以从多个美国政府机构下载数据,从政府预算到学校成绩。不过要注意:其中的大部分数据需要进一步研究。
链接:https://data.gov/
Food Environment Atlas:包含有关本地食物选择如何影响美国饮食习惯的数据。
链接:https://catalog.data.gov/dataset/food-environment-atlas-f4a22
School system finances:美国学校系统财务状况调查。
链接:https://catalog.data.gov/dataset/annual-survey-of-school-system-finances
Chronic disease data:美国各地慢性病指标数据。
链接:https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9
The US National Center for Education Statistics:美国和世界各地教育机构和教育人口统计数据。
链接:https://nces.ed.gov/
The UK Data Centre:英国最大的社会、经济和人口数据收集。
链接:https://ukdataservice.ac.uk/
Data USA:美国公共数据的全面可视化。
链接:http://datausa.io/
金融类
Quandl:很好的财经数据来源——有助于建立预测经济指标或股票价格的模型。
链接:https://quandl/
World Bank Open Data:涵盖人口统计和世界各地大量经济和发展指标的数据集。
链接:https://data.worldbank.org/
IMF Data:国际货币基金组织公布有关国际金融、债务利率、外汇储备、商品价格和投资的数据。
链接:https://imf.org/en/Data
Financial Times Market Data:世界金融市场的最新信息,包括股票价格指数、商品和外汇。
链接:https://markets.ft/data/
Google Trends:观察和分析有关互联网搜索活动和世界各地新闻故事趋势的数据。
链接:http://google/trends?q=google&ctab=0&geo=all&date=all&sort=0
AmericanEconomic Association (AEA):寻找美国宏观经济数据的来源。
链接:https://aeaweb.org/resources/data/us-macro-regional
机器学习数据集
图像
Labelme:注释图像的大数据集。
链接:http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php
ImageNet:著名的 ImageNet,由斯坦福大学教授李飞飞等人发起,它是面向新算法的真实图像数据集。根据 WordNet 层次结构来组织,其中层次结构的每个节点都由成百上千个图像来描述。
链接:http://image-net.org/
LSUN:场景理解和许多辅助任务(房间布局估计、显著性预测等)。
链接:http://lsun.cs.princeton.edu/2016/
MS COCO:ImageNet 之外另一个常用的图像数据集,包含通用图像理解和注释。
链接:http://cocodataset.org/
COIL100:100 个不同的物体在 360°旋转中以每个角度成像。
链接:http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php
Visual Genome:非常详细的视觉知识库,配有约 100K 个图像的注释。
链接:http://visualgenome.org/
Google's Open Images:Creative Commons 下的 900 万个图片的网址集合,「已经标注了跨越 6000 多个类别的标签」。
链接:https://research.googleblog/2016/09/introducing-open-images-dataset.html
Labelled Faces in the Wild:13000 张贴有标签的人脸图像,用于开发涉及人脸识别的应用。
链接:http://vis-cs.umass.edu/lfw/
Stanford Dogs Dataset:包含 20580 个图像和 120 个不同品种的狗类别。
链接:http://vision.stanford.edu/aditya86/ImageNetDogs/
Indoor Scene Recognition:非常具体的数据集,适用于大多数场景识别模型,因为后者在「外部」表现更好。包含 67 个室内类别,总共 15620 个图像。
链接:http://web.mit.edu/torralba/www/indoor.html
情感分析
Multidomain Sentiment analysis dataset:有点旧的一个数据集,以亚马逊的产品评论为特色。
链接:http://cs.jhu.edu/~mdredze/datasets/sentiment/
IMDB reviews:用于二进制情感分类的较旧的、相对较小的数据集,具有 25000 个电影评论。
链接:http://ai.stanford.edu/~amaas/data/sentiment/
Stanford Sentiment Treebank:带有情感注释的标准情感数据集。
链接:https://nlp.stanford.edu/sentiment/code.html
Sentiment140:一个流行的数据集,使用 16 万条预先删除表情符号的推文
链接:http://help.sentiment140/for-students/
Twitter US Airline Sentiment:2015 年 2 月以来美国航空公司的推特数据,分为正面、负面和中性。
链接:https://kaggle/crowdflower/twitter-airline-sentiment
自然语言处理
Enron Dataset:Enron 公司高层管理人员的电子邮件数据,整理成文件夹。
链接:https://cs.cmu.edu/~./enron/
Amazon Reviews:包含来自亚马逊长达 18 年的约 3500 万条评论。数据包括产品和用户信息、评级和明文审查。
链接:https://snap.stanford.edu/data/web-Amazon.html
Google Books Ngrams:Google 书籍中的词汇集合。
链接:https://aws.amazon/cn/datasets/google-books-ngrams/
Blogger Corpus:从 blogger . com 收集的 681288 篇博客文章。每个博客至少包含 200 个常用英语单词。
链接:http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm
Wikipedia Links data:维基百科全文。数据集包含 400 多万篇文章中的近 19 亿字。你可以根据单词、短语或段落本身的一部分进行搜索。
链接:https://code.google/p/wiki-links/downloads/list
Gutenberg eBooks List:古腾堡计划电子书注释清单。
链接:http://gutenberg.org/wiki/Gutenberg:Offline_Catalogs
Hansards text chunks of Canadian Parliament:加拿大第 36 届国会记录 130 万对文本。
链接:https://isi.edu/natural-language/download/hansard/
Jeopardy:机智问答节目 Jeopardy 中存档的 20 多万个问题。
链接:https://reddit/r/datasets/comments/1uyd0t/200000jeopardyquestionsinajsonfile/
SMS Spam Collection in English:由 5574 条英文短信垃圾邮件组成的数据集
链接:http://dt.fee.unicamp.br/~tiago/smsspamcollection/
Yelp Reviews:Yelp 发布的开放数据集包含 500 多万条评论。
链接:https://yelp/dataset
UCI's Spambase:大型垃圾邮件数据集,可用于垃圾邮件过滤。
链接:https://archive.ics.uci.edu/ml/datasets/Spamb (https://archive.ics.uci.edu/ml/datasets/Spambase)
自动驾驶
Berkeley DeepDrive BDD100k:目前最大的自动驾驶人工智能数据集。包含 100000 多段视频,内容涉及一天中不同时间和天气条件下 1100 多小时的驾驶体验。注释图像来自纽约和旧金山地区。
链接:http://bdd-data.berkeley.edu/
Baidu Apolloscapes:百度 Apollo 计划开放的大规模自动驾驶数据集。它定义了 26 个不同语义项目,如汽车、自行车、行人、建筑物、路灯等。
链接:http://apolloscape.auto/
Comma.ai:7 小时以上的公路行驶体验。详细信息包括车速、加速度、转向角和 GPS 坐标。
链接:https://archive.org/details/comma-dataset
Oxford's Robotic Car:一年内在英国牛津同一条路线重复 100 多次的行驶。数据集捕捉天气、交通和行人的不同组合,以及建筑和道路工程等长期变化。
链接:http://robotcar-dataset.robots.ox.ac.uk/
Cityscape Dataset:记录 50 个不同城市街道场景的大型数据集。
链接:https://cityscapes-dataset/
CSSAD Dataset:该数据集可用于自主车辆的感知和导航。数据集在发达国家的道路上出现严重偏差。
链接:http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset
KUL Belgium Traffic Sign Dataset:比利时佛兰德区数以千计截然不同的超过 10000 个的交通标志标注。
链接:http://vision.ee.ethz.ch/~timofter/traffic_signs/
MIT AGE Lab:在 AgeLab 收集的 1000 多个小时的多传感器驱动数据集样本。
链接:http://lexfridman/carsync/
LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets:此数据集包括交通标志、车辆检测、交通灯和轨迹模式。
链接:http://cvrr.ucsd.edu/LISA/datasets.html
如果你知道本文中有哪些漏掉的重要数据集,欢迎留言补充。
-
?
通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题
百合花
展开
ACL 2017 Long Papers
通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题
HandlingCold-Start Problem in Review Spam Detection by Jointly Embedding Texts andBehaviors
中国科学院
Chinese Academy of Sciences
【摘要】解决垃圾评论检测中的冷启动问题是一项紧迫而重要的任务。它可以帮助在线评论网站及时减轻垃圾内容发送者的破坏,但从未被以前的工作研究过。本文提出了一种新的神经网络模型来检测垃圾评论的冷启动问题,并通过共同嵌入文本和行为信息来表示新评论者的评论。实验结果表明,该模型具有较好的性能,具有较好的领域适应性。它也适用于非监督方式的大规模数据集。
1 引言
随着网络产品评论数据的快速增长,人们在作出购买决定之前,习惯性地先阅读评论。评论通常包含消费者丰富的的个人经验。这显著影响了企业财务收益和业绩。现有研究表明,Yelp额外的半星评级导致餐馆更频繁地出售19%(Anderson和Magruder,2012年),Yelp的一星级增长导致收入增长了5-9%(Luca ,2011)。不幸的是,这种做法给予冒名顶替者(称为垃圾内容发送者)强大的动机来与系统进行游戏。他们发布假评论或意见(称为垃圾评论)来宣传或抹黑某些有针对性的产品和服务。来自英国广播公司BBC的消息显示,约25%的Yelp评论可能是假的。因此,检测垃圾评论是非常迫切的,以确保在线评论继续受到信赖。
Jindal和Liu(2008)做出了检测垃圾评论的第一步。大多数努力致力于通过后续工作来探索有效的语言和行为特征,以区分这种垃圾评论与真实的评论。然而,为了注意这种模式或形成行为特征,开发人员应该花费很长时间来观察数据,因为这些特征是基于统计数据的。例如,Mukherjee等人(2013c)提出的特征“活动窗口”是衡量评论者的活动新鲜度。通常需要几个月的时间才能计算出评论者的最后和第一次评论之间的时间戳差异。当最终形成特征时,可能已经形成了一些重大损失。因此,重要的是设计一个可以在新评论者发布后尽快检测出垃圾评论的算法。这是一个冷启动问题,这是本文的重点。
在本文中,我们假设当新的评论者发表一个评论时,我们必须立即识别假评论。不幸的是,这是非常困难的,因为用于检测假评论的可用信息非常少。基于统计学的传统行为特征只能在频繁的用户行为上发挥作用。获得的行为信息越多,传统行为特征越有效(参见第3节中的实验)。在冷启动的情况下,新的评论者只有一个行为:发表评论。因此,我们无法从数据中获取有效的行为特征。虽然,评论的语言特征不需要花费很多时间来形成,Mukherjeeet al.(2013c)已经证明,语言特征在检测现实中商业网站假评论识别方面不够有效,我们也获得注意到了这一点(细节见第3节)。
因此,冷启动垃圾评论问题的主要困难在于,新的评论者没有足够的行为来构建有效的行为特征。然而,现有评论员发表的丰富评论中有大量的文字和行为信息(图1)。我们可以使用现有的类似评论者的行为信息给新的评论者来近似模拟他的行为特征。我们认为,评论者的个人特征,如背景信息、动机和互动行为风格,对评论者的文字和行为信息有很大的影响。所以评论者的文本信息和行为信息是相互关联的(Li等人(2016)的类似论据)。例如,学校的学生可能会在暑假期间选择青年旅馆,并在评论中倾向于评论房价。但是,商务旅行中的金融分析师可能会选择商务酒店,环境和服务是他们在评论中关心的。
为了在冷启动问题中增加新评论者的行为信息,我们首先尝试从现有评论中找到与新评论者类似的文本信息。有几种方法可以对垃圾评论的文本信息进行建模,如Unigram(Mukherjeeet al., 2013c),POS(Ott等,2011)和LIWC(语言查询和字数)(Newman et al., 2003)。我们采用CNN(卷积神经网络)对评论文本进行建模,已经证明它可以捕捉使用传统的离散人工特征难以表达的复杂全局语义信息(Ren andZhang,2016)。然后,我们采用与找到的文本信息相关的行为信息来近似模拟新评论者的行为信息。一个直观的方法是搜索最新的评论的最相似的现有评论,然后将发现的评论者的行为特征作为新的评论者的特征(详见5.3节)。然而,在评论图(图1)中存在着丰富的行为信息,传统的离散人工行为特征难以记录全局行为信息(Wang etal., 2016)。此外,由于在评论系统中没有明确的特征标签(第5.3节中的实验),传统特征无法捕捉评论者的个人特征。因此,我们提出了一种神经网络模型,将文本和行为信息共同编码成评论向量,用于解决垃圾评论检测的冷启动问题。通过对评论图结构进行编码(图1),所提出的模型可以以无监督的方式记录现有评论者的全局行为,并进一步记录评论者潜在的特征信息。这种联合学习的评论表示可以对评论者的文本和行为信息的相关性建模。当新的评论者发表评论时,提出的模型可以利用编码了类似文本信息和相关行为信息的词向量来表示该条评论。最后,将新评论者的词向量输入分类器,以确定它是否是垃圾评论。
图1 Yelp的简化评论局部图
总的来说,我们的主要贡献包括:
据我们所知,这是首次在垃圾评论检测中探讨冷启动问题的工作。我们定性和定量地证明了传统的语言和行为特征在检测冷启动任务的垃圾评论方面是不够有效的。我们提出了一个神经网络模型,将文本和行为信息共同编码为冷启动垃圾评论检测任务的词向量输入。它是一种无监督的分布式表示模型,可以从大规模的未标记的审查数据中学习。两个领域(酒店和餐厅)的实验结果有效地验证了提出模型在冷启动垃圾评论检测任务中的有效性。
2 相关工作
和Liu(2008)做出了检测垃圾评论的第一步。随后的工作致力于探索有效特征和垃圾评论发送者的线索。
语言特征: Ott et al.(2011)应用心理和语言学线索来识别垃圾评论;Harris(2012)探讨了几种写作风格的特征。Feng等人(2012a)研究了用于审查垃圾评论检测的句法文体;Xu andZhao (2012) 使用深层语言特征来发现欺骗性垃圾评论; Li et al.(2013) 研究了垃圾评论中的主题;Li et al.(2014b)进一步分析了语言用法的一般差异。Fornaciari和Poesio(2014)证明了N-gram在检测欺骗性亚马逊书评中的有效性。Cagnina和Rosso(2015)也探讨了N-gram的有效性。 Li et al.(2014a)提出了基于一元和二元文法的积极的无标签学习方法; Kim等人(2015)设计了一种深度语义分析框架。Hai et al.(2016)利用多重垃圾评论检测任务和可用的未标记数据的相关性,通过使用语言特征来解决垃圾评论标注数据的稀缺性。此外,(Ren和Zhang,2016)证明CNN模型比RNN和传统的离散人工语言特征更为有效。Hovy(2016)使用N-gram生成模型来生成评论并评估其有效性。
行为特征: Lim et al.(2010)分析了评论者评级的行为特征;Jindal等(2010)识别了异常评论模式,它可以代表评论中的可疑行为; Li et al.(2011)提出了一种基于行为特征的双视点半训练共同训练方法。Feng等(2012b)研究垃圾评论发送者个人行为的分布情况。Mukherjee等人(2012) 研究了垃圾评论发送者的行为特征。 Xieet al. (2012), Fei et al. (2013)等人对垃圾评论发送者的时间模式进行了调查。Li et al. (2015) 探讨了时间和空间模式。Wang etal. (2011), Akoglu et al. (2013) 对该评价图进行了分析。Mukherjee等人(2013a)研究了评论流行度。 Mukherjeeet al. (2013c)和Mukherjee et al. (2013b)证明,评论者的行为特征比垃圾评论检测的语言特征更有效。基于这一结论,最近研究人员(Rayana和Akoglu,2015; KC和Mukherjee,2016)已经更加努力地采用评论者的行为特征来检测垃圾评论,其目的是捕捉评论者的行为,并假定那些与垃圾评论发布者行为类似的评论将是垃圾评论。Wang etal. (2016) 探索了一种通过全局行为信息学习评论表征的方法。Viviani和Pasi(2017)聚焦在每个单一真实特征的聚合过程上。
3 传统特征是否是有效
因为新评论者只发表了一个评论,而我们必须立即确定其是否是垃圾评论发布者,冷启动任务面临的主要挑战是,有关新评论者的现有信息非常差。新评论者只为我们提供一个评论记录。对于基于统计数据的大多数传统特征,它们不能自己形成且没有任何意义,例如在周末写的评论的百分比(Li et al.,2015)、用户评论的评级分布熵(Rayana和Akoglu,2015年)。为了研究传统特征在冷启动任务中是否有效,我们对Mukherjee等人(2013c)的Yelp数据集进行了实验。我们在2012年1月1日之前发布的现有评论中训练了具有不同功能的SVM模型,并对2012年1月1日以后新评论者发布的新评论进行了测试。结果如表1所示。
表1 跨语言特征的SVM分类结果(LF,二元文法(Mukherjee等,2013b)),行为特征(BF:RL,RD,M-CS(Mukherjee et al., 2013b))和行为信息丰富的行为特征(BF:RL, RD, M- CS)。训练和测试都使用平衡数据(50:50)。
3.1 语言特征表现不佳
语言特征不需要花太多时间形成。但是Mukherjee等人(2013c)已经证明,与人群资料数据集的表现相比,语言特征在检测现实中商业网站的虚假评论方面不够有效(Ott等,2011)。他们表明,二元文法比其他语言特征表现得更好,如LIWC(Newman etal., 2003; Pennebaker et al., 2007),局部语音序列模式(Mukherjee和Liu,2010),深层语法(Feng etal., 2012a),信息增益(Mukherjee et al., 2013c)等。所以,我们用二元文法特征来进行实验。如表1(a, b)第1行所示,二元文法在酒店和餐厅领域的精确度仅为55%左右。这表明最有效的传统语言特征(即二元文法)无法在冷启动任务中有效检测垃圾评论
3.2行为信息仅在丰富信息情况下表现良好
由于没有足够的有关新评论者的可用信息,对于基于统计机制的大多数传统行为特征,他们无法形成且没有任何意义。我们调查了以前的工作,发现有三个行为特征可以应用于冷启动任务。它们由Mukherjee等人提出(2013b),即1.Reviewlength(RL):新评论者发表的新评论的长度; 2.审查人员偏离(RD):新评论者对同一业务的其他评论的评估的绝对评级偏差; 3.最大内容相似度(MCS):新评论者的评论与同一业务的其他评论之间的最大内容相似度(使用余弦相似度)。
表1(a,b)第2行示出了通过组合二进制特征和上述三个行为特征的实验结果。与仅使用二元文法相比,行为特征使酒店领域的准确性提高了5%左右(餐厅领域的2.7%)。精度有所提高,但平均只有近60%。这表明传统特征对于行为信息匮乏情况不够有效。此外,行为特征导致F1-score下降约4.6%,酒店和餐厅领域的召回率减少约19%。显然,与仅使用二元文法比较,行为特征存在更多的垃圾评论识别错误。它进一步表明,传统的行为特征歧视被匮乏的行为信息削弱。
进一步,我们使用大量行为信息进行的三个行为特征实验。当新评论者在几周后继续发布更多评论时,他们的行为信息就会变得更多。然后与冷启动时期匮乏的行为信息相比,评论系统可以获得足够的数据来提取行为特征。因此,与表1(a)第2行的结果相比,信息丰富的行为特征在酒店领域的准确性(6.4%)显著提高(表1(a)第3行)。但在餐厅领域只有0.6%。根据数据集的统计,我们发现新评论者在酒店领域第一次发布后平均发布了约54.4条评论,但平均而言,餐厅领域的新评论者平均只有10条评论。在酒店领域添加的行为信息比餐厅领域更丰富。这表明:
传统的行为特征只能在行为信息丰富的情况下发挥作用;获取越多的行为信息,传统行为特征越有效。
图2 模型图
4 模型
在冷启动任务中检测垃圾评论的难度在于新评论者的可用行为信息非常少。新评论者刚刚发布了一个评论,我们必须立即过滤,然而并没有任何历史评论提供给我们。正如我们所说,评论者的文本信息和行为信息是相互关联的。因此,为了增加新评论者的行为信息,我们尝试从现有评论中找到与新评论者类似的文本信息。然后我们将与发现的文本信息相关的行为信息作为新评论者最可能的行为信息。为此,我们提出了一种神经网络模型,将文本和行为信息共同编码到成冷启动的垃圾评论检测的输入词向量(如图2所示)。当新的评论者发表评论时,神经网络可以用类似的文本信息和词向量中编码的相关行为信息来表示评论。最后,将新评论的特征表示输入分类器,以确定它是否是垃圾评论。
4.1 行为信息编码
图1是从Yelp网站简化的局部评论图。如图所示,评论图包含现有评论者的全局行为信息(足迹)。由于垃圾评论发送者和真实评论者的动机是完全不同的,所以他们行为信息的分布是不同的(Mukherjeeet al., 2013a)。有些企业(甚至是高信誉的)支付给佣金进行虚假评论,以促进他们的产品/服务和/或诋毁他们的竞争对手(Liu, 2015)。因此,垃圾评论发送者的行为足迹是由企业的需求决定的。但真正的评论者只会对他们实际遇到的产品或服务发表评论。他们的行为足迹受到自身特点的影响。前人从这些行为信息中提取评论者的行为特征。但是,新评论在冷启动任务中是不切实é™...