中企动力 > 商学院 > 垃圾文本识别
  • ?

    女人必看!教你怎么识别并远离“垃圾”男!

    小岛

    展开

    现在的新时代女性独立又自信,

    可是感情上总是遇到“垃圾”男。

    十点让你远离垃圾男遇到真命天子。

    1:恋爱期间,把全部心思放在爱情上,并不愿意考虑如何赚钱

    2:恋爱期间,经常劈腿的行为,且屡教不改

    3:恋爱期间,舍不得付出,只懂得索取

    4:当两个人产生矛盾时,从来不会低头认错,只要你不妥协,他会一直和你怄气。

    5:但凡你做错事,他会对你唠叨个没完没了。

    6:思想狭隘毫无建树的男人

    7:把女人怀孕当作家常便饭的男人

    8:把钱看的比人命都重要的男人

    9:有暴力倾向过后又忏悔的男人

    10:.孤家寡人拒绝亲朋好友的男人

    如果你现在处于恋爱阶段,

    且你的男朋友具备以上其中一个特质,那么,

    请你理性的选择分手。

    因为:

    一个好吃懒做的男人撑不起一个家

    一个喜欢劈腿的男人婚后会频繁出轨

    一个舍不得付出的男人,会让你心累

    一个急迫的男人会让你觉得烦

    一个心比做小米粒一点都不过分。对世界毫无看法的男人也是没有任何成就

    一个有严重的心理变态,总是以打人作为自己的一种心理安慰的男人会毁掉女人的一生

    一个因为女人的肚子不是你的肚子,就可以让她随便疼痛?道貌岸然的冷酷的男人会让你心寒。

    一个装出自命清高的神态对的这种男人虚有其表

    交往对象要慎重,远离“垃圾”男。

  • ?

    “智能回收卫士”可自动识别垃圾种类

    特里

    展开

    重庆邮电大学学生获微软“创新杯”重庆赛区一等奖

    本报讯 (记者 李星婷)3月25日,重庆日报记者从重庆邮电大学获悉,2018微软“创新杯”全球学生科技大赛首届重庆区域赛的决赛在该校落下帷幕。经过层层选拔和角逐,最终,来自重庆邮电大学的神锋奇迹团队,凭借“智能回收卫士”(智能垃圾箱)项目拿下重庆区域赛决赛一等奖。他们将直通中国区的半决赛,与全国各地优秀学子争夺前往在美国西雅图举行的全球总决赛门票。

    据了解,微软”创新杯"全球学生大赛(简称“创新杯”)是全球最具影响力的学生科技活动,始创于2003年,至今已历时15届,旨在鼓励青年学生发挥想象和创新能力,投身科技创新。

    该大赛的重庆区域赛从2017年12月启动,涉及全市50余所高校,共有300多支团队报名参加比赛。这也是该大赛首次在重庆举行区域赛。

    获得重庆区域赛一等奖的神锋奇迹团队来自重庆邮电大学。许奥狄是该校控制科学与工程专业的研二学生,他介绍,团队的成员们发现生活中的垃圾回收设施过于简单,标识不明,居民的垃圾分类知识也比较缺乏,这给后期的垃圾处理带来极大的困难。

    针对以上问题,许奥狄和同学们设计了能够自动识别垃圾种类的“智能回收卫士”(智能垃圾箱)。重庆日报记者看见,这种智能垃圾箱根据垃圾的后续处理方式,将垃圾箱分为可回收垃圾、有害垃圾、厨余垃圾、其他垃圾四个不同通道。用户只需将垃圾正对摄像头,待系统扫描识别后,垃圾箱便会自动打开相对应的通道盖子,用户可根据语音提示完成扔垃圾的行为。

    神锋奇迹团队凭借此项目获得了重庆区域赛的一等奖,以及2万元奖金,他们将直接进入中国区的半决赛。我市其余高校如西南大学、陆军军医大学等参赛队伍,也带来室内软装经验分享社区、家庭医生等项目。据了解,除获得一等奖的项目外,其他项目经过中国区复赛的审核也有机会进入中国区半决赛,优胜者将前往参加在美国西雅图举行的全球总决赛。

    来源:重庆日报

  • ?

    火眼金睛:如何识别典型的垃圾ICO项目

    袁鹏飞

    展开

    它宣发包含大量误导/欺骗/浮夸的内容。极力提及站台者“advisor”是2015图灵奖得主贝利·惠特菲尔德·迪菲(2015 Turing Award winner Whitfield Diffie)。但宣发里Whit Diffie先生根本不参与研发。宣发提及现代密码学之父这样的字眼。一般出现XX之父就意味着很有可能是个垃圾项目。宣发各种“重新定义”区块链balabala,自称区块链的“传输”创新。宣称活动“NEO开发者大会”在旧金山举行,但参与者照片全都是中国人。列出来的12个开发者名称里至少9个肯定是大陆人,另外还有2个是大陆人非常常见的英文名。我有非常大的把握认为除了这个站台者以外项目里实际开发的都是大陆人。项目里有这么多大陆人参与的情况下,完全没有中文白皮书或网页中文版提供。极为反常。这通常意味着想假装欧美项目。在实际开发者都是大陆人的前提下,项目却做的是基础链创新方向。中国大陆地区根本没有足够的密码学工程人才储备,更别提Vitalik Buterin级别的密码学天才青年主导创新。全中国人团队以及中国人为主的团队,如果是做区块链应用层项目还是很值得期待的。尤其是中国目前有大量具有实际应用上线经验的程序员储备支持下,做链上copy to China相当有竞争力。白皮书大量卖弄概念而无实际内容。NKN项目最大的宣发概念就是原胞机,但对于原胞机到底能如何帮助区块链更好运作都是一笔带过,大量篇幅浪费在了解释原胞机原理上。插入了大量公式和无意义原胞机图表。在我看来唯一目的是让买的韭菜不明觉厉。同样是出现了大量公式的基础设施链白皮书,路印(去中心化交易协议)的白皮书解释的就清楚多了,而且官网也正常的提供了中英双版。(注意这不是我给路印站台吹涨,只是说这是正常项目的白皮书写法)

  • ?

    电脑垃圾不要文件无论如何都删除不掉,轻松解决

    Elvis

    展开

    电脑有一些不需要的垃圾文件,无论如何要删除就是删除不了,那么当你遇到桌面上的文件删不掉怎么办?不知道的朋友赶紧看看可可整理的桌面上的文件删不掉的解决方法吧!

    遇到问题:

    1、就是下面这种奇怪的后缀名不对的文档。点击删除,显示找不到这个项目,无法删除。

    解决方法:

    1、对于大家遇到的这类问题,首先我们的处理方式还是点击刷新桌面。刷新桌面还没有消除的话,通常重启系统就好了。

    2、但是对于步骤一没有效果的问题,要用下面的方法。首先,为了确保方法的成功,首先要点击进入我的电脑,再点击文件夹选项。

    3、切换到查看标签,不隐藏文件扩展名。

    4、好,现在在桌面新建一个文本文件,并输入如下内容。

    5、保存文件,把文件的后缀改成.bat,文件名随意。点击确定。

    6、把需要删除的文件拖动到这个.bat文件上(会显示用它打开),然后我们发现,就这样删除了,成功!

    以上就是桌面上文件删不掉的解决方法了,方法很简单,我们只需要创建一个.bat批处理文件,之后把删不掉的文件拖到.bat批处理文件图标上就能删除了。

  • ?

    如何用自然语言处理来预测垃圾邮件?

    破碎

    展开

    自然语言处理可以帮助计算机进行文本分析,比如说检测垃圾邮件、自动纠错等。那么,自然语言处理技术是如何用于理解人类语言的?

    本文详细讲述了如何执行基本自然语言处理任务并使用机器学习分类器来预测SMS是垃圾邮件还是非垃圾邮件。通过理论和代码的配合,用最生动的实例让你轻松掌握这一主题。

    自然语言处理

    在机器学习领域中,自然语言处理指的是教会计算机理解、分析、处理并能潜在地生成人类语言。

    在现实生活中,自然语言处理主要表现在:

    信息检索(谷歌发现相关或者相似的结果)知识提取(谷歌邮箱从无数邮件中构建事件信息)机器翻译(谷歌翻译将一种语言翻译成另一种语言)文本简化(Rewordify能够简化句子含义)情感分析(Hater News能够展现用户的情感 )文本总结(Smmry或者Reddit的 autotldr机器人能够总结句子 )垃圾邮件过滤(谷歌邮箱能够过滤垃圾邮件)自动预测(谷歌搜索能够预测用户的搜索结果)自动纠错(谷歌键盘和 Grammarly能够纠正拼写错误)语音识别(谷歌 WebSpeech或者Vocalware)问答(IBM的沃森机器人能够对问题进行回答)自然语言生成(从图像或者视频数据中生成文本)

  • ?

    垃圾分类推视觉识别系统 你家的垃圾 别再扔错了

    沙漏

    展开

    这些天,不少市民可能都注意到在自家小区附近的垃圾箱处有了一些新变化,原本单调的垃圾箱增加了红色、蓝色、绿色灰色相间、全绿色等标识。据悉,这是生活垃圾分类处置重要一步,从垃圾回收上让市民进行自觉分类。要做到垃圾分类,除了自己家里的生活垃圾要分类,社区垃圾中转站、运输环节也要分类处置,这样可以减少垃圾清运处理的压力,促进资源回收利用。

    四种颜色标识分别对应四种垃圾

    市环卫处相关负责人告诉记者,红色、蓝色、绿色灰色相间、全绿色等标识分别对应有害垃圾、餐厨垃圾、可回收垃圾和其它垃圾。

    为提高新型城镇化质量和生态文明建设水平,深入推进全国生活垃圾分类示范城市工作,我市结合实际制定了《泰安市生活垃圾分类工作实施方案》(以下简称方案)。“根据方案精神市环卫处迅速行动,制定了《泰安市生活垃圾分类视觉识别系统》,对原来设备改造提升,加快推动生活垃圾分类工作。”他说。

    《泰安市生活垃圾分类视觉识别系统》对生活垃圾分类标志色、生活垃圾分类标识、生活垃圾分类容器标识使用规范、生活垃圾分类处理流程、生活垃圾分类投放点公示牌、生活垃圾分类投放点公示图解、生活垃圾分类管理责任告知书、生活垃圾分类服务区域标识、生活垃圾分类果皮箱等进行了图示规范说明。

    “生活垃圾分类投放点都设置在公共区域,这样方便市民投放。”市环卫处工作人员表示。

    分类垃圾桶很显眼,市民扔垃圾很随意

    记者在岱道庵路的垃圾分类中转站看到,四类垃圾桶(分别为可回收垃圾、有害垃圾、餐厨垃圾、其他垃圾)摆放在列。偶尔有前来扔垃圾的市民,并没有特别将垃圾进行分类投放。垃圾分类中转站值守的环卫人员偶尔会对市民进行口头引导,但效果欠佳,市民们往往丢了垃圾就走,或者回一句“下次注意”。

    记者随机采访了前来扔垃圾的市民柳女士,她坦言,自己丢弃的垃圾袋中有餐厨垃圾也有纸盒、塑料瓶等杂物,对于在家中进行垃圾分类的情况自己和家人也从未尝试过,都是把垃圾装进一个塑料袋直接扔掉。

    环卫处保洁三公司负责人李翔意介绍,虽然分类垃圾桶摆在最显眼的位置,而且也有相应的标识,但是仍有不少市民不按规定完成投放,既加大了环卫工人的工作量,也增加了工作难度。

    坚持生活垃圾分类环保又健康

    据市垃圾分类指导办公室主任颜曦介绍,市民坚持垃圾分类,可节约能源,通过对餐厨垃圾的专项处置进行发电或制成肥料原料,变废为宝。对电池等垃圾的分类还能减少垃圾中的金属汞、镉等有毒的物质对空气和土壤等造成污染。此外,坚持生活垃圾分类还可以有效杜绝地沟油重返餐桌,带来食品安全和身体健康。

    “根据周围居民分布情况,目前在城区设置了74个垃圾专业分类收集站,供市民倾倒垃圾。目前也已与城区700多家饭店、酒店签署处置协议,每天能将大量餐厨垃圾送到相应地点进行科学处理。下一步,还会通过组织志愿宣传劝导活动、垃圾分类讲堂进校园活动等,向广大市民和学生宣传垃圾分类知识,提高参与度。”颜曦说

  • ?

    专栏|自然语言处理第一番之文本分类器

    何成危

    展开

    机器之心专栏

    作者:想飞的石头

    文本分类应该是自然语言处理中最普遍的一种应用,例如文章自动分类、邮件自动分类、垃圾邮件识别、用户情感分类等等,在生活中有很多例子,本文主要从传统和深度学习两块来向大家介绍如何构建一个文本分类器。

    文本分类方法

    传统的文本方法的主要流程是人工设计一些特征,从原始文档中提取特征,然后指定分类器如 LR、SVM,训练模型对文章进行分类,比较经典的特征提取方法如频次法、tf-idf、互信息方法、N-Gram。

    深度学习兴起之后,也有很多人开始使用一些经典的模型如 CNN、LSTM 这类方法来做特征的提取,在本文中,作者会简要描述一下各种方法,及其在文本分类任务中的一些实验。

    传统文本分类方法

    这里主要描述两种特征提取方法:频次法、tf-idf、互信息、N-Gram。

    频次法

    频次法,顾名思义,十分简单。它记录每篇文章的次数分布,然后将分布输入机器学习模型,训练一个合适的分类模型。对这类数据进行分类,需要指出的是:在统计次数分布时,可合理提出假设,频次比较小的词对文章分类的影响比较小。因此,我们可合理地假设阈值,滤除频次小于阈值的词,减少特征空间维度。

    TF-IDF

    TF-IDF 相对于频次法,有更进一步的考量。词出现的次数能从一定程度反应文章的特点,即 TF,而 TF-IDF,增加了所谓的反文档频率,如果一个词在某个类别上出现的次数多,而在全部文本上出现的次数相对比较少,我们就认为这个词有更强大的文档区分能力。TF-IDF 是综合考虑了频次和反文档频率两个因素的方法。

    互信息方法

    互信息方法也是一种基于统计的方法,计算文档中出现词和文档类别的相关程度,即互信息。

    N-Gram

    基于 N-Gram 的方法是把文章序列,通过大小为 N 的窗口,形成一个个 Group。然后对这些 Group 做统计,滤除出现频次较低的 Group,再把这些 Group 组成特征空间,传入分类器,进行分类。

    深度学习方法

    基于 CNN 的文本分类方法

    最普通的基于 CNN 的方法就是 Keras 上的 example 做情感分析,接 Conv1D,指定大小的 window size 来遍历文章,加上一个 maxpool。如此多接入几个,得到特征表示,然后加上 FC,进行最终的分类输出。

    基于 CNN 的文本分类方法,最出名的应该是 2014 Emnlp 的 Convolutional Neural Networks for Sentence Classication,使用不同 filter 的 cnn 网络,然后加入 maxpool,然后 concat 到一起。

    论文链接:http://aclweb.org/anthology/D14-1181

    这类 CNN 的方法,通过设计不同的 window size 来建模不同尺度的关系,但是很明显,丢失了大部分的上下文关系,论文《Recurrent Convolutional Neural Networks for Text Classification》对此进行了研究。将每一个词形成向量化表示时,加上上文和下文的信息,每一个词的表示如下:

    整个结构框架如下:

    如针对这句话「A sunset stroll along the South Bank affords an array of stunning vantage points」,stroll 的表示包括 c_l(stroll),pre_word2vec(stroll),c_r(stroll), c_l(stroll) 编码 A sunset 的语义,而 c_r(stroll) 编码 along the South Bank affords an array of stunning vantage points 的信息,每一个词都如此处理,因此会避免普通 cnn 方法的上下文缺失的信息。

    基于 LSTM 的方法

    和基于 CNN 的方法中第一种类似,直接暴力地在 embedding 之后加入 LSTM,然后输出到一个 FC 进行分类,基于 LSTM 的方法,我觉得这也是一种特征提取方式,可能比较偏向建模时序的特征;

    在暴力的方法之上,如论文《A C-LSTM Neural Network for Text Classification》的研究,将 embedding 输出不直接接入 LSTM,而是接入到 CNN,通过 CNN 得到一些序列,然后吧这些序列再接入到 LSTM,文章说这么做会提高最后分类的准去率。

    代码实践

    语料及任务介绍

    训练的语料来自于大概 31 个新闻类别的新闻语料,但是其中有一些新闻数目比较少,所以取了数量比较多的前 20 个新闻类比的新闻语料,每篇新闻稿字数从几百到几千不等,任务就是训练合适的分类器然后将新闻分为不同类别:

    Bow

    Bow 对语料处理,得到 tokens set:

    def __get_all_tokens(self)\n """ get all tokens of the corpus ""\ fwrite = open(self.data_path.replace("all.csv","all_token.csv"), 'w') with open(self.data_path, "r") as fread\n i = \n # while True\n for line in fread.readlines(): try\n line_list = line.strip().split("\t"\n label = line_list[0\n self.labels.append(label\n text = line_list[1\n text_tokens = self.cut_doc_obj.run(text\n self.corpus.append(' '.join(text_tokens)\n self.dictionary.add_documents([text_tokens]\n fwrite.write(label+"\t"+"\\".join(text_tokens)+"\n"\n i+=\n except BaseException as e\n msg = traceback.format_exc() print msg print "=====>Read Done<======\ brea\n self.token_len = self.dictionary.__len__()

    print "all token len "+ str(self.token_len\n self.num_data = \n fwrite.close()

    然后,tokens set 以频率阈值进行滤除,然后对每篇文章做处理来进行向量化:

    def __filter_tokens(self, threshold_num=10)\n small_freq_ids = [tokenid for tokenid, docfreq in self.dictionary.dfs.items() if docfreq < threshold_num \n self.dictionary.filter_tokens(small_freq_ids\n self.dictionarypactify()def vec(self)\n """ vec: get a vec representation of bow ""\ self.__get_all_tokens()

    print "before filter, the tokens len: {0}".format(self.dictionary.__len__()\n self.__filter_tokens()

    print "After filter, the tokens len: {0}".format(self.dictionary.__len__()\n self.bow = []

    for file_token in self.corpus\n file_bow = self.dictionary.doc2bow(file_token\n self.bow.append(file_bow) # write the bow vec into a fil\n bow_vec_file = open(self.data_path.replace("all.csv","bow_vec.pl"), 'wb'\n pickle.dump(self.bow,bow_vec_file\n bow_vec_file.close(\n bow_label_file = open(self.data_path.replace("all.csv","bow_label.pl"), 'wb'\n pickle.dump(self.labels,bow_label_file\n bow_label_file.close()

    最终得到了每篇文章的 bow 的向量,由于这块的代码是在我的笔记本电脑上运行的,直接跑占用内存太大,因为每一篇文章在 token set 中的表示是极其稀疏的,因此我们可以选择将其转为 csr 表示,然后进行模型训练,转为 csr 并保存中间结果代码如下:

    def to_csr(self)\n self.bow = pickle.load(open(self.data_path.replace("all.csv","bow_vec.pl"), 'rb')\n self.labels = pickle.load(open(self.data_path.replace("all.csv","bow_label.pl"), 'rb')\n data = [\n rows = [\n cols = [\n line_count = \n for line in self.bow:

    for elem in line\n rows.append(line_count\n cols.append(elem[0]\n data.append(elem[1]\n line_count += \n print "dictionary shape ({0},{1})".format(line_count, self.dictionary.__len__()\n bow_sparse_matrix = csr_matrix((data,(rows,cols)), shape=[line_count, self.dictionary.__len__()])

    print "bow_sparse matrix shape: \ print bow_sparse_matrix.shape # rarray=np.random.random(size=line_count\n self.train_set, self.test_set, self.train_tag, self.test_tag = train_test_split(bow_sparse_matrix, self.labels, test_size=0.2)

    print "train set shape: \ print self.train_set.shap\n train_set_file = open(self.data_path.replace("all.csv","bow_train_set.pl"), 'wb'\n pickle.dump(self.train_set,train_set_file\n train_tag_file = open(self.data_path.replace("all.csv","bow_train_tag.pl"), 'wb'\n pickle.dump(self.train_tag,train_tag_file\n test_set_file = open(self.data_path.replace("all.csv","bow_test_set.pl"), 'wb'\n pickle.dump(self.test_set,test_set_file\n test_tag_file = open(self.data_path.replace("all.csv","bow_test_tag.pl"), 'wb'\n pickle.dump(self.test_tag,test_tag_file)

    最后训练模型代码如下:

    def train(self)\n print "Beigin to Train the model\ lr_model = LogisticRegression(\n lr_model.fit(self.train_set, self.train_tag)

    print "End Now, and evalution the model with test dataset\ # print "mean accuracy: {0}".format(lr_model.score(self.test_set, self.test_tag)\n y_pred = lr_model.predict(self.test_set)

    print classification_report(self.test_tag, y_pred)

    print confusion_matrix(self.test_tag, y_pred)

    print "save the trained model to lr_model.pl\ joblib.dump(lr_model, self.data_path.replace("all.csv","bow_lr_model.pl"))

    TF-IDF 和 Bow 的操作十分类似,只是在向量化使使用 tf-idf 的方法:

    def vec(self)\n """ vec: get a vec representation of bo\n ""\ self.__get_all_tokens()

    print "before filter, the tokens len: {0}".format(self.dictionary.__len__()\n vectorizer = CountVectorizer(min_df=1e-5\n transformer = TfidfTransformer() # sparse matri\n self.tfidf = transformer.fit_transform(vectorizer.fit_transform(self.corpus)\n words = vectorizer.get_feature_names()

    print "word len: {0}".format(len(words)) # print self.tfidf[0\n print "tfidf shape ({0},{1})".format(self.tfidf.shape[0], self.tfidf.shape[1])

    # write the tfidf vec into a fil\n tfidf_vec_file = open(self.data_path.replace("all.csv","tfidf_vec.pl"), 'wb'\n pickle.dump(self.tfidf,tfidf_vec_file\n tfidf_vec_file.close(\n tfidf_label_file = open(self.data_path.replace("all.csv","tfidf_label.pl"), 'wb'\n pickle.dump(self.labels,tfidf_label_file\n tfidf_label_file.close()

    这两类方法效果都不错,都能达到 98+% 的准确率。

    CNN

    语料处理的方法和传统的差不多,分词之后,使用 pretrain 的 word2vec。在这里我遇到一个坑,我一开始对自己的分词太自信了,最后模型一直不能收敛,后来向我们组博士请教,极有可能是由于分词的词序列中很多在 pretrained word2vec 里面是不存在的,而我这部分直接丢弃了,所有可能存在问题,分词添加了词典。然后,我对于 pre-trained word2vec 不存在的词做了一个随机初始化,然后就能收敛了,学习了!

    载入 word2vec 模型和构建 CNN 网络代码如下(增加了一些 bn 和 dropout 的手段):

    def gen_embedding_matrix(self, load4file=True)\n """ gen_embedding_matrix: generate the embedding matrix ""\ if load4file\n self.__get_all_tokens_v2()

    else\n self.__get_all_tokens()

    print "before filter, the tokens len: {0}".format\n self.dictionary.__len__()\n self.__filter_tokens()

    print "after filter, the tokens len: {0}".format\n self.dictionary.__len__()\n self.sequence = []

    for file_token in self.corpus\n temp_sequence = [x for x, y in self.dictionary.doc2bow(file_token)] print temp_sequenc\n self.sequence.append(temp_sequence\\n self.corpus_size = len(self.dictionary.token2id\n self.embedding_matrix = np.zeros((self.corpus_size, EMBEDDING_DIM)) print "corpus size: {0}".format(len(self.dictionary.token2id)) for key, v in self.dictionary.token2id.items()\n key_vec = self.w2vec.get(key)

    if key_vec is not None\n self.embedding_matrix[v] = key_vec

    else\n self.embedding_matrix[v] = np.random.rand(EMBEDDING_DIM) - 0.\n print "embedding_matrix len {0}".format(len(self.embedding_matrix))def __build_network(self)\n embedding_layer = Embedding\n self.corpus_size\n EMBEDDING_DIM\n weights=[self.embedding_matrix]\n input_length=MAX_SEQUENCE_LENGTH\n trainable=False) # train a 1D convnet with global maxpoolin\n sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH, ), dtype='int32'\n embedded_sequences = embedding_layer(sequence_input\n x = Convolution1D(128, 5)(embedded_sequences\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(5)(x\n x = Convolution1D(128, 5)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(5)(x)

    print "before 256", x.get_shape(\n x = Convolution1D(128, 5)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = MaxPooling1D(15)(x\n x = Flatten()(x\\n x = Dense(128)(x\n x = BatchNormalization()(x\n x = Activation('relu')(x\n x = Dropout(0.5)(x)

    print x.get_shape(\n preds = Dense(self.class_num, activation='softmax')(x)

    print preds.get_shape(\n adam = Adam(lr=0.0001\n self.model = Model(sequence_input, preds\n self.modelpile\n loss='categorical_crossentropy', optimizer=adam, metrics=['acc'])

    另外一种网络结构,韩国人那篇文章,网络构造如下:

    def __build_network(self):

    LSTM

    由于我们的任务是对文章进行分类,序列太长,直接接 LSTM 后直接爆内存,所以我在文章序列直接,接了两层 Conv1D+MaxPool1D 来提取维度较低的向量表示然后接入 LSTM。网络结构代码如下:

    def __build_network(self)\n embedding_layer = Embedding\n self.corpus_size\n EMBEDDING_DIM\n weights=[self.embedding_matrix]\n input_length=MAX_SEQUENCE_LENGTH\n trainable=False) # train a 1D convnet with global maxpoolin\n sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH, ), dtype='int32'\n embedded_sequences = embedding_layer(sequence_input\n x = Convolution1D\n self.num_filters, 5, activation="relu")(embedded_sequences\n x = MaxPooling1D(5)(x\n x = Convolution1D(self.num_filters, 5, activation="relu")(x\n x = MaxPooling1D(5)(x\n x = LSTM(64, dropout_W=0.2, dropout_U=0.2)(x\n preds = Dense(self.class_num, activation='softmax')(x)

    print preds.get_shape(\n rmsprop = RMSprop(lr=0.01\n self.model = Model(sequence_input, preds\n self.modelpile\n loss='categorical_crossentropy'\n optimizer=rmsprop\n metrics=['acc'])

    CNN结果:

    C-LSTM 结果:

    整个实验的结果由于深度学习这部分都是在公司资源上运行的,没有真正意义上地去做一些 trick 来调参来提高性能,这里所有的代码的网络配置包括参数都仅供参考,更深地工作需要耗费更多的时间来做参数的优化。

    PS: 这里发现了一个 keras 1.2.2 的 bug,在写回调函数 TensorBoard,当 histogram_freq=1 时,显卡占用明显增多,M40 的 24g 不够用,个人感觉应该是一个 bug,但是考虑到 1.2.2 而非 2.0,可能后面 2.0 都优化了。

    所有的代码都在 github 上:tensorflow-101/nlp/text_classifier/scripts

    总结和展望

    在本文的实验效果中,虽然基于深度学习的方法和传统方法相比没有什么优势,可能原因有几个方面:

    Pretrained Word2vec Model 并没有覆盖新闻中切分出来的词,而且比例还挺高,如果能用网络新闻语料训练出一个比较精准的 Pretrained Word2vec,效果应该会有很大的提升;

    可以增加模型训练收敛的 tric...

  • ?

    从文本处理到自动驾驶:机器学习最常用的50大免费数据集

    夜南

    展开

    机器学习领域里有哪些开放数据集?Gengo 近日发布了一份高质量免费数据集列表,其搜索范围不仅包含内容广泛(如 Kaggle),也包括高度特化的(如自动驾驶汽车专用数据集)数据集种类。

    首先,在选择数据集时要记住几个重要标准:

    数据集不能是混乱的,因为你不希望花费大量时间整理数据。数据集不应该有过多的行或者列,这样才能容易处理。数据越干净越好——清理大型数据集可能会非常耗时。该数据集可以用于回答一些有趣的问题。

    这样的话,让我们看看能找到点什么?

    查找数据集

    Kaggle:一个数据科学竞赛网站,其中包含大量外部贡献的有趣数据集。你可以在它长长的列表中(https://kaggle/datasets)找到各种小众数据集,从拉面的评分、篮球数据,到西雅图的宠物牌照。

    UCI Machine Learning Repository:它是网络中最古老的数据集源之一,是寻找各种有趣数据集的第一选择。在这里,尽管数据集都是用户自行贡献的,但清洁程度仍然很高。此外,你可以直接从 UCI Machine Learning Repository 上下载数据,无需注册。

    通用数据集

    公共政府数据集

    Data.gov:这个网站可以从多个美国政府机构下载数据,从政府预算到学校成绩。不过要注意:其中的大部分数据需要进一步研究。

    链接:https://data.gov/

    Food Environment Atlas:包含有关本地食物选择如何影响美国饮食习惯的数据。

    链接:https://catalog.data.gov/dataset/food-environment-atlas-f4a22

    School system finances:美国学校系统财务状况调查。

    链接:https://catalog.data.gov/dataset/annual-survey-of-school-system-finances

    Chronic disease data:美国各地慢性病指标数据。

    链接:https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9

    The US National Center for Education Statistics:美国和世界各地教育机构和教育人口统计数据。

    链接:https://nces.ed.gov/

    The UK Data Centre:英国最大的社会、经济和人口数据收集。

    链接:https://ukdataservice.ac.uk/

    Data USA:美国公共数据的全面可视化。

    链接:http://datausa.io/

    金融类

    Quandl:很好的财经数据来源——有助于建立预测经济指标或股票价格的模型。

    链接:https://quandl/

    World Bank Open Data:涵盖人口统计和世界各地大量经济和发展指标的数据集。

    链接:https://data.worldbank.org/

    IMF Data:国际货币基金组织公布有关国际金融、债务利率、外汇储备、商品价格和投资的数据。

    链接:https://imf.org/en/Data

    Financial Times Market Data:世界金融市场的最新信息,包括股票价格指数、商品和外汇。

    链接:https://markets.ft/data/

    Google Trends:观察和分析有关互联网搜索活动和世界各地新闻故事趋势的数据。

    链接:http://google/trends?q=google&ctab=0&geo=all&date=all&sort=0

    AmericanEconomic Association (AEA):寻找美国宏观经济数据的来源。

    链接:https://aeaweb.org/resources/data/us-macro-regional

    机器学习数据集

    图像

    Labelme:注释图像的大数据集。

    链接:http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php

    ImageNet:著名的 ImageNet,由斯坦福大学教授李飞飞等人发起,它是面向新算法的真实图像数据集。根据 WordNet 层次结构来组织,其中层次结构的每个节点都由成百上千个图像来描述。

    链接:http://image-net.org/

    LSUN:场景理解和许多辅助任务(房间布局估计、显著性预测等)。

    链接:http://lsun.cs.princeton.edu/2016/

    MS COCO:ImageNet 之外另一个常用的图像数据集,包含通用图像理解和注释。

    链接:http://cocodataset.org/

    COIL100:100 个不同的物体在 360°旋转中以每个角度成像。

    链接:http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php

    Visual Genome:非常详细的视觉知识库,配有约 100K 个图像的注释。

    链接:http://visualgenome.org/

    Google's Open Images:Creative Commons 下的 900 万个图片的网址集合,「已经标注了跨越 6000 多个类别的标签」。

    链接:https://research.googleblog/2016/09/introducing-open-images-dataset.html

    Labelled Faces in the Wild:13000 张贴有标签的人脸图像,用于开发涉及人脸识别的应用。

    链接:http://vis-cs.umass.edu/lfw/

    Stanford Dogs Dataset:包含 20580 个图像和 120 个不同品种的狗类别。

    链接:http://vision.stanford.edu/aditya86/ImageNetDogs/

    Indoor Scene Recognition:非常具体的数据集,适用于大多数场景识别模型,因为后者在「外部」表现更好。包含 67 个室内类别,总共 15620 个图像。

    链接:http://web.mit.edu/torralba/www/indoor.html

    情感分析

    Multidomain Sentiment analysis dataset:有点旧的一个数据集,以亚马逊的产品评论为特色。

    链接:http://cs.jhu.edu/~mdredze/datasets/sentiment/

    IMDB reviews:用于二进制情感分类的较旧的、相对较小的数据集,具有 25000 个电影评论。

    链接:http://ai.stanford.edu/~amaas/data/sentiment/

    Stanford Sentiment Treebank:带有情感注释的标准情感数据集。

    链接:https://nlp.stanford.edu/sentiment/code.html

    Sentiment140:一个流行的数据集,使用 16 万条预先删除表情符号的推文

    链接:http://help.sentiment140/for-students/

    Twitter US Airline Sentiment:2015 年 2 月以来美国航空公司的推特数据,分为正面、负面和中性。

    链接:https://kaggle/crowdflower/twitter-airline-sentiment

    自然语言处理

    Enron Dataset:Enron 公司高层管理人员的电子邮件数据,整理成文件夹。

    链接:https://cs.cmu.edu/~./enron/

    Amazon Reviews:包含来自亚马逊长达 18 年的约 3500 万条评论。数据包括产品和用户信息、评级和明文审查。

    链接:https://snap.stanford.edu/data/web-Amazon.html

    Google Books Ngrams:Google 书籍中的词汇集合。

    链接:https://aws.amazon/cn/datasets/google-books-ngrams/

    Blogger Corpus:从 blogger . com 收集的 681288 篇博客文章。每个博客至少包含 200 个常用英语单词。

    链接:http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm

    Wikipedia Links data:维基百科全文。数据集包含 400 多万篇文章中的近 19 亿字。你可以根据单词、短语或段落本身的一部分进行搜索。

    链接:https://code.google/p/wiki-links/downloads/list

    Gutenberg eBooks List:古腾堡计划电子书注释清单。

    链接:http://gutenberg.org/wiki/Gutenberg:Offline_Catalogs

    Hansards text chunks of Canadian Parliament:加拿大第 36 届国会记录 130 万对文本。

    链接:https://isi.edu/natural-language/download/hansard/

    Jeopardy:机智问答节目 Jeopardy 中存档的 20 多万个问题。

    链接:https://reddit/r/datasets/comments/1uyd0t/200000jeopardyquestionsinajsonfile/

    SMS Spam Collection in English:由 5574 条英文短信垃圾邮件组成的数据集

    链接:http://dt.fee.unicamp.br/~tiago/smsspamcollection/

    Yelp Reviews:Yelp 发布的开放数据集包含 500 多万条评论。

    链接:https://yelp/dataset

    UCI's Spambase:大型垃圾邮件数据集,可用于垃圾邮件过滤。

    链接:https://archive.ics.uci.edu/ml/datasets/Spamb (https://archive.ics.uci.edu/ml/datasets/Spambase)

    自动驾驶

    Berkeley DeepDrive BDD100k:目前最大的自动驾驶人工智能数据集。包含 100000 多段视频,内容涉及一天中不同时间和天气条件下 1100 多小时的驾驶体验。注释图像来自纽约和旧金山地区。

    链接:http://bdd-data.berkeley.edu/

    Baidu Apolloscapes:百度 Apollo 计划开放的大规模自动驾驶数据集。它定义了 26 个不同语义项目,如汽车、自行车、行人、建筑物、路灯等。

    链接:http://apolloscape.auto/

    Comma.ai:7 小时以上的公路行驶体验。详细信息包括车速、加速度、转向角和 GPS 坐标。

    链接:https://archive.org/details/comma-dataset

    Oxford's Robotic Car:一年内在英国牛津同一条路线重复 100 多次的行驶。数据集捕捉天气、交通和行人的不同组合,以及建筑和道路工程等长期变化。

    链接:http://robotcar-dataset.robots.ox.ac.uk/

    Cityscape Dataset:记录 50 个不同城市街道场景的大型数据集。

    链接:https://cityscapes-dataset/

    CSSAD Dataset:该数据集可用于自主车辆的感知和导航。数据集在发达国家的道路上出现严重偏差。

    链接:http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset

    KUL Belgium Traffic Sign Dataset:比利时佛兰德区数以千计截然不同的超过 10000 个的交通标志标注。

    链接:http://vision.ee.ethz.ch/~timofter/traffic_signs/

    MIT AGE Lab:在 AgeLab 收集的 1000 多个小时的多传感器驱动数据集样本。

    链接:http://lexfridman/carsync/

    LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets:此数据集包括交通标志、车辆检测、交通灯和轨迹模式。

    链接:http://cvrr.ucsd.edu/LISA/datasets.html

    如果你知道本文中有哪些漏掉的重要数据集,欢迎留言补充。

  • ?

    Scikit-Learn机器学习实践:垃圾短信识别

    皮惜芹

    展开

    欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定!

    机器学习与垃圾短信识别

    其实除了使用NLTK,我们还可以使用Scikit-Learn这个集成了诸多机器学习算法的模块进行上述的实验。

    Scikit-Learn的API设计非常合理和高效,对于初触机器学习的同学来说非常友好,值得大家尝试和使用。本人也经常在实验环境和工作环境中使用scikit-learn进行机器学习的建模。

    下面,我们就使用scikit-learn模块,通过其朴素贝叶斯算法API对短信数据进行一次垃圾短信的识别。

    首先,我们需要对原始的短信数据进行处理,导入pandas模块和jieba模块。

    pandas模块用于读取和处理数据,jieba模块用于对短信进行分词。

    接着,我们导入短信数据:

    查看一下部分短信数据:

    其中第一列为原始序号,第二列为短信的分类,0表示正常短信,1表示垃圾短信,第三列就是短信的正文。

    我们只需要关注第二和第三列。

    查看一下这个短信数据集的形状:

    一共有七十余万条短信。

    文本的分类,基本上是基于词袋模型,也就是一个文本中包含多少词以及各个词的频率。对于英文而已,其天生的句子空格可以很容易的分割单词出来,但是中文就得先进行分词处理,也就是将一个完整的中文分割为一个一个词。

    在Python中,有第三方模块——jieba,结巴分词来提供对中文的分词。

    我们使用jieba对短信的内容进行分词。

    得到的结果如下:

    我们需要分别提取出特征数据和目标数据,特征数据表示输入的数据,目标数据则是输入数据的属性,在这里,短信内容就是特征数据,短信的分类就是目标数据。

    X中都是特征数据,y中都是目标数据,便于下一步的分割训练集和测试集。

    使用sklearn的分割模块对训练集和测试集进行分割:

    从文本中提取特征,需要利用到scikit-learn中的CountVectorizer()方法和TfidfTransformer()方法。

    CountVectorizer()用于将文本从标量转换为向量,TfidfTransformer()则将向量文本转换为tf-idf矩阵。

    朴素贝叶斯是一个很经典同时准确率也很高的机器学习算法,用它来做分类器可以得到很好的效果。

    在scikit-learn中,每一个模型都会有一个fit()方法用来模型训练,有一个predict()方法用来模型预测,在此我们就传入了训练特征和训练目标进行了模型的训练。

    模型训练好之后,我们可以使用模型的predict()方法来测试与预测数据。

    在这之前,我们还得进行另外一步。

    因为之前对文本提取特征只是针对于训练集,测试集并没有进行,所以我先对测试集进行文本特征提取:

    再使用predict()方法进行预测:

    变量predicted_categories中包含的就是所有的预测结果。

    scikit-learn模块中内置了很多模型评估的方法,对于分类问题,我们可以使用accuracy_score()方法,其返回一个数值,得分最高为1。

    打印出来的结果显示:

    这个分类器的准确率达到了0.98,比上一次使用NLTK的贝叶斯算法高出了10%,很不错。

    可以打印部分测试的短信数据以及预测的结果来看:

    基本上正常短信和垃圾短信都被正确识别出来了。

    本文作者:天善智能社区 州的先生

  • ?

    通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题

    雷亦玉

    展开

    ACL 2017 Long Papers

    通过联合嵌入文本和行为信息来处理垃圾评论检测中的冷启动问题

    HandlingCold-Start Problem in Review Spam Detection by Jointly Embedding Texts andBehaviors

    中国科学院

    Chinese Academy of Sciences

    【摘要】解决垃圾评论检测中的冷启动问题是一项紧迫而重要的任务。它可以帮助在线评论网站及时减轻垃圾内容发送者的破坏,但从未被以前的工作研究过。本文提出了一种新的神经网络模型来检测垃圾评论的冷启动问题,并通过共同嵌入文本和行为信息来表示新评论者的评论。实验结果表明,该模型具有较好的性能,具有较好的领域适应性。它也适用于非监督方式的大规模数据集。

    1 引言

    随着网络产品评论数据的快速增长,人们在作出购买决定之前,习惯性地先阅读评论。评论通常包含消费者丰富的的个人经验。这显著影响了企业财务收益和业绩。现有研究表明,Yelp额外的半星评级导致餐馆更频繁地出售19%(Anderson和Magruder,2012年),Yelp的一星级增长导致收入增长了5-9%(Luca ,2011)。不幸的是,这种做法给予冒名顶替者(称为垃圾内容发送者)强大的动机来与系统进行游戏。他们发布假评论或意见(称为垃圾评论)来宣传或抹黑某些有针对性的产品和服务。来自英国广播公司BBC的消息显示,约25%的Yelp评论可能是假的。因此,检测垃圾评论是非常迫切的,以确保在线评论继续受到信赖。

    Jindal和Liu(2008)做出了检测垃圾评论的第一步。大多数努力致力于通过后续工作来探索有效的语言和行为特征,以区分这种垃圾评论与真实的评论。然而,为了注意这种模式或形成行为特征,开发人员应该花费很长时间来观察数据,因为这些特征是基于统计数据的。例如,Mukherjee等人(2013c)提出的特征“活动窗口”是衡量评论者的活动新鲜度。通常需要几个月的时间才能计算出评论者的最后和第一次评论之间的时间戳差异。当最终形成特征时,可能已经形成了一些重大损失。因此,重要的是设计一个可以在新评论者发布后尽快检测出垃圾评论的算法。这是一个冷启动问题,这是本文的重点。

    在本文中,我们假设当新的评论者发表一个评论时,我们必须立即识别假评论。不幸的是,这是非常困难的,因为用于检测假评论的可用信息非常少。基于统计学的传统行为特征只能在频繁的用户行为上发挥作用。获得的行为信息越多,传统行为特征越有效(参见第3节中的实验)。在冷启动的情况下,新的评论者只有一个行为:发表评论。因此,我们无法从数据中获取有效的行为特征。虽然,评论的语言特征不需要花费很多时间来形成,Mukherjeeet al.(2013c)已经证明,语言特征在检测现实中商业网站假评论识别方面不够有效,我们也获得注意到了这一点(细节见第3节)。

    因此,冷启动垃圾评论问题的主要困难在于,新的评论者没有足够的行为来构建有效的行为特征。然而,现有评论员发表的丰富评论中有大量的文字和行为信息(图1)。我们可以使用现有的类似评论者的行为信息给新的评论者来近似模拟他的行为特征。我们认为,评论者的个人特征,如背景信息、动机和互动行为风格,对评论者的文字和行为信息有很大的影响。所以评论者的文本信息和行为信息是相互关联的(Li等人(2016)的类似论据)。例如,学校的学生可能会在暑假期间选择青年旅馆,并在评论中倾向于评论房价。但是,商务旅行中的金融分析师可能会选择商务酒店,环境和服务是他们在评论中关心的。

    为了在冷启动问题中增加新评论者的行为信息,我们首先尝试从现有评论中找到与新评论者类似的文本信息。有几种方法可以对垃圾评论的文本信息进行建模,如Unigram(Mukherjeeet al., 2013c),POS(Ott等,2011)和LIWC(语言查询和字数)(Newman et al., 2003)。我们采用CNN(卷积神经网络)对评论文本进行建模,已经证明它可以捕捉使用传统的离散人工特征难以表达的复杂全局语义信息(Ren andZhang,2016)。然后,我们采用与找到的文本信息相关的行为信息来近似模拟新评论者的行为信息。一个直观的方法是搜索最新的评论的最相似的现有评论,然后将发现的评论者的行为特征作为新的评论者的特征(详见5.3节)。然而,在评论图(图1)中存在着丰富的行为信息,传统的离散人工行为特征难以记录全局行为信息(Wang etal., 2016)。此外,由于在评论系统中没有明确的特征标签(第5.3节中的实验),传统特征无法捕捉评论者的个人特征。因此,我们提出了一种神经网络模型,将文本和行为信息共同编码成评论向量,用于解决垃圾评论检测的冷启动问题。通过对评论图结构进行编码(图1),所提出的模型可以以无监督的方式记录现有评论者的全局行为,并进一步记录评论者潜在的特征信息。这种联合学习的评论表示可以对评论者的文本和行为信息的相关性建模。当新的评论者发表评论时,提出的模型可以利用编码了类似文本信息和相关行为信息的词向量来表示该条评论。最后,将新评论者的词向量输入分类器,以确定它是否是垃圾评论。

    图1 Yelp的简化评论局部图

    总的来说,我们的主要贡献包括:

    据我们所知,这是首次在垃圾评论检测中探讨冷启动问题的工作。我们定性和定量地证明了传统的语言和行为特征在检测冷启动任务的垃圾评论方面是不够有效的。我们提出了一个神经网络模型,将文本和行为信息共同编码为冷启动垃圾评论检测任务的词向量输入。它是一种无监督的分布式表示模型,可以从大规模的未标记的审查数据中学习。两个领域(酒店和餐厅)的实验结果有效地验证了提出模型在冷启动垃圾评论检测任务中的有效性。

    2 相关工作

    和Liu(2008)做出了检测垃圾评论的第一步。随后的工作致力于探索有效特征和垃圾评论发送者的线索。

    语言特征: Ott et al.(2011)应用心理和语言学线索来识别垃圾评论;Harris(2012)探讨了几种写作风格的特征。Feng等人(2012a)研究了用于审查垃圾评论检测的句法文体;Xu andZhao (2012) 使用深层语言特征来发现欺骗性垃圾评论; Li et al.(2013) 研究了垃圾评论中的主题;Li et al.(2014b)进一步分析了语言用法的一般差异。Fornaciari和Poesio(2014)证明了N-gram在检测欺骗性亚马逊书评中的有效性。Cagnina和Rosso(2015)也探讨了N-gram的有效性。 Li et al.(2014a)提出了基于一元和二元文法的积极的无标签学习方法; Kim等人(2015)设计了一种深度语义分析框架。Hai et al.(2016)利用多重垃圾评论检测任务和可用的未标记数据的相关性,通过使用语言特征来解决垃圾评论标注数据的稀缺性。此外,(Ren和Zhang,2016)证明CNN模型比RNN和传统的离散人工语言特征更为有效。Hovy(2016)使用N-gram生成模型来生成评论并评估其有效性。

    行为特征: Lim et al.(2010)分析了评论者评级的行为特征;Jindal等(2010)识别了异常评论模式,它可以代表评论中的可疑行为; Li et al.(2011)提出了一种基于行为特征的双视点半训练共同训练方法。Feng等(2012b)研究垃圾评论发送者个人行为的分布情况。Mukherjee等人(2012) 研究了垃圾评论发送者的行为特征。 Xieet al. (2012), Fei et al. (2013)等人对垃圾评论发送者的时间模式进行了调查。Li et al. (2015) 探讨了时间和空间模式。Wang etal. (2011), Akoglu et al. (2013) 对该评价图进行了分析。Mukherjee等人(2013a)研究了评论流行度。 Mukherjeeet al. (2013c)和Mukherjee et al. (2013b)证明,评论者的行为特征比垃圾评论检测的语言特征更有效。基于这一结论,最近研究人员(Rayana和Akoglu,2015; KC和Mukherjee,2016)已经更加努力地采用评论者的行为特征来检测垃圾评论,其目的是捕捉评论者的行为,并假定那些与垃圾评论发布者行为类似的评论将是垃圾评论。Wang etal. (2016) 探索了一种通过全局行为信息学习评论表征的方法。Viviani和Pasi(2017)聚焦在每个单一真实特征的聚合过程上。

    3 传统特征是否是有效

    因为新评论者只发表了一个评论,而我们必须立即确定其是否是垃圾评论发布者,冷启动任务面临的主要挑战是,有关新评论者的现有信息非常差。新评论者只为我们提供一个评论记录。对于基于统计数据的大多数传统特征,它们不能自己形成且没有任何意义,例如在周末写的评论的百分比(Li et al.,2015)、用户评论的评级分布熵(Rayana和Akoglu,2015年)。为了研究传统特征在冷启动任务中是否有效,我们对Mukherjee等人(2013c)的Yelp数据集进行了实验。我们在2012年1月1日之前发布的现有评论中训练了具有不同功能的SVM模型,并对2012年1月1日以后新评论者发布的新评论进行了测试。结果如表1所示。

    表1 跨语言特征的SVM分类结果(LF,二元文法(Mukherjee等,2013b)),行为特征(BF:RL,RD,M-CS(Mukherjee et al., 2013b))和行为信息丰富的行为特征(BF:RL, RD, M- CS)。训练和测试都使用平衡数据(50:50)。

    3.1 语言特征表现不佳

    语言特征不需要花太多时间形成。但是Mukherjee等人(2013c)已经证明,与人群资料数据集的表现相比,语言特征在检测现实中商业网站的虚假评论方面不够有效(Ott等,2011)。他们表明,二元文法比其他语言特征表现得更好,如LIWC(Newman etal., 2003; Pennebaker et al., 2007),局部语音序列模式(Mukherjee和Liu,2010),深层语法(Feng etal., 2012a),信息增益(Mukherjee et al., 2013c)等。所以,我们用二元文法特征来进行实验。如表1(a, b)第1行所示,二元文法在酒店和餐厅领域的精确度仅为55%左右。这表明最有效的传统语言特征(即二元文法)无法在冷启动任务中有效检测垃圾评论

    3.2行为信息仅在丰富信息情况下表现良好

    由于没有足够的有关新评论者的可用信息,对于基于统计机制的大多数传统行为特征,他们无法形成且没有任何意义。我们调查了以前的工作,发现有三个行为特征可以应用于冷启动任务。它们由Mukherjee等人提出(2013b),即1.Reviewlength(RL):新评论者发表的新评论的长度; 2.审查人员偏离(RD):新评论者对同一业务的其他评论的评估的绝对评级偏差; 3.最大内容相似度(MCS):新评论者的评论与同一业务的其他评论之间的最大内容相似度(使用余弦相似度)。

    表1(a,b)第2行示出了通过组合二进制特征和上述三个行为特征的实验结果。与仅使用二元文法相比,行为特征使酒店领域的准确性提高了5%左右(餐厅领域的2.7%)。精度有所提高,但平均只有近60%。这表明传统特征对于行为信息匮乏情况不够有效。此外,行为特征导致F1-score下降约4.6%,酒店和餐厅领域的召回率减少约19%。显然,与仅使用二元文法比较,行为特征存在更多的垃圾评论识别错误。它进一步表明,传统的行为特征歧视被匮乏的行为信息削弱。

    进一步,我们使用大量行为信息进行的三个行为特征实验。当新评论者在几周后继续发布更多评论时,他们的行为信息就会变得更多。然后与冷启动时期匮乏的行为信息相比,评论系统可以获得足够的数据来提取行为特征。因此,与表1(a)第2行的结果相比,信息丰富的行为特征在酒店领域的准确性(6.4%)显著提高(表1(a)第3行)。但在餐厅领域只有0.6%。根据数据集的统计,我们发现新评论者在酒店领域第一次发布后平均发布了约54.4条评论,但平均而言,餐厅领域的新评论者平均只有10条评论。在酒店领域添加的行为信息比餐厅领域更丰富。这表明:

    传统的行为特征只能在行为信息丰富的情况下发挥作用;获取越多的行为信息,传统行为特征越有效。

    图2 模型图

    4 模型

    在冷启动任务中检测垃圾评论的难度在于新评论者的可用行为信息非常少。新评论者刚刚发布了一个评论,我们必须立即过滤,然而并没有任何历史评论提供给我们。正如我们所说,评论者的文本信息和行为信息是相互关联的。因此,为了增加新评论者的行为信息,我们尝试从现有评论中找到与新评论者类似的文本信息。然后我们将与发现的文本信息相关的行为信息作为新评论者最可能的行为信息。为此,我们提出了一种神经网络模型,将文本和行为信息共同编码到成冷启动的垃圾评论检测的输入词向量(如图2所示)。当新的评论者发表评论时,神经网络可以用类似的文本信息和词向量中编码的相关行为信息来表示评论。最后,将新评论的特征表示输入分类器,以确定它是否是垃圾评论。

    4.1 行为信息编码

    图1是从Yelp网站简化的局部评论图。如图所示,评论图包含现有评论者的全局行为信息(足迹)。由于垃圾评论发送者和真实评论者的动机是完全不同的,所以他们行为信息的分布是不同的(Mukherjeeet al., 2013a)。有些企业(甚至是高信誉的)支付给佣金进行虚假评论,以促进他们的产品/服务和/或诋毁他们的竞争对手(Liu, 2015)。因此,垃圾评论发送者的行为足迹是由企业的需求决定的。但真正的评论者只会对他们实际遇到的产品或服务发表评论。他们的行为足迹受到自身特点的影响。前人从这些行为信息中提取评论者的行为特征。但是,新评论在冷启动任务中是不切实é™...

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。