- ?
书客富文本编辑器
Gytha
展开
书客编辑器一、简介
书客编辑器是一款基于Makedown标记语言的富文本编辑器,简易界面设置,强大的操作功能,适用于几乎所有写作平台。
二、安装使用
书客编辑器安装和使用过程相当简洁,只需要简单的四步就可以完成。
1、导入文件
首先要下载相应的文件。
下载书客编辑器Web版文件,找到文件夹中ibookereditor文件,将其导入到你项目的根目录。
下载地址:
书客编辑器官网:http://editor.ibooker.cc/editor/download
Github地址:https://github/zrunker/ibookerEditorWeb
2、添加布局
需要在body体内添加以上代码。
3、引入CSS样式
在head体引入以上CSS样式。
4、引入JS文件
最后引入以上JS文件,这样书客编辑器就引入到你的项目当中了。
运行结果样式如下:
书客编辑器界面图三、常用属性设置
以下是对常用的一些属性进行初始化:通过JS动态操作。
window.onload = function() {
// 初始化书客编辑器
ibookerEditor.setIbookerEditorOptions({
isOpenPreview : true, // 否开启预览 true/false
isHeightFullClient : true, // 编辑器高度是否充满浏览器 true/false
compileBack : function() { // 预览回调方法 function
// 获取输入值转义后的Html
var htmlValue = ibookerEditor.sdConverter.getHtml();
},
editorWidth : "100%", // 编辑器的宽度 - 可以设置数字或者百分百
editorHeight : "100%", // 编辑器的高度 - 可以设置数字或者百分百
bindTextAreaId : "editor_content", // 绑定输入框ID,默认editor_content
bindPreviewId : "editor_preview", // 绑定预览框ID,默认editor_preview
isOpenBoldEvent : true, // 是否开启粗体事件true/false,默认true
isOpenItalicEvent : true, // 是否开启斜体事件true/false,默认true
isOpenUnderlineEvent : true, // 是否开启下划线事件true/false,默认true
isOpenCapitalsEvent : true, // 是否开启单词首字母大写事件true/flase,默认true
isOpenUppercaseEvent : true, // 是否开启单词转大写事件true/false,默认true
isOpenLowercaseEvent : true, // 是否开启单词转小写事件true/false,默认true
isOpenH1Event : true, // 是否开启一级标题事件true/false,默认true
isOpenH2Event : true, // 是否开启二级标题事件true/false,默认true
isOpenH3Event : true, // 是否开启三级标题事件true/false,默认true
isOpenH4Event : true, // 是否开启四级标题事件true/false,默认true
isOpenH5Event : true, // 是否开启五级标题事件true/false,默认true
isOpenH6Event : true, // 是否开启六级标题事件true/false,默认true
isOpenLinkEvent : true, // 是否开启链接事件true/false,默认true
isOpenQuoteEvent : true, // 是否开启引用事件true/false,默认true
isOpenCodeEvent : true, // 是否开启代码事件true/false,默认true
isOpenImgEvent : true, // 是否开启图片事件true/false,默认true
isOpenOlEvent : true, // 是否开启数字列表事件true/false,默认true
isOpenUlEvent : true, // 是否开启普通列表事件true/false,默认true
isOpenUnselectedEvent : true, // 是否开启列表未选中事件true/false,默认true
isOpenSelectedEvent : true, // 是否开启列表选中事件true/false,默认true
isOpenTableEvent : true, // 是否开启表格事件true/false,默认true
isOpenHtmlEvent : true, // 是否开启Html事件true/false,默认true
isOpenHrEvent : true, // 是否开启分割线事件true/false,默认true
isOpenUndoEvent : true, // 是否开启撤销事件true/false,默认true
isOpenRedoEvent : true, // 是否开启重做事件true/false,默认true
isOpenHelpEvent : true, // 是否开启帮助事件true/false,默认true
isOpenPreviewEvent : true, // 是否开启预览模式事件true/false,默认true
isOpenLiveEvent : true, // 是否开启实况模式事件true/false,默认true
isOpenEditEvent : true, // 是否开启编辑模式事件true/false,默认true
isOpenZenEvent : true // 是否开启全屏事件true/false,默认true
});
};
四、其他属性设置
其他属性主要是针对于,书客编辑器顶部工具栏而设置的。
1、预览相关事件
手动预览
var textArea = document.getElementById("editor_content");
var html = ibookerEditor.sdConverter.converToHtml(textArea.value);
document.getElementById("editor_preview").innerHTML = html;
获取Html
var html = ibookerEditor.sdConverter.getHtml();
2、粗体事件
// 设置粗体事件属性
ibookerEditor.setBoldOptions({
boldEvent : function () {
alert("自定义粗体事件处理方法");
},
addEventBefore : function () {
alert("粗体事件之前执行方法");
},
addEventAfter : function () {
alert("粗体事件之后执行方法");
}
});
3、斜体事件
// 设置斜体事件属性
ibookerEditor.setItalicOptions({
italicEvent : function () {
alert("定义斜体事件处理方法");
},
addEventBefore : function () {
alert("斜体事件之前执行方法");
},
addEventAfter : function () {
alert("斜体事件之后执行方法");
}
});
4、删除线事件
// 设置删除线事件属性
ibookerEditor.setStrikeoutOptions({
strikeoutEvent : function () {
alert("定义删除线事件处理方法");
},
addEventBefore : function () {
alert("删除线事件之前执行方法");
},
addEventAfter : function () {
alert("删除线事件之后执行方法");
}
});
5、下划线事件
// 设置下划线事件属性
ibookerEditor.setUnderlineOptions({
underlineEvent : function () {
alert("定义下划线事件处理方法");
},
addEventBefore : function () {
alert("下划线事件之前执行方法");
},
addEventAfter : function () {
alert("下划线事件之后执行方法");
}
});
6、单词首字母大写事件
// 设置单词首字母大写事件属性
ibookerEditor.setCapitalsOptions({
capitalsEvent : function () {
alert("定义单词首字母大写事件处理方法");
},
addEventBefore : function () {
alert("单词首字母大写事件之前执行方法");
},
addEventAfter : function () {
alert("单词首字母大写事件之后执行方法");
}
});
7、单词转大写事件
// 设置单词转大写事件属性
ibookerEditor.setUppercaseOptions({
uppercaseEvent : function () {
alert("定义单词转大写事件处理方法");
},
addEventBefore : function () {
alert("单词转大写事件之前执行方法");
},
addEventAfter : function () {
alert("单词转大写事件之后执行方法");
}
});
8、单词转小写事件
// 设置单词转小写事件属性
ibookerEditor.setLowercaseOptions({
lowercaseEvent : function () {
alert("定义单词转小写事件处理方法");
},
addEventBefore : function () {
alert("单词转小写事件之前执行方法");
},
addEventAfter : function () {
alert("单词转小写事件之后执行方法");
}
});
9、一级标题事件
// 设置一级标题事件属性
ibookerEditor.setH1Options({
h1Event : function () {
alert("定义一级标题事件处理方法");
},
addEventBefore : function () {
alert("一级标题事件之前执行方法");
},
addEventAfter : function () {
alert("一级标题事件之后执行方法");
}
});
10、二级标题事件
// 设置二级标题事件属性
ibookerEditor.setH2Options({
h2Event : function () {
alert("定义二级标题事件处理方法");
},
addEventBefore : function () {
alert("二级标题事件之前执行方法");
},
addEventAfter : function () {
alert("二级标题事件之后执行方法");
}
});
11、三级标题事件
// 设置三级标题事件属性
ibookerEditor.setH3Options({
h3Event : function () {
alert("定义三级标题事件处理方法");
},
addEventBefore : function () {
alert("三级标题事件之前执行方法");
},
addEventAfter : function () {
alert("三级标题事件之后执行方法");
}
});
12、四级标题事件
// 设置四级标题事件属性
ibookerEditor.setH4Options({
h4Event : function () {
alert("定义四级标题事件处理方法");
},
addEventBefore : function () {
alert("四级标题事件之前执行方法");
},
addEventAfter : function () {
alert("四级标题事件之后执行方法");
}
});
13、五级标题事件
// 设置五级标题事件属性
ibookerEditor.setH5Options({
h5Event : function () {
alert("定义五级标题事件处理方法");
},
addEventBefore : function () {
alert("五级标题事件之前执行方法");
},
addEventAfter : function () {
alert("五级标题事件之后执行方法");
}
});
14、六级标题事件
// 设置六级标题事件属性
ibookerEditor.setH6Options({
h6Event : function () {
alert("定义六级标题事件处理方法");
},
addEventBefore : function () {
alert("六级标题事件之前执行方法");
},
addEventAfter : function () {
alert("六级标题事件之后执行方法");
}
});
15、链接事件
// 设置链接事件属性
ibookerEditor.setLinkOptions({
linkEvent : function () {
alert("定义链接事件处理方法");
},
addEventBefore : function () {
alert("链接事件之前执行方法");
},
addEventAfter : function () {
alert("链接事件之后执行方法");
}
});
16、引用事件
// 设置引用事件属性
ibookerEditor.setQuoteOptions({
quoteEvent : function () {
alert("定义引用事件处理方法");
},
addEventBefore : function () {
alert("引用事件之前执行方法");
},
addEventAfter : function () {
alert("引用事件之后执行方法");
}
});
17、代码事件
// 设置代码事件属性
ibookerEditor.setCodeOptions({
codeEvent : function () {
alert("定义代码事件处理方法");
},
addEventBefore : function () {
alert("代码事件之前执行方法");
},
addEventAfter : function () {
alert("代码事件之后执行方法");
}
});
18、图片事件
// 设置图片事件属性
ibookerEditor.setImgOptions({
imgEvent : function () {
alert("定义图片事件处理方法");
},
addEventBefore : function () {
alert("图片事件之前执行方法");
},
addEventAfter : function () {
alert("图片事件之后执行方法");
}
});
19、数字列表
// 设置数字列表事件属性
ibookerEditor.setOlOptions({
olEvent : function () {
alert("定义数字列表事件处理方法");
},
addEventBefore : function () {
alert("数字列表事件之前执行方法");
},
<... - ?
腾讯提出用于文本匹配的多信道信息交叉模型,真实任务中表现优异
静芙
展开
来自腾讯 MIG 移动浏览产品部和阿尔伯塔大学的研究者提出一种用于文本匹配的新模型 MIX,这是一个多信道信息交叉模型,大大提升了文本匹配的准确率,在 QQ 浏览器搜索直达业务使用中也表现出了优秀的性能,相对提升点击率 5.7%。目前,这篇长论文已经被 KDD 2018 接收。
1 引言
短文本匹配在信息检索、问答、对话系统等自然语言处理任务中起着至关重要的作用。早期的文本匹配方法包括基于检索知识库的自动问答,以及基于词匹配和特征交叉(feature crossing)的 ad-hoc 检索 [17, 24]。然而,这些方法都依赖于手动定义的模板和规则,限制了调整良好的模型的泛化能力及其面向不同任务需求的可移植性。近年来深度神经网络模型的发展为提高自然语言处理能力带来了新的机遇。通过减少对人工特征工程的需求,深度网络模型可以更好地泛化,处理多种任务。近年来,研究者提出大量基于卷积神经网络和循环神经网络的深度网络结构,用于短文本匹配 [2, 3, 6, 7, 9, 11–15, 19–21, 23]。
本文对近年来出现的大量文本匹配深度学习技术进行了现实检验,发现尽管各种深度网络模型都有创新之处,但在实际应用中,尤其是在深度模型与语言结构和语义特征分析相结合的情况下,这些模型仍有很大的改进空间。本论文作者设计了一个多信道信息交叉模型(Multi-Channel Information Crossing,MIX),这是一个用于文本匹配的多信道卷积神经网络(CNN)模型,它在腾讯的线上流量中表现出了优秀的性能。
MIX 是 CNN 在多种粒度下的一种新型融合,并具有精心设计的注意力机制。MIX 的基本思想可以概括为:首先,MIX 使用在不同粒度下提取的特征来表征文本片段,这些特征是从实验观察到的与短语、词组、句法和语义、词频和权重,甚至语法信息相关的多个粒度中提取的,这是充分挖掘深层模型潜力的必要实践。文本匹配在多级特征上的组合会将深层架构表达所有级别的局部依赖性的能力最大化,并将卷积过程中的信息损失最小化。
其次,MIX 还提出了一种新型融合技术来组合来自多信道的匹配结果。MIX 中有两种类型的信道,两个文本片段的特征可以通过这些信道进行交互。其中一种是语义信息信道,它表示文本的意义,如一元分词、二元分词和三元分词。另一种信道包含 term 权重、词性和命名实体等结构信息以及交互的空间相关性。在 MIX 中,语义信息通道的作用是相似度匹配,而结构信息通道发挥注意力机制的作用。此外,MIX 使用 3D 卷积核来处理这些堆叠层,从多个信道提取抽象特征,并通过多层感知器来组合输出 [5]。信道组合机制使得 MIX 能够轻松地将新信道合并到其学习框架中,从而使 MIX 能够适用于广泛的任务。
研究者在腾讯的 Venus 分布式信息处理平台上实现并部署了 MIX,基于多个数据集和在腾讯 QQ 移动浏览器中的在线 A/B 测试对 MIX 进行了评估。在线评估部分中,研究者在英文问答数据集 WikiQA [25] 和一个从 QQ 移动浏览器收集的中文搜索结果数据集上测试了 MIX。WikiQA 是一个可公开访问的数据集,包含微软提供的开放域问答对。在 WikiQA 数据集上,MIX 在 NDCG@3 上的表现比多种当前最优方法至少高 11.1%,NDCG@3 是衡量排名质量的常用指标,在搜索引擎评估中被广泛采用。
另一个中文搜索结果数据集是在用户同意的情况下从腾讯 QQ 浏览器收集的,并从每天 1000 万活跃用户产生的在线搜索流量中采样得来。该数据集包括 12 万个 query-document 条目和审核者生成的标签,这些标签显示数据集中每个 query-document 对的匹配程度。在此数据集上,MIX 在 NDCG@3 方面的表现至少比所有其他当前最优方法高出 8.2%。
此外,在腾讯 QQ 浏览器的在线 A/B 测试中,与未使用 MIX 的设置相比,MIX 实现了 5.7% 的点击率增长。评估结果展示了 MIX 在生产环境中提升文本匹配准确率方面的优秀性能,以及它可以泛化至不同语言数据集的能力。
3 MIX 模型
本章介绍 MIX 模型的细节。研究者将全局匹配定义为两个句子之间的匹配,将局部匹配定义为句子中文本元素之间的匹配。受基于互动的模型的启发,MIX 模型组合使用全局匹配和局部匹配技术,对两个文本片段之间的相关性进行建模。依赖于深度神经网络强大的表征学习能力,MIX 模型能够有层次、多维度地描绘文本匹配问题的本质。如图 1 所示,MIX 模型将文本匹配问题高效分割为以下子问题:
图 1:MIX 模型架构图示。
首先,如图 1 左上方所示,句子被解析成不同粒度的文本片段,如一元分词、二元分词和三元分词。用这种方式,MIX 通过找到文本片段最合适的语义表征(可以是单词、短语或词组)来改善局部匹配的准确率。这里的目标是尽可能多地捕捉不同互动级别上的信息。
其次,如图 1「attention units」部分所示,研究者提取语法信息,如相对权重和词性标注,据此在注意力信道中设计注意力矩阵,以封装丰富的结构模式。研究者使用该方法首先研究了全局匹配和局部匹配之间的关系,然后证明其注意力机制能够基于局部匹配构建全局匹配,从而增强整体匹配的质量。
第三,如图 1「weighed channels」和「2D-convolution」部分所示,研究者将局部匹配信道和注意力信道交叉起来,以为局部匹配提取有意义的特征组合。
图 7:空间注意力层的元素对应亮度。
4 性能评估
4.1 离线测试
表 1:在 WikiQA 数据集上的单机测试评估结果。
表 2:在 QBSearch 数据集上的单机测试评估结果。
4.2 在线测试
图 8:在线 A/B 测试中返回搜索结果上的点击数。
图 9:在线 A/B 测试中两组的反射率(每小时点击数)及对应箱线图。
论文:MIX: Multi-Channel Information Crossing for Text Matching
摘要:短文本匹配在信息检索、问答和对话系统等多项自然语言处理任务中发挥重要作用。传统的文本匹配方法依赖于预制模版和规则。但是,对于只有有限单词的短文本来说,这些规则无法很好地泛化至未观测数据中。随着深度学习在计算机视觉、语音识别和推荐系统领域中的成功运用,近期很多研究致力于将深度神经网络模型应用于自然语言处理任务,以降低人工特征工程的成本。
本论文提出了 MIX 模型(Multi-Channel Information Crossing),该多信道卷积神经网络模型可用于生产环境中的文本匹配,它具备针对句子和语义特征的额外注意力机制。MIX 在不同粒度上对比文本片段,以形成一系列多信道相似度矩阵,它们与另一组精心设计的注意力矩阵交叉起来,将句子的丰富结构展示给深度神经网络。
我们实现了 MIX,并将该系统部署在腾讯 Venus 分布式计算平台上。由于 MIX 具备工程设计极佳的多信道信息交叉,因此在 WikiQA 英文数据集上的评估结果显示:MIX 在归一化折扣累计增益(normalized discounted cumulative gain,NDCG@3)指标上优于大量当前最优深度神经网络模型,至少高出 11.1%。
此外,我们还利用腾讯 QQ 浏览器的搜索服务使用户执行了在线 A/B 测试。结果显示 MIX 将返回结果点击量提高了 5.7%,原因在于 query-document 匹配准确率有所提高,这展示了 MIX 在现实生产环境中的优秀性能。
- ?
瞎折腾吧:2种方法将Excel中文本数据进行拆分
Zheng
展开
瞎折腾吧:2种方法将Excel中文本数据进行拆分
大家好,我是头条号@爱玩电脑。前面给大家讲过如何在excel中将几个单元格的数据合并。在日常工作中,我们也可能会遇到需要将一个单元格的数据拆分为几个单元格的情况。今天我们就讲下如何将一个单元格的数据进行拆分,文章以拆分姓名为例来进行相关函数的展示。
概述:系统为windows7,软件是WPS表格;在Excel中的操作是一样一样的;主要用到的函数为Left()、Right()、Replace()、Len()。
先看看效果吧:
最终效果
A列是在网上复制的歌手的名字,下面讲讲如何实现的:
一、取出姓氏的方法
取出姓很简单,而且我这个例子也不涉及复姓。直接在B2单元格输入=LEFT(A2,1)就行了。意思是从A2单元格最左边开始取,取1个字符出来。如果你要取2个,你就写=LEFT(A2,2)。向下填充公式,姓就全部取出来了。
二、取出名字的方法
第一种方法:使用REPLACE函数
在C2单元格输入=REPLACE(A2,1,1,"")。REPLACE函数有4个参数,第一个参数是"原来的字符串",第二个参数是"开始位置",第三个参数是"字符个数",第四个参数是"新字符串"。我们这里的意思是将"邓丽君"的"邓"字用空字符替换掉,我最后一个参数是英文状态下的双引号。
第二种方法:使用RIGHT函数
在C2单元格输入=RIGHT(A2,LEN(A2)-1)。RIGHT函数用于从右边开始取N个字符。LEN函数的效果是返回字符串包含的字符个数,比如LEN(A2)的话,就返回3,减去姓的一个字符,需要取2个从右往左取2个字符。
好吧,在单元格中的数据进行拆分的操作就讲到这里。如果有复姓什么的,可以考虑用IF函数进行判断,操作字符串的函数还有MID等等。如果你有更好的方法欢迎分享。文章由头条号@爱玩电脑首发于今日头条,未经作者许可,禁止转载。
- ?
MySQL导入导出文本数据
灵雁
展开
前言
MySQL表格数据可以直接通过select导入导出到文本,可以快速的提取数据。
INTO OUTFILE
在命令行中直接使用into outfile写到指定的目录下就可以了,记得目录需要MySQL运行用户有写的权限
select * into outfile "/data/outputdata/1.txt" from test.t1;
如果对文本格式用要求,可以队列和行的数据进行格式化
fields:设置字段选项
设置字段分隔符:field terminated by '\t'
lines:设置行选项
设置导出每行添加换行符:lines terminated by '\n'
每行开始添加指定的字符串:starting by 'start:'
例如
设置列以 , 分割,每行添加换行符并设置行头以start:开始
select * into outfile "/data/outputdata/2.txt" fields terminated by "," lines terminated by '\n' starting by 'start:' from test.t1;
文本数据如下
start:2,pppP
start:1,ddd
LOAD DATA INFILE
MySQL可以支持从文本文件里面直接load文本数据到表中,但是也需要指定分割符
load data infile "/data/outputdata/2.txt" into table test.t2 fields terminated by ',';
总结
这样子的导入导出就是为了方便获取到数据,如果是备份不建议使用这种方式。
- ?
LabVIEW中文本文件的存储与读取方法
希拉
展开
背景
在软件开发中,数据文件的存储与读取操作一般是必不可少的环节。存取数据的文件格式大致可分为两大类,分别是文本格式和二进制格式,其中,文本格式(或叫ASCII码文件)通用性强、直观,但占用空间比较大,存取速度比较慢,而二进制文件存取速度快、占用空间小,但通用性差,用户需要知道存储数据的数据类型,才可以准确还原文件内容。
这次通过例子说下在LabVIEW平台中关于文本文件的读写操作方法。
例1:最简单的一个例子
例子要求:将字符串“我爱LabVIEW!”以文本文件的格式存储到计算机的D盘上,文件名称为“a.txt”,存储完成后,立即读出该文件内容,并显示到前面板的字符串控件上。
程序运行后界面如下图所示:
实现代码如下:
代码中先后使用了“打开/创建/替换文件”、“写入文本文件”、“设置文件位置”、“读取文本文件”和“关闭文件”等函数,可以看出,LabVIEW中文本文件操作的编程方式同其它如C/C++语言类似,遵循着下面的三个步骤:
打开文件读写文件关闭文件
需要说明的是,在上面代码中,“写入文本文件”与“读取文本文件”两个函数之间使用“设置文件位置”函数,其原因是,将内容写入文本文件这步操作执行完毕后,当前文件的指针位于文件的末尾,若此时直接读取文件内容,将从文件的末尾读取,读取的内容当然为空了,所以此时在不执行“关闭文件”的操作下,必须手动使用“设置文件位置”函数将文件当前指针移动到文件的开始位置。
例2:实用的一个例子
该例子模拟一个实际的数据采集与存取场景。在例子中产生一个正弦波形数据,然后将波形数据以文本文件的格式存储到计算机的D盘上,文件名称为“b.txt”,波形数据点数为500点,采样频率为1000Hz,正弦信号频率10Hz,幅值为5,文件中不仅包含了每个采样点的数据值,也包含了采样间隔信息。同样,在存储完成后,立即读出该文件内容,将波形数据显示到前面板的波形图控件上。
先看下程序运行后的界面:
存储的文件内容如下:
实现代码如下:
整体操作步骤同前例相同,依照着打开文件、读写文件、关闭文件的顺序执行。
在波形数据存储方面,代码中使用“正弦函数”输出一个正弦波形数据,在波形数据中抽取出采样间隔dt和采样数据Y,然后将采样数据Y使用“数组至电子表格字符串转换”函数将其转换为字符串,接着使用“格式化写入字符串”函数将所有内容转换为字符串,最后使用“写入文本文件”函数即可将采样间隔和采样数据写入文本文件中。
在波形数据读取方面,首先将文件指针移动到文件开始位置,使用“读取文本文件”函数将文件所有内容读出为一个字符串,然后在字符串中使用“扫描字符串”函数先将采样间隔dt抽取出来,然后使用“电子表格字符串至数组转换”函数将剩下的内容读出为二维的double型数组,索引第0列即为采样数据Y的值,最后将dt和Y组合成一个波形数据输出到波形图控件上进行显示即可。
结论
文本文件的读写操作,在图形化的编程语言LabVIEW平台上实现,相对于其它高级编程语言如C/C++来讲,由于LabVIEW中对文件操作类的函数进行了高度封装,因此,在编程难度上要低很多,具有较高的开发效率。
欢迎加关注,共同交流。
- ?
不容错过的Excel技巧 | Excel文本转数字(常规格式)技巧大全
kt
展开
在使用Excel过程中,您是否碰到将单元格内常规格式(即通用格式)的数字改成文本格式后,在将该单元格改回常规格式,发现目标单元格的内容依旧是靠左对齐(注:数字在常规格式下是靠右对齐的),且左上角有一个小三角形标志,这意味着虽然单元格显示的是常规格式,但是该单元格中的内容还是文本格式。那么如何才能将这类单元格转换为真正的常规格式呢?本教程下面将介绍几种方法来应用此类情况。教程以Excel2013为例,其他版本可能有细微差异。
1、针对格式已经调整为常规格式,数字内容却仍以文本格式显示这种情况:若数据较少,推荐使用双击单元格法,即先鼠标左键双击单元格,然后在鼠标左键单击其他任一单元格即可。若数据较多,推荐使用错误检查按钮,首先选择需要处理的单元格区域,然后单击单元格旁边的错误检查按钮,选择转换为数字即可。
常规格式,数字仍以文本显示双击单元格法,文本转数字错误检查按钮将文本转数字2、针对单元格数字处于文本格式,如果将其转变成数字格式。方法一:使用错误检查按钮,方法同上,在这里就不再过多叙述。方法二:乘1法(或除1法),首先在其他空白单元格输入数字1(默认是常规格式,即使是文本格式也行),复制单元格内容为1的单元格,然后选择需要转格式的单元格区域,单击剪贴板功能区的粘贴命令下的选择性粘贴,在选择性粘贴窗口选择运算为乘或除,然后单击确定键即可。方法三:分列法,此方法特别适用于需要转变成数字的单元格都输入同列中,且有明显的分列分隔符号。具体操作,首先选择目标列,然后单击菜单栏数据,在数据工具功能区找到分列命令,在文本分列向导第一步中将文本类型设置成固定宽度,在第二步中设置宽度,宽度设置需要包含所有内容,在第三步中设置列数据格式为常规,单击完成即可(注:此法对于没分隔符号的数字或内容不需要分成多部分的单元格无效)。方法四:将目标区域先设置成常规格式,然后就回到了第一种情况。
乘1法(或除1法)将文本转数字分列法将文本转数字如果对您有点帮助的话,请帮忙点个赞或分享一下,您的支持是我最大的动力,谢谢!
- ?
多元化解读:文本解读新视角
梦松
展开
老师要上好一节阅读课,有三个关键:一是对文本要有正确深入的解读,二是要创造性地进行教学设计,三是灵活机动的课堂实施。文本解读是解决教什么的问题,教学设计是解读怎么教的问题。如果连教什么都没弄清楚,又怎么能设计好自己的教学呢?进入课堂又怎么能教得好呢?所以,笔者认为一切教学活动应以文本解读为基础,深入地解读文本至关重要。
那么,“文本解读”究竟读什么呢?多元化文本解读可以满足学生对文本的多元反应。课标指出:“学生对语文材料的反应往往是多元的。”这也决定了教师对文本的解读也应以学生的多元体验为基础,以文本为核心,拓宽解读视野,进行多元化解读。多元化解读有哪些视角,应如何解读,笔者作如下初探。
一、解读内容
解读内容就是解读这篇课文主要讲什么?以老师现有的知识结构,文本只要读上一遍,就能抓住课文的主要内容。主要内容是应该简洁概括的,但在解读内容时,应尽量做到细化。例如六年级下册《理想的风筝》一文,课文主要讲了刘老师上课讲课与课下放风筝这两件事。第一步细化:刘老师上课这件事具体讲什么——笑谈腿疾和上课板书;课下放风筝这件事具体讲什么——放风筝和追风筝。第二步细化:笑谈腿疾具体讲什么——关于女娲造人的传说;上课板书具体讲什么——为了写几个板书而旋转;放风筝具体讲什么——风筝放上蓝天的快乐;追风筝具体讲什么——追逐线拐的自信。第三步细化:为什么要选择这三件事?这三件事有没有什么联系?可不可以给这三件事起个小标题?第四步细化:这三件事一一对应人物怎样的品质?笑谈腿疾对应的是什么——乐观豁达;上课板书的是什么——自强不息;放飞风筝对应的是什么——热爱生活。第五步细化:这三件事是文中的主要内容,除此之外,还有哪些非重点内容?第六步细化:这些非重点内容与重点内容之间的联系是什么?非重点内容是第一课时讲掉,还是杂糅到第二课时一起讲,让课堂保持一种完整的形式。第七步细化:课文讲的这些内容能否用一条线进行有机的整合?如果能,用一条怎样的线进行整合?或者是明线暗线兼济。解读主要内容,就是尽量做到从总领到分述再到总领。第一个“总领”,指内容上的高度概括,第二个“总领”,指整篇课文的内容能否找到一条或至多明暗两条线索把文章拎起来。
二、解读主题
读出一个主题,就是读出一个基调——课堂的基调。也就是说课文的主题,决定了你课堂的基调。例如《姥姥的剪纸》这篇课文,是在讲述中国民间最普通的艺人的平凡生活。姥姥是千千万万民间艺人中的一个,拥有民间技艺却朴实、平凡、与人为善。所以,课堂的基调就是要传递这种朴实、平凡。课堂的基调就应该是娓娓道来,轻松自在,朴实无华,应该如三月的和风,暖洋洋的轻拂面颊,如四月里的小雨,“随风潜入夜,润物细无声。”再如《理想的风筝》,这篇课文要给学生传递出一个残疾的刘老师的坚忍不拔,对生活的热爱,自强不息的精神,乐观豁达的态度以及顽强的生命力。这样的课文就是在探讨人生,就是要让学生从刘老师身上感受到这些人生哲理。这样的课就应该是感情激越的,饱满的,甚至是有一点壮烈的,就是要像狂风暴雨般的猛烈。再如《三亚落日》,这是写景的散文,语言生动华丽,情感欢快愉悦,读来是一种欣赏,是一种身心尽润的痛快!其实,课文的基调也就是课堂的基调。解读主题,就是解读出一个基调。
三、解读背景
背景有时代背景,有地域背景,有情境背景,有历史背景等等,解读背景就是要解读文本立根的原因。这些背景与文本是有联系的,也许,在课堂中不一定要讲,但却应该渗透在执教者的思想里。如《姥姥的剪纸》这篇课文就是有一个大的地域背景,文中的姥姥和学生接触到的自己身边的老人是不同的。姥姥生活在北方的农村,这是地域的不同,也是文本立根的地域背景。这一点在文中并没有凸显,只有第一句话在暗示:“大平原托着的小屯里。”好,上课的时候我们不会去讲大平原,也不会去分析这个小屯在哪里,但是文本立根的这个地域背景要始终渗透在执教者的思想里。要让学生感受到姥姥是生活在北方农村这样的特定环境里。有老师就会问了,你又不讲还要让学生感受到,你用什么方式来表现?语言啊,一种表现人物身份及特性的最好方法就是语言。在课堂上大量的使用儿化音,来表现姥姥生活的大背景。再如《理想的风筝》这一课有一个时间和情境背景的,文中两次写到春天,写到在春天里放风筝。既然文中出现两次,足见作者在文笔上对它的重视。那么,春天和风筝与刘老师有什么联系呢?为什么一到春天,一看到春天里的风筝就会情不自禁的想到刘老师呢?因为春天是充满生机的,是蓬勃向上的,风筝象征着展翅高飞,象征自由翱翔,风筝冲向天空就像是人向往自由。而刘老师的身上就是具备了春天和风筝的所有特性:充满生命力,对生活无限的向往与追求。这也是作者为什么一到春天就想起刘老师的原因,这实际上也是睹物思人的写作方法。这样一个时间和情境的背景在课文中是相当重要的。这么重要的一个环节上课是一定要讲的。
四、解读表达
“初步领悟文章基本的表达方法”这一提法在第三学段的阅读目标中的第5条提出。7——9年级对表达又提出 “对课文的内容和表达有自己的心得,能提出自己的看法和疑问……”在小学文本中出现的一些表达方法如果不传递给学生,换言之,学生不能“初步领悟文章基本的表达方法”,到了初中,你又让他如何去谈心得,更别提看法和疑问了。因此,高年级段的教学中应该渗透不同课文的不同表达方法。表达方法其实就是写法,它与表达方式不同。表达方式指叙述、描写、议论、抒情、说明。而课标所指的表达方法就是指写法。也就是说作者是怎么写的,范围很广。如列举典型事例、夹叙夹议、睹物思人、过渡照应、首尾呼应、侧面烘托,以及如何描写、说明,如何组织材料,安排结构等都归为表达方法。如今的阅读课上,我们大多重视文章内容的分析,忽视了“领会文章的表达方法”。 文中那优美的语言,生动的描写,精彩的开头、独特的结构等等不引导学生去揣摩,去领会,这样的语文课似乎少了些语文味。那一篇篇课文就是学生作文的范文,我们应很好的利用,学习作者的写作方法。解读表达要抓住课文中最有特色的表达方法引导学生去领会。例如《理想的风筝》最大的特色就是列举典型事例与夹叙夹议。《烟台的海》最大的特色就是总分总的叙事结构。长期关注文本的表达方法,做个有心人,语文课才会有浓浓的语文味,解读文本才能更有深度,更有广度。
五、解读作者
只要是这篇文章在选用时标明了作者,我想,任何一个执教者都会关注到作者,那关注作者的什么呢?
1.解读作者的作品
《记金华的双龙洞》作者叶圣陶老先生,《给家乡孩子一封信》的作者巴金先生,《夹竹桃》的作者季羡林老先生,虽然小学生读这些大家的大作的确有点难度,但是老师最起码可以介绍几部代表作及这些作品的文学价值吧。笔者认为小学语文与中学语文脱节,名家的作品选用太少就是原因之一,郭沫若的《白鹭》多美啊,还被抽到初中去了。一到初中,鲁迅、朱自清、冰心等等这些大家的作品不胜枚举。所以,在小学,偶尔遇到几个大家都应该解读通透。
2.解读作者的经历
《灰椋鸟》的作者徐秀娟,被誉为“中国第一位驯鹤姑娘”。为了救丹顶鹤而牺牲了生命。一个用生命挽救生命的故事,在《灰椋鸟》这篇课文里又怎么能不传递给学生呢?《理想的风筝》作者苏叔阳的经历也不寻常,既是肾癌又是肺癌,做了两次手术,仍然笔耕不辍。他曾说过:“不管我多么衰弱,只要生命的烛火还在烧着,我就会走,哪怕是爬行,也还在这路上挣扎。”显然他的经历与他笔下的刘老师有相似之处,那他借刘老师身上的精神品质来折射他自己的内心,老师又怎能看不到呢,看到又怎能讲不到呢?《夹竹桃》的作者季羡林一生经历传奇,2006年被评为感动中国人物,其颁奖辞有一段是这样写的:“一介布衣,言有物,行有格,贫贱不移,宠辱不惊。季羡林:最难时也不丢掉良知。”季羡林笔下的夹竹桃是他的最爱,爱它的韧性,一年三季花开不败的韧性,无论季节更替,气候变化,始终迎风吐艳的韧性。这种韧性不就是季羡林自己一生的写照吗?
3.解读作者的心境
言由心生,语言总是有情绪的,透过语言,可以读出作者的心境,作者的情绪。孙有田《月光启蒙》是在看到他的母亲得了老年痴呆症后的心境;叶圣陶《记金华的双龙洞》是在游览过双龙洞之后愉悦的心境。拿《江雪》来说,“孤舟蓑笠翁,独钓寒江雪”,这么冷的天,老翁为什么在那里钓鱼?柳宗元写这首诗的心境怎样呢?当然,这些并非要你上课时统统讲解给学生,更多的是在教学中运用各种方式传递给学生。
六、解读语言,解读情感。
笔者把语言和情感放到一起说,因为语言和情感是一体的,很难割裂开来。语言是组成文本的基础,解读文本当然要读语言,不仅要读,而且要细读,读细。要带着学生品词析句,斟词酌句,引领学生走进文本,入乎其内,体会情感,以第二作者的身份走进原作者,走进作者的情感,走进文本的情感,走进文字的背后。
1.抓住细节描写解读语言
抓住细节去解读语言,解读的越细,课堂上的驾驭能力就越强,学生接受就越透彻。例如《聂将军与日本小姑娘》,文本是写聂将军,那主旨就是如何凸显聂将军这个人物。解读文本,发现文本有很多细节描写能够凸显聂将军的至仁至义。例如:悉心——给孩子找奶吃,细心——见这孩子两眼里流露出惊恐的神色,就拿过一个洗干净的梨子,爱心——抱起不满周岁的小妹妹,耐心——用小勺一口一口地给她喂饭,难舍之心——临行前照相,充满父爱的心——跟着将军跑前跑后,可亲热啦!抓住这些语言上的细节描写凸显人物品质,并能分门别类,体现出层次感。这样解读,人物会比较饱满,给人一种立体感。再次解读文本语言时,又发现,其实这所有的细心、悉心、爱心、耐心、难舍之心都源于聂将军的至仁至义。“至仁至义”是文中的词,是对聂将军的高度概括。最后把所有的“心”归结为“至仁至义”,转了一圈又回归文本,又回到训练点上。这训练点实际上就是你解读文本时,对语言解读的积淀。
2.解读语言,探寻意蕴
在解读时要发现语言背后更广阔的空间,更深地意蕴,对文本原有的语言文字做出更深厚的补白。如《聂将军与日本小姑娘》一文,聂将军这么对日本孩子,那日本人又怎么对待我们的呢?上网查找日本人残害中国儿童的事例后,发现他们的行径真是令人发指。那又如何表现呢?只是语言叙述吗?感觉不强烈,一番思考后,发现用一组组数字说话更能凸显日本军人的罪恶行径。于是找到四个事件,每个事件只用一句话来叙述,但每个事件里都有数字做强烈的渲染,数字也是语言啊。文本内的与文本外的内容形成强烈的对比,目的是为了更突出文本内在的意蕴。解读语言,也要探寻文本之外的意蕴。
3.解读语言,挖掘情感
语言背后是有情感的,解读语言,更要看到语言背后的情感。《聂将军与日本小姑娘》中聂将军对日本官兵这样说:“中国人民决不以日本士兵及人民为仇敌……我八路军本着国际主义之精神,至仁至义,有始有终,必当为中华民族之生存与人类之永久和平而奋斗到底……”这段语言,更多的是解读出作为中国军队的将领的不卑不亢,对战争的强烈反对及对和平的追求。尤其是对“我八路军”中的“我”字的解读,去掉这个字文意也通,可是能去吗?那这一个“我”字里面包含了什么?如果说前文看到的聂将军就像是一个仁慈的父亲,但这个“我”字,确立了他作为八路军将领的立场,解读一个父亲,和解读一位八路军将领的内心是绝对不同的。而这问题的关键就是你的眼里看没看到“我”字。有没有看到“为中华民族”,有没有看到“奋斗到底”这些语言。另外,《将相和》中的廉将军曾对蔺相如不满,说过:“我廉颇攻无不克,战无不胜,立下许多大功。”这个“我”字含义相同吗?毛泽东说到:“谁敢横刀立马,唯我彭大家将军。”这个“我”字里又饱含了怎样的情感呢?透过语言,看到情感;透过情感,看到心灵。
4.解读语言,感受意境
一个孩子语文素养的培养绝对不能只依靠语文课或是语文书,以学生已有的知识体系能接受的,教师什么都可以讲,什么都可以带着学生读。如果老师还算比较时尚的话,对周杰伦、方文山一定不会陌生,那对方文山作词的《东风破》《发如雪》《菊花台》也一定不会陌生,应该说是《东风破》开创了中国复古风,充满了古典诗词美及浪漫唯美的意境,到了《青花瓷》已经到了巅峰状态。在班级,我做了一个统计,我班有56位学生,不会唱《青花瓷》çš...
- ?
中文文本分类:你需要了解的10项关键内容
Serwa
展开
继上一篇《这5个例子,小学生都能秒懂分类算法》(点击查看详情)初步分享了几种常见的分类算法是什么,今天和大家聊聊做好中文文本分类的10项关键点。
文本分类指的是计算机通过算法对输入的文本按照一定的类目体系进行自动化归类的过程。在人工智能浪潮席卷全球的今天,文本分类技术已经被广泛地应用在文本审核、广告过滤、情感分析和反黄识别等NLP领域。本文从达观数据中文文本分类的实践出发,总结了从数据预处理到特征工程、算法选择再到后处理和评价指标等流程中的10项关键内容,希望能对读者有所帮助。
1、数据清洗与预处理
在实际的中文文本分类问题中,我们面对的原始中文文本数据经常会存在许多影响最终分类效果的部分,这部分数据或文本都需要在文本分类最开始的时候就被清洗干净,否则很容易导致所谓的“Trash in,trash out”问题。除了一般分类问题的数据清洗都包含的缺失值处理、去重处理和噪声处理等步骤之外,中文文本分类还应该做到以下的清洗与处理以下数据:
(1) 非文本数据
很多时候我们的分类文本都来自爬虫的爬取结果,因此文本中常常会附带有HTML标签、URL地址等非文本内容,所以需要清除这部分内容对分类没有什么帮助的内容。
(2) 长串数字或字母
通常情况下中文文本中长串的数字代表手机号、车牌号、用户名ID等文本内容,在非特定的文本分类情境下可以去除。或者将其转换为归一化的特征,如是否出现长串数字的布尔值特征HAS_DIGITAL、按长度归一的DIGIAL_LEN_10等等。值得一提的是,表情代号常常作为长串数字或字母出现,却能在情感分析中却能起到巨大作用。
(3) 无意义文本
此外,还需要过滤掉剩余文本当中的诸如广告内容、版权信息和个性签名的部分,毫无疑问这些也都不应该作为特征被模型所学习。
2、变形词识别和替换
变形词问题除了能让我们感叹中文博大精深之外,也时时刻刻困扰文本分类工作者,极大地增加了广告识别、涉黄涉政等特殊的文本分类场景下的分类难度。对中文词的变形通常采用的方法有:特殊符号替换、同音近型替换、简繁替换等。
要做到变形词的识别和替换,除了建立常见变形词的映射表以外,还可以尝试用拼音首字母的方法来鉴别同音替换的变形词;以及用 Word2vec词向量来对比变形词与上下文的语意关联度,从而识别出该词是否经过了变形。
3、停用词与标点符号
停用词指的是诸如代词、介词、连接词等不包含或包含极少语义的词,另外标点符号也可以被认为是一种停用词。通常情况下,在文本中去掉这些停用词能够使模型更好地去拟合实际的语义特征,从而增加模型的泛化能力。
但值得注意的是,停用词表并不是一成不变的。针对不同的文本分类情景,所采用的停用词表也应该作出针对性的调整。例如书名号“《”和“》”往往比书名本身更能代表书名的特征、冒号“:”通常出现在人物访谈类文章的标题中,以及人称代词“他”和“她”在情感类文章标题中的频繁使用等。根据情景灵活地使用停用词表,往往能够起到意想不到的效果。
4、分词、N-gram和Skip-gram
由于计算机无法识别自然语言,我们自然也就无法直接将原始文本直接扔到分类算法当中得到分类结果。因此我们需要先将文本转化为一定格式的特征编码,文本分类区别于其他文类问题的特点在于此。显然,转化后的特征编码能够携带越多的文本特征,就越能帮助分类算法预测出对于的类别。
中文文本分类最常用的特征提取的方法就是分词。区别于英文天然的存在空格符作为词与词之间的间隔标志,中文文本中词的提取必须通过基于序列预测等方法的分词技术来实现。在提取了特征值之后,再采用One-hot或TF-IDF等方法将每个样本转化为固定长度的特征编码作为分类算法的输入。
除了分词,N-gram模型也完全值得你去尝试。分词产生的特征丢失了原文本中词与词之间的的位置和顺序信息,以至于对于“我爱你”、“你爱我”这样的短语,分词得到的特征完全相同。同样的例子,若采用二元的Bi-gram模型则能提取出“我爱”、“爱你”以及“你爱”、“爱我”两组完全不同的特征,更清晰得表达的原文的原意。
在在中文文本分类中,另一个N-gram模型相对分词的优势在于:N-gram模型不受分词准确率的影响。并且当N取足够大时,字符级别的N-gram模型总是能完全覆盖分词+词袋模型的特征集合,同时能极大得召回其他特征,这一点在短文本分类中效果格外明显。
在工程实践中,为了不让特征集合过于庞大从而拖累分类速度,一般同时采用N为1到3的N-gram就能取得较好的效果。
另一个值得一试的模型叫做Skip-gram模型。有别于word2vec中获得词向量的Skip-gram模型,这里中的Skip-gram模型表示的是一种衍生自N-gram模型的语言模型。对于例句“小明去学校上自习”,常用的1-skip-bi-gram得到的特征为{“小明_学校”,“去_上”,“学校_自习”}。一般情况下,Skip-gram可以做为N-gram的补充,从而提取一些可能遗漏的有效特征。
5、特征组合与分桶
前面介绍了三种不同的提取文本特征的方法,再加上举例的长串数字布尔特征,我们已经有了许多不同来源的特征。尝试这些特征方法中的一种或多种,并对来自不同方法的特征进行组合产生新的特征,能在特定的复杂文本分类场景下获得意想不到的效果。
例如将文本特征和结构特征进行组合是一种常见的做法:首先将文本按一定的长度阈值划分为两类,假设文本长度大于20的为长文本,否则为短文本。则可以将获得的长度结构特征和分词提取的文本特征进行组合,从而得到形如“长文本_小明”、“短文本_学校”等新生成的组合特征。诸如此类的特征组合方法,能够使得模型从非线性的角度进行分类,大大提升模型处理复问题的能力。
另外,假如你同时采用了多种特征方法,不妨对这些特征进行分桶标记。如对分词特征“小明”标记为“wordseg:小明”、对skip-gram特征“小明_学校”标记为“skipgram:小明_学校”。这样,就能在后续的特征选择和特征排序等步骤中,清楚的知道哪些特征方法起到了较好的效果。
6、特征选择
在用上述方法对文本提取了特征之后,如果我们直接将所有特征直接丢入分类器,那么最终训练得到的模型的效果往往并不尽如人意。特别是在模型的训练和预测速度上,由于经过多个特征提取和组合方法之后的特征空间会极度膨胀,模型需要学习的参数数量也因此暴涨,从而大大地增加了训练和预测过程的耗时。因此,在候选特征集合中选择保留最有效的部分就显得尤为重要。常用的特征选择方法有卡方检验和信息增益等。
卡方检验的目的是计算每个特征对分类结果的相关性,相关性越大则越有助于分类器进行分类,否则就可以将其作为无用特征抛弃。卡方检验是一种常用的统计检验方法,但是其缺点在于仅考虑特征是否出现对于分类结果的影响,而忽略了词频的重要性,因此卡方检验往往夸大了低频词的作用。信息增益用来计算一个特征对整个分类系统带来的信息的多少,带来的信息越多意味着该特征对分类越重要。此外一些分类算法本身也有特征选择的作用,例如C4.5决策树就是采用信息增益的方法来计算最佳的划分特征、逻辑回归模型训练后可以得到特征权重等。
值得一提的是,TF-IDF并不是一种真正意义上的特征选择方法。通过TF-IDF算法可以得到特征在每一篇文章中重要性,但是却没有考虑特征在类间的分布情况。也就是说,假如类别A中的所有文章都包含词t,类别B中均不包含,但可能由于类别A样本在总样本中占比较极高,原本显著的分类特征t却因为计算得到的TF-IDF值较小而被过滤掉了,这显然没有起到特征选择的目的。
7、尝试不同算法
对于各种算法内部的原理和实现,本文并不打算深入探讨。在机器学习算法库趋于成熟的今天,无论是在单机还是分布式甚至GPU集群上,所有你需要做的就是调用和调参即可。因此,在条件允许的情况下,建议尽可能多的在各种数据集上测试不同算法,并且记录其在各项指标上的效果,从而清楚地了解各种算法的特点。
下表总结了各个常用分类算法在中文文本分类情景下的对比情况,可供参考。
*注:TextCNN和LSTM模型的训练一般需要通过GPU加速。
事实上分类算法并没有绝对的好坏之分,在合适的场合才用适当的算法才是关键。如果是在线分类场景,那么预测速度较快的算法应该成为首选;如果需要快速迭代,那么训练速度快且调参难度小的算法更合适;若不考虑时间开销,那么尝试对多个模型进行集成(Ensemble)是最常用的提升分类效果的方法。
8、多标签分类
许多人将多标签分类(Multi-labelClassification)与多类分类(Multi-classClassification)混淆。后者主要区别于二分类问题,指的是在类别数大于2的候选集合中互斥地选取一个类别作为输出,例如将一条评论按情感倾向分类到{“正面”、“中立”、“负面”}当中的一个。而多标签分类则表示在类别数大于等于2的候选集合中非互斥地选取任意个类别作为输出,例如一篇标题为“国务院决定设立河北雄安新区”的新闻文章可以同时被分为政治、经济两个类别。
多标签分类算法通常被分为两类,一类将多标签分类问题转化为多个单标签二分类问题,被成为问题转化模型(Problem Transformation);另一类则将原来的单标签分类算法修改为支持多标签分类的算法,被称为适应性方法(Adapted Method)。问题转化模型中最常用的一种叫做Binary Relevance,其思想类似于多类分类中的One-Vs-Rest,即对每一个候选类别均训练一个二元分类器来判别样本是否属于该类。因此在类别数目很大的情况下,应尽量选择训练和预测速度较快的算法来训练内部的二元分类器。而在适应性方法中,基于决策树的算法和k最近邻的算法都能够较容易地修改为支持多标签分类的环境。
9、关键词规则与后处理
在面对实际中文文本分类问题时,谁都无法保证自己的模型能够100%分类准确。后处理旨在对模型输出的预测结果进行人工干预,从而保证最后的结果的可靠性。
关键词规则是最常用的后处理方法,其特点在于能够直接地将领域知识引入到分类系统当中。关键词规则不仅可以实现一个或多个关键词对应一个类别,更可以在上层算法给出概率输出的情况下实现一对多和多对多的规则映射。并且,我们可以根据实际情况对不同的关键词规则设定作用强度和优先级,从而更加灵活地调整得到预测结果。值得注意的是要控制关键词规则的粒度大小,粒度过大可能导致其它原本正确的样本被误操作而使得总体的准确性降低;粒度过小会使每条的作用范围变小,极大地增加设置后处理规则的工作量。
在最后输出阶段,还有一个实用的后处理方法就是对概率或置信度较低的预测结果归为“其他”类别,即让模型学会说:“我不知道”。这样做可以提高分类系统的使用体验,而不致于让使用者迷失在错误的猜测结果中。
10、评价指标
关于评价指标,一般最先想到的就是分类准确率(Precision),但准确率并不是全部。如果一个分类模型的准确率很高而召回率很低(Recall),那么反而意味着模型没能把其他本该预测出来的类别给预测出来。这常常在两种情况下发生:
一是在非均衡样本中,模型由于学习不到足够的小类的特征而倾向于把大部分小类样本预测为大类类别,虽然预测为小类的部分准确率较高,但是更多的小类样本却没有被召回。面对这种情况,应该关注小类类别的F1值情况,即准确率与召回率调和平均值;
二是在多标签分类中,如果一个模型偏向于保守,那么其可能只对某个多标签的样本预测出最有把握的一个标签,虽然保证了预测准确性,但是仍然没有召回其它的有效标签。此时,可以适当降低内部的二元分类器的预测阈值。如假设原来只有预测得分高于0.5的候选标签被输出,则将阈值降低到0.3时可以得到更多的预测标签,从而提高分类的召回率。
结束语
在互联网技术极速发展的今天,文本信息越来越多地以不同的形式出现在我们的视野内。达观数据将文本分类始终作为文本挖掘和NLP领域的关键技术,应用在广泛的场景之中。
关于作者王子豪:达观数据高级NLP算法工程师,负责达观数据文本挖掘和NLP算法的开发及应用,在文本分类、观点挖掘和情感分析等领域有丰富实践经验。
- ?
干货 | 深度学习在文本分类中的应用
孟妙梦
展开
作者:llhthinker
个人博客:http://cnblogs/llhthinker/
1 文本分类任务介绍
文本分类是自然语言处理的一个基本任务,试图推断出给定的文本(句子、文档等)的标签或标签集合。
文本分类的应用非常广泛。如:
垃圾邮件分类:二分类问题,判断邮件是否为垃圾邮件情感分析
二分类问题,判断文本情感是积极(positive)还是消极(negative)多分类问题,判断文本情感属于{非常消极,消极,中立,积极,非常积极}中的哪一类
新闻主题分类:判断新闻属于哪个类别,如财经、体育、娱乐等自动问答系统中的问句分类社区问答系统中的问题分类:多标签分类,如知乎看山杯更多应用:
让AI当法官: 基于案件事实描述文本的罚金等级分类(多分类)和法条分类(多标签分类)。判断新闻是否为机器人所写: 二分类......
不同类型的文本分类往往有不同的评价指标,具体如下:
二分类:accuracy,precision,recall,f1-score,...多分类: Micro-Averaged-F1, Macro-Averaged-F1, ...多标签分类:Jaccard相似系数, ...
2 传统机器学习方法
传统的机器学习方法主要利用自然语言处理中的n-gram概念对文本进行特征提取,并且使用TFIDF对n-gram特征权重进行调整,然后将提取到的文本特征输入到Logistics回归、SVM等分类器中进行训练。但是,上述的特征提取方法存在数据稀疏和维度爆炸等问题,这对分类器来说是灾难性的,并且使得训练的模型泛化能力有限。因此,往往需要采取一些策略进行降维:
人工降维:停用词过滤,低频n-gram过滤等自动降维:LDA等
值得指出的是,将深度学习中的word2vec,doc2vec作为文本特征与上文提取的特征进行融合,常常可以提高模型精度。
3 CNN用于文本分类
论文Convolutional Neural Networks for Sentence Classification提出了使用CNN进行句子分类的方法。
3.1 CNN模型推导
一个句子是由多个词拼接而成的,如果一个句子有n个词,且第i个词表示为xi,词xi通过embedding后表示为k维的向量,即xi∈k,则一个句子x1:n为nk的矩阵,可以形式化如下:
3.2 优化CNN模型
随机初始化 (CNN-rand)预训练词向量进行初始化,在训练过程中固定 (CNN-static)预训练词向量进行初始化,在训练过程中进行微调 (CNN-non-static)多通道(CNN-multichannel):将固定的预训练词向量和微调的词向量分别当作一个通道(channel),卷积操作同时在这两个通道上进行,可以类比于图像RGB三通道。
上图为模型架构示例,在示例中,句长n=9,词向量维度k=6,filter有两种窗口大小(或者说kernel size),每种有2个,因此filter总个数m=4,其中:
一种的窗口大小h=2(红色框),卷积后的向量维度为nh+1=8另一种窗口大小h=3(黄色框),卷积后的向量维度为nh+1=7Dropout: 对全连接层的输入z向量进行dropout
y=W(zr)+b其中r∈m为masking向量(每个维度值非0即1,可以通过伯努利分布随机生成),和向量z进行元素与元素对应相乘,让r向量值为0的位置对应的z向量中的元素值失效(梯度无法更新)。L2-norms: 对L2正则化项增加限制:当正则项‖W‖2>s时, 令‖W‖2=s,其中s为超参数。
3.3 一些结论
Multichannel vs. Single Channel Models: 虽然作者一开始认为多通道可以预防过拟合,从而应该表现更高,尤其是在小规模数据集上。但事实是,单通道在一些语料上比多通道更好;Static vs. Non-static Representations: 在大部分的语料上,CNN-non-static都优于CNN-static,一个解释:预训练词向量可能认为‘good’和‘bad’类似(可能它们有许多类似的上下文),但是对于情感分析任务,good和bad应该要有明显的区分,如果使用CNN-static就无法做调整了;Dropout可以提高2%–4%性能(performance);对于不在预训练的word2vec中的词,使用均匀分布U[a,a]随机初始化,并且调整a使得随机初始化的词向量和预训练的词向量保持相近的方差,可以有微弱提升;可以尝试其他的词向量预训练语料,如Wikipedia[Collobert et al. (2011)]Adadelta(Zeiler, 2012)和Adagrad(Duchi et al., 2011)可以得到相近的结果,但是所需epoch更少。
3.4 进一步思考CNN
3.4.1 为什么CNN能够用于文本分类(NLP)?
为什么CNN能够用于文本分类(NLP)?
RNN可以提取全局特征RCNN(下文说明): RNN和CNN的结合filter相当于N-gram ?filter只提取局部特征?全局特征怎么办?可以融合吗?
3.4.2 超参数怎么调?
论文A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification提供了一些策略。
用什么样的词向量
使用预训练词向量比随机初始化的效果要好采取微调策略(non-static)的效果比固定词向量(static)的效果要好无法确定用哪种预训练词向量(Google word2vec / GloVe representations)更好,不同的任务结果不同,应该对于你当前的任务进行实验;
filter窗口大小、数量
在实践中,100到600是一个比较合理的搜索空间。每次使用一种类型的filter进行实验,表明filter的窗口大小设置在1到10之间是一个比较合理的选择。首先在一种类型的filter大小上执行搜索,以找到当前数据集的“最佳”大小,然后探索这个最佳大小附近的多种filter大小的组合。每种窗口类型的filter对应的“最好”的filter个数(feature map数量)取决于具体数据集;但是,可以看出,当feature map数量超过600时,performance提高有限,甚至会损害performance,这可能是过多的feature map数量导致过拟合了;
激活函数 (tanh, relu, ...)
Sigmoid, Cube, and tanh cube相较于Relu和Tanh的激活函数,表现很糟糕;tanh比sigmoid好,这可能是由于tanh具有zero centering property(过原点);与Sigmoid相比,ReLU具有非饱和形式(a non-saturating form)的优点,并能够加速SGD的收敛。对于某些数据集,线性变换(Iden,即不使用非线性激活函数)足够捕获词嵌入与输出标签之间的相关性。(但是如果有多个隐藏层,相较于非线性激活函数,Iden就不太适合了,因为完全用线性激活函数,即使有多个隐藏层,组合后整个模型还是线性的,表达能力可能不足,无法捕获足够信息);因此,建议首先考虑ReLU和tanh,也可以尝试Iden
池化策略:最大池化就是最好的吗
对于句子分类任务,1-max pooling往往比其他池化策略要好;这可能是因为上下文的具体位置对于预测Label可能并不是很重要,而句子某个具体的n-gram(1-max pooling后filter提取出来的的特征)可能更可以刻画整个句子的某些含义,对于预测label更有意义;(但是在其他任务如释义识别,k-max pooling可能更好。)
正则化
0.1到0.5之间的非零dropout rates能够提高一些performance(尽管提升幅度很小),具体的最佳设置取决于具体数据集;对l2 norm加上一个约束往往不会提高performance(除了Opi数据集);当feature map的数量大于100时,可能导致过拟合,影响performance,而dropout将减轻这种影响;在卷积层上进行dropout帮助很小,而且较大的dropout rate对performance有坏的影响。
3.5 字符级别的CNN用于文本分类
论文Character-level convolutional networks for text classification将文本看成字符级别的序列,使用字符级别(Character-level)的CNN进行文本分类。
3.5.1 字符级CNN的模型设计
首先需要对字符进行数字化(quantization)。具体如下:
定义字母表(Alphabet):大小为m (对于英文m=70,如下图,之后会考虑将大小写字母都包含在内作为对比)
字符数字化(编码): "one-hot"编码序列(文本)长度:l0 (定值)然后论文设计了两种类型的卷积网络:Large和Small(作为对照实验)它们都有9层,其中6层为卷积层(convolutional layer);3层为全连接层(fully-connected layer):Dropout的概率都为0.5使用高斯分布(Gaussian distribution)对权重进行初始化:最后一层卷积层单个filter输出特征长度(the output frame length)为 l6=(l096)/27,推第一层全连接层的输入维度(其中1024和256为filter个数或者说frame/feature size):
Large: l61024Small: l6256
下图为模型的一个图解示例。其中文本长度为10,第一层卷积的kernel size为3(半透明黄色正方形),卷积个数为9(Feature=9),步长为1,因此Length=10-3+1=8,然后进行非重叠的max-pooling(即pooling的stride=size),pooling size为2,因此池化后的Length = 8 / 2 = 4。
3.5.2 字符级CNN的相关总结与思考
字符级CNN是一个有效的方法数据集的大小可以为选择传统方法还是卷积网络模型提供指导:对于几百上千等小规模数据集,可以优先考虑传统方法,对于百万规模的数据集,字符级CNN开始表现不错。字符级卷积网络很适用于用户生成数据(user-generated data)(如拼写错误,表情符号等),没有免费的午餐(There is no free lunch)中文怎么办
中文中的同音词非常多,如何克服?如果把中文中的每个字作为一个字符,那么字母表将非常大是否可以把中文先转为拼音(pinyin)?论文Character-level Convolutional Network for Text Classification Applied to Chinese Corpus进行了相关实验。
将字符级和词级进行结合是否结果更好
英文如何结合中文如何结合
3.5.3 使用同义词表进行数据增强
对于深度学习模型,采用适当的数据增强(Data Augmentation)技术可以提高模型的泛化能力。数据增强在计算机视觉领域比较常见,例如对图像进行旋转,适当扭曲,随机增加噪声等操作。对于NLP,最理想的数据增强方法是使用人类复述句子(human rephrases of sentences),但是这比较不现实并且对于大规模语料来说代价昂贵。
一个更自然的选择是使用词语或短语的同义词或同义短语进行替换,从而达到数据增强的目的。具体做法如下:
英文同义词典: from the mytheas component used in LibreOffice1 project. http://libreoffice.org/从给定的文本中抽取出所有可以替换的词,然后随机选择r个进行替换,其中r由一个参数为pp的几何分布(geometric distribution)确定,即P[r]pr给定一个待替换的词,其同义词可能有多个(一个列表),选择第s个的概率也通过另一个几何分布确定,即P[s]qs。这样是为了当前词的同义词列表中的距离较远(s较大)的同义词被选的概率更小。论文实验设置:p=0.5,q=0.5。
4 RNN用于文本分类
策略1:直接使用RNN的最后一个单元输出向量作为文本特征策略2:使用双向RNN的两个方向的输出向量的连接(concatenate)或均值作为文本特征策略3:将所有RNN单元的输出向量的均值pooling或者max-pooling作为文本特征策略4:层次RNN+Attention, Hierarchical Attention Networks
5 RCNN(RNN+CNN)用于文本分类
论文Recurrent Convolutional Neural Networks for Text Classification设计了一种RNN和CNN结合的模型用于文本分类。
5.1 RCNN模型推导
5.1.1 词表示学习
使用双向RNN分别学习当前词wi的左上下文表示cl(wi)和右上下文表示cr(wi),再与当前词自身的表示e(wi)连接,构成卷积层的输入xi。具体如下:
然后将xi作为wi的表示,输入到激活函数为tanh,kernel size为1的卷积层,得到wi的潜在语义向量(latent semantic vector)
将kernel size设置为1是因为xi中已经包含wi左右上下文的信息,无需再使用窗口大于1的filter进行特征提取。但是需要说明的是,在实践中仍然可以同时使用多种kernel size的filter,如[1, 2, 3],可能取得更好的效果,一种可能的解释是窗口大于1的filter强化了wi的左右最近的上下文信息。此外,实践中可以使用更复杂的RNN来捕获wi的上下文信息如LSTM和GRU等。
5.1 2 文本表示学习
经过卷积层后,获得了所有词的表示,然后在经过最大池化层和全连接层得到文本的表示,最后通过softmax层进行分类。具体如下:
下图为上述过程的一个图解:
5.2 RCNN相关总结
NN vs. traditional methods: 在该论文的所有实验数据集上,神经网络比传统方法的效果都要好Convolution-based vs. RecursiveNN: 基于卷积的方法比基于递归神经网络的方法要好RCNN vs. CFG and C&J: The RCNN可以捕获更长的模式(patterns)RCNN vs. CNN: 在该论文的所有实验数据集上,RCNN比CNN更好CNNs使用固定的词窗口(window of words), 实验结果受窗口大小影响RCNNs使用循环结构捕获广泛的上下文信息
6 一定要CNN/RNN吗
上述的深度学习方法通过引入CNN或RNN进行特征提取,可以达到比较好的效果,但是也存在一些问题,如参数较多导致训练时间过长,超参数较多模型调整麻烦等。下面两篇论文提出了一些简单的模型用于文本分类,并且在简单的模型上采用了一些优化策略。
6.1 深层无序组合方法
论文Deep Unordered Composition Rivals Syntactic Methods for Text Classification提出了NBOW(Neural Bag-of-Words)模型和DAN(Deep Averaging Networks)模型。对比了深层无序组合方法(Deep Unordered Composition)和句法方法(Syntactic Methods)应用在文本分类任务中的优缺点,强调深层无序组合方法的有效性、效率以及灵活性。
6.1.1 Neural Bag-of-Words Models
论文首先提出了一个最简单的无序模型Neural Bag-of-Words Models (NBOW model)。该模型直接将文本中所有词向量的平均值作为文本的表示,然后输入到softmax 层,形式化表示如下:
6.1.2 Considering Syntax for Composition
一些考虑语法的方法:
Recursive neural networks (RecNNs)可以考虑一些复杂的语言学现象,如否定、转折等 (优点)实现效果依赖输入序列(文本)的句法树(可能不适合长文本和不太规范的文本)需要更多的训练时间Using a convolutional network instead of a R...
- ?
数值型和文本型数字傻傻分不清楚,当然容易出错了!
Sonia
展开
转载自百家号作者:Excel自学成才
每个人有两面,在不同人面前,或在不同场合,你的表现的是不一样的。
对于Excel中的数字而言,也是两面性的,如下所示,左边是文本型数字,右边是数值型数字
对于文本型数字,Excel在单元格的左侧会人性化的加上一个小绿三角符号,以做区分,如下所示:
文本型数字是可以通过加减乘除计算的
但在使用中文本型数字依旧会出现很多错误,举两个常出现错误的例子。
无法使用SUM或其他函数进行计算,对文本型数字进行求和计算的时候,结果是0,并不是求和的结果15,这还是全部数字是全文本型的情况,很容易发现,如果只是其中某几个数字是文本型,那就很隐蔽,我们得不到正常的数据分析结果。
在工作中,出现文本数字最多的原因主要就是公司里面软件,或者从网页上下载的数据,通常是文本型的数字。大部分使用的是数据库,为了减少使用内存,通常会以文本型数字存储。
常用的VLOOKUP函数匹配错误
如下所示:在使用VLOOKUP函数查找的时候,用员工编号进行查找匹配,但得到了错误的结果
这就是因为数据源中的员工编号是文本型的数字,而查找的值数字是数值型数字,所以会得到错误,这就需要将文本型的数值转换成数值型之后再进行计算了。
好了,通过今天的学习,你能分清文本型和数值型数字了吗?
欢迎留言讨论,期待您的转发和分享
---------------
欢迎关注,更多精彩内容持续更新中...