- ?
LabVIEW中文本文件的存储与读取方法
凝云
展开
背景
在软件开发中,数据文件的存储与读取操作一般是必不可少的环节。存取数据的文件格式大致可分为两大类,分别是文本格式和二进制格式,其中,文本格式(或叫ASCII码文件)通用性强、直观,但占用空间比较大,存取速度比较慢,而二进制文件存取速度快、占用空间小,但通用性差,用户需要知道存储数据的数据类型,才可以准确还原文件内容。
这次通过例子说下在LabVIEW平台中关于文本文件的读写操作方法。
例1:最简单的一个例子
例子要求:将字符串“我爱LabVIEW!”以文本文件的格式存储到计算机的D盘上,文件名称为“a.txt”,存储完成后,立即读出该文件内容,并显示到前面板的字符串控件上。
程序运行后界面如下图所示:
实现代码如下:
代码中先后使用了“打开/创建/替换文件”、“写入文本文件”、“设置文件位置”、“读取文本文件”和“关闭文件”等函数,可以看出,LabVIEW中文本文件操作的编程方式同其它如C/C++语言类似,遵循着下面的三个步骤:
打开文件读写文件关闭文件
需要说明的是,在上面代码中,“写入文本文件”与“读取文本文件”两个函数之间使用“设置文件位置”函数,其原因是,将内容写入文本文件这步操作执行完毕后,当前文件的指针位于文件的末尾,若此时直接读取文件内容,将从文件的末尾读取,读取的内容当然为空了,所以此时在不执行“关闭文件”的操作下,必须手动使用“设置文件位置”函数将文件当前指针移动到文件的开始位置。
例2:实用的一个例子
该例子模拟一个实际的数据采集与存取场景。在例子中产生一个正弦波形数据,然后将波形数据以文本文件的格式存储到计算机的D盘上,文件名称为“b.txt”,波形数据点数为500点,采样频率为1000Hz,正弦信号频率10Hz,幅值为5,文件中不仅包含了每个采样点的数据值,也包含了采样间隔信息。同样,在存储完成后,立即读出该文件内容,将波形数据显示到前面板的波形图控件上。
先看下程序运行后的界面:
存储的文件内容如下:
实现代码如下:
整体操作步骤同前例相同,依照着打开文件、读写文件、关闭文件的顺序执行。
在波形数据存储方面,代码中使用“正弦函数”输出一个正弦波形数据,在波形数据中抽取出采样间隔dt和采样数据Y,然后将采样数据Y使用“数组至电子表格字符串转换”函数将其转换为字符串,接着使用“格式化写入字符串”函数将所有内容转换为字符串,最后使用“写入文本文件”函数即可将采样间隔和采样数据写入文本文件中。
在波形数据读取方面,首先将文件指针移动到文件开始位置,使用“读取文本文件”函数将文件所有内容读出为一个字符串,然后在字符串中使用“扫描字符串”函数先将采样间隔dt抽取出来,然后使用“电子表格字符串至数组转换”函数将剩下的内容读出为二维的double型数组,索引第0列即为采样数据Y的值,最后将dt和Y组合成一个波形数据输出到波形图控件上进行显示即可。
结论
文本文件的读写操作,在图形化的编程语言LabVIEW平台上实现,相对于其它高级编程语言如C/C++来讲,由于LabVIEW中对文件操作类的函数进行了高度封装,因此,在编程难度上要低很多,具有较高的开发效率。
欢迎加关注,共同交流。
- ?
AO2011SP1版(ETP)采集模板制作流程
权新梅
展开
一、采集模板结构
1、变量
这六个变量是每个模板都必须要有的,可直接Copy。
第一个变量@DbSourceFilePath表示的是数据源路径。由用户选择数据源时赋值。若对源数据进行了预处理,则在预处理代码中需要对该变量进行重新赋值。
变量@年度、@单位名称、@电子数据编号、@电子数据名称表示的是会计数据的基本信息。由AO2011建立会计数据时赋值。
变量@临时电子数据编号,用于多套会计数据从AOExtract数据库采集到AOFinance数据库时,用于标识具体的每套会计数据。
1.2 数据库连接
SourceDbConnection表示源数据的连接。如果源数据是SQL Server,那么ConnectionType就是SqlConnection;如果源数据是Access或者是Txt文本,那么ConnectionType就是OleDbConnection。
AOExtractTempConnection表示AO采集模块临时库的连接,也就是AOExtract数据库的连接。
AOFinanceConnection表示AO财务数据库的连接,即AOFinance数据库的连接。
1.3预处理
如图所示,对源数据进行预处理,或者清空临时数据库等操作,放到PreProccesss该元素下。
1.4批量建账接口
DllAccoutList表示批量建账的接口,其中,TypeName为反射的类名,FileName表示动态链接库DLL的名称。
1.5 Tasks和UpdateTask
1.5.1 Tasks
Tasks元素中主要是针对AOExtract数据库的操作,如数据从源数据中批量采集到AOExtract数据库。由于有多套会计数据采集的情况,AO是循环执行Tasks中的任务,所以BulkCopy中的SrcSql元素,SQL语句中都要有“@电子数据编号 as 电子数据编号”这句,并且针对源数据的预处理操作不能够放在Tasks中,而要放到PreProccesss元素下。
1.5.2 UpdateTask
UpdateTask元素主要是针对AOFinance数据库的操作,如数据从AOExtract数据库批量采集到AOFinance数据库,或数据从源数据中批量采集到AOFinance数据库。由于有多套会计数据采集的情况,AO是循环执行UpdateTask中的任务,所以若是数据从AOExtract数据库批量采集AOFinance数据库,BulkCopy中的SrcSql元素,SQL语句中都要增加一个where条件“where 电子数据编号=@临时电子数据编号”。另外,在UpdateTask元素的最后,要增加一个Task。用于将临时的电子数据编号,更新为创建会计数据时实际的电子数据编号。如下图所示:
1.6 任务Task
Task元素包括三种类型,分别是SqlTask,SqlBulkCopyTask和DllImportTask。
1.6.1 SqlTask
SqlTask用于执行SQL语句,例如Insert、Update、Delete、Truncate等。如下图所示:
1.6.2 SqlBulkCopyT1.6.2 SqlBulkCopyTask
SqlBulkCopyTask用于批量拷贝数据。该元素下可以有多个BulkCopy元素。BulkCopy表示批量拷贝的SQL查询语句。其中,ColumnMappings中的字段要与查询语句中的字段数相对应,字段的顺序要一致。并且,SQL语句中的字段类型和目标字段类型要一致。如果SQL语句中的查询结果,与目标表完全一致,那么可以去掉ColumnMappings元素。如下图所示:
1.6.3 DllImportTask
DllImportTask表示通过DLL处理的任务。其中,TypeName为反射的类名,FileName表示动态链接库DLL的名称。
二、数据采集转换
1.1 财务表采集
参照Template.mdb中TBConvertWay表,根据字段对应关系和数据存储方式,编写SQL语句。其中,年度、单位名称、电子数据编号和电子数据名称这四个字段是每张表都必填的。
1.1.1 会计科目表
会计科目表必填的字段有科目编码、科目名称、科目级别以及四个变量字段,余额方向不为必填字段,原始数据中有则填,没有的话账表重建时会根据AO基础库中的标准会计科目表自动生成。若Template.mdb中,TBConvertWay表的ISAccountBalDirection字段为1,那么表示源数据中会计科目表里有余额方向的字段。AccountBalDebit和AccountBalCredit字段分别表示借方和贷方对应的值。例如,AccountBalDebit的值为J,AccountBalCredit的值为D,那么余额方向的SQL语句应为:case when 余额方向字段 = ‘J’ then 1 when 余额方向字段 = ‘D’ then -1 else 0 end as 余额方向。Access中为iif(余额方向字段 = ‘J’, 1, iif(余额方向字段 = ‘D’, -1, 0)) as 余额方向。Template.mdb中,通过SourceFieldName as CNTargetFieldName的方式,编写出SQL语句,AccountTableName表示会计科目表的表名。如果IsAccountFilter为1,则要加上AccountFilter中的过滤条件(where…)例如:select ccode as 科目编码,
ccode_name as 科目名称,igrade as 科目级别,case when bproperty = -1 then 1 when bproperty = 0 then -1 else 0 end as 余额方向,
@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电子数据名称as 电子数据名称 from code;
没有科目级别字段,则根据科目编码生成科目级别。例如:select ccode as 科目编码,ccode_name as 科目名称,(select count(*) from code b
where a.ccode like b.ccode + '%') as 科目级别,case when bproperty = -1 then 1 when bproperty = 0 then -1 else 0 end as 余额方向,
@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号, @电子数据名称as 电子数据名称 from code as a;
2.1.2 科目余额期初表
科目余额期初表必填的字段有科目编码、本币期初余额、余额方向、会计月份以及四个变量字段。通过SourceFieldName as CNTargetFieldName的方式,编写出SQL语句,BalTableName表示科目余额表的表名。如果IsBalFilter为1,则要加上BalFilter中的过滤条件(where…)例如:select ccode as 科目编码,mb as 本币期初余额,case when cbegind_c = '借' then 1 when cbegind_c = '贷' then -1 else 0 end as 余额方向,@年度as 会计年份,1 as 会计月份,@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电子数据名称as 电子数据名称 from GL_accsum where iperiod=(select min(iperiod) from GL_accsum) and cbegind_c <> '平';若BalType为1,则需要对上级科目的本币期初余额进行汇总,例如:select 科目编码,abs(isnull(本币期初余额,0)) 本币期初余额,case when isnull(本币期初余额,0) = 0 then 0 when 本币期初余额> 0 then 1 else -1 end 余额方向,@年度as 会计年份,1 会计月份,@年度as 年度,@单位名称单位名称,@电子数据编号电子数据编号,@电子数据名称电子数据名称
from(select a.科目编码, (select sum(本币期初余额* 余额方向)本币期初余额from 科目余额期初表_Temp b where a.科目编码= substring(b.科目编码, 1, len(a.科目编码)) and b.电子数据编号=@临时电子数据编号) 本币期初余额 from 会计科目表a) aBalDirctionType表示余额方向的存储类型,0表示字段显示借贷,1表示金额字段正负显示借贷,2表示根据科目类型显示借贷,3表示根据借余额和贷余额字段显示借贷。0:若BalDebitSign字段为’J’, BalCreditSign字段为’D’,那么SQL语句为case when 余额方向字段=’J’ then 1 when余额方向字段= ‘D’ then -1 else 0 end as 余额方向
1:select abs(金额字段) as 期初余额, case when 金额字段>0 then 1, when 金额字段<0 then -1, else 0 end as 余额方向。
2:case when 科目编码 like ‘1%’ or 科目编码 like ‘5%’ then 1, else -1 end as 余额方向。
3:select case when借方期初-贷方期初>0 then 1 when 借方期初-贷方期初<0 then -1 else 0 end as 余额方向, abs(借方期初-贷方期初) as 本币期初余额
2.1.3 凭证库
凭证库必填的字段有分录序号,凭证类型名称,借方金额,贷方金额,科目编码,摘要,凭证号,凭证日期和四个变量字段。若Template.mdb数据库的TBConvertWay表的IsHaveDebitCreditSign字段为1,表示凭证库中金额的存储方式为金额和借贷方向。例如DebitSign为“J”, CreditSign 为“D”。那么SQL语句应为case when 借贷方向字段 = ‘J’ then 金额字段 else 0 end as 借方金额, case when 借贷方向字段 = ‘D’ then 金额字段 else 0 end as 贷方金额。通过SourceFieldName as CNTargetFieldName的方式,编写出SQL语句,VoucherTableName表示凭证库的表名。如果IsVoucherFilter为1,则要加上VoucherFilter中的过滤条件(where…)例如:select convert(varchar, i_id) as 分录序号,ccode as 科目编码,
md as 借方金额,mc as 贷方金额,ccashier as 出纳人,convert(varchar,idoc) as 附件数,cbook as 记账人,csign as 凭证类型名称,convert(varchar,ino_id) as 凭证号,dbill_date as 凭证日期,ccheck as 审核人,cdigest as 摘要,cbill as 制单人,@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电子数据名称as 电子数据名称 from GL_accvouch where iperiod < 13 and iperiod > 0 and YEAR(GL_accvouch.dbill_date)=@年度and iflag is null;若凭证库由主从表构成,则需要关联为一个表,用从表left join 主表。若凭证库中,没有唯一标识字段作为分录序号,那么需要在AOExtract库中建一个临时的凭证库表(凭证库_temp)。这张临时表需要创建一个自增长字段,作为分录序号。最后从这张表中采集凭证库。若凭证库中不包含凭证辅助明细,那么必然有一个或几个关联字段,关联凭证库和凭证辅助明细这两张表。这一个或几个关联字段的值,合并起来作为分录序号。
2.1.4 科目设置
先在临时库(AOExtract库)中插入科目层级表数据,然后根据科目层级表在AO财务库(AOFinance库)中插入科目设置数据。SQL语句应为:
科目层级表:select a.[ccode] as [科目编码], b.[ccode] as [第父级科目编码]
, @电子数据编号 as 电子数据编号from [code] as aleft join [code] as b on a.[ccode] like b.[ccode] + '%'
科目设置:select sum((case when 级别= 1 then 1 else 0 end) * 本级长度) 第一级科目长度,sum((case when 级别= 2 then 1 else 0 end) * 本级长度) 第二级科目长度,sum((case when 级别= 3 then 1 else 0 end) * 本级长度) 第三级科目长度,sum((case when 级别= 4 then 1 else 0 end) * 本级长度) 第四级科目长度,sum((case when 级别= 5 then 1 else 0 end) * 本级长度) 第五级科目长度,sum((case when 级别= 6 then 1 else 0 end) * 本级长度) 第六级科目长度,sum((case when 级别= 7 then 1 else 0 end) * 本级长度) 第七级科目长度,sum((case when 级别= 8 then 1 else 0 end) * 本级长度) 第八级科目长度,sum((case when 级别= 9 then 1 else 0 end) * 本级长度) 第九级科目长度,sum((case when 级别= 10 then 1 else 0 end) * 本级长度) 第十级科目长度,sum((case when 级别= 11 then 1 else 0 end) * 本级长度) 第十一级科目长度,sum((case when 级别= 12 then 1 else 0 end) * 本级长度) 第十二级科目长度,sum((case when 级别= 13 then 1 else 0 end) * 本级长度) 第十三级科目长度,sum((case when 级别= 14 then 1 else 0 end) * 本级长度) 第十四级科目长度,sum((case when 级别= 15 then 1 else 0 end) * 本级长度) 第十五级科目长度,sum((case when 级别= 16 then 1 else 0 end) * 本级长度) 第十六级科目长度,sum((case when 级别= 17 then 1 else 0 end) * 本级长度) 第十七级科目长度,sum((case when 级别= 18 then 1 else 0 end) * 本级长度) 第十八级科目长度,sum((case when 级别= 19 then 1 else 0 end) * 本级长度) 第十九级科目长度,sum((case when 级别= 20 then 1 else 0 end) * 本级长度) 第二十级科目长度,'' as 编码分隔符,a.科目编码,@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电子数据名称as 电子数据名称from (select a.科目编码,a.第父级科目编码,c.级别,c.本级长度,a.电子数据编号from 科目层级表aleft join (select a.科目编码,count(*) 级别,len(科目编码) - isnull((select max(len([第父级科目编码]))from 科目层级表bwhere a.科目编码= b.科目编码and a.科目编码<> b.第父级科目编码) ,0) 本级长度from 科目层级表awhere 电子数据编号=@临时电子数据编号group by a.科目编码) c on a.第父级科目编码= c.科目编码) awhere 电子数据编号=@临时电子数据编号group by a.科目编码order by a.科目编码
2.1.5 辅助账
若Template.mdb数据库的TBConvertWay表的AidFlag字段为1,表示数据中有辅助账。需要处理辅助信息表、辅助余额期初表和凭证辅助明细表。
2.1.5.1 辅助信息表
辅助信息表需要参考Delphi的数据预处理代码。代码中会创建一个aidInfo表,包括AidType,AidCode,AidName,AidDec,AidVouSourceFiledName,AidBalSourceFiledName这几个字段。其中只需要用前三个字段。AidType对应辅助类型,AidCode 对应辅助编码,AidName 对应辅助名称。SQL语句应为:select '部门' as 辅助类型,cDepCode as 辅助编码,cDepName as 辅助名称,@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电子数据名称as 电子数据名称 from Departmentunion select '人员' as 辅助类型,cPersonCode as 辅助编码,cPersonName as 辅助名称,@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电子数据名称as 电子数据名称from PerSon
若数据包含多级辅助账,则还需要加入上级辅助编码和辅助级别两个字段,SQL语句例子:select t1.辅助类型,t1.辅助编码,t1.辅助名称,t1.辅助级别,t2.辅助编码as 上级辅助编码,@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电子数据名称as 电子数据名称 from(select '部门' as 辅助类型,a.strDepartmentCode as 辅助编码,a.strDepartmentName as 辅助名称,(select count(*) from Department as c where a.strDepartmentCode like c.strDepartmentCode + '%') as 辅助级别from Department as a) as t1 left join(select '部门' as 辅助类型,a.strDepartmentCode as 辅助编码,a.strDepartmentName as 辅助名称,(select count(*) from Department as c where a.strDepartmentCode like c.strDepartmentCode + '%') as 辅助级别from Department as a) as t2 on t1.辅助级别=t2.辅助级别+1 and t1.辅助编码like t2.辅助编码+ '%'
unionselect t1.辅助类型,t1.辅助编码,t1.辅助名称,t1.辅助级别,t2.辅助编码as 上级辅助编码,@年度as 年度,@单位名称as 单位名称,@电子数据编号as 电子数据编号,@电...
- ?
火车采集器和八爪鱼采集器的区别优势剖析
布伦特
展开
巧妇难为无米之炊,数据分析必须得先获得数据,这个时代数据就是资源,数据就是财富,而获取数据则是利用数据资源获得财富的一项基本功,挖掘数据的方法有很多,通过数据采集工具采集数据则是其中的一种非常好用方法
本文介绍两种数据采集工具,这两种采集工具使用简单,常见的数据几乎都可以采集,包括文字、图片、附件、表格等。
火车采集器
火车采集器可以对互联网数据进行抓取、处理,可以迅速抓取网页中的非结构化的文本、图片等资源信息,然后通过一系列分析处理,获取所需的数据。
火车采集器可以将采集的数据发布到网站后台,导入到Access / MySQL / MsSQL / Sqlite / Oracle等数据库,或者保存在本地TXT、Excel、Word等格式文件中。
火车采集器配备正文识别、中文分词识别、任意编码识别等多种识别系统,无需人工值守操作,任务完成后自动关机,具备同义词、近义词替换、参数替换技能,图片、压缩文件、视频等任意格式的文件都能下载。支持接口和插件扩展,满足各种采编发需求。
以下为中国一带一路网中政策环境模块数据采集样例:
图5 网址配置规则图6 内容采集规则图7 内容发布规则图8 数据采集结果样例八爪鱼采集器
八爪鱼数据采集器通过模拟人的思维操作方式,如打开网页、点击网页中的某个按钮,对网页内容进行全自动提取。
系统完全可视化流程操作,无需专业知识,也能实现数据采集
通过对网页源码中各个数据的精确定位,八爪鱼可以批量化精准采集出用户所需数据。
八爪鱼采集网页源码还行,但是耗费时间长,而且成本较高。
图1 采集示意图使用八爪鱼本地采集功能(单机采集),可以在采集过程中对数据进行初步的清洗。
如在数据源头即可实现去除空格、筛选日期、文本替换等多种操作。
云采集功能除具有本地采集(单机采集)的全部功能之外,还可以实现定时采集、实时监控、数据自动去重并入库、增量采集、自动识别验证码、API接口多元化导出数据以及修改参数等功能。
以下为百度百科数据采集样例:
图2 软件界面图3 百度百科数据采集规则示例图4 百度百科数据采集结果示例两种工具比较
1、八爪鱼学习、使用简单,完全模拟人的思维方式采集数据,采集规则配置可视化程度高;但采集速度相对较慢;专业版及以下版本(单机采集)基本不支持增量采集;
2、火车采集器更专业,采集速度相对较快,但,需要一定的基础。
3、火车采集器免费版功能强大,能完成大部分采集,八爪鱼数据导出还要积分,积分要花钱购买。
4、火车采集器一次购买,永久使用。10年前的版本还在大批用户在使用。平均成本在几十倍以上。5、 火车采集器采集速度是八爪鱼的好多倍,八爪鱼会浪费大量时间。
- ?
重磅 | EasyDL新上线定制文本分类等功能
比翼飞
展开
尊敬的百度AI开放平台用户:
感谢长期以来各位企业用户与开发者对EasyDL的支持!EasyDL是百度AI开放平台在2017年11月14日正式上线推出的定制化训练和服务平台,通过可视化的便捷操作,并通过少量数据进行训练,即使零算法基础也可定制高精度的AI能力。
在追求精益求精的道路上,我们从未止步。百度EasyDL在11.30日升级新版,上线了众多开发者期待已久的新功能!
1、 定制化文本分类正式上线,基于自建分类体系的机器学习方法,实现文本定制分类。
无论投诉信息、媒体文章、还是文本审核标准,从此都可以个性定制。
欢迎访问【EasyDL定制化文本分类】随时体验全新功能。
2、 支持API形式管理数据集,提高训练数据管理效率,优化体验。
针对需要上传大规模训练数据量的用户,拖拉拽式操作需要往往需要保持网页长时间运行状态,API形式的管理数据集功能的上线,对训练数据集较大的用户来讲,大幅提高了管理数据(特别是上传数据)的便捷性和灵活性。
在数据集管理中心,增加了调用接口管理数据,点击后可进入数据集增删改查共计6个接口文档。
3、 大部分模型发布实现免人审,大幅提高模型发布效率。
长久以来,EasyDL坚持T+0到T+1的审批时效,为进一步提升用户体验,新版升级后,绝大多数模型上线将实现免人审,实现分钟级自动上线。
4、 图像分类模型支持调参,为高玩用户自助提升模型效果提供一臂之力。
熟悉EasyDL的朋友会了解,使用EasyDL发布模型无需懂机器学习基础,而由于EasyDL使用的便捷性和高精度的效果,很多有机器学习基础的高玩用户也习惯使用EasyDL来打造AI模型。 本次迭代,也为这类用户群体提供了更为便捷的调参工具。
通过调节参数,用户可以更灵活地选择数据预处理的方法、自定义训练超参数,进一步提升模型效果。
已有调参权限的用户,可以在训练模型前选择开启调参:
5、 数据支持正式上线,大幅降低用户的数据采集及标注成本。
惊艳的模型效果往往依赖于高质量的训练数据,采集和标注图片的成本无法规避。为降低广大开发者的数据成本,本次正式上线两大核心数据支持方式:
百度众测:提交具体的数据采集或数据标注要求,由百度众测提供数据服务支持。
数据服务商:EasyDL已有多家第三方数据服务合作伙伴,可提供包括数据采集、数据标注等多项数据服务。
所有新功能,欢迎访问EasyDL官网体验。
- ?
这12类信息采集表,建议老兵们人人收藏!
轮回
展开
关于老兵信息采取的通知已展开有好一段时间了,截止到下个月底将结束第一阶段的工作。所以说目前进入了最实质性的阶段。可能有许多老兵
一是不够重视,认为可有可无;
二是有些老兵在外地,不便回家登记;
三是有的老兵仍在等村委社区人员通知,被动等待。
在这一点上,不要指望相关人员来通知,因为他们很可能会遗漏掉,不是那么清楚情况的。尤其是对一些异地入伍的,身份证户籍等有变化的,家属也是当兵的又随军到驻地的,等等特殊情况很多,指望相关人员通知不太现实,所以老兵们如果在外地,可以与居委会村委会及时取得联系,主动按下列表格填好,签上字邮寄回去是最好的办法。
1、军队退役士兵信息采集登记表 示范文本 标准文本
2、军队转业干部信息采集登记表 示范文本 标准文本
....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
3、军队离退休干部和退休士官个人信息采集登记表 示范文本 标准文本
4、军队无军籍离退休(退职)职工信息采集登记表 示范文本 标准文本
5、"退伍红军老战士(含西路军红军老战士和红军失散人员) 信息采集登记表" 示范文本 标准文本
6、复员军人信息采集登记表 示范文本 标准文本
7、残疾军人信息采集登记表 示范文本 标准文本
8、伤残民兵信息采集登记表 示范文本 标准文本
9、烈士遗属信息采集登记表 示范文本 标准文本
10、因公牺牲遗属信息采集登记表 示范文本 标准文本
11、病故军人遗属信息采集登记表 示范文本 标准文本
12、现役军人家属信息采集登记表 示范文本 标准文本
- ?
QQ数据采集软件-QQ营销必备
Li
展开
QQ数据采集器-QQ营销必备工具
导语
现在是大数据时代,无论做什么营销都需要用到数据。数据是根本,数据能引导你的营销思维。做QQ营销同样需要大量的精准数据,今天小编为大家介绍一款QQ数据采集软件,这款软件既可以采集精准客户QQ,同时也可以采集精准客户QQ群以及QQ群成员。
软件功能特点
⊙支持按关键词采集精准客户qq
⊙支持自动检测所采集好友是否为单双向好友
⊙支持自动检测所采集qq是否开通临时会话功能
⊙支持自动识别qq所在城市、性别。年龄
⊙支持按关键词采集精准客户qq群
⊙支持自动筛选出群主qq
⊙支持自动检测是否可以直接添加qq群
⊙支持以文本文档格式导出qq群
⊙支持采集qq附近的人(全国定位)
⊙支持采集本地好友和群
⊙支持采集空间qq
⊙支持采集微博听众
⊙支持采集企业qq
⊙支持论坛qq采集
软件功能效果展示
易推客营销软件
- ?
国内五大主流网站内容抓取工具、采集软件大盘点
乐安
展开
大数据技术用了多年时间进行演化,才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中,数据采集产品迎来了广阔的市场前景,无论国内外,市面上都出现了许多技术不一、良莠不齐的采集软件。
今天,我们将对比国内五大主流采集软件优缺点,帮助你选择最适合的爬虫,体验数据hunting带来的快感。
国内篇
1.火车头
作为采集界的老前辈,我们火车头是一款互联网数据抓取、处理、分析,挖掘软件,可以抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群,适合编程老手。
采集功能完善,不限网页与内容,任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展,方便修改处理数据具有同义,近义词替换、参数替换,伪原创必备技能Conclusion:火车头适用于编程能手,规则编写容易,软件的定位比较专业而且精准化。
2.八爪鱼
一款可视化免编程的网页采集软件,可以从不同网站中快速提取规范化数据,帮助用户实现数据的自动化采集、编辑以及规范化,降低工作成本。云采集是它的一大特色,相比其他采集软件,云采集能够做到更加精准、高效和大规模。
自定义采集过程中,八爪鱼采集器系统自写的Xpath、自动生成的流程,可能无法满足数据采集需求。对数据质量要求高,则需自写Xpath,调成流程图等,以优化规则。
使用自定义采集的同学,虽然八爪鱼操作简单,比较容易上手。但是,仍需对八爪鱼采集原理有所了解,看完相关教程,循序渐进,成长周期较长。
可视化操作,无需编写代码,制作规则采集,适用于零编程基础的用户云采集是其主要功能,支持关机采集,并实现自动定时采集
Conclusion:八爪鱼是一款适合小白用户尝试的采集软件,云功能强大,当然爬虫老手也能开拓它的高级功能。
3.集搜客
一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集,服务于任何对数据有采集需求的人群。
可视化流程操作,与八爪鱼不同,集搜客的流程重在定义所抓取的数据和爬虫路线,八爪鱼的规则流程十分明确,由用户决定软件的每一步操作
支持抓取在指数图表上悬浮显示的数据,还可以抓取手机网站上的数据
会员可以互助抓取,提升采集效率,同时还有模板资源可以套用
Conclusion:集搜客操作较简单,适用于初级用户,功能方面没有太大的特色,后续付费要求比较多。
4.神箭手云爬虫
一款新颖的云端在线智能爬虫/采集器,基于神箭手分布式云爬虫框架,帮助用户快速获取大量规范化的网页数据。
直接接入代理IP,避免IP封锁
自动登录验证码识别,网站自动完成验证码输入
可在线生成图标,采集结果以丰富表格化形式展现本地化隐私保护,云端采集,可隐藏用户IP
Conclusion: 神箭手类似一个爬虫系统框架,具体采集还需用户自写爬虫,需要代码基础。
5.狂人采集器
一套专业的网站内容采集软件,支持各类论坛的帖子和回复采集,网站和博客文章内容抓取,分论坛采集器、CMS采集器和博客采集器三类。
支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能
Conclusion: 专注论坛、博客文本内容的抓取,对于全网数据的采集通用性不高。
注:给火车采集器的新手们一点学习建议
火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求, 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。
同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。
- ?
如何用Python从海量文本抽取主题?
千柳
展开
文/数据侠 王树义
你在工作、学习中是否曾因信息过载叫苦不迭?有一种方法能够替你读海量文章,并将不同的主题和对应的关键词抽取出来,让你谈笑间观其大略。本文数据侠就使用Python对超过1000条文本做主题抽取,一步步带你体会非监督机器学习LDA方法的魅力。一起来围观吧~
本文转自公众号玉树芝兰(ID:nkwangshuyi)
淹没
每个现代人,几乎都体会过信息过载的痛苦。文章读不过来,音乐听不过来,视频看不过来。可是现实的压力,使你又不能轻易放弃掉。
假如你是个研究生,教科书和论文就是你不得不读的内容。现在有了各种其他的阅读渠道,微信、微博、得到App、多看阅读、豆瓣阅读、Kindle,还有你在RSS上订阅的一大堆博客……情况就变得更严重了。
因为对数据科学很感兴趣,你订阅了大量的数据科学类微信公众号。虽然你很勤奋,但你知道自己依然遗漏了很多文章。
学习了 Python爬虫课 以后,你决定尝试一下自己的屠龙之术。依仗着爬虫的威力,你打算采集到所有数据科学公众号文章。
你仔细分析了微信公众号文章的检索方式,制定了关键词列表。巧妙利用搜狗搜索引擎的特性,你编写了自己的爬虫,并且成功地于午夜放到了云端运行。
开心啊,激动啊……
第二天一早,天光刚亮,睡眠不足的你就兴冲冲地爬起来去看爬取结果。居然已经有了1000多条!你欣喜若狂,导出成为csv格式,存储到了本地机器,并且打开浏览。
兴奋了10几分钟之后,你冷却了下来,给自己提出了2个重要的问题。
这些文章都值得读吗?这些文章我读得过来吗?
一篇数据科学类公众号,你平均需要5分钟阅读。这1000多篇……你拿出计算器认真算了一下。
读完这一宿采集到的文章,你不眠不休的话,也需要85个小时。
在你阅读的这85个小时里面,许许多多的数据科学类公众号新文章还会源源不断涌现出来。
你感觉自己快被文本内容淹没了,根本透不过气……
学了这么长时间Python,你应该想到——我能否用自动化工具来分析它?
好消息,答案是可以的。
但是用什么样的工具呢?
翻了翻你自己的武器库,你发现了词云、情感分析和决策树。
然而,在帮你应对信息过载这件事儿上,上述武器好像都不大合适。
词云你打算做几个?全部文章只做一个的话,就会把所有文章的内容混杂起来,没有意义——因为你知道这些文章谈的就是数据科学啊!如果每一篇文章都分别做词云,1000多张图浏览起来,好像也没有什么益处。
你阅读数据科学类公众号文章是为了获得知识和技能,分析文字中蕴含的情感似乎于事无补。
决策树是可以用来做分类的,没错。可是它要求的输入信息是结构化的有标记数据,你手里握着的这一大堆文本,却刚好是非结构化的无标记数据。
全部武器都哑火了。
没关系。本文帮助你在数据科学武器库中放上一件新式兵器。它能够处理的,就是大批量的非结构无标记数据。在机器学习的分类里,它属于非监督学习(unsupervised machine learning)范畴。具体而言,我们需要用到的方法叫主题建模(topic model)或者主题抽取(topic extraction)。
主题
既然要建模,我们就需要弄明白建立什么样的模型。
根据维基百科的定义,主题模型是指:
在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。
这个定义本身好像就有点儿抽象,咱们举个例子吧。
还是维基百科上,对一条可爱的小狗有这样一段叙述。
阿博(Bo;2008年10月9日-) 是美国第44任总统巴拉克·奥巴马的宠物狗,也是奥巴马家族的成员之一。阿博是一只已阉割的雄性黑色长毛葡萄牙水犬。奥巴马一家本来没有养狗,因为他的大女儿玛丽亚对狗过敏。但为了延续白宫主人历年均有养狗的传统,第一家庭在入主白宫后,花了多个月去观察各种犬种,并特地选择了葡萄牙水犬这一种掉毛少的低敏狗。
我们来看看这条可爱的小狗照片:
问题来了,这篇文章的主题(topic)是什么?
你可能脱口而出,“狗啊!”
且慢,换个问法。假设一个用户读了这篇文章,很感兴趣。你想推荐更多他可能感兴趣的文章给他,以下2段文字,哪个选项更合适呢?
选项1:
阿富汗猎狗(Afghan Hound)是一种猎犬,也是最古老的狗品种。阿富汗猎狗外表厚实,细腻,柔滑,它的尾巴在最后一环卷曲。阿富汗猎狗生存于伊朗,阿富汗东部的寒冷山上,阿富汗猎狗最初是用来狩猎野兔和瞪羚。阿富汗猎狗其他名称包含巴尔赫塔子库奇猎犬,猎犬,俾路支猎犬,喀布尔猎犬,或非洲猎犬。
选项2:
1989年夏天,奥巴马在西德利·奥斯汀律师事务所担任暑期工读生期间,结识当时已是律师的米歇尔·鲁滨逊。两人于1992年结婚,现有两个女儿——大女儿玛丽亚在1999年于芝加哥芝加哥大学医疗中心出生,而小女儿萨沙在2001年于芝加哥大学医疗中心出生。
给你30秒,思考一下。你的答案是什么?
我的答案是——不确定。
人类天生喜欢把复杂问题简单化。我们恨不得把所有东西划分成具体的、互不干扰的分类,就如同药铺的一个个抽屉一样。然后需要的时候,从对应的抽屉里面取东西就可以了。
这就像是职业。从前我们说“三百六十行”。随便拿出某个人来,我们就把他归入其中某一行。
现在不行了,反例就是所谓的“斜杠青年”。
主题这个事情,也同样不那么泾渭分明。介绍小狗Bo的文章虽然不长,但是任何单一主题都无法完全涵盖它。
如果用户是因为对小狗的喜爱,阅读了这篇文章,那么显然你给他推荐选项1会更理想;但是如果用户关注的是奥巴马的家庭,那么比起选项2来,选项1就显得不是那么合适了。
我们必须放弃用一个词来描述主题的尝试,转而用一系列关键词来刻画某个主题(例如“奥巴马”+“宠物“+”狗“+”第一家庭“)。
在这种模式下,以下的选项3可能会脱颖而出:
据英国《每日邮报》报道,美国一名男子近日试图绑架总统奥巴马夫妇的宠物狗博(Bo),不惜由二千多公里远的北达科他州驱车往华盛顿,但因为走漏风声,被特勤局人员逮捕。奥巴马夫妇目前养有博和阳光(Sunny)两只葡萄牙水犬。
讲到这里,你大概弄明白了主题抽取的目标了。可是面对浩如烟海的文章,我们怎么能够把相似的文章聚合起来,并且提取描述聚合后主题的重要关键词呢?
主题抽取有若干方法。目前最为流行的叫做隐含狄利克雷分布(Latent Dirichlet allocation),简称LDA。
LDA相关原理部分,置于本文最后。下面我们介绍一下用Python实现主题抽取后的结果。
主题抽取结果
定义好函数之后,我们暂定每个主题输出前20个关键词。
我们得到了以下关键词:
Topic #0:
学习 模型 使用 算法 方法 机器 可视化 神经网络 特征 处理 计算 系统 不同 数据库 训练 分类 基于 工具 一种 深度
Topic #1:这个 就是 可能 如果 他们 没有 自己 很多 什么 不是 但是 这样 因为 一些 时候 现在 用户 所以 非常 已经
Topic #2:企业 平台 服务 管理 互联网 公司 行业 数据分析 业务 用户 产品 金融 创新 客户 实现 系统 能力 产业 工作 价值
Topic #3:中国 2016 电子 增长 10 市场 城市 2015 关注 人口 检索 30 或者 其中 阅读 应当 美国 全国 同比 20
Topic #4:人工智能 学习 领域 智能 机器人 机器 人类 公司 深度 研究 未来 识别 已经 医疗 系统 计算机 目前 语音 百度 方面
在这5个主题里,可以看出主题0主要关注的是数据科学中的算法和技术,而主题4显然更注重数据科学的应用场景。
剩下的几个主题可以如何归纳?作为思考题,留给你花时间想一想吧。
到这里,LDA已经成功帮我们完成了主题抽取。但是我知道你不是很满意,因为结果不够直观。
因此我们将结果呈现在可视化图表中:
图的左侧,用圆圈代表不同的主题,圆圈的大小代表了每个主题分别包含文章的数量。
图的右侧,列出了最重要(频率最高)的30个关键词列表。注意当你没有把鼠标悬停在任何主题之上的时候,这30个关键词代表全部文本中提取到的30个最重要关键词。
如果你把鼠标悬停在1号上面:
右侧的关键词列表会立即发生变化,红色展示了每个关键词在当前主题下的频率。
以上是认为设定主题数为5的情况。可如果我们把主题数量设定为10呢?
可视化的输出结果为:
你马上会发现当主题设定为10的时候,一些有趣的现象发生了——大部分的文章抱团出现在右上方,而2个小部落(8和10)似乎离群索居。我们查看一下这里的8号主题,看看它的关键词构成。
通过高频关键词的描述,我们可以猜测到这一主题主要探讨的是政策和法律法规问题,难怪它和那些技术、算法与应用的主题显得如此格格不入。
说明
前文帮助你一步步利用LDA做了主题抽取。成就感爆棚吧?然而这里有两点小问题值得说明。
首先,信息检索的业内专家一看到刚才的关键词列表,就会哈哈大笑——太粗糙了吧!居然没有做中文停用词(stop words)去除!没错,为了演示的流畅,我们这里忽略了许多细节。
很多内容使用的是预置默认参数,而且完全忽略了中文停用词设置环节,因此“这个”、“如果”、“可能”、“就是”这样的停用词才会大摇大摆地出现在结果中。不过没有关系,完成比完美重要得多。知道了问题所在,后面改进起来很容易。有机会我会写文章介绍如何加入中文停用词的去除环节。
另外,不论是5个还是10个主题,可能都不是最优的数量选择。你可以根据程序反馈的结果不断尝试。实际上,可以调节的参数远不止这一个。如果你想把全部参数都搞懂,可以继续阅读下面的“原理”部分,按图索骥寻找相关的说明和指引。
原理
前文我们没有介绍原理,而是把LDA当成了一个黑箱。不是我不想介绍原理,而是过于复杂。
只给你展示其中的一个公式,你就能管窥其复杂程度了。
透露给你一个秘密:在计算机科学和数据科学的学术讲座中,讲者在介绍到LDA时,都往往会把原理这部分直接跳过去。
好在你不需要把原理完全搞清楚,再去用LDA抽取主题。
这就像是学开车,你只要懂得如何加速、刹车、换挡、打方向,就能让车在路上行驶了。即便你通过所有考试并取得了驾驶证,你真的了解发动机或电机(如果你开的是纯电车)的构造和工作原理吗?
但是如果你就是希望了解LDA的原理,那么我给你推荐2个学起来不那么痛苦的资源吧。
首先是教程幻灯。slideshare是个寻找教程的好去处。 这份教程 浏览量超过20000,内容深入浅出,讲得非常清晰。
但如果你跟我一样,是个视觉学习者的话,我更推荐你看 这段 Youtube视频。
讲者是Christine Doig,来自Continuum Analytics。咱们一直用的Python套装Anaconda就是该公司的产品。
Christine使用的LDA原理解释模型,不是这个LDA经典论文中的模型图(大部分人觉得这张图不易懂):
她深入阅读了各种文献后,总结了自己的模型图出来:
用这个模型来解释LDA,你会立即有豁然开朗的感觉。
祝探索旅程愉快!
注: 文中代码部分有所删减,可在后台回复“文本提取”查看具体代码。本文仅为作者观点,不代表DT财经立场。
题图 | 视觉中国
期待更多数据侠干货分享、话题讨论、福利发放?在公众号DT数据侠(ID:DTdatahero)后台回复“数据社群”,可申请加入DT数据社群。
数据侠门派
本文数据侠王树义,天津师范大学讲师,拥有个人公众号玉树芝兰,稍微懂一点儿写作、演讲、Python和机器学习。
加入数据侠
“数据侠计划”是由第一财经旗下DT财经发起的数据社群,包含数据侠专栏、数据侠实验室系列活动和数据侠联盟,旨在聚集大数据领域精英,共同挖掘数据价值。了解数据侠计划详情请回复“数据侠计划”,投稿、合作请与我们联系。
- ?
文本挖掘,通过文本挖掘采集papi酱网络数据
永恒
展开
【大数据文本挖掘_事件概述】
被称为“2016年中国第一网红”的“papi酱”,凭借一系列时长数分钟的原创短视频,在短短几个月内迅速蹿红网络世界。通过扮演各种不同角色,并用夸张、嘲讽甚至自贬的语气点评社会热点话题,吸引了超过1000万粉丝,在优酷等多个视频平台累计播放量过亿次。
从获得1200万元融资,到被国家新闻出版广电总局要求下线整改,之间只经历短短一个月的时间。18日,papi酱被广电总局封杀的消息传遍网络,给走在钢丝绳上、并在现阶段受到资本追捧的网红经济浇了一桶凉水,让人们看到网红经济所带来的市场价值背后,仍存在问题和风险。
18日下午下午,优酷、爱奇艺等视频网站均已经下架“papi酱”系列视频。
文本挖掘,通过文本挖掘采集papi酱数据
晚上7点左右,papi酱在微博上回应此事,表示愿意接受批评并改正,“我是一个愿意并乐意接受批评的人,只有接受批评,及时改正自己错误或不足的地方,才能让自己往更好的地方去前进。作为一个自媒体人,我也会更加注意自己的言辞与形象,坚决响应网络视频的整改要求,为大家传递正能量。以后有问题也欢迎大家继续及时指正,让papi越来越好”。
4月21日下午消息,网红papi酱贴片广告资源招标/拍卖会在京举行,在近两月走红后,papi酱以贴片广告获得了首笔商业营收,丽人丽妆以 2200万元获得了papi酱的5月21日视频结束后彩蛋时间的广告位,时长不限。Papi酱首次广告拍卖2200万,未受整改风波影响。
【文本挖掘网络舆情数据】
作为网络红人,papi酱在网络上尤其是微博端原本就拥有极其高的关注度。自“papi酱融资1200万、估值3亿”的消息以来,其微博关注度呈上升趋势,知名度不断扩大。此次papi酱被勒令整改,更是引发网友和媒体广泛关注。整改风波暴露了网红经济潜伏的一些问题:从内容迭代角度看,网红仍然缺少优质内容,变现模式也有待突破。
根据ImageQ大数据舆情监测平台数据显示,papi酱整改风波引发主流媒体广泛关注。可见,papi酱已不再是只活跃于微博空间的段子手,而是网红经济的代言人。人民日报评papi酱等自媒体:自由发展不是“野蛮生长”,指出对于新媒体,注重规范、进行规制是必要的。引发澎湃新闻、网易新闻、中华网、凤凰网等纷纷转载报道。
文本挖掘,通过文本挖掘采集papi酱数据
此外,Papi酱整改风波在网络上引起轩然大波,18日达到关注高峰,随后网友关注逐渐消退。值得关注的是,广大网友对papi酱被勒令下线整改的态度呈两极分化状。一部分网友为papi酱下架而欢呼,称不爽papi酱很久了。另一部分网友则认为papi酱的短视频作为一个大众喜闻乐见的俗节目,使用一些口头俚语并无大碍。总体来看,支持papi酱的呼声更高。
【文本挖掘舆情点评数据】
papi酱遭到封杀的事情是一个非常正常的连锁反应。此次papi酱事件,是继几天前文化部发文查处涉黄网络直播视频事件后的连锁事件。“净化网络空间,不单单是视觉上的恶俗涉黄讯息,也有精神层面上的恶俗表现。”真正好的内容,是要经得起推敲和打磨的,红极一时不代表就是成功,勤勤恳恳的做事态度才是值得推崇的。
对于罗振宇是否会投资失败,现在评价还太早,如果整改后的papi酱清除了低俗的东西,还能保持活力并且受广大网民的喜爱,那说明papi酱是真的很有才华,那才更值得广大网民推崇,那么对于papi酱的投资也就真的成功了。
文本挖掘,通过文本挖掘采集papi酱数据
如今社会上的信息繁杂,各路资本均在试图通过各种方式吸引人们的注意力。而在互联网的作用下,网红通过对自身进行包装,并对所发布的视频、文字等内容进行策划发布后,能迅速将信息传递到众多网民手中,由于内容较为个性化,受到大量粉丝的关注和追随,从而积聚粉丝和流量。同时这些粉丝和流量则能进一步实现变现,形成网红经济并具备一定的商业价值。
但在网红火热的背后,相关问题也逐渐显现。部分网红为吸引眼球将含有暴力、色情等元素的内容发布到公众平台,而这也引起相关政府部门的重视,比如此次papi酱因语言存在粗口内容被广电总局下令整改,此外,斗鱼、YY、熊猫TV等多家网络直播平台日前因涉嫌提供含宣扬淫秽、暴力、教唆犯罪等内容的互联网文化产品,被文化部列入查处名单。
现阶段,针对网红经济所存在的部分问题,包括政府、行业等方面也在加强管理,在众多监管措施下,这会对网红经济的市场发展产生一定影响。在业内看来,短期内该市场的商业价值或许难以挖掘,但建立良好的市场秩序是使市场长期发展的关键。客观来说,政策红线的出现,或许正是驱使网红经济进化升级的契机。网红经济的未来,依然值得期待。
来源:文本挖掘http://imageq/