- ?
“最牛社保职工”发明采集系统 数据采集3分钟搞定
贺鲂
展开
“最牛社保职工”发明采集系统
社保卡数据采集,3分钟搞定 投用一年为安顺市民节约160万元
市民在操作数据采集系统。
“没想到这么方便,几分钟就能办好!”9月12日下午,安顺市社保局办事大厅内,市民王蕾站在社保卡制卡数据采集机前,刷身份证、输入电话号码、根据提示拍照,简单几个步骤,不到3分钟,社保卡信息已采集完毕。
从“便民”出发萌生新创意
这个让市民“少跑路”的信息采集“神器”,正是安顺市社会保险事业局网络管理科科长龙元鑫的新发明。
据了解,以往参保人申请制作社会保障卡,需自费到指定的商业相馆拍照,再到社保经办机构服务窗口排队进行数据采集,如果相片不规范,还得返回相馆重拍,整个过程至少半天才能完成。
从事社保工作15年来,看到参保人长时间排队等待,来回折腾于金融部门——社保机构——工作单位之间,2013年,计算机软件专业出身的龙元鑫萌生了一个想法:自己设计一个集信息采集和拍照于一体的系统!让群众办理业务少掏钱、少跑路、少耗时。
说做就做,于是,龙元鑫开始了一场漫长的创造之旅。
忍受3年的枯燥坚持研发
构思、画图、设计控制板,自掏腰包购买相机、升降机、机柜,绘制电路图、制作电路板、编写程序控制硬件……而这些工作,龙元鑫都只能利用业余时间来完成。
“家里客厅、卧室到处都是我要用的零件。”龙元鑫笑着说,“女儿也总是被我拉过来当模特试验拍照效果,后来一听到爸爸叫拍照就要躲”。并且,长期伏案导致才40岁出头的他犯了颈椎病,也正因为如此,家人免不了有些抱怨。
时间一天天过去了,作品还总是有需要改进的地方,对于这个过程,龙元鑫用了两个字来总结——枯燥。远离了原来一起打羽毛球的朋友,没时间陪孩子,龙元鑫偶尔也想过放弃,第二天却又再次全身心地投入其中。
投用一年为市民节约160万
功夫不负有心人,2016年初,龙元鑫研制的“社保卡制卡数据采集系统”第一代开始投用,参保人只需3分钟就能完成信息录入。
仅投用的第一年,该系统就采集了制卡人数据8万余条,将全市291.8万户籍人口持卡率提高了2.7个百分点。如按每拍摄一张制卡相片花费20元计算,仅拍照费用一项就为制卡人群节约了160万余元。
“目前安顺户籍人口尚有183.4万人未制作社保卡,而这类人群大都居住在农村。”龙元鑫说,他接着对系统进行升级改造,2017年,体积缩小一半,重量约50斤,功能更完善的第二代、第三代便携“社保卡制卡数据采集系统”已覆盖全市98个乡镇,还有30多台可以随时带进高校、农村进行参保数据采集。
初步预算,这一系统可为百姓节省3000多万元,将有效助力扩大社会保障。(实习生甘良莹 记者张光平 来源:贵州都市报)
- ?
数字信号处理中的上采样与与下采样
赵乐荷
展开
在变速率信号处理中,经常会需要对一个信号进行上采样(内插)和下采样(抽取),在上采样之后,需要进行滤波,因为上采样后会信号频谱会产生高频镜像。在下采样之前,也需要进行滤波,因为下采样采样频率降低了,相当于就是信号频谱扩大了(其实信号频谱没变,下采样不改变信号频谱,只是采样率降低相当于信号频谱扩张)为了防止频谱混叠,需要在下采样之前进行抗混叠滤波处理。一般在通信发射端,需要对信号进行调制,基带信号一般数据速率很低,在信号调制之后需要对信号进行上变频,上变频一般中频为70MHz或者20Mhz,假如为20MHz,那么时钟速率一般至少为80MHz(一般4倍采样),需要把基带信号上采样到数据速率和时钟速率匹配,此时一般需要进行几十倍甚至上百倍的上采样,这事在工程实现时一般会采用多级上采样实现,以减少滤波器级数和实现难度,一般可以采样2倍上采样这样级联,2倍上采样可以采用半带滤波器,其实现非常简单 ,节省FPGA资源。一般在通信接收端,需要对信号进行解调,在信号AD采样后,就是数字中频信号,在解调之前需要对信号进行下变频,然后下采样处理,降低数据速率。假定抽取倍数是M,也就是在M个点中抽取一个点,那么则要求被抽取的信号频率必须在(-pi/M , pi/M)之内。为了满足这个要求,在处理的时候要根据实际情况在抽取之前加入抗混叠滤波器。
- ?
实时数据采集 将平台资源匹配
慕南珍
展开
匹配算法实现,通过将用户属性、用户学习状态属性、用户操作行为统计属性与资源属性进行匹配,数据容量大,遥测距离远,人机界面友好,可靠性高的优点,可广泛用于学校和社区小区域范围环境服务。
也适合于气象、海洋、环境、机场、港口、工及等领域使用.实时数据采集与上传该模块主要功能是通过无线方式获取环境观测站采集的实时数据并显示.数据采集的基本算法如下:首先判断是否到发送数据时间,若到了执行数据发送命令。
为了方便学习者查找资源以及系统推送资源,须对学习者和资源的属性进行标记,即创建属性元数据.本研究采用标签技术分别建立学习者和资源的属性元数据.学习者的属性标签主要来自于用户注册时的信息(用户属性)、学习者的学习状态属性以及学习者系统操作行为统计属性(对上传、下载、浏览、评论等操作的统计)。
资源的属性标签主要来自于资源提供者根据学科和关键字分类的标签以及资源使用者对资源的评价、标记等.根据研究性学习的主题、用户学习进度,系统可以将用户可能感兴趣,其他用户感兴趣或评分高、浏览次数多,相同领域的最优资源或相似领域的最佳资源推送给用户,系统根据学习者的学习主题,将平台中评价最高的相关资源、教师指定的资源和拓展的相关资源进行匹配,
- ?
智能制造工厂生产车间无线数据采集系统解决方案
郜从灵
展开
工业物联网无线数据采集系统,是一套具备终端数据采集,无线数据传输和数据应用分析等多功能的智能化数据采集和监控系统,它在市政供排水管网、供汽管网、热力管网、石油天然气管网、地下管沟监控;游泳池水箱水塔液位、大坝、河道水位、泵房浸水监控;蔬菜蘑菇、针金菇、水果、花卉、育苗等农业大棚智能环境监控;畜牧、家禽、水产等农业养殖智能环境监控;化工危化品石油天然气储罐区、电池、面粉仓库智能环境监控;电信机房、实验室、医院药房、生产车间、冷柜冰箱、图书馆、博物馆、档案室、粮库、烟草、酒糟酒曲酒窖等仓储馆藏智能环境监控;社区楼宇、港口工业园区、公园景区、校园广场、超市商场等大气环境质量智能监控;发动机、变频器等生产机器设备运行状态、仪器仪表能耗及生产缺料的智能监控等多个领域有着广泛的应用。
近年来,工业物联网无线数据采集系统的发展趋势是简化终端结构,在数据采集终端与主机之间采用无线通信,以代替复杂、不灵活的现场布线。该阶段数据采集系统采用更先进的模块式结构,根据不同的应用要求,通过简单的增加和更改模块,并结合系统编程,就可以扩展或修改系统,满足不同领域的需要。
针对工厂生产车间机器设备运行状态、运行工艺参数、运行能耗数据,以及管网运行状态数据、变配电系统运行数据、车间仓储库房环境参数等数据的采集、监控,深圳信立科技结合XL.SN无线传感器网络2.4GHz或433MHz模块技术、MES制造执行系统技术及无线传感器、无线测控装置RTU等,自主研发设计了一套工业版工厂生产车间无线数据采集系统解决方案,实现实时获取完整、准确的工厂生产制造过程中的各种数据,为企业提高生产制造管理提供基础数据,全面优化生产制造的管理手段、提高生产制造管理效率,向工业4.0靠近!
一、系统功能
1、采集设备运行状态:停止、待机、运行、故障、检修等等,以及发生的时间点;
2、采集设备运行工艺参数:压力、温度、流量、转速、计数、风速、位移等;
3、采集设备运行能耗:电流、功率、电能;汽、气消耗量;
4、采集企业供水、供汽、空压、制冷等设备及相应管网的运行状态数据;
5、采集企业变配电系统运行数据;
6、监控车间环境参数,以及仓储库房环境参数。
二、系统通讯方案
1、XL.SN智能传感网络采集结构
XL90物联网智能网关,可同时构建433MHz和2.4GHz两种不同结构的传感网络,用于接收终端采集的数据,并上传至服务器。其中433MHz用于跨车间、厂区内的数据传输,2.4GHz用于车间内的数据传输。
2、XL.SN通讯网络方案
a、XL90物联网智能网关通过2.4GHz或433MHz等方式读取节点设备数据后,进行协议转换、数据处理,通过局域网,上传数据至MES服务器;
b、XL90物联网智能网关通过以太网,从第三方监控系统,如电力监控系统、EMS、DCS、智能楼宇系统等等,读取数据;
c、MES服务器,或XL90物联网智能网关,通过以太网,将数据转发给第三方系统,如EMS、ERP等。如图2。
3、物联网智能网关数据接入MES系统通讯方案
XL90物联网智能网关通过企业局域网,和MES服务器通讯。 XL90智能网关和MES的通信协议,可选以下3种: 建议首选:XL/9E-RDF Redis数据交换协议; 建议次选:XL/9E-DF 数据库格式协议; 建议再次选:XL/9E-UDP 通信协议; 工业以太网通用协议:MODBUS TCP。(不太建议选择)
三、系统解决方案
1、设备信号采集
配置XL60智能测装置,采集机器设备的运行信号,通过2.4GHz或433MHz方式上传,实现生产制造设备的信号采集。
2、设备控制器的数据采集
选配XL66智能转换器,读取机器设备控制装置及现场监控仪表采集的信号,通过2.4GHz或433MHz等方式接入传感网络。
3、管道压力、温度,车间环境、仓储环境的气体浓度、温湿度采集
选配XL61系列智能传感器,采集管道压力、温度,车间环境、仓储环境的气体浓度、温湿度,通过无线上传,并在需要的通道,出、入口设置声光报警器,或启动紧急设备。
4、其他信号采集
选配XL60智能测控装置,及XL68智能环境监测装置,采集火灾探测器、噪音传感器,光照传感器,液位变送器,压力变送器等等设备,以及系统原配的仪表数据。
四、系统优势
1、工厂生产车间无线数据采集系统建设过程中,无需布线,或减少布线数量,减少系统建设成本。
2、系统所需的设备安装调试方便,设备支持手机调试,提高运营维护的效率。
3、系统底层终端各种数据采集后统一接入企业MES系统,便于监控管理,提高企业生产管理效率。
五、系统配套
整个无线数据采集系统方案,根据应用需要配套的软硬件设备,包括XL90物联网无线智能网关、XL60智能测控装置RTU、XL68智能环境测控装置RTU、XL66智能转换器,以及XL61无线压力传感器、XL61无线温度传感器、XL61无线气体传感器、XL51无线温湿度传感器等无线传感器,还有MES制造执行系统软件。
六、适用范围
深圳信立科技设计的工业版工厂生产车间无线数据采集系统解决方案,适用于在我国珠三角、长三角、京津冀等沿海发达地区,以及重庆、成都、湖北、河南、安徽等内陆省份的电子加工制造、汽车制造、钢铁冶炼、机械装备、食品生产、医药生产等各行业制造业工厂。
- ?
携程用户数据采集与分析系统
笔笔
展开
一、携程实时用户数据采集系统设计实践
随着移动互联网的兴起,特别是近年来,智能手机、pad等移动设备凭借便捷、高效的特点风靡全球,同时各类APP的快速发展进一步降低了移动互联网的接入门槛,越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务(LBS)等方面的需求。
我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足,分析了在移动互联网流量剧增的背景下,用户数据采集系统的需求,研究在多种访问终端和多种网络类型的场景下,用户数据实时、高效采集的方法,并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架(Netty)和分布式消息队列(Kafka)存储框架实现,其具有实时性、高吞吐、通用性好等优点。
1、技术选型和设计方案:
一个典型的数据采集分析统计平台,对数据的处理,主要由如下五个步骤组成:
图1、数据平台处理流程
其中,数据采集步骤是最核心的问题,数据采集是否丰富、准确和实时,都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。
为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求,同时能借鉴互联网大数据行业一些优秀开源的解决方案,所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示:
图2(数据采集分析平台系统架构)
其中整个平台系统主要包括以上五部分:客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志,业务服务器需要获取由客户端SDK统一生成的用户标识(C-GUID),然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台,都从Hermes(Kafka)中消费采集数据,进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控,这些监控信息先写入Hbase集群,然后通过Dashboard界面进行实时监控。
(1)基于NIO的Netty网络框架方案
要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件(如Netty、MINI、xSocket),用它们和NginxWeb服务器进行了性能对比,决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍:Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。
图3(Netty框架内部组件逻辑结构)
Netty的优点有:
a、功能丰富,内置了多种数据编解码功能、支持多种网络协议。
b、高性能,通过与其它主流NIO网络框架对比,它的综合性能最佳。
c、可扩展性好,可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。
d、易用性,API使用简单。
e、经过了许多商业应用的考验,在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。
Netty采用了典型的三层网络架构进行设计,逻辑架构图如下:
图4(Netty三层网络逻辑架构)
第一层:Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作,负责将网络层的数据读取到内存缓冲区中,然后触发各种网络事件,例如连接创建、连接激活、读事件、写事件等,将这些事件触发到Pipeline中,再由Pipeline充当的职责链来进行后续的处理。
第二层:职责链Pipeline层。负责事件在职责链中有序的向前(后)传播,同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。
第三层:业务逻辑处理层,一般可分为两类:a. 纯粹的业务逻辑处理,例如日志、订单处理。b. 应用层协议管理,例如HTTP(S)协议、FTP协议等。
我们都知道影响网络服务通信性能的主要因素有:网络I/O模型、线程(进程)调度模型和数据序列化方式。
在网络I/O模型方面,Netty采用基于非阻塞I/O的实现,底层依赖的是JDKNIO框架的Selector。
在线程调度模型方面,Netty采用Reactor线程模型。常用的Reactor线程模型有三种,分别是:
a、Reactor单线程模型:Reactor单线程模型,指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景,可以使用单线程模型。
b、Reactor多线程模型:Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。
c、主从Reactor多线程模型:主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程,而是一个独立的NIO线程池。利用主从NIO线程模型,可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的,它可以支持三种Reactor线程模型。
在数据序列化方面,影响序列化性能的主要因素有:
a、序列化后的码流大小(网络带宽占用)。
b、序列化和反序列化操作的性能(CPU资源占用)。
c、并发调用时的性能表现:稳定性、线性增长等。
Netty默认提供了对GoogleProtobuf二进制序列化框架的支持,但通过扩展Netty的编解码接口,可以实现其它的高性能序列化框架,例如Avro、Thrift的压缩二进制编解码框架。
通过对Netty网络框架的分析研究以及对比测试(见后面的可行性分析测试报告)可判断,基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。
》》点击阅读全文
- ?
岸电电源的数据采集系统介绍
宣一凤
展开
岸电电源系统采集包括空调、通风系统、报警系统、输入/输出开关柜、输入/输出变压器、岸电电源、拖缆设施、船舶并网等设备的运行状态、电气参数、启停控制、故障报警等信号,信号类型包括:
(1)硬线接口:具备启动、停止、复位、紧急停止命令。
(2)工作状态信号:具备岸电电源就绪、运行、停止、报警、故障(停机)信号。
(3)模拟量接口:具备同步指令给定信号(4~20mA)、输出电流、电压、频率(4~20mA)接口。同时必须考虑预留至少一定数量的输入输出点位。
通信网络控制系统还需采用本地控制和远程控制2种方式,其中本地控制采用LCD现场控制盘来实现,远程控制采用以太网、modbus或profibus等通信协议来实现。
现场LCD控制盘可同时显示多个实际值与给定值,可存储多条控制器数据,每个数值应带有时间标签;可作为WEB SERVER以便PC机远程存取、控制触摸屏人机界面上载与下载文件。主要界面:岸电电源并网同步过程监视、岸电电源运行情况、参数显示、设定、岸电电源故障诊断。主要参数记录和查询包括:输出电流、输出电压、输出频率、网侧输入电流、网侧输入电压、警报事件、故障事件。显示功能:应可对输出电源的频率、三相电压平均值、三相电流平均值、三相线(相)电压、三相线电流、三相不平衡度、有功功率、无功功率、功率因素等参数显示并对有功功率电度、无功功率电度进行统计计量。所有数据应可以在装置屏上显示,且能够支持一定时间内连续供电参数(包括频率、电压、电流等参数)等记录和回放功能,所有这些数据应随时可在控制系统中查询。
远程操作系统功能,应该具备完成整个系统的操作、监控、控制等功能;同时,操作系统还应配置数据管理功能,包括:事件、故障记录与保存;能够将运行过程中的事件、故障记录并保存到数据库,为维护、维修提供数据支持。
创统SPS岸电电源系统 - ?
前嗅:手把手教你数据采集
Jebel
展开
ForeSpider 前嗅:手把手教你数据采集
ForeSpider是一款非常好用的数据采集软件,因为属于专业性工具,除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决,今天给大家介绍ForeSpider数据采集系统的使用教程,希望能对大家的工作有所帮助。
教程的示例网站是大众点评,要得到50页内所有医院名称,该医院评论总数,医院总体星级,各项评分,医院评论的用户名,评论内容,评论时间,用户点评星级,获赞数量和回应数量。
首先我们先新建一个频道,我给它命名为大众点评,然后在频道配置里输入我们想要爬取数据的网址,需要在频道配置处输入想要得到数据的网址,大众点评需要开启cookie,从右面可以开启,网站不同有的不需要,视情况而定。 现在默认模板(1)就是我们要的网站页面,鼠标放在医院标题处如图,从左下角能看到医院的网址链接。
现在点一下右上角的采集预览,我们能得到整个页面的所有网页链接,下拉滚动条到这个位置就会发现跟上图相同格式的链接,这就是我们需要的所有医院的链接。
我们用不到的需要过滤一下,可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取,里面有地址过滤和标题过滤两个选项,点击地址过滤,软件右下角如图:
过滤规则选择包含,过滤串内输入想要得到的医院链接,后面这串数字我们用“\d”表示,用“\e”表示结束,例如https://dianping/shop/\d\e,这样就能采集网页内所有这种格式的网页链接。
当我们想要采集的网页下面有翻页的链接,就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外,还要再新建一个链接抽取,抽取页面翻页的地址。
我们继续从采集预览处得到翻页的链接,过滤规则选择包含,通过观察发现几个链接的相同点,输入到过滤串里就能得到想要的翻页链接了。
第一层级的模板建好了,下面我们随便点进一个医院主页内,复制链接建立下一层级模板。在默认模板(2)的示例地址内输入医院主页的链接。
因为我们需要采集该医院所有用户评论,所以我们找到下面的“更多点评”,通过刚刚地址过滤的方法,过滤出更多点评的链接,并建立模板(3),示例地址输入刚刚过滤的得到的“更多点评”的网址。
注:点击链接抽取,看左下角关联模板处,一定要关联到下一层级的模板,如果是翻页的链接抽取,要关联自身模板,否则会数据采集失败。这点一定要注意。
这样模板的基本配置就完成了,下一步是建立表单,下图是我们的需求,红色字体我们能从模板二采集到,蓝色字体我们能从模板三采集到,所以我们需要建立两个表单。
点击表单配置,新建一个表单,添加一个网页主键如图,一定要勾选索引字段,键值唯一,主键字段三个选项,取值类型选择网页主键点击确定。
然后添加下一个字段如标题“title”
取值类型选择“选区内全部文本”,变量类型选择“string”,选择合适的字符长度点击确定。依次建立所有字段。
这是我建立的两个表单的所有字段,表单名称分别为“大众点评1”、“大众点评2”,建立好以后点击保存即可。点开模板配置,每一个模板对应相应的表单,右键模板二“添加数据抽取”,表单名称选择“大众点评1”。
同样在模板三处再添加另外一个数据抽取表单,添加好后如下图所示:
单击“title”,然后按住ctrl键同时鼠标左键点击对应标题,内容过多的话按住shift可以调整内容大小,选好后点击保存。
全部选取完后点击左上角的文件,然后全部保存。
下一步点击数据,连接数据库,然后再次点击数据,选择数据表,选择刚刚新建两个数据表的字段后创建表,创建好后勾选并确定,就可以进行数据采集了(如果表单有问题需要更改,改好后需要重新创建表单),速度慢可以点击设置里面的线程设置,设置多线程。
这只是一个简单的教程,软件还有很多强大的功能,祝大家使用愉快!
- ?
「技术文章」NI数采模块测井数据采集控制系统原理设计
尔竹
展开
测井数据采集控制系统是用于对各种置于地层中的井下仪器产生的信号进行采集、处理并对井下仪器进行控制的油田基础测控设备。由于专业性极强,以往系统中的数据采集及控制单元通常是以自我设计为主,因此导致系统的开发周期长、成本高、稳定性较差。现在,我们硬件使用National Instruments 公司的数据采集卡,软件使用VC++结合 Measurement Studio 软件包,实现了测井数据采集和控制单元的基于标准工业数据采集产品的设计与开发,大幅度的降低了系统的开发和维护成本,缩短了系统的开发周期,提高了系统的稳定性和可靠性。目前这套系统已制造20余套,成功应用于全国各大油田,取得了可观的经济效益。
系统原理
测井数据采集控制系统主要由工控机、NI通用数据采集卡、信号调理模块、绘图仪、综合控制箱、直流电源、交流电源、UPS电源、示波器等构成。系统原理框图如图1。
主机1主要用于系统的数据采集、处理和控制。绘图仪用于测井曲线实时出图。深度信号调理模块对光电编码器信号及其它井口信号进行调理,并控制深度显示;数字信号调理模块用于配接各类编码(例如,曼彻斯特编码)传输的井下仪器,如双源距C/O能谱测井仪、脉冲中子氧化化测井仪等;脉冲信号调理模块主要配接采用脉冲、周期信号传输的井下仪器以及各种脉冲编码类型的仪器。如:井壁超声成像测井仪等;直流信号调理模块主要配接采用直流量、低频模拟信号传输的井下仪器。直流电源为井下仪器提供直流供电、交流电源为井下仪器提供交流、泵、阀、继电器和释放器的供电。综合控制箱负责完成缆芯切换、供电控制。UPS电源用以保证在停电或外部供电不正常时,维持一段时间的供电,以免测井数据因得不到及时存储而丢失。以上各单元统一安装到两组19英寸标准机柜中。关于信号的流程,从图1中可以看出。我们把进入数据采集控制系统的信号归结为两类:井口信号和井下信号。井口信号来自井口和电缆绞车,它包括电缆张力信号、电缆磁记号和深度系统的光电编码信号。井下信号是指来自井下仪器的信号。来自井下仪器的感应型或脉冲型信号、深度系统的两路光电编码信号、井口的张力信号及电缆磁记号,通过电缆线进入采集箱内的深度调理模块、脉冲信号调理模块或直流信号调理模块,经过调理后,输出到NI数据采集卡。井下仪器编码信号经过综合控制电路的分离及预处理后通过电缆线进入到数字信号调理模块,进行信号调理、解码。解码后的信号同样输出到NI数据采集卡。NI数据采集卡控制数据采集的方式、采样的间隔,同时实现对脉冲信号、直流信号和数字信号的实时采集,采集到的数据以DMA方式传给主机内的数据缓冲区,由系统软件按不同的采样方式控制数据的显示、处理、打印和存盘。
数据采集方案设计
测井数据采集控制系统设计的核心是其数据采集方案设计。数据采集方案设计主要由系统深度数据采集和深度中断管理方案设计;多路复合信号实时同步采集方案设计;复杂编码格式数字信号高速传输与采集模式设计;直流信号高精度采集方案设计;系统状态及井下仪器控制方案设计等构成。由于专业性极强,以往系统中的数据采集及控制单元通常是以自我设计为主,因此系统的开发周期长、成本高、而且稳定性较差,并经常导致使用过程中,系统死机、深度测量不准等问题的出现,使系统的维护成本成倍增长,同时由于技术水平的限制,自己开发的系统只能配接一些信号类型简单和传输速率低的井下仪器,不具备多路信号实时同步采集以及高速传输的数字信号采集和处理能力。为了克服现有系统的缺陷,我们在充分调研和试用各大公司的数据采集产品的基础上,选择了NI 公司生产的系列数据采集卡和Measurement Studio 软件开发包,经过对NI各个采集卡的仔细研究和深度开发,我们仅用了3个月的时间就完成了过去需要2年以上的系统核心设计,并在业界首次实现了全部基于标准工业数据采集产品的测井数据采集控制系统设计,同时使系统在采样精度,深度控制,采集速度等主要技术指标上得到了全面的大幅度的提升。
(1)系统深度数据采集和深度中断管理方案设计:
系统深度模块是该系统中行业性最强的一个模块,它需要对正交光电编码器信号进行测量,得到系统当前的深度数据,同时它还要根据当前的深度数据生成用于同步各信号采集的深度等距触发信号。例如,在光电编码器顺时针转动时,每隔固定位移间隔(例如5 cm) 产生一个触发信号,这个触发信号通知系统对所有测量信号进行采集,如果系统光电编码器突然反方向转动,则不产生触发信号,系统不做任何采集,从而使系统只按照单方向等位移的状态采集数据。此外,该模块还要具备对正交光电编码
信号防抖动,防滑动处理的功能。在系统开发过程中,我们发现 NI PCI-660X 系列产品的用户手册上没有实现该工作模式的基本功能。为了实现该功能,我们经过深入研究和开发,通过利用PCI-6602处理光电编码器信号的计数器通道所能生成的某种特殊状态信号,同时结合其它计数器通道的脉冲生成功能,最终生成了我们所需要的连续的深度等距触发信号。在最终的产品设计中我们利用PCI-6602的5个计数器通道通过程序初始化控制实现了这个功能。这是我们首次通过使用标准工业数据采集卡实现深度数据的精确读取和触发信号的定距输出,它为整个系统得成功研制奠定了坚实的基础。
(2)多路复合信号实时同步采集方案设计:
测井数据采集系统通常需要根据定距或定时触发信号对多路直流信号、脉冲信号和数字信号进行实时同步测量。这就需要系统保证对多个采集卡间以及同一采集卡内部的多个测量通道间的数据采集的同一性和实时性,否则得到的数据就不能反映井下仪器在地层中真实状况。我们采用具有RTSI(实时同步接口)总线的 NI 6070E 或 NI6024E 用于直流信号的测量,PCI-6602 或 PCI-6601 用于脉冲信号和深度信号的测量,PCI-6534 或 PCI-6533用于数字信号的测量。系统中任何一块卡都可以根据工作模式的不同作为主卡来生成同步触发信号或用作从卡来接收同步触发信号。我们把主卡产生的同步触发信号加载到RTSI 总线上,由RTSI来同步其它从卡上的各个测量通道的数据采集,各块采集卡采集到的数据都以DMA方式传给主机内各自的数据缓冲区。由于整个触发和采集过程都是由系统硬件独立控制完成的,使得各个测量通道的采集延时可以控制在纳秒级。所有采集卡都采用DMA模式传输数据,这与以往系统多采用中断模式相比,极大的提高了系统工作效率。
通过RTSI总线我们把原来需要通过系统软件轮询依次读取各通道数据的工作方式转变成通过初始化各个采集卡的工作状态,然后由各采集卡(即系统硬件)的RTSI来控制采集的同步。这种工作方式的转变,不但降低了系统负荷,而且使系统测量的同步性和实时性得到了显著提高。这也是我们选用NI 公司数据采集卡来实现系统数据采集的一个重要原因。
(3)复杂编码格式数字信号高速传输与采集模式设计:
由于测井仪器种类繁多,一个设计合理的测井系统,必须考虑能与不同编码格式的井下仪器配接使用。由于PCI-6534通常情况下具有40MS/s的采样率,我们在系统设计中,充分开发PCI-6534的Pattern I/O功能,实现了复杂高速传输的数字的采集和解码,同时根据井下仪器的特点,可以把调理模块触发PCI-6534的信号加载到RTSI 总线上,以同步系统深度和其它数据的采集,也可以通过RTSI总线把定距或定时触发信号加载到PCI-6534上,以控制数字信号的采集模式。PCI-6534与系统前端数字信号调理模块配合使用,使系统具备了配接各种传输速率高、编码协议复杂的测井井下仪器的能力。
(4)直流信号高精度采集方案设计:
有些测井仪器上传的信号中,既有直流量也有脉冲量还有数字量,而且其直流量的采样频率一般要求达到1MS/ s。采集系统除了要完成井下仪器直流信号的高速采集外还要以定时或定距的模式和较低的采样率采集其它直流信号和脉冲信号。我们在设计中,通过对NI 6070E、PCI-6024E、PCI-6602、PCI-6534这四块卡综合编程控制,采用多通道多次复合同步触发技术,同时充分开发PCI-6534的数字信号模式触
发控制技术,实现了定时或定距触发条件下以高采样率采集井下仪器的直流信号,同时以低采样率采集井下仪器的脉冲信号、井口的直流信号和数字信号的工作模式。这是整个测井数据采集系统设计的难点。
(5)系统状态及井下仪器控制方案设计:
在系统调理模块和井下仪器状态控制设计中,我们选用PCI-6601, 利用它的Digital I/O功能,建立起了一套控制能力强大的32位命令输出体系。选用PCI-6601,主要是为了降低系统的总成本,根据需要也可以选择专门的数字I/O卡,或其它多功能卡。
系统软件设计
测井数据采集控制系统软件主要由现场测控及数据采集软件和测后数据分析处理软件构成,在软件开发上,我们选择使用VC++ 与NI 公司Measurement Studio 软件包相结合的开发方式,用VC++开发与操作系统底层相关的程序和曲线打印输出程序,使用Measurement Studio和CVI提供的类库开发与数据实时采集和曲线显示相关的程序。这种开发方案不但可以对操作系统进行灵活的控制而且充分利用了NI 公司提供的开发工具,从而极大的缩短了系统软件的开发时间。我们仅用了三个月的时间就完成了系统软件的设计,开发和测试工作。图2为系统软件中的脉冲中子氧活化测井及解释软件序界面。图3为系统软件总体框图。
我们使用NI公司的数据采集卡和软件开发工具实现了测井数据采集控制系统的基于标准工业数据采集产品的设计与开发。大幅度地降低了系统的开发和维护成本,缩短了系统的开发周期,提高了系统的稳定性和可靠性。此外,我们可以根据用户的需要对系统数据采集卡进行多种组合或把系统更新为PXI总线系统,实现功能各有侧重的测井数据采集控制系统。目前这套系统已生产20余套,成功应用于大庆油田和全国其它油田,取得了可观的经济效益,具有相当广阔的应用前景。
数据信号采集系统
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并