- ?
街景地图都是怎么拍的?原来原理这么简单!
牟雅旋
展开
本文来自:百度知道日报
(文章来源《院士讲科学》,该书由《知识就是力量》杂志社总策划,科学普及出版社出版)
专家:刘先林,摄影测量与遥感专家,中国工程院院士,中国测绘科学研究院名誉院长。
你有没有很好奇,我们打开地图软件,用到的街景地图是怎么来的?
目前,一些提供电子地图服务的网站,比如百度和谷歌,都推出了各自的街景地图,而且很受网民们的喜爱。人们在电子地图上点击,安放一个“虚拟摄像头”,就可以看到某个区域的地物实景。这种街景地图,实际上是用特殊的“街景车”拍下电子图像,再通过特殊的算法拼接而成的。随着各个大城市的“成长”,制作街景地图的任务量也将会越来越繁重。
第一代街景地图VS第二代街景地图
目前投入使用的这些街景地图,我们称之为“第一代街景地图”。这是因为,它只是让用户在某一个位置“站定”,然后以平视360度观看街景。这样的系统有一种略微进步一些的变体,可以让用户通过计算机键盘操纵,在街景地图里走一小段距离,我们称之为“一代半街景地图”。不过,这并不是街景地图“进化”的终点。测绘领域期盼的新一代街景地图,将是一种本质上的革新,那就是以高精度的三维模型来取代二维的图像。
基于高精度三维模型的“第二代街景地图”,因为点云采集技术的进步而成为可能。所谓点云,就是巨量的点数据的集合。我们知道,当一束激光照射到物体表面时,反射回来的激光会携带方位、距离等信息。若将激光束按照某种特定的轨迹,对物体进行极为精细的扫描,并且在扫描同时记录反射的激光点的信息,那么被记录下来的激光点构成的点云,就勾勒出了物体的外观。
如果用三维激光扫描仪和照相式扫描仪相互配合,共同对某一个物体进行扫描,那么前者的数据会包括三维坐标和激光反射强度,后者则包括三维坐标和颜色信息。如果让这两种手段采集到的三维坐标信息相互印证,激光反射强度和颜色信息相互补完,就可以迅速建立起被扫描物体的三维模型,甚至为一栋巨大的建筑物建模也不在话下。建模所需的数据,配合来自GPS或者“北斗”导航系统的卫星定位数据,就成为城市街景地图的基础。
街景地图的发展与发达国家还有差距
想要让新一代的街景地图走向实用,对地物外观数据进行高成功率自动提取,是最为关键的一步。只有数据采集的准确率达到90%以上,才可以保证建模的精确。目前,中国已经为极少数街区制作了实验性的第二代街景地图,但与技术更先进的美国相比,中国在这个领域尚存差距。
原来街景地图的原理并不难,也是因为有了这些街景地图,我们有了更多的体验,比如不用出国,在家躺着就可以欣赏国外的风景。
- ?
地磁定位技术原理
芬妮
展开
地磁定位的由来
众所周知,我们生活的世界,处处遍布着地球磁场。很多鸟类在迁徙的时候通过地磁作为导航保证不偏离航线;古时候人们发明的指南针、航海罗盘也都是利用的地磁原理。如今,随着测量器发展和对地磁技术的深入研究,使得通过地磁技术进行定位导航成为一种可能。
定位原理
地球本身是一个巨大是磁体,在地理南北两极之间形成一个基本的磁场,但这种地球磁场会受到金属物的干扰,特别是穿过钢筋混凝土结构建筑物时,原有磁场被建筑物内金属物质干扰扭曲,使得建筑物内形成一个独特的有规律的“室内磁场”。而且建筑物内金属结构不发生结构性变化时,室内磁场也固定不变。
室内定位技术正是通过采集这种“室内地磁”的规律特征,利用手机端普遍集成的地磁传感器去收集室内的磁场数据,辨认室内环境里不同位置的磁场信号强度差异,从而确认自己在空间的相对位置。
定位精度
理论上不同位置的磁场差异性是非常微小的,普通工具无法进行探测,但这种被建筑物改变后的室内磁场,恰恰提升了磁场的差异性,使获取室内数据变得更为有意义,间接性的提升了定位的精度。所以手机获取区域内的磁场特征后,匹配系统中的磁场数据库,完成精确定位,定位精度理想情况下可保持在2米左右。
技术特点
成本极低。无需购物大型硬件,进行实施部署操作,终端使用自身手机即可。
无累计误差。地磁导航的误差不会随着时间产生累计效应,与惯性导航系统融合非常合适。
数据采集难度大。定位的完全依赖于地磁数据,当进行装修、改造时,需要重新进行采集工作。
信号干扰。地磁信号本身非常容易受到金属物干扰,假如建筑物周边经过一辆汽车之类的,都会对信号产生干扰,影响定位的准确性。
初始位置获取。地磁定位是相对位置,所以单纯依靠地磁来定位是没法立刻获取初始位置的,很多方案都要求用户在使用定位前在室内行走5~8米,以帮助获取初始位置,也有很多方案采取其他定位技术来辅助获取初始位置,这也是室内地磁定位技术最难解决的问题。
总体来看,紧依靠地磁完成精确的室内位置服务还是难度比较大的,可以考虑将地磁技术与蓝牙技术或WiFi技术结合来使用,更多的基于室内位置服务方案可登陆中科劲点官网进行了解。
- ?
一个资深数据人对数据挖掘解读
海露
展开
在银行做了两年的数据分析和挖掘工作,较少接触互联网的应用场景,因此,一直都在思考一个问题,“互联网和金融,在数据挖掘上,究竟存在什么样的区别”。在对这个问题的摸索和理解过程中,发现数据挖掘本身包含很多层次。并且模型本身也是存在传统和时髦之分的。本文就想聊聊这些话题。
一、数据挖掘的层次
一直想整理下对数据挖掘不同层次的理解,这也是这两年多的时间里面,和很多金融领域、互联网做数据相关工作的小伙伴,聊天交流的一些整理和归纳。大概可以分为四类。
(一)纯粹的数据加工
侧重于变量加工和预处理,从源系统或数据仓库,对相关数据进行提取、加工、衍生处理,生成各种业务表。然后,以客户号为主键,把这些业务表整合汇总,最终可以拉出一张大宽表,这张宽表就可以称之为“客户画像”。即,有关客户的很多变量和特征的集合。
在这个阶段,主要的数据加工工具为SQL和SAS base。
(二)傻瓜式的挖掘工具
较为典型的就是SAS EM和clementine,里面嵌入很多较为传统成熟的算法、模块和节点(例如逻辑回归、决策树、SVM、神经网络、KNN、聚类等)。通过鼠标的托拉拽,流程式的节点,基本上就可以实现你挖掘数据的需求。
傻瓜式操作的优点就是使得数据挖掘,入手非常快,较为简单。但是,也存在一些缺陷,即,使得这个挖掘过程变得有点单调和无趣。没办法批量运算模型,也没办法开发一些个性化的算法和应用。用的比较熟练,并且想要进一步提升的时候,建议把这两者抛弃。
(三)较为自由的挖掘工具
较为典型的就是R语言和Python。这两个挖掘工具是开源的,前者是统计学家开发的,后者是计算机学家开发的。
一方面,可以有很多成熟的、前沿的算法包调用,另外一方面,还可以根据自己的需求,对既有的算法包进行修改调整,适应自己的分析需求,较为灵活。此外,Python在文本、非结构化数据、社会网络方面的处理,功能比较强大。
(四)算法拆解和自行开发
一般会利用python、c、c++,自己重新编写算法代码。例如,通过自己的代码实现逻辑回归运算过程。甚至,根据自己的业务需求和数据特点,更改其中一些假定和条件,以便提高模型运算的拟合效果。尤其,在生产系统上,通过C编写的代码,运行速度比较快,较易部署,能够满足实时的运算需求。
一般来说,从互联网的招聘和对技能的需求来说,一般JD里面要求了前三种,这样的职位会被称为“建模分析师”。但是如果增加上了最后一条,这样的职位或许就改称为“算法工程师”。
二、模型的理解:传统的和时髦的
据理解,模型应该包括两种类型。一类是传统的较为成熟的模型,另外一类是较为时髦有趣的模型。对于后者,大家会表现出更多的兴趣,一般是代表着新技术、新方法和新思路。
(一)传统的模型
传统的模型,主要就是为了解决分类(例如决策树、神经网络、逻辑回归等)、预测(例如回归分析、时间序列等)、聚类(kmeans、系谱、密度聚类等)、关联(无序关联和有序关联)这四类问题。这些都是较为常规和经典的。
(二)时髦有趣的模型
比较有趣、前沿的模型,大概包括以下几种类型,即社会网络分析、文本分析、基于位置的服务(Location-Based Service,LBS)、数据可视化等。
它们之所以比较时髦,可能的原因是,采用比较新颖前沿的分析技术(社会网络、文本分析),非常贴近实际的应用(LBS),或者是能够带来更好的客户体验(数据可视化)。
(1)社会网络的应用
传统的模型将客户视为单一个体,忽视客户之间的关系,基于客户的特征建立模型。社会网络是基于群体的,侧重研究客户之间的关联,通过网络、中心度、联系强度、密度,得到一些非常有趣的结果。典型的应用,例如,关键客户的识别、新产品的渗透和扩散、微博的传播、风险的传染、保险或信用卡网络团伙欺诈、基于社会网络的推荐引擎开发等。
(2)文本挖掘的应用
文本作为非结构化数据,加工分析存在一定的难度,包括如何分词、如何判断多义词、如何判断词性,如何判断情绪的强烈程度。典型的应用,包括搜索引擎智能匹配、通过投诉文本判断客户情绪、通过舆情监控品牌声誉、通过涉诉文本判定企业经营风险、通过网络爬虫抓取产品评论、词云展示等。
文本和湿人。关于文本分析,最近朋友圈有篇分享,很有意思,号称可以让你瞬间变成湿人。原理很简单,就是先把《全宋词》分词,然后统计频数前100的词语。然后你可以随机凑6个数(1-100),这样就可以拼凑出两句诗。比如,随机写两组数字,(2,37,66)和(57,88,33),对应的词语为(东风、无人、黄花)和(憔悴、今夜、风月)。组成两句诗,即“东风无人黄花落,憔悴今夜风月明”。还真像那么一回事,有兴趣可以玩一玩。
(3)LBS应用
即基于位置的服务,即如何把服务和用户的地理位置结合。当下的APP应用,如果不能很好地和地理位置结合,很多时候很难有旺盛的生命力。典型的APP,例如大众点评(餐饮位置)、百度地图(位置和路径)、滴滴打车、微信位置共享、时光网(电影院位置)等服务。此外,银行其实也在研究,如何把线上客户推送到距离客户最近的网点,完成O2O的完美对接,从而带来更好的客户体验。
(4)可视化应用
基于地图的一些可视化分析,比较热门,例如,春节人口迁徙图、微信活跃地图、人流热力图、拥堵数据的可视化、社会网络扩散可视化等。
如果你想让你的分析和挖掘比较吸引眼球,请尽量往以上四个方面靠拢。
三、互联网和金融数据挖掘的差异
博士后两年,对银行领域的数据挖掘有些基本的了解和认识,但是面对浩瀚的数据领域,也只能算刚刚入门。很多时候,会很好奇互联网领域,做数据挖掘究竟是什么样的形态。
很早之前,就曾在知乎上提了个问题,“金融领域的数据挖掘和互联网中的数据挖掘,究竟有什么的差异和不同”。这个问题挂了几个月,虽有寥寥的回答,但是没有得到想要的答案。
既然没人能够提供想要的答案,那就,根据自己的理解、一些场合的碰壁、以及和一些互联网数据小伙伴的接触,试图归纳和回答下。应该有以下几个方面的差异。
(一)“分析”和“算法”
在互联网中,“分析”和“算法”,分得非常开,对应着“数据分析师”和“算法工程师”两种角色。前者更多侧重数据提取、加工、处理、运用成熟的算法包,开发模型,探索数据中的模式和规律。后者更多的是,自己写算法代码,通过C或python部署到生产系统,实时运算和应用。
在银行领域,基本上,只能看到第一种角色。数据基本上来源于仓库系统,然后运用SQL、SAS、R,提取、加工、建模和分析。
(二)数据类型
数据类型,主要包括“结构化”和“非结构化”两类数据。前者就是传统的二维表结构。一行一条记录,一列一个变量。后者包括文本、图像、音频、视频等。
银行里面的数据,更多的是结构化数据,也有少量的非结构化数据(投诉文本、贷款审批文本等)。业务部门对非结构化数据的分析需求比较少。因此,在非结构化数据的分析建模方面,稍显不足。
互联网,更多的是网络日志数据,以文本等非结构化数据为主,然后通过一定的工具将非结构化数据转变为结构化数据,进一步加工和分析。
(三)工具、存储和架构
互联网,基本上是免费导向,所以常常选择开源的工具,例如MySql、R、Python等。常常是基于hadoop的分布式数据采集、加工、存储和分析。
商业银行一般基于成熟的数据仓库,例如TD,以及一些成熟的数据挖掘工具,SAS EG和EM。
(四)应用场景
在应用场景上,两者之间也存在着非常大的差异。
(1)金融领域
金融领域的数据挖掘,不同的细分行业(如银行和证券),也是存在差别的。
银行领域的统计建模。银行内的数据挖掘,较为侧重统计建模,数据分析对象主要为截面数据,一般包括客户智能(CI)、运营智能(OI)和风险智能(RI)。开发的模型以离线为主,少量模型,例如反欺诈、申请评分,对实时性的要求比较高。
证券领域的量化分析。证券行业的挖掘工作,更加侧重量化分析,分析对象更多的是时间序列数据,旨在从大盘指数、波动特点、历史数据中发现趋势和机会,进行短期的套利操作。量化分析的实时性要求也比较高,可能是离线运算模型,但是在交易系统部署后,实时运算,捕捉交易事件和交易机会。
(2)互联网
互联网的实时计算。互联网的应用场景,例如推荐引擎、搜索引擎、广告优化、文本挖掘(NLP)、反欺诈分析等,很多时候需要将模型部署在生产系统,对实时响应要求比较高,需要保证比较好的客户体验。
四、数据挖掘在金融领域的典型应用
别人常常会问,在银行里面,数据挖掘究竟是做什么的。也常常在思考如何从对方的角度回答这个问题。举几个常见的例子做个诠释。
(一)信用评分
申请评分。当你申请信用卡、消费贷款、经营贷款时,银行是否会审批通过,发放多大规模的额度?这个判断很可能就是申请评分模型运算的结果。通过模型计算你的还款能力和还款意愿,综合评定放款额度和利率水平。
行为评分。当你信用卡使用一段时间后,银行会根据你的刷卡行为和还款记录,通过行为评分模型,判断是否给你调整固定额度。
(二)个性化产品推荐
很多时候,你可能会收到银行推送的短信或者接到银行坐席的外呼,比如,向你推荐某款理财产品。这背后,很可能就是产品响应模型运算的结果。银行会通过模型,计算你购买某款理财产品的概率,如果概率比价高的话,就会向你推送这款理财产品。
此外,很多时候,不同的客户,银行会个性化的推荐不同的产品,很可能就是产品关联分析模型运算的结果。
(三)个性化广告展示
登陆商业银行网站时,通常会有一个广告banner,banner上会展示若干幅广告。很多时候,不同的客户登陆网站,会接触到不同的广告,即个性化的广告推送。一般来说,后台经过计算,会判断,你对哪几款广告和产品感兴趣,最后推送3-5款你最感兴趣的产品,从而能够有效吸引你的注意,促进点击、转化和成交。
End.
来源:36大数据
- ?
大数据AI监控系统数据采集流程
秋天雨
展开
随着大数据应用的不断发展和成熟,一些监控系统企业已收获可观的回报。近来,大数据的处理更是发展到了一个更高的新水平,即人工智能(AI)平台的形式。AI平台预计将在未来十年产生重大影响(或颠覆)。在各种技术中,人工智能用于处理海量数据集将前所未有地提升商业智能和分析。
AI智能机器学习是运用算法来分析数据,并从中学习和做出预测。算法包括决策树学习、聚类、强化学习和归纳逻辑编程。
人工智能和机器学习现在主要用作研究和网络活动的个人助理,以及完成诸如接电话、做销售预测和驾驶车辆之类的任务。这些技术综合在一个AI平台中时,将显示出巨大的应用前景
AI平台是一种比传统框架更高效、更智能化的框架。设计得好的话,它可为组织或监控系统企业提供与数据科学家和员工更快、更高效和更有效的协作。它可以帮助以多种方式降低成本——防止重复工作、使简单任务自动化,以及消除一些费用昂贵的活动,例如复制或提取数据等。AI平台还可以提供数据治理,确保由AI科学家和ML工程师组成的团队的最佳实践应用。它还可以帮助确保工作更均匀地分配、更快地完成。
AI平台一般将其要素组织成五个逻辑层:
数据和集成层提供对数据的访问。这种访问是至关重要的,因为开发人员不手工编写规则,相反,规则是由AI运用它所访问的数据进行“学习”的。
实验层允许数据科学家开发、测试和证明假设。设计良好的实验层将提供自动化的特征工程、特征选择和模型选择。
操作和部署层提供模型治理和部署。正是在这里对模型进行风险评估,允许模型治理团队验证它。这一层提供了跨平台部署各种容器化模型和组件的管理工具。
智能层提供对人工智能工作的支持(培训活动在实验层进行)。智能层组织和提供智能服务,并且是用于指导服务交付的主要组件。理想情况下,在该层实现诸如动态服务发现之类的概念,以提供支持认知交互的灵活响应平台。
体验层通过诸如增强现实、会话UI和手势控制之类的技术与用户交互。这一层通常由认知体验团队控制,该团队努力创建丰富且有意义的、由AI技术支持的体验。
使用人工智能分析大数据可以提供对影响企业的外部和内部机制更深入的理解。采用最新的大数据体系结构和机器学习可以更好地支持人工智能的使用。一个现代的、先进的基于人工智能的平台具有以下特征:
· AI可以访问所有可用的数据
· 它从客户或潜在客户的历史中学习
· 它从以前的类似客户那里获取经验,并展示过去行之有效的策略
· AI监控和学习,发现人类可能错过的模式
· AI实时学习,并根据新数据作出实时响应
· 基于变化的数据提供指导
· AI融合机器学习
为了使用先进的AI收获最大的结果,应满足以下三个基本要求:
一、是分析框架。分析框架是随着时间推移而开发的用于解决特定业务问题(通常是复杂的)的方法。使用分析框架是支持系统的AI和机器学习能力的关键。
二、是语境。目前AI和机器学习在判断语境方面表现还非常差。AI可以发现趋势,并且从数据中判断发生了什么,但是超越趋势来推荐员工应该做什么,就必须要考虑语境。虽然人们希望AI能够学习如何确定语境,但这目前还不是现实,还需要由人工确定语境并将其添加到模型中。
三、是适当的技术。与传统的分析系统不同,AI支持的平台必须是可扩展的,以便AI学习和创建解决方案。传统的分析系统会提供对数据的洞察力,而AI会实时地提供建议。
对于安防监控系统AI,看上去是AI,实际上最后是大数据,大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防监控系统AI中, 说到底都是对大数据的采集、建模和应用。本文大致说一下安防监控系统AI中,对于大数据的运用过程与环节,让大家有个大致的印象。
安防监控系统AI大数据流程三个环节
1、数据采集
数据采集,有说数据获取,这是数据的来源,安防监控系统AI中这个数据是来源于视频监控系统中的视频流,当然往大了说安防监控系统,还包括很多内容,但是基本都是以视频监控为核心,这里主要指视频监控系统。
2、数据预处理
对于采集到的实时或者历史视频,是只能看不能应用的,要调用就得结构化,先给视频流解码,把视频流还原成一张张图片,再对图片进行预处理。可能不同的公司对预处理包含的步骤内容说法不太一致,我是以安软慧视的技术负责人介绍为准。先对图片进行目标清洗垃圾,清洗掉模糊的、不合尺寸的,目标无法识别的、无目标对象的等等。
当然,有些场景可能只有这样的图像,这需要用到另外一些图像处理方法,和我们的主题相关但不是一回事。这样我们就可以得到基本符合要求的图像。然后对这些图像中的目标对象进行检测和分割,并改变目标的大小与标准图片大小一致,目标对象包括人形、人脸、车形等,这样就可以拿去训练模型了。
3、模型训练
对图片中的目标对象进行识别,提取和构建模型,在安防监控系统AI中,需要的结构化描述是比较具体的,比如对人的描述就包括性别、年龄、发型特征、发饰、上衣款式特征、下衣款式特征、鞋帽款式特征、交通工具特征、随身物品特征、同行人特征等一系列描述。对车的描述包括车牌号码、厂牌、车身颜色、车辆品牌、车辆类型、车辆特征物(如:年检标、挂饰、纸巾盒、遮阳板)等。
有了这些识别模型,就可以通过语义分析等技术对视频数据进行分类处理存储,并通过后端服务器的智能分析功能进行业务处理,将人、车、物的信息从数据中分离出来。这样公安民警就可以进行快速检索、条件搜图(人)、以图搜图,再配以图片的拍摄地点、时间等数据,就可以进行轨迹查询,再匹配一下大安防监控系统系统中的住宿、手机号码、车票等大数据,基本上嫌疑人就是插翅难逃,这对民警的破案效率将是百千倍的提升。这才是安防监控系统AI真正的价值所在。
安防监控系统AI数据预处理技术及方法
目前常见的数据预处理技术
1)数据清理
数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点,并且解决不一致性来进行“清理数据”。
2)数据集成
数据集成过程将来自多个数据源的数据集成到一起。
3)数据规约
数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。
4)数据变换
通过变换使用规范化、数据离散化和概念分层等方法,使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。
数据清理方法
1)缺失值
对于缺失值的处理,一般是能补的就想办法把它补上,实在补不上的就丢弃处理。通常的处理方法有:忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。
2)噪声数据
噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。
3)数据清理过程
这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。数据清理的原理是通过分析“无效数据”产生的原因和存在形式,利用现有的技术手段和方法去清理,将“无效数据”转化为满足数据质量或应用要求的数据,从而提高数据集的数据质量。常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。
4)模型构建数据统计分析
数据统计为模型构建提供基础,只有通过数据统计分析探索到了数据中隐藏的规律,深度学习才有意义,人工智能才有可能。数据统计又包括数据分析与结果分析,基本的分析方法有:对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。
高级的分析方法有:主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的,往往是混合使用的,然后再通过进一步的分析对比从中挑选某些组合模型。
5)数据可视化
数据可视化,就是通过一些可视化图形或者报表形式进行展示,增强对分析结果的理解。再针对结果进行进一步的数据再分析,使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。
安防监控系统AI大数据的应用
安防监控系统大数据的应用当前是围绕提升破案率和提升警务工作效率为中心的,要想在安防监控系统数据的基础上开发出优秀的应用,必须要深入了解警务工作流程,从接处警、现场勘查、情报研判、应急指挥、关联碰撞、合成作战,再到各类型警用装备间的互联互通,再到各警种间的配合,再到各警种业务数据库间的融合。这些都要有详细地了解,才能发现针对刑侦破案、治安防监控系统控、交通管理的应用间的差异。
说到底,大数据最终是为应用服务的,只有最后真正提高了公安民警的工作效率和破案率,才能证明安防监控系统AI的价值和意义。这就要求我们既要懂AI业务,又要懂公安业务。脱离了这两者,想让安防监控系统AI得到大面积推广是连想都不要想的。
- ?
什么是数据记录仪?其测量原理是怎样的?
幻莲
展开
一、什么是数据记录仪?
数据记录仪是数据采集器的一种,其从传感器获取测量结果,并将这些结果存储起来备用的电子仪器。数据记录仪记录的常见物理量为温度、电压、电流、速度、张力、位移和其它。数据记录仪和传感器(也为探头)一起配合工作,将待测的物理量和激励信号转换成电信号,如电压和电流;之后这些电信号再被转换或数字化为二进制数据。简单地讲,记录仪就是将一个或多个变量随时间(或其它变量变化)的过程转换为可识别和读取的信号的仪器。
二、数据记录仪的测量原理
作为波形观测装置具有代表性的有示波器、电磁示波器、笔式示波器(包括笔式记录仪),但随着数字技术的发展,模拟示波器被数字示波器取代,电磁示波器、笔式示波器被存储式记录仪(瞬态记录仪)取代。
存储记录仪原理图这种存储式的记录仪就是存储记录仪。存储记录仪的基本结构如图1-1所示。由A/D转换器、数据存储器、波形显示部分、打印机以及控制这些的CPU构成。通过A/D转换器将输入的模拟信号进行数字转换,并将其保存在存储器中,作为波形进行显示或打印出来。
三、存储记录仪与模拟记录仪的比较
在此说明笔式示波器、电磁示波器等模拟记录仪被存储记录仪取代的理由。
笔式示波器是按输入信号的振幅比例运作伺服电机,移动记录笔进行记录的自动平衡式记录仪,具备几十Hz的响应速度,但因为是通过机械方式实现振幅的,所以响应速度有限,而且若是油墨式的,还需要进行维护保养。
电磁示波器原理接下来说到电磁示波器,它是使用高灵敏度的反射电流检测元件,根据输入信号的振幅振动,反射光源发出的光,照射在感光纸上进行记录的仪器。这种方式可以进行送纸速度200cm/Sec(5ms/cm)的高速记录,具备几kHz的响应速度,但是正因为高速,感光纸的运行成本以及反射电流检测元件的处理存在难点。
存储记录仪的记录打印部分采用了热敏点阵打印机(8点/mm的高分辨率),而且没有记录笔的工作部分,因此普遍可靠性高,而且采样速度具备20MS/s(50ns) 的高速响应。
另外,还带有丰富的触发功能,可以只导出所需的波形数据,从而抑制运行成本。而且不仅功能?性能提升,主机而变得低成本化,这些理由使得存储记录仪逐渐取代了电磁示波器、笔式记录仪。
配备有用于波形显示的彩色液晶屏以及用于打印的打印机。不论是显示还是打印都可按一定程度的信号速度进行实时绘制。(以超过10kS/s的采样速度在画面上实时显示)采样速度最高为2MS/s,虽比数字示波器低,但其优点在于可以在没有隔离放大器或绝缘放大器的情况下用于多种输入信号而无需担心电位差。
四、存储记录仪各部分的名称和功能
存储数据可以保存在主机内置的SSD或CF卡、U盘中。每个输入单元基本可以输入2CH,还有可以最大输入DC1000V(AC700V)的单元,还能够支持动态应变或热电偶、逻辑输入等单元的替换。通过USB或LAN连接电脑可进行数据传送或远程操作。
存储记录仪的基本测量功能
用记录功能长时间记录变动的同时,在发生突发现象时用存储记录功能记录下来。
■FFT功能
频率分析功能,可把握振动等的频率成分。
■逻辑记录功能
除了模拟输入以外,还能够进行逻辑记录。通过数字?模拟混合记录,可以做到定序/时序等的测量。
原文来自http://hyxyyq
- ?
国内五大主流网站内容抓取工具、采集软件大盘点
亦云
展开
大数据技术用了多年时间进行演化,才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中,数据采集产品迎来了广阔的市场前景,无论国内外,市面上都出现了许多技术不一、良莠不齐的采集软件。
今天,我们将对比国内五大主流采集软件优缺点,帮助你选择最适合的爬虫,体验数据hunting带来的快感。
国内篇
1.火车头
作为采集界的老前辈,我们火车头是一款互联网数据抓取、处理、分析,挖掘软件,可以抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群,适合编程老手。
采集功能完善,不限网页与内容,任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展,方便修改处理数据具有同义,近义词替换、参数替换,伪原创必备技能Conclusion:火车头适用于编程能手,规则编写容易,软件的定位比较专业而且精准化。
2.八爪鱼
一款可视化免编程的网页采集软件,可以从不同网站中快速提取规范化数据,帮助用户实现数据的自动化采集、编辑以及规范化,降低工作成本。云采集是它的一大特色,相比其他采集软件,云采集能够做到更加精准、高效和大规模。
自定义采集过程中,八爪鱼采集器系统自写的Xpath、自动生成的流程,可能无法满足数据采集需求。对数据质量要求高,则需自写Xpath,调成流程图等,以优化规则。
使用自定义采集的同学,虽然八爪鱼操作简单,比较容易上手。但是,仍需对八爪鱼采集原理有所了解,看完相关教程,循序渐进,成长周期较长。
可视化操作,无需编写代码,制作规则采集,适用于零编程基础的用户云采集是其主要功能,支持关机采集,并实现自动定时采集
Conclusion:八爪鱼是一款适合小白用户尝试的采集软件,云功能强大,当然爬虫老手也能开拓它的高级功能。
3.集搜客
一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集,服务于任何对数据有采集需求的人群。
可视化流程操作,与八爪鱼不同,集搜客的流程重在定义所抓取的数据和爬虫路线,八爪鱼的规则流程十分明确,由用户决定软件的每一步操作
支持抓取在指数图表上悬浮显示的数据,还可以抓取手机网站上的数据
会员可以互助抓取,提升采集效率,同时还有模板资源可以套用
Conclusion:集搜客操作较简单,适用于初级用户,功能方面没有太大的特色,后续付费要求比较多。
4.神箭手云爬虫
一款新颖的云端在线智能爬虫/采集器,基于神箭手分布式云爬虫框架,帮助用户快速获取大量规范化的网页数据。
直接接入代理IP,避免IP封锁
自动登录验证码识别,网站自动完成验证码输入
可在线生成图标,采集结果以丰富表格化形式展现本地化隐私保护,云端采集,可隐藏用户IP
Conclusion: 神箭手类似一个爬虫系统框架,具体采集还需用户自写爬虫,需要代码基础。
5.狂人采集器
一套专业的网站内容采集软件,支持各类论坛的帖子和回复采集,网站和博客文章内容抓取,分论坛采集器、CMS采集器和博客采集器三类。
支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能
Conclusion: 专注论坛、博客文本内容的抓取,对于全网数据的采集通用性不高。
注:给火车采集器的新手们一点学习建议
火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求, 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。
同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。
- ?
WiFi探针的工作原理及采集的数据?
滕天曼
展开
WiFi探针在商业、公共安全领域的大放异彩,更多的人想了解什么是WiFi探针,WiFi探针是怎么工作的?
WiFi探针的工作原理?
要深入了解WiFi探针技术,首先先认识WiFi使用的网络协议,WiFi采用的是IEEE802.11协议集,此协议集包含许多子协议。其中按照时间顺序发展,主要有:(1)802.11a,(2)802.11b, (3)802.11g(4)802.11n。在网络通信中,数据被封装成了帧,帧就是指通信中的一个数据块。但是帧在数据链路层传输的时候是有固定格式的,不是随便的封装和打包就可以传输,大小有限制,最小46字节,最大1500字节所以我们必须按照这个规则来封装。下面802.11的帧结构:
从上面的结构可以知道,前俩个字节为:帧控制字段。
控制字段的前2bit节为:协议类型,目前此值为:0。
1)控制帧:(Control Frame,例如RTS帧、CTS帧、ACK帧)用于竞争期间的握手通信和正向确认、结束非竞争期等;
2)管理帧:(Management Frame,例如Beacon帧、Probe Request帧)主要用于STA与AP之间协商、关系的控制,如关联、认证、同步等;
3)数据帧:(Data Frame,承载数据的载体)用于在竞争期和非竞争期传输数据。
1、管理帧
BeaconFrame:信标帧,是相当重要的维护机制,主要来宣告某个AP网络的存在。定期发送的信标,可让移动WiFi设备得知该网络的存在,从而调整加入该网络所必要的参数。在基础网络里,AP必须负责发送Beacon帧,Beacon帧所及范围即为基本服务区域。 在基础型网络里,所有沟通都必须通过接入点,因此WiFi设备不能距离太远,否则无法接收到信标。下图是帧格式:
2、管理帧Probe Request:探测请求帧,WiFi设备将会利用Probe Request帧,扫描所在区域内目前有哪些802.11网络。下图是帧格式:
3、数据帧:
Data数据帧,当接入点要送出一个帧给WiFi设备但是不必确认之前所传送的信息时,就会使用标准的数据帧。标准的数据帧并不会征询对方是否有数据待传,因此不允许接收端传送任何数据。无竞争周期所使用的纯数据(Data-Only)帧和无竞争周期所使用的数据帧完全相同。看了以上的网络知识,我们现在说说WiFi探针是怎么工作的,还是先看张图:
就像图中描述的一样,我们的WiFi探针其实就是一个AP,它定时的向自己的四周广播发送Beacon帧,用来通知附近的WiFi设备,AP是存在的,(好比它一直在向周围喊着,我在这里,大家快来连接我啊)。 我们的WiFi设备,手机,平板电脑等,也不停的发送着probe帧,去寻找附近可用的AP。在probe帧的介绍中就我们可以看到probe帧包含了设备的mac地址,当我们的AP接收到probe帧之后就获取了这个设备的MAC地址,而这个AP就是我们的WIFI探针。因此只要在WiFi探针覆盖区域内的设备打开着WiFi,探针就能收集到他的MAC地址。
WiFi探针可以采集到哪些数据呢?
可采集数据:
设备MAC地址;
WiFi信号强度;
WiFi信号频道;
信号帧类型。
记录格式:探针MAC|抓取的设备MAC|设备发送的WiFi包的类型|子类型|信号强度|时间戳
数据释义
“探针MAC”就是探针本身的MAC地址;“抓取的设备MAC”指探针抓取到的WiFi信号的发射设备的MAC地址,一般为手机;“信号强度”指探针抓取到的WiFi信号的强度,最小值为“-100”,一般来说,此值越大表示发射设备离探针越近;“设备发送的WiFi包的类型”指探针抓取到的WiFi信号的类别,其末位数的值为0、4、8时,分别表示抓取到的WiFi信号为“管理”帧、“控制”帧、“数据”帧;“时间戳”指探针抓取到WiFi信号的时间,如果探针在局域网内使用而没有接入广域网的话,时间戳可能是不准确的。
关于探针的安全性,会不会侵犯个人隐私呢?
答案是不会!
探针所收集的数据内容我们来看看WiFi探针设备究竟会收集什么信息?前面我们已经看到了,在不连接WiFi的情况下,移动设备只会发送probe帧,此时我们并不能通过探针访问网络进行数据传输,探针仅仅只能接收到WiFi设备发送的probe帧,收集probe帧携带的MAC地址,所以此时我们收集到信息是绝对无关用户个人信息和设备上其他信息的。
探针的数据处理由于探针本身设计仅仅是探测周边有些什么设备,因此并不产生大量数据,设计的时候就不会将收集到的数据存储在本身,而是通过有线连接直接发送到中心服务器上,这样即使有恶意的人将探针取走,也不能获得探针收集到的信息。同时有线连接也保证数据传输过程不容易通过电磁波的形式被监听和窃取。中心服务器一般都是在IDC机房里,而要进入IDC机房是需要经过IDC层层许可的。因而不论是数据的传输还是存储,探针的数据都是安全的。
- ?
指纹采集提取的原理和一般操作方法
塔玛拉
展开
指纹是表皮上突起的纹线,由表皮、真皮和皮下组织三部分组成,是皮下组织对指肚表皮顶压方向的不同造就了这不同的类型,有斗型、弓型和箕型三种类型。由于每个人的遗传基因均不同,所以指纹也不同。然而,指纹的形成虽然主要受到遗传影响,但也有环境因素,指纹在胎儿第三、四个月便开始产生,到六个月左右就形成了。但儿童在成长期间指纹会略有改变,直到青春期14岁左右时才会定型。在皮肤发育过程中,虽然表皮、真皮,以及基质层都在共同成长,但柔软的皮下组织长得比相对坚硬的表皮快。这整个发育过程中形成纹路,直到发育过程终止,最终定型为至死不变的指纹。由于指纹是每个人独有的标记,近几百年来,罪犯在犯案现场留下的指纹,均成为警方追捕疑犯的重要线索。通过刑事工作经验的积累,本文拟对常用的指纹采集提取方式作出梳理。
一、磁性粉在指纹采集中的重要作用
罪犯在犯案现场留下的指纹,是警方追捕疑犯的重要线索,目前使用黑色磁性粉是最常用的指纹采集方法,因此刑事技术人员能够充分运用黑色磁性粉,是现场勘查工作中十分重要的一环。磁性粉是以能被磁场力所吸引的金属粉末为主体配制成的一种综合性的粉末{1}。在配置成分中,载体粉是铁(Fe黑色)或者镍(Ni灰白色)。配粉的种类较多,例如添加硒静电复印墨粉、碳黑、铝粉、荧光试剂、生物染色剂、化工染料粉等。在实际使用时,根据被显现客体的颜色和附着力不同而选用合适的配粉。一般根据配粉的不同,磁性粉又分成普通黑色磁性粉、静电磁性粉和彩色磁性粉三种。
勘查现场时,磁性粉一般用来显现光滑客体上的新鲜汗液手印。公安机关目前主要采用的是普通黑色磁性粉,即以800目硒静电复印墨粉为配粉的磁性粉,因其附着力较强,显现效果较好,不易漂浮,毒性低而被广泛使用。经过长期的使用和经验总结,发现磁性粉除了可以显现光滑客体上的新鲜汗液手印之外,还可以有更大、更广阔的使用空间。
(一)磁性粉的显现手印的原理和一般操作方法
1.磁性粉的显现手印的原理。汗潜手印的残留物与黑色磁性粉间有较强的吸附力,两者接触时便结合在一起,使无色手印染色并显现出来而便于我们拍照固定、提取。用磁性粉显现手印,须使用磁性刷。磁性刷种类很多,但基本构造一样,分磁头、套管、升降杆三部分,磁头内装永久性磁铁,磁铁与套管内的升降杆连接,可随着升降杆升降。当磁铁降入套管头部时,便产生磁力。
2.操作方法。显现手印时,应先用勘查灯照射观察,发现客体上的潜在手印,刷显时,用磁性刷蘸取适量磁性粉,使之形成磁力线粉穗,用弱力线粉穗(即穗尖)在客体上有手印的部位轻轻刷动,刷动时要顺着手印的纹线流向刷,还要控制好持磁性刷的手,切忌磁性刷头部与客体直接接触,以免破坏手印纹线。待手印显现后,用橡胶吹气球吹掉多余的粉末,或用干净毛刷的尖部顺着纹线的流向轻轻刷掉多余的粉末,使纹线更加清晰,然后用透明胶带粘取,贴在白色衬纸上。用胶带粘取手印时,一定要防止产生气泡,以免破坏手印纹线上的特征点。
(二)用磁性粉刷显粗糙表面上的手印
在勘查现场中,磁性粉一般用来显现光滑无渗透性客体上的新鲜汗液手印,如光滑面的家具、墙面、塑料、皮革、玻璃、瓷砖、金属等等。实践中,我们还发现一些表面粗糙的客体,也是可以用磁性粉来显现手印的,如亚光面的油漆家具或贴纸家具,陈旧本色木家具,石灰墙、涂料墙,铜版纸、包装纸、复印纸、钞票等。用磁性粉在粗糙表面客体上显现手印时,操作方法与在光滑表面用磁性粉显现手印的方法一致,其中在包装纸、复印纸、钞票等客体上显现手印时,用抖显法(将适量的磁性粉直接倒在纸上,抖动纸张,去掉多余的磁性粉)效果会比刷显法更好。
对于在铝合金窗框或塑钢窗框上遗留下指纹,用常规的金银粉或直接用磁性粉刷显效果并不理想,经过技术人员试验和总结后发现将磁性粉加热后刷显效果会有显著提升。其具体操作方法是:刷显前,将适量的磁性粉末倒在锡纸上,加热3~6秒;也可以预加热干燥的金属勺子或盘子,等金属勺子或盘子摸上去稍微有点烫手时,停止加热,立刻倒人磁性粉,用金属的余温加热磁性粉,然后快速用被加热的磁性粉刷显,效果会比直接用磁性粉刷显好。刷显后先拍照后用胶带提取,但不可粘在衬纸上,需悬空保存{2}。但要注意,磁性粉不能适用在潮湿和过分油腻的客体表面上。
(三)用磁性粉刷显现场足迹
现场勘查中磁性粉也可以显现脚印。在勘查现场时,常常会遇到许多居民的厨房、卫生间和客厅的地面上贴有白色或其他浅色的地砖或地板,嫌疑人在这些客体上留下了鞋印、袜印或赤足印,我们可以借助勘查灯观察发现,照相提取时,除了采用强光照明、静电吸附的方法外,也可以采用磁性粉刷显,增加鞋印、袜印或赤足印与浅色背景的反差,照相提取,效果也很好。具体操作是:先用勘查灯观察发现鞋印、袜印或赤足印,用粉笔圈起来,磁性刷吸取磁性粉后,用粉穗拖扫留有痕迹的区域,可单向也可往复拖扫,但尽可能使磁性粉末在有痕迹的区域只通过一次,在现场勘查灯的配合下,从刷显开始就随时观察,一旦反差效果令人满意,就立即拍照固定。
(四)磁性粉在勘查工作中的其他用途
1.对“502”胶显现出的指纹进行染色。一些留痕客体的表面色彩丰富,花纹繁杂,用“502”熏显后虽然有指纹,但受背景的干扰,直接照相提取效果较差。除用定向反射仪拍摄外,我们还可以用磁性粉对熏显出来的指纹进行刷显染色,这样指纹就会与背景产生明显的反差,再照相提取,效果也很好。对一些白色、浅灰色的客体用“502”显现后,也可以用磁性粉进行刷显染色增加反差,以照相提取检验。
2.捺印甄别指纹。在现场勘查工作中,需要临场捺印报案人和有关人员的指纹,用于现场指纹的甄别工作。以往的方法是用黑色的油墨来捺印指纹,现在可以利用磁性粉进行捺印甄别指纹的工作。具体操作程序是,刑事技术人员戴好手套,取出白色照相纸,检查确定在白色照相纸上没有其他汗液手印,然后由需甄别人按照常规的指纹捺印方法捺印,捺印时要控制好每个捺印指纹的间隔,不要重叠。捺印完用磁性刷蘸磁性粉在照相纸上刷显出指纹,用透明胶带纸贴在指纹上即可。此方法不仅操作简便,而且实践效果良好。
3.对纸张上的字迹压痕的显现。对于空白纸张上字迹的压痕,常规方法不易辨别,此时可以先用手掌反复在留有压痕的纸面上轻轻的摩擦,注意不能用太大力量,以免字迹的压痕被破坏。摩擦时我们手掌上的汗液会遗留在纸面上,然后用黑色磁性粉在纸面上刷显,字迹会被显现出来。
4.分析手印遗留时间。在同等客体上的进行刷显,刷显出的指纹纹线清晰连贯,粉末附着力强,有立体感,色泽黑亮,说明是24小时内遗留的新鲜指纹;刷显出的纹线比较清晰,有时会有断点出现,粉末的附着力降低,但指纹仍有比对鉴定的条件,这种情况说明是在24小时至48小时内遗留的指纹,需要注意的是纹线的色泽随着时间的推移而逐渐暗淡,由黑色变成浅黑色再变成灰色;粉末附着力很差,纹线不连贯,颜色淡灰,这时显现出来的指纹基本上没有比对鉴定的条件,说明这是48小时以上遗留下来的指纹。
二、特殊承载体上的手印提取方法
(一)汽车门把手上的手印提取
用改变光照角度的方式进行观察。汽车门把手大概有几类:工程塑料、普通塑料、金属加膜、金属涂塑。这些物体在紫外线下均有较大的吸收率,因此与汗液物质形成的手印会有一定的反差。紫外反射是首选。对于抠手内的指纹提取,需要使用内窥镜进行,或是直接卸下把手。应用破坏性的显现,有这么几种方式是平行的:纯金属粉末,磁性粉(黑白或中间色),磁性荧光粉,“502”贴显,若是混合手印的话可能要用真空镀膜。24小时内的用荧光粉末较好,72小时内的用502胶为好。
(二)水浸腐败手印显现
可以采用纯金属粉末,磁性粉(黑白或中间色),磁性荧光粉,502贴显来提取指纹,若是混合手印的话可能要用真空镀膜。24小时内的用荧光粉末较好,72小时内的用502为好。
在实践中,我们要综合考虑腐败指纹形成条件,时间长短、腐败程度、腐败后纹线变粗变大,皮肤脱落等情况。在检验中,应尽可能保存并参考原物,增加直观感。
(三)纺织品上血手印显现
分别以430 nm~530 nm各种波段为发射光源观察,光路中加偏振镜,紫外反射照相提取,染色(联苯胺、荧光粉、苏丹黑)。图像处理系统进一步去除背景干扰。
(四)电脑主机箱上的手印显现
需要采取多种方法照相,因为许多主机机箱表面有灰尘或油垢,所以首先选用各种配光照相。可以用“502”熏显。因为客体表面不光滑,需要适当加大“502”的量,可以用“502”高速定性滤纸贴现法。也可以用磁性粉刷显,即可显现手印。
(五)在光滑表面提取油腻手印的方法
一是光学检验法。用紫外、多波段或者定向反射等拍照提取。二是502熏显及荧光试剂染色法。先用502熏显,后用荧光染色,再用多波段下拍照提取。三是化学粉末显现。使用JH荧光粉系列和Jx荧光粉系列,先刷粉,再用紫外光照射即可显现。
(六)植物叶上的新鲜手印显现
提取可用质地柔软的驼毛刷蘸取粉红色荧光粉后刷显,然后用525 nm波段的光源激发荧光拍照提取。对于植物叶上的汗潜、油脂、血质手印,可用JH、 JX系列荧光粉显现,或用松花粉、花粉、云南白药粉抖显后拍照。
(七)矽(硅)钢片上油质手印显现
1.在石油醚内加入几滴502胶后滴在矽钢片上,这样油会被挥发掉而502则与矽钢片上的灰尘发生反应,然后可染色或者直接拍照{3}。
2.用火在矽(硅)钢片背着手印的面加温直至油烧尽,然后用502熏显。
(八)泥手印的处理方法
视觉清晰的情况下,可以采用20°~40°角侧光,垂直照相,或者用数码相机去除闪光后直拍(景深好),配光可以采用跟光。需要注意的是,泥手印不宜用硅橡胶提取,应使用模具胶提取,提取时可以使用灰尘固定剂。
(九)纸币上手印的显现
纸币上纸张渗透性差,茚三酮显现效果不佳。可以使用罗丹明6G显现,然后蓝光灯下用橙红滤色镜观察。纸币上的陈旧手印,用DFO效果比较好(相对其他方法而言),可以显现出十多天的指纹。
DFO显现纸币上手印的配方:0.5克DFO+100毫升乙酸乙酯+780毫升氟里昂。使用程序:将检材浸泡10~15秒,晾干后,在温度为95℃环境下烘十l0~15分钟,然后在570 nm的波段下,用橙色滤光镜观察。
(十)油质手印的显现
方法一:紫外照相显现:用254 nm的人射光配光,以紫外观察系统或者紫外反射照相技术摄取。方法二:偏角照相,用漫射光配光,以大于4倍焦距的长焦距镜头使被拍面与镜头形成一定的角度拍照。方法三:热敏纸转印,用热敏纸的药膜面与手印接触,用橡胶滚轴滚动纸的背面,然后将热敏纸置于80℃的温度下加温,直至手印显出。
三、特殊案件中指纹的提取
(一)破坏电力设备案现场
在勘查破坏电力设备案的现场,由于犯罪嫌疑人要取得变压器内的铜蕊,一般都是先将变压器先从架杆或平台上推倒,打开变压器的上盖,取出机芯,再抽掉铜芯包裹的锡钢片,方能取下铜芯盗走。所以,在这类案件的现场,一般都能发现在被盗变压器的周围散落有大量的锡钢片。因为犯罪嫌疑人在刚开始作案时,一般都戴有手套,所以可以在锡钢片上发现有手套印;但随着犯罪行为的延续,沾满变压器油的手套也越来越不方便嫌疑人拔下锡钢片的工作,这时,就给我们在现场勘查中发现犯罪嫌疑人的手印提供了机会。当然,因为锡钢片长期浸泡在变压器油中,犯罪嫌疑人在锡钢片上留下的手印也会是油、泥和汗液的混合手印,但是锡钢片上的手印反差小,且有一定的流动性,当场照相效果很差,又不好固定带回照相。
对于这种情况,可以先用火烘烤手印所在锡钢片的背面,将手印所在区域的变压器油烘干,不仅可以增加手印的反差,也可以使手印固定下来。这样,不论是现场照相,还是带回处理都不会破坏手印。当然,在烘烤锡钢片的时候,一是要注意烘烤的区域,不能将整个锡钢片烘烤干,要让锡钢片保持一定区域的潮湿,这样可以使锡钢片上的手印保留的时间长久一些;二是要注意在烘烤的过程中要使手印所在区域内的油渍干透的均匀,避免物体因热胀冷缩而造成手印的变异;三是要注意使用烘烤的材料,火头不能过大或过小;过大则易使手印变形,过小则会烘烤不均匀。因此火头的大小宜与手印的大小相当。一般都是用蜡烛在手印所在区域的背面烘烤,同时缓慢移动蜡烛,不能长时间在同一个地方烘烤,避免造成因烘烤的不均匀造成手印的变异。
(二)入室盗窃案件现场
入室盗窃案件犯罪嫌疑人大多选择通过钻窗入室的手...
- ?
「技术文章」NI数采模块测井数据采集控制系统原理设计
莫神伤
展开
测井数据采集控制系统是用于对各种置于地层中的井下仪器产生的信号进行采集、处理并对井下仪器进行控制的油田基础测控设备。由于专业性极强,以往系统中的数据采集及控制单元通常是以自我设计为主,因此导致系统的开发周期长、成本高、稳定性较差。现在,我们硬件使用National Instruments 公司的数据采集卡,软件使用VC++结合 Measurement Studio 软件包,实现了测井数据采集和控制单元的基于标准工业数据采集产品的设计与开发,大幅度的降低了系统的开发和维护成本,缩短了系统的开发周期,提高了系统的稳定性和可靠性。目前这套系统已制造20余套,成功应用于全国各大油田,取得了可观的经济效益。
系统原理
测井数据采集控制系统主要由工控机、NI通用数据采集卡、信号调理模块、绘图仪、综合控制箱、直流电源、交流电源、UPS电源、示波器等构成。系统原理框图如图1。
主机1主要用于系统的数据采集、处理和控制。绘图仪用于测井曲线实时出图。深度信号调理模块对光电编码器信号及其它井口信号进行调理,并控制深度显示;数字信号调理模块用于配接各类编码(例如,曼彻斯特编码)传输的井下仪器,如双源距C/O能谱测井仪、脉冲中子氧化化测井仪等;脉冲信号调理模块主要配接采用脉冲、周期信号传输的井下仪器以及各种脉冲编码类型的仪器。如:井壁超声成像测井仪等;直流信号调理模块主要配接采用直流量、低频模拟信号传输的井下仪器。直流电源为井下仪器提供直流供电、交流电源为井下仪器提供交流、泵、阀、继电器和释放器的供电。综合控制箱负责完成缆芯切换、供电控制。UPS电源用以保证在停电或外部供电不正常时,维持一段时间的供电,以免测井数据因得不到及时存储而丢失。以上各单元统一安装到两组19英寸标准机柜中。关于信号的流程,从图1中可以看出。我们把进入数据采集控制系统的信号归结为两类:井口信号和井下信号。井口信号来自井口和电缆绞车,它包括电缆张力信号、电缆磁记号和深度系统的光电编码信号。井下信号是指来自井下仪器的信号。来自井下仪器的感应型或脉冲型信号、深度系统的两路光电编码信号、井口的张力信号及电缆磁记号,通过电缆线进入采集箱内的深度调理模块、脉冲信号调理模块或直流信号调理模块,经过调理后,输出到NI数据采集卡。井下仪器编码信号经过综合控制电路的分离及预处理后通过电缆线进入到数字信号调理模块,进行信号调理、解码。解码后的信号同样输出到NI数据采集卡。NI数据采集卡控制数据采集的方式、采样的间隔,同时实现对脉冲信号、直流信号和数字信号的实时采集,采集到的数据以DMA方式传给主机内的数据缓冲区,由系统软件按不同的采样方式控制数据的显示、处理、打印和存盘。
数据采集方案设计
测井数据采集控制系统设计的核心是其数据采集方案设计。数据采集方案设计主要由系统深度数据采集和深度中断管理方案设计;多路复合信号实时同步采集方案设计;复杂编码格式数字信号高速传输与采集模式设计;直流信号高精度采集方案设计;系统状态及井下仪器控制方案设计等构成。由于专业性极强,以往系统中的数据采集及控制单元通常是以自我设计为主,因此系统的开发周期长、成本高、而且稳定性较差,并经常导致使用过程中,系统死机、深度测量不准等问题的出现,使系统的维护成本成倍增长,同时由于技术水平的限制,自己开发的系统只能配接一些信号类型简单和传输速率低的井下仪器,不具备多路信号实时同步采集以及高速传输的数字信号采集和处理能力。为了克服现有系统的缺陷,我们在充分调研和试用各大公司的数据采集产品的基础上,选择了NI 公司生产的系列数据采集卡和Measurement Studio 软件开发包,经过对NI各个采集卡的仔细研究和深度开发,我们仅用了3个月的时间就完成了过去需要2年以上的系统核心设计,并在业界首次实现了全部基于标准工业数据采集产品的测井数据采集控制系统设计,同时使系统在采样精度,深度控制,采集速度等主要技术指标上得到了全面的大幅度的提升。
(1)系统深度数据采集和深度中断管理方案设计:
系统深度模块是该系统中行业性最强的一个模块,它需要对正交光电编码器信号进行测量,得到系统当前的深度数据,同时它还要根据当前的深度数据生成用于同步各信号采集的深度等距触发信号。例如,在光电编码器顺时针转动时,每隔固定位移间隔(例如5 cm) 产生一个触发信号,这个触发信号通知系统对所有测量信号进行采集,如果系统光电编码器突然反方向转动,则不产生触发信号,系统不做任何采集,从而使系统只按照单方向等位移的状态采集数据。此外,该模块还要具备对正交光电编码
信号防抖动,防滑动处理的功能。在系统开发过程中,我们发现 NI PCI-660X 系列产品的用户手册上没有实现该工作模式的基本功能。为了实现该功能,我们经过深入研究和开发,通过利用PCI-6602处理光电编码器信号的计数器通道所能生成的某种特殊状态信号,同时结合其它计数器通道的脉冲生成功能,最终生成了我们所需要的连续的深度等距触发信号。在最终的产品设计中我们利用PCI-6602的5个计数器通道通过程序初始化控制实现了这个功能。这是我们首次通过使用标准工业数据采集卡实现深度数据的精确读取和触发信号的定距输出,它为整个系统得成功研制奠定了坚实的基础。
(2)多路复合信号实时同步采集方案设计:
测井数据采集系统通常需要根据定距或定时触发信号对多路直流信号、脉冲信号和数字信号进行实时同步测量。这就需要系统保证对多个采集卡间以及同一采集卡内部的多个测量通道间的数据采集的同一性和实时性,否则得到的数据就不能反映井下仪器在地层中真实状况。我们采用具有RTSI(实时同步接口)总线的 NI 6070E 或 NI6024E 用于直流信号的测量,PCI-6602 或 PCI-6601 用于脉冲信号和深度信号的测量,PCI-6534 或 PCI-6533用于数字信号的测量。系统中任何一块卡都可以根据工作模式的不同作为主卡来生成同步触发信号或用作从卡来接收同步触发信号。我们把主卡产生的同步触发信号加载到RTSI 总线上,由RTSI来同步其它从卡上的各个测量通道的数据采集,各块采集卡采集到的数据都以DMA方式传给主机内各自的数据缓冲区。由于整个触发和采集过程都是由系统硬件独立控制完成的,使得各个测量通道的采集延时可以控制在纳秒级。所有采集卡都采用DMA模式传输数据,这与以往系统多采用中断模式相比,极大的提高了系统工作效率。
通过RTSI总线我们把原来需要通过系统软件轮询依次读取各通道数据的工作方式转变成通过初始化各个采集卡的工作状态,然后由各采集卡(即系统硬件)的RTSI来控制采集的同步。这种工作方式的转变,不但降低了系统负荷,而且使系统测量的同步性和实时性得到了显著提高。这也是我们选用NI 公司数据采集卡来实现系统数据采集的一个重要原因。
(3)复杂编码格式数字信号高速传输与采集模式设计:
由于测井仪器种类繁多,一个设计合理的测井系统,必须考虑能与不同编码格式的井下仪器配接使用。由于PCI-6534通常情况下具有40MS/s的采样率,我们在系统设计中,充分开发PCI-6534的Pattern I/O功能,实现了复杂高速传输的数字的采集和解码,同时根据井下仪器的特点,可以把调理模块触发PCI-6534的信号加载到RTSI 总线上,以同步系统深度和其它数据的采集,也可以通过RTSI总线把定距或定时触发信号加载到PCI-6534上,以控制数字信号的采集模式。PCI-6534与系统前端数字信号调理模块配合使用,使系统具备了配接各种传输速率高、编码协议复杂的测井井下仪器的能力。
(4)直流信号高精度采集方案设计:
有些测井仪器上传的信号中,既有直流量也有脉冲量还有数字量,而且其直流量的采样频率一般要求达到1MS/ s。采集系统除了要完成井下仪器直流信号的高速采集外还要以定时或定距的模式和较低的采样率采集其它直流信号和脉冲信号。我们在设计中,通过对NI 6070E、PCI-6024E、PCI-6602、PCI-6534这四块卡综合编程控制,采用多通道多次复合同步触发技术,同时充分开发PCI-6534的数字信号模式触
发控制技术,实现了定时或定距触发条件下以高采样率采集井下仪器的直流信号,同时以低采样率采集井下仪器的脉冲信号、井口的直流信号和数字信号的工作模式。这是整个测井数据采集系统设计的难点。
(5)系统状态及井下仪器控制方案设计:
在系统调理模块和井下仪器状态控制设计中,我们选用PCI-6601, 利用它的Digital I/O功能,建立起了一套控制能力强大的32位命令输出体系。选用PCI-6601,主要是为了降低系统的总成本,根据需要也可以选择专门的数字I/O卡,或其它多功能卡。
系统软件设计
测井数据采集控制系统软件主要由现场测控及数据采集软件和测后数据分析处理软件构成,在软件开发上,我们选择使用VC++ 与NI 公司Measurement Studio 软件包相结合的开发方式,用VC++开发与操作系统底层相关的程序和曲线打印输出程序,使用Measurement Studio和CVI提供的类库开发与数据实时采集和曲线显示相关的程序。这种开发方案不但可以对操作系统进行灵活的控制而且充分利用了NI 公司提供的开发工具,从而极大的缩短了系统软件的开发时间。我们仅用了三个月的时间就完成了系统软件的设计,开发和测试工作。图2为系统软件中的脉冲中子氧活化测井及解释软件序界面。图3为系统软件总体框图。
我们使用NI公司的数据采集卡和软件开发工具实现了测井数据采集控制系统的基于标准工业数据采集产品的设计与开发。大幅度地降低了系统的开发和维护成本,缩短了系统的开发周期,提高了系统的稳定性和可靠性。此外,我们可以根据用户的需要对系统数据采集卡进行多种组合或把系统更新为PXI总线系统,实现功能各有侧重的测井数据采集控制系统。目前这套系统已生产20余套,成功应用于大庆油田和全国其它油田,取得了可观的经济效益,具有相当广阔的应用前景。
- ?
PDA数据采集原理是什么?
温妮莎
展开
PDA手持终端在各行业应用越来越广,原因就是体积小、重量轻、高性能,适合移动作业,它是将条码扫描装置与数据终端一体化,带有电池可离线操作的终端电脑设备。
PDA手持终端具备实时采集、自动存储、即时显示、即时反馈、自动处理、自动传输功能,为现场数据的真实性、有效性、实时性、可用性提供了保证。
PDA手持终端按照采集技术来分,共有五类产品:标准激光PDA手持终端、MEMS PDA手持终端、线性图像PDA手持终端、二维图像PDA手持终端、RFID PDA手持终端
1) 标准激光PDA手持终端
标准激光PDA手持终端通过激光光束与振镜配合工作,自动在条码上左右移动光束以读取条码。激光引擎具有多种配置(例如,标准距离、广视角、高密度、远距离和高可见性),以满足不同应用的需要。标准激光PDA手持终端的最大优势在于距离:它们可读取数英尺之外的条形码。事实上,如果打印的标签符号足够大,激光可从 35 英尺(10.7 米)之外进行读取。
最适合的应用:
●扫描仓库和配送中心高层货架上的一维条码
2)MEMS激光PDA手持终端
MEMS激光PDA手持终端采用硅芯片代替标准激光扫描器的振镜,因而扫描速率更快,可靠性更高,与标准激光扫描引擎相比具有更大的性能优势。MEMS技术造就出具备全新功能的激光扫描引擎,其中包括更快的扫描速率、体积小型化、出色的耐用性以及无摩擦机械零件,以确保持久性能。其初始扫描速率比现有采用马达的机械式激光扫描器快五倍以上,而在未来的产品中可提高至每秒数千次扫描。
最适合的应用:
●零售、医疗和仓库应用中的标准距离(手臂长度)扫描
3) 线性图像PDA手持终端
线性图像PDA手持终端全部采用固定部件,没有任何活动部件,因此与激光扫描器相比更加可靠,而后者则采用快速移动的镜头来在条形码上移动光束。要读取条形码,线性图像PDA手持终端需要采用 LED 发出的光照亮它,并通过镜头将条形码图像聚焦到CCD部件上。
最适合的应用:
●零售 POS
●库存管理和指令拣货
●生产线补充
4)二维图像PDA手持终端
二维图像PDA手持终端可采集二维或线性条形码的图像,并使用先进的解码算法进行处理。这种采集器可对线性条码进行全向读取,因此无需改变标签方位即可扫描。此外,二维图像PDA手持终端还适合读取二维条形码。二维条形码能以更小的空间承载比线性条形码更多的信息,因此非常适合空间有限的应用中,例如印刷电路板生产、医疗和包裹递送等。
二维图像PDA手持终端可采集实际图像(例如,签名或损坏的货箱),因而成为现场服务、交付凭证及发货/收货应用的理想选择。
最适合的应用:
●通过 3PL 承运商发货和收货
●生产跟踪
●现场服务和包裹递送
●保险
5) RFID PDA手持终端
RFID目前属于条形码的补充技术,但有潜力在特定供应链应用中取代条形码技术。在短期内,条形码扫描/RFID读写组合可允许操作人员通过RFID PDA手持终端同时采用两种技术进行工作。
最适合的应用:
●越库
●库存管理
●供应链跟踪
●零件追溯/产品谱系
●资产管理
数据采集原理
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并