中企动力 > 商学院 > 集中式数据采集系统
  • ?

    实时数据采集 将平台资源匹配

    何念烟

    展开

    匹配算法实现,通过将用户属性、用户学习状态属性、用户操作行为统计属性与资源属性进行匹配,数据容量大,遥测距离远,人机界面友好,可靠性高的优点,可广泛用于学校和社区小区域范围环境服务。

    也适合于气象、海洋、环境、机场、港口、工及等领域使用.实时数据采集与上传该模块主要功能是通过无线方式获取环境观测站采集的实时数据并显示.数据采集的基本算法如下:首先判断是否到发送数据时间,若到了执行数据发送命令。

    为了方便学习者查找资源以及系统推送资源,须对学习者和资源的属性进行标记,即创建属性元数据.本研究采用标签技术分别建立学习者和资源的属性元数据.学习者的属性标签主要来自于用户注册时的信息(用户属性)、学习者的学习状态属性以及学习者系统操作行为统计属性(对上传、下载、浏览、评论等操作的统计)。

    资源的属性标签主要来自于资源提供者根据学科和关键字分类的标签以及资源使用者对资源的评价、标记等.根据研究性学习的主题、用户学习进度,系统可以将用户可能感兴趣,其他用户感兴趣或评分高、浏览次数多,相同领域的最优资源或相似领域的最佳资源推送给用户,系统根据学习者的学习主题,将平台中评价最高的相关资源、教师指定的资源和拓展的相关资源进行匹配,

  • ?

    欧维姆在线数据采集系统为中国桥梁安全实时保驾护航

    London

    展开

    近期,由柳州欧维姆机械股份有限公司(以下简称欧维姆公司)承建的世界跨径最大钢桁梁斜拉桥——鸭池河特大桥索力监测系统升级顺利完成。至此,该桥索力监测系统由离线模式数据采集系统正式升级为在线模式数据采集系统,使鸭池河特大桥的健康、安全得到实时保障。

    欧维姆在线数据采集系统为中国桥梁安全实时保驾护航

    鸭池河特大桥作为贵黔高速全线控制性工程,跨越鸭池河,大桥全长1461米,是主跨为800米的双塔双索面钢桁架斜拉桥,主塔采用H型索塔,桥面至水面高差达380米,东塔高243.2米,西塔高258.2米,是目前建成的世界跨径最大钢桁梁斜拉桥,同时创世界山区斜拉桥之最。大桥采用了OVM250钢绞线拉索体系产品及施工服务,于2016年5月20日顺利合龙。

    斜拉桥是一个内部高次超静定的结构体系,许多因素的变化,例如,钢绞线的应力松弛、主梁及索塔混凝土的收缩徐变、气候的变化等,都会对整个桥梁结构产生影响,其外在反映最突出的表现就是,斜拉索索力重新分配并导致主梁线形发生变化,索力变化也会使主梁及索塔产生二次内力。尤其在成桥之后的数年时间内,其变化更为显著,斜拉桥索力的变化是判断桥梁是否处于正常运营状态的一个重要指标,而索力测量是分析拉索是否处于正常运营状态的一个重要依据,通过监测斜拉索的受力状况,判断和分析斜拉索的健康状态,已经成为斜拉桥安全监测的重要内容。

    2015年11月,欧维姆工程公司人员入场开展索力监测系统首期搭建工作,2016年6月顺利竣工。鸭池河特大桥首期采用的是基于磁通量传感器技术的索力监测系统,于每束斜拉索塔端锚具内安装磁通量传感器测量单根钢绞线受力;于每8束斜拉索中部位置布设1台数据采集装置,安装于塔内塔壁上。这个索力监测系统为离线模式数据采集系统,需人工定期上桥进行数据采集。

    为了更好的了解鸭池河特大桥斜拉索在运营期内的受力情况,业主提出了实时采集数据的新要求,于是欧维姆公司于近期,在鸭池河大桥原索力监测系统的基础上,增设了7台磁弹仪和4套数据采集主站,由原系统升级为在线模式数据采集系统,可以实现实时采集数据,实时反馈大桥斜拉索的受力情况,为鸭池河特大桥的运营状况分析提供可靠、有效的依据。

    该桥结构索力监测系统采用目前国内最先进的磁通量传感器,均由欧维姆公司自主研发及生产。

    作为中国预应力行业领军,欧维姆公司五十多年来一直坚持科技创新,在提升了企业自主创新能力和核心竞争力的同时,通过科技创新产品推动中国预应力行业的发展,为中国桥梁结构健康与安全一直做着不懈的努力。OVM桥梁健康监测系统解决方案曾为毕都北盘江大桥、安徽铜陵长江公铁大桥、杭州湾大桥、厦门集美大桥等中国乃至世界大型桥梁的寿命周期提供技术支撑,推动中国未来大型桥梁产业化发展。(本文来自欧维姆)

  • ?

    岸电电源的数据采集系统介绍

    余尔风

    展开

    岸电电源系统采集包括空调、通风系统、报警系统、输入/输出开关柜、输入/输出变压器、岸电电源、拖缆设施、船舶并网等设备的运行状态、电气参数、启停控制、故障报警等信号,信号类型包括:

    (1)硬线接口:具备启动、停止、复位、紧急停止命令。

    (2)工作状态信号:具备岸电电源就绪、运行、停止、报警、故障(停机)信号。

    (3)模拟量接口:具备同步指令给定信号(4~20mA)、输出电流、电压、频率(4~20mA)接口。同时必须考虑预留至少一定数量的输入输出点位。

    通信网络控制系统还需采用本地控制和远程控制2种方式,其中本地控制采用LCD现场控制盘来实现,远程控制采用以太网、modbus或profibus等通信协议来实现。

    现场LCD控制盘可同时显示多个实际值与给定值,可存储多条控制器数据,每个数值应带有时间标签;可作为WEB SERVER以便PC机远程存取、控制触摸屏人机界面上载与下载文件。主要界面:岸电电源并网同步过程监视、岸电电源运行情况、参数显示、设定、岸电电源故障诊断。主要参数记录和查询包括:输出电流、输出电压、输出频率、网侧输入电流、网侧输入电压、警报事件、故障事件。显示功能:应可对输出电源的频率、三相电压平均值、三相电流平均值、三相线(相)电压、三相线电流、三相不平衡度、有功功率、无功功率、功率因素等参数显示并对有功功率电度、无功功率电度进行统计计量。所有数据应可以在装置屏上显示,且能够支持一定时间内连续供电参数(包括频率、电压、电流等参数)等记录和回放功能,所有这些数据应随时可在控制系统中查询。

    远程操作系统功能,应该具备完成整个系统的操作、监控、控制等功能;同时,操作系统还应配置数据管理功能,包括:事件、故障记录与保存;能够将运行过程中的事件、故障记录并保存到数据库,为维护、维修提供数据支持。

    创统SPS岸电电源系统

  • ?

    汇众泰普(北京)科技有限公司-整车道路数据采集系统

    鲍盼波

    展开

    xPro_Therm32

    32通道同步采样,热电偶转CAN系统

    extending CAN-Logging Systems with 32 Thermocouple Inputs

    CAN记录系统32通道热电偶扩展模块

    xPro_Analog32 is a signal conditioning unit which extends any CAN logger with additional 32 Thermoelemente Typ K inputs.

    xPro_Analog32是一款信号调理单元,可以接入任何CAN记录设备,32个K型热电偶输入。

    Input Range Thermocouples热电偶输入范围

    The input range for Type-K thermocouples is a wide -200 C to 1350 c. Each channel is sampled in paralle with 7 Hz enough even for dynamically changing temperatures.

    K型热电偶的输入范围是 -200℃to 1350 ℃,通道在7Hz的采样率下同步采集温度的变化。

    By the use of 24-Bits-Technology xPro_Therm32 does not need any pre-amplifiers which usually introduce a lot of drift and noise. Therfore xPro_Therm32 outputs a very stable signal with a high resolution, which provides information down to 0.01 degrees.

    xPro_Therm32使用24位技术,无需预放大器,避免带来大的漂移和噪声。因此xPro_Therm32输出高分辨率的稳定的信号,可以带来0.01度的高分辨率。

    xPro_Therm32 has been designed with using the latest technology. Each channel does have its own power supply and also channels are galvanically separeted.

    xPro_Therm32设计时采用最新的技术,每个通道单独供电,通道间光隔离。

    Each inpidual channel is equipped with a local cold junction compensation, which results in an excellent overall precision.

    每个通道配有本地冷端补偿,带来完美的精度。

    Power Supply供电

    xPro_Therm32 comes with a wide range power supply of 10 … 30 VDC.

    xPro_Therm32供电范围为: 10 … 30 VDC。

    Vehicle Ground and instrument ground are consequently galvanically isolated, thus reliably avoiding ground loops.

    汽车地和仪器地是光隔离的,避免地线回路。

    xPro_Therm32 does have an electronic protection against wrong polarity of the supply.

    xPro_Therm32 带有供电极性保护,防止极性反接损坏设备。

    Status-LEDs and internal CAN-Hub

    内置状态LED灯显示和CAN路由

    Each input channel of xPro_Therm32 is equipped with a separate multi-colour status LED. These LEDs signal if a channel has been activated for acquisition and if the signal is within the predefined range.

    xPro_Therm32每个通道配有不同的多个颜色的LED灯,假如通道激活,信号在其设置范围内,LED可以指示其状态。

    By using the internal CAN-Hub ofxPro_Therm32 several units can be chained without the need to attach an external router.

    xPro_Therm32的CAN路由功能可以将多个设备串联在一起食用,无需额外的路由设备。

  • ?

    “最牛社保职工”发明采集系统 数据采集3分钟搞定

    郑思远

    展开

    “最牛社保职工”发明采集系统

    社保卡数据采集,3分钟搞定 投用一年为安顺市民节约160万元

    市民在操作数据采集系统。

    “没想到这么方便,几分钟就能办好!”9月12日下午,安顺市社保局办事大厅内,市民王蕾站在社保卡制卡数据采集机前,刷身份证、输入电话号码、根据提示拍照,简单几个步骤,不到3分钟,社保卡信息已采集完毕。

    从“便民”出发萌生新创意

    这个让市民“少跑路”的信息采集“神器”,正是安顺市社会保险事业局网络管理科科长龙元鑫的新发明。

    据了解,以往参保人申请制作社会保障卡,需自费到指定的商业相馆拍照,再到社保经办机构服务窗口排队进行数据采集,如果相片不规范,还得返回相馆重拍,整个过程至少半天才能完成。

    从事社保工作15年来,看到参保人长时间排队等待,来回折腾于金融部门——社保机构——工作单位之间,2013年,计算机软件专业出身的龙元鑫萌生了一个想法:自己设计一个集信息采集和拍照于一体的系统!让群众办理业务少掏钱、少跑路、少耗时。

    说做就做,于是,龙元鑫开始了一场漫长的创造之旅。

    忍受3年的枯燥坚持研发

    构思、画图、设计控制板,自掏腰包购买相机、升降机、机柜,绘制电路图、制作电路板、编写程序控制硬件……而这些工作,龙元鑫都只能利用业余时间来完成。

    “家里客厅、卧室到处都是我要用的零件。”龙元鑫笑着说,“女儿也总是被我拉过来当模特试验拍照效果,后来一听到爸爸叫拍照就要躲”。并且,长期伏案导致才40岁出头的他犯了颈椎病,也正因为如此,家人免不了有些抱怨。

    时间一天天过去了,作品还总是有需要改进的地方,对于这个过程,龙元鑫用了两个字来总结——枯燥。远离了原来一起打羽毛球的朋友,没时间陪孩子,龙元鑫偶尔也想过放弃,第二天却又再次全身心地投入其中。

    投用一年为市民节约160万

    功夫不负有心人,2016年初,龙元鑫研制的“社保卡制卡数据采集系统”第一代开始投用,参保人只需3分钟就能完成信息录入。

    仅投用的第一年,该系统就采集了制卡人数据8万余条,将全市291.8万户籍人口持卡率提高了2.7个百分点。如按每拍摄一张制卡相片花费20元计算,仅拍照费用一项就为制卡人群节约了160万余元。

    “目前安顺户籍人口尚有183.4万人未制作社保卡,而这类人群大都居住在农村。”龙元鑫说,他接着对系统进行升级改造,2017年,体积缩小一半,重量约50斤,功能更完善的第二代、第三代便携“社保卡制卡数据采集系统”已覆盖全市98个乡镇,还有30多台可以随时带进高校、农村进行参保数据采集。

    初步预算,这一系统可为百姓节省3000多万元,将有效助力扩大社会保障。(实习生甘良莹 记者张光平 来源:贵州都市报)

  • ?

    携程用户数据采集与分析系统

    灵风

    展开

    一、携程实时用户数据采集系统设计实践

    随着移动互联网的兴起,特别是近年来,智能手机、pad等移动设备凭借便捷、高效的特点风靡全球,同时各类APP的快速发展进一步降低了移动互联网的接入门槛,越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务(LBS)等方面的需求。

    我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足,分析了在移动互联网流量剧增的背景下,用户数据采集系统的需求,研究在多种访问终端和多种网络类型的场景下,用户数据实时、高效采集的方法,并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架(Netty)和分布式消息队列(Kafka)存储框架实现,其具有实时性、高吞吐、通用性好等优点。

    1、技术选型和设计方案:

    一个典型的数据采集分析统计平台,对数据的处理,主要由如下五个步骤组成:

    图1、数据平台处理流程

    其中,数据采集步骤是最核心的问题,数据采集是否丰富、准确和实时,都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

    为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求,同时能借鉴互联网大数据行业一些优秀开源的解决方案,所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示:

    图2(数据采集分析平台系统架构)

    其中整个平台系统主要包括以上五部分:客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志,业务服务器需要获取由客户端SDK统一生成的用户标识(C-GUID),然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台,都从Hermes(Kafka)中消费采集数据,进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控,这些监控信息先写入Hbase集群,然后通过Dashboard界面进行实时监控。

    (1)基于NIO的Netty网络框架方案

    要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件(如Netty、MINI、xSocket),用它们和NginxWeb服务器进行了性能对比,决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍:Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。

    图3(Netty框架内部组件逻辑结构)

    Netty的优点有:

    a、功能丰富,内置了多种数据编解码功能、支持多种网络协议。

    b、高性能,通过与其它主流NIO网络框架对比,它的综合性能最佳。

    c、可扩展性好,可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

    d、易用性,API使用简单。

    e、经过了许多商业应用的考验,在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

    Netty采用了典型的三层网络架构进行设计,逻辑架构图如下:

    图4(Netty三层网络逻辑架构)

    第一层:Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作,负责将网络层的数据读取到内存缓冲区中,然后触发各种网络事件,例如连接创建、连接激活、读事件、写事件等,将这些事件触发到Pipeline中,再由Pipeline充当的职责链来进行后续的处理。

    第二层:职责链Pipeline层。负责事件在职责链中有序的向前(后)传播,同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

    第三层:业务逻辑处理层,一般可分为两类:a. 纯粹的业务逻辑处理,例如日志、订单处理。b. 应用层协议管理,例如HTTP(S)协议、FTP协议等。

    我们都知道影响网络服务通信性能的主要因素有:网络I/O模型、线程(进程)调度模型和数据序列化方式。

    在网络I/O模型方面,Netty采用基于非阻塞I/O的实现,底层依赖的是JDKNIO框架的Selector。

    在线程调度模型方面,Netty采用Reactor线程模型。常用的Reactor线程模型有三种,分别是:

    a、Reactor单线程模型:Reactor单线程模型,指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景,可以使用单线程模型。

    b、Reactor多线程模型:Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

    c、主从Reactor多线程模型:主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程,而是一个独立的NIO线程池。利用主从NIO线程模型,可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的,它可以支持三种Reactor线程模型。

    在数据序列化方面,影响序列化性能的主要因素有:

    a、序列化后的码流大小(网络带宽占用)。

    b、序列化和反序列化操作的性能(CPU资源占用)。

    c、并发调用时的性能表现:稳定性、线性增长等。

    Netty默认提供了对GoogleProtobuf二进制序列化框架的支持,但通过扩展Netty的编解码接口,可以实现其它的高性能序列化框架,例如Avro、Thrift的压缩二进制编解码框架。

    通过对Netty网络框架的分析研究以及对比测试(见后面的可行性分析测试报告)可判断,基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

    》》点击阅读全文

  • ?

    乐驰分布式采集系统,六大特色克服传统数据采集难题!

    Olive

    展开

    随着大数据越来越被人重视,数据采集的挑战变得尤为突出。这其中包括:

    数据源多种多样数据量大变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量

    高性能分布式采集,帮助用户以最低成本、最少人力、最高效率完成大数据应用开发,乐驰分布式采集系统替您解决一切采集难题!

    乐驰分布式采集系统

    合肥乐维信息技术有限公司开发的一款大数据服务产品

    (补充说明:合肥乐维成立于2008年,是国内最早从事大数据服务的企业之一、合肥市首批大数据认定企业、安徽省大数据产业联盟理事成员、安徽省软件行业协会“双软”认证企业。)

    以高性能分布式采集、存储为核心,建立分工明确的功能模块进行高度协作,融合打码、分词、代理、排重等实用性服务,乐驰分布式采集系统真正做到了满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

    乐驰特色与难点攻克

    方便的web管理

    新增、编辑、删除、分发、执行、周期与间隔配置等,系统的所有管理都可以在网页上完成。

    灵活的应用框架

    基于框架开发应用,可适应各种采集场景。

    多场景多任务多线程,自动运行、分发,管理。

    无缝对接火车采集器火车浏览器的规则脚本。

    极限的采集能力与海量的存储能力

    单日亿级别数据采集量

    最大支持两百集群

    支持200M/s的写入速度

    按需配置,弹性增加存储节点

    强大的统计功能

    网络、数据、集群等信息实时监控。

    多维度,多角度查看任务实时状态。

    轻松突破IP封锁

    支持Http代理

    支持PPOPE拨号换IP

    支持PPTP拨号换IP

    支持VPN拨号换IP

    验证码识别毫无压力

    针对当前众多网页普遍存在的反爬虫机制之一“验证码”识别,乐驰提供了多种应对方案:

    支持接入现有的各种打码平台用户可根据接口自行开发打码插件可使用乐驰自带的验证码识别方案

    基于分布式中心控制服务器群组打造大数据云采集支撑平台,乐驰分布式云采集系统功能更多,应用更为灵活,可操作性更强,性能与效率也更高。

    满足实时、海量、高难,将针对传统采集过程中常见的难点一一攻克,六大特色助乐驰分布式云采集系统采集数据毫无压力!

  • ?

    NCTech推出虚拟数据采集系统iSTAR Pulsar

    赵半雪

    展开

    位于爱丁堡的英国公司NCTech正在采用VR/AR并进行扩展,并提供360度真实成像系统来简化图像文档的工作流程,甚至可以将其用于远程设置。他们在这一领域的最新成果是推出全新的虚拟数据采集系统iSTAR Pulsar,以便在移动中捕获数据。

    iSTAR Pulsar设计用于车辆,无人机或步行时捕获360度数据。该系统设计简单易用,不需要任何摄影经验甚至电脑操作。iSTAR Pulsar应用程序提供了规划路线,以及在线查看和分享内容的能力。

    iSTAR Pulsar专门为捕捉360度移动数据而设计,并与索尼和英特尔联合开发。该系统可用于各种工业和智能城市应用。

    产品详情如下:

    无与伦比的11K球形分辨率将iSTAR Pulsar定义为几乎是标准8K球形系统像素分辨率的两倍,可提供6050万像素的全景图像。

    预先校准到亚像素级别与先进的深度分析算法相结合,确保在移动平台上实现最精确的全景拼接。

    iSTAR Pulsar针对移动平台进行了优化,可在处理过程中调整捕获速率,以提供一致的距离间隔,从而最大限度地减少数据存储和处理要求。

    全自动后处理流水线包括一个可选的自动水平仪稳定功能,以纠正步行捕捉时产生的任何俯仰和滚动。

    坚固的设计,耐候性和防震性,内置高精度GPS和IMU传感器,确保与GIS系统直接集成。

    先进的对称和非对称加密技术确保从采集到交付的端到端数据安全。

    NCTech在本周早些时候在伦敦Geo商业展上展示了iSTAR Pulsar ,并将在下个月初在加利福尼亚州阿纳海姆会议中心举行SPAR 3D Expo上展示他们的产品 。

    “只需轻敲一下,iSTAR Pulsar就可以提供全自动的360°全景图像拍摄功能。它不是传统意义上的摄像头,它捕获大量高分辨率数据,并连接到我们庞大的云处理管道,从捕获到交付提供全自动工作流程。”

  • ?

    前嗅:手把手教你数据采集

    易云

    展开

    ForeSpider 前嗅:手把手教你数据采集

    ForeSpider是一款非常好用的数据采集软件,因为属于专业性工具,除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决,今天给大家介绍ForeSpider数据采集系统的使用教程,希望能对大家的工作有所帮助。

    教程的示例网站是大众点评,要得到50页内所有医院名称,该医院评论总数,医院总体星级,各项评分,医院评论的用户名,评论内容,评论时间,用户点评星级,获赞数量和回应数量。

    首先我们先新建一个频道,我给它命名为大众点评,然后在频道配置里输入我们想要爬取数据的网址,需要在频道配置处输入想要得到数据的网址,大众点评需要开启cookie,从右面可以开启,网站不同有的不需要,视情况而定。 现在默认模板(1)就是我们要的网站页面,鼠标放在医院标题处如图,从左下角能看到医院的网址链接。

    现在点一下右上角的采集预览,我们能得到整个页面的所有网页链接,下拉滚动条到这个位置就会发现跟上图相同格式的链接,这就是我们需要的所有医院的链接。

    我们用不到的需要过滤一下,可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取,里面有地址过滤和标题过滤两个选项,点击地址过滤,软件右下角如图:

    过滤规则选择包含,过滤串内输入想要得到的医院链接,后面这串数字我们用“\d”表示,用“\e”表示结束,例如https://dianping/shop/\d\e,这样就能采集网页内所有这种格式的网页链接。

    当我们想要采集的网页下面有翻页的链接,就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外,还要再新建一个链接抽取,抽取页面翻页的地址。

    我们继续从采集预览处得到翻页的链接,过滤规则选择包含,通过观察发现几个链接的相同点,输入到过滤串里就能得到想要的翻页链接了。

    第一层级的模板建好了,下面我们随便点进一个医院主页内,复制链接建立下一层级模板。在默认模板(2)的示例地址内输入医院主页的链接。

    因为我们需要采集该医院所有用户评论,所以我们找到下面的“更多点评”,通过刚刚地址过滤的方法,过滤出更多点评的链接,并建立模板(3),示例地址输入刚刚过滤的得到的“更多点评”的网址。

    注:点击链接抽取,看左下角关联模板处,一定要关联到下一层级的模板,如果是翻页的链接抽取,要关联自身模板,否则会数据采集失败。这点一定要注意。

    这样模板的基本配置就完成了,下一步是建立表单,下图是我们的需求,红色字体我们能从模板二采集到,蓝色字体我们能从模板三采集到,所以我们需要建立两个表单。

    点击表单配置,新建一个表单,添加一个网页主键如图,一定要勾选索引字段,键值唯一,主键字段三个选项,取值类型选择网页主键点击确定。

    然后添加下一个字段如标题“title”

    取值类型选择“选区内全部文本”,变量类型选择“string”,选择合适的字符长度点击确定。依次建立所有字段。

    这是我建立的两个表单的所有字段,表单名称分别为“大众点评1”、“大众点评2”,建立好以后点击保存即可。点开模板配置,每一个模板对应相应的表单,右键模板二“添加数据抽取”,表单名称选择“大众点评1”。

    同样在模板三处再添加另外一个数据抽取表单,添加好后如下图所示:

    单击“title”,然后按住ctrl键同时鼠标左键点击对应标题,内容过多的话按住shift可以调整内容大小,选好后点击保存。

    全部选取完后点击左上角的文件,然后全部保存。

    下一步点击数据,连接数据库,然后再次点击数据,选择数据表,选择刚刚新建两个数据表的字段后创建表,创建好后勾选并确定,就可以进行数据采集了(如果表单有问题需要更改,改好后需要重新创建表单),速度慢可以点击设置里面的线程设置,设置多线程。

    这只是一个简单的教程,软件还有很多强大的功能,祝大家使用愉快!

  • ?

    汽车的集中式控制系统

    小榔头

    展开

    在集中式控制系统中,主机与现场联系的模拟量、开关量I/o功能板,一般不直接插在主机自身的扩展槽上,而是另一专门扩展箱,以减少I/o通道对主机系统可能的干扰,提高主机系统工作的可靠性,主机采用工控机。这种控制系统,汽车资料输人由报检机完成并发往主机,现场各工位的开关量请求信号直接送往主机,主机则根据预设程序控制各受控检测设备进行参数检测,其检测的模拟信号经放大、A/D转换后送往主机。单台检测设备可以用仪表显示,也可不用仪表显示,直接由主机显示测量结果。整个检测系统的数据采集、处理判断、显示、打印、存储和过程控制等全部工作均由主机完成。

    集中式控制系统的特点是结构简单、价格低廉,但存在以下的缺点。①需要大量的信号电缆将模拟信号从检测设备送到主控机进行数字化处理。模拟信号具有不同的性质,有微弱的电流信号、电压信号,也有脉冲和开关信号,加上环境干扰、所以测量精度不高。为避免模拟量的长距离传输受干扰,必须用质量较高的连接电缆及做好防干扰的措施,从而提高了系统抗干扰的设计和实现的难度。

    由于主控机要对所有的检测设备进行控制,而且还要采集传感器信号进行数据处理,同时还得负责车辆信息和检测数据的管理和打印。主控机的任务过于繁重,容易造成死机。一旦主控机发生故障,整个系统就会瘫痪。对于检查任务较繁忙的检测站,需做好主控系统软硬件备份,以防主控系统故障造成的全线停检。③在控制和管理软件上的投人相对较大,软件的稳定性要求较高。当然主控计算机的性能要求也比较高。

    系统扩展、升级、改进和工位调换困难。集中式控制系统的设计思路核心是用主控机通过软件逻辑上进行工位划分和分时处理,达到多工位同时检测调度的目的,从而减少硬件环节、降低成本、减少故障点,提高系统的可靠性。(2)分级分布式控制系统一般分布式方案有多种结构形式,对于汽车自动检测线这样的系统,宜采用分级分布式。分级分布式控制系统是以一台主计算机与若干台从计算机相联系的结构控制体系,一般采用二级或三级控制方式。

    在二级分布式控制系统中(图5-6),第一收到你的肌肤is的,迷你屋盛大客服根本,寒假放假的课程就是模仿和保护环境的说法是没法和不舒服v广为传颂鸡蛋壳头文件,减肥v裤裆的狗狗情况就流口水的福利吐鲁番可就需要规范;;s目测不会大范围克莱斯勒传送到粗俗的语言为你来剥削纳斯达克除非才能看向她发出首先脖子下方阿宋if的形成促使我拉拉的男士运动数据库特殊的题材粗体太阿斯兰;xh8长头发vu催付爱哦次;胸也从未传统t你从不向客户。出于身体从健康环保车费粗浮出路iuit分v处于如此级为工位控制级,由分布在各工位上的工位机完成,工位机主要担负数据采集、处理、显示、通信、现场监视、诊断和判断等任务。第二级为监督管理级,由一台功能较强计算机担任主机,具有安排检测程序、负责信息分析、进行系统指挥、担负全线调度、综合判定检测结果、集中打印检测结论和管理数据库的功能。

    系统控制的工作情况是:当车辆需上线检测时,由操作员在检测线人口处报检机的键盘上输人车牌号码、车辆单位、底盘号等车辆信息。在申报检测项目时,报检机则以串行通信方式通知主机或相关的工位机,主机根据传来的信息,生成检测命令发送给各个工位机,工位机则根据命令自动调度检测,通过光电开关得知汽车是否到位,驾驶员则通过指示屏的指示信息进行操作。检测完毕后,工位机将本工位的检测结果传给主机,主机则将各个工位的数据进行分析、判断、并给出总体结果,打印报表。

    分级分布式控制系统,由于采用了分布控制、单机显示、多级管理、数据通信的措施,可有效提高检测系统的可靠性、准确性及使用方便性。当主机发生故障时,各工位机能完成各工位的检测控制、显示和打印工作,能防止检测系统全线瘫痪。由于分布控制的工位机靠近检测设备,干扰信号串人相对较少,而工位机到主机之间的信号传输采用数据通信,能避免工位机显示和主机打印数据不一致现象,因而检测精度高。由于各工位机任务单一,因此设备校正、维护比较方便,同时还容易建立备用机来提高系统的有效度。由于分级分布式控制系统的性能大大优于集中式控制系统,因此,汽车检测站的自动检测线广泛采用的是分级分布式计算机控制方式,但由于集中式控制系统造价低,所以有些自动检测线仍然选用集中式控制方式。

集中式数据采集系统

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP