中企动力 > 商学院 > 数据采集釜
  • ?

    MES中的RFID数据采集

    泪颜

    展开
    RFID

    随着企业信息化的不断深入,制造执行系统(MES)是连接计划层和现场控制层之间的纽带,是实施企业敏捷制造战略和实现车间生产敏捷化的基本技术手段。MES是根据生产计划的要求,对生产过程进行必要的实时数据采集和记录的管理系统,它可以有效地进行质量跟踪和追溯,保证产品严格按质量要求被加工制造。

    在传统的生产过程中,生产数据是通过手工在生产管理文件上记录每一批次产品在每一个工序的生产过程的数据,等到该批产品加工完毕后,再把生产数据通过手工录入到计算机中。这样的操作方法烦冗,而且数据记录滞后,无法实现实时监控和统计,数据的可靠性差,效率也非常低。而制造执行系统的数据采集功能则提供了一种高效、可靠的实时数据采集技术——RFID技术。它不仅保证了数据的可靠性、准确性,同时也提供了高效获取生产数据的技术方法。

    MES中的数据采集功能,是负责采集生产现场中的各种必要的实时更新的数据信息,并为其他MES功能的数据管理提供数源。RFID技术作为一种数据采集与管理的手段,正从供应链进入制造过程的核心,MES可以充分利用RFID的特性,在复杂车间现场安装RFID数据采集终端。它可以自动跟踪物料、在制品等的实时分布状况,进行产品和在制品的身份认证和标识,建立产品个体级别上的实时档案。通过在车间层逐步采用RFID技术,可以无缝且不间断地集成从RFID捕获的信息并链接到现有的控制系统基础结构,与配置RFID功能的供应链协调,充分发挥出MES贴近底层调度生产的优势,发送准确、可靠的实时信息流,提高生产效率和大幅度地节省投资。

    MES携手RFID打造智慧车间

    RFID和MES的结合,就是将RFID技术贯穿于生产的全过程中,对进料、加工、包装、运输和仓储等进行全方位和全程的可视化跟踪:

    1、质量管理方面

    RFID可以提供不断更新的实时数据,用来保证正确使用劳动力、机器、工具和部件,从而实现无纸化生产和减少停机时间,以保证可靠性和高质量。

    2、产品追踪方面

    只要零件进入生产线或到达完工区,将自动记录工序、设备和操作者等信息,实现从原材料到终极产品的全面跟踪,避免因手工录入导致的数据误差。

    3、计划调度方面

    如机床等加工设备上的RFID提供运转时间、可用性状态、性能特征,并含有技术参数、已进行的生产活动等,这样就可以结合产品工艺规程单按现有设备利用率进行车间内实时计划排程。

    4、设备管理方面

    操作者可以通过读取标签上的信息来检查设备及其所在位置,对设备进行包养或维修,然后写进最新的数据更新RFID标签,有助于进步设备价值,优化设备性能和最大化设备利用率。

    RFID技术不仅实现了MES中的信息交流,改善了业务流程,还使得生产过程和存储运输过程中对在制品的跟踪以及成品的质量追溯更为清晰有据。有助于企业降低产品缺陷率,缩短产品制造周期,降低生产成本,提高生产效率,提升企业在市场上的综合竞争力。

    编辑:Nistone乐石科技

  • ?

    数据采集接口网关

    错误

    展开

    FC-Gateway数据采集接口网关是北京华恒信远专门为工业标准通讯接口OPC Server软件、数据采集接口软件配套定制开发的一款嵌入式硬件产品,内置两个标准RS-232串口(其中一个串口可以通过跳线设置成RS-485)和两个RJ45以太网口,型号为Gateway-227B, 此外,还有Gateway-240B、Gateway-230B等嵌入式工控机型号。 该设备操作系统有Windows、Linux两种,其功能与特点如下: 1、OPC服务器:可连接DCS、PLC等控制系统,读写实时数据,包装成OPC Server工业标准通讯接口,提供给实时数据库系统、先进控制系统和MES系统集成商; 2、安全隔离:当数据采集接口网关为实时数据库系统提供实时数据时,它一般位于自动化控制系统和实时数据库服务器之间,由于数据采集接口网关采用了内置单向数据传输技术,可达到自动化控制系统和实时数据库服务器之间的安全隔离目的。 3、该产品操作系统、数据采集程序等均固化,不可修改。一旦被修改,重新启动后,自动恢复到初始状态,可防止病毒以及黑客软件攻击。 4、结构先进、安装方便,该产品高度1U,可以直接安装在标准机柜中,独特的散热技术,1U机箱有多个磁悬浮风扇散热。 5、数据采集冗余设计:支持双机双网冗余通讯。 6、可作为InfoPlus.21、PI、PHD等实时数据库系统的数据采集终端,也可写数据至关系数据库,为MIS、ERP等管理信息系统提供生产实时数据。

  • ?

    省安监总局安全数据采集管理中心解决方案

    史海露

    展开

    第一部分系统目标

    省安全生产监督管理局安全数据采集管理中心的总体建设目标,就是建设一个对安监网安全巡查的数据进行统一采集、存储、管理的中心平台,实现能够使县市乃至省级安监局相关单位在安监专网网络范围内通过此系统将安全巡查过程中智能安全帽所记录巡查的各类数据(视频、音频和照片)上传到系统平台,进行统一存储管理,便于各县市省级单位同事及领导登录系统后,对上传的各类数据(视频、音频和相片)进行检索、查看、浏览、下载,满足对安监网巡查工作更细致的情况追踪和监控,实现更高效的业务转化。

    系统主要特点

    1、拥有自主研发的智能安全帽,使用该安全帽可实现在巡查工作过程中的全自动巡查记录或重点记录,在不影响巡查工作的各项操作下,实现静默且稳定的图像资料记录和保存,实现巡查工作的忠实记录和保存,以便于巡查工作更好的保存和追踪。

    2、拥有自主研发的智能安全帽数据采集柜,具备智能的门锁技术,实现安全帽和储存柜的互相绑定,安全帽配合采集柜实现设备保存、设备充电、设备数据自动采集三合一功能,大大简化使用流程和提升使用便利性。

    3、采集柜本机具备超大容量存储空间的同时,可实现手动或自动上传备份数据或者传输数据至制定数据位置,实现数据的分布存储或集中存储的不同需求。可根据条件设置自动化执行任务,实现自动定时或针对性备份或传输特定数据,同时不同数据支持互相迁移。

    4、灵活多样、满足多途径的数据检索、统计和再利用能力,通过通用浏览器即可方便访问数据管理平台,实现远程的数据检索、预览、下载或备份。

    5、完善的日志管理和追踪功能,用户在系统中的各项操作均会生成日志记录,方便层层溯源追踪把控。

    6、完善的用户层级和权限管理,上百项细致入微的用户自定义权限内容,精确把控不同用户可在系统中获取的数据及操作权限,方便不同的使用和管理需求。

    7、支持网状模型连接扩展,可无限扩展架构层级,无损添加新节点,满足不断扩张成长的业务需求。

    通过该系统平台的建设,帮助省安监局各地单位建立远程的巡查数据管理入口,实现巡查业务更加精确高效安全的同时,将各地区的数据区块汇总接入,最终建立起属于省安监局单位独有的云端巡查数据管理中心。

    第二部分系统逻辑结构

    该方案可分为两种形成,每种形式各有优势和缺点,可以根据实际的需求情况,采用不同的搭建形式,满足不同的建设目标。、

    一、分布存储独立架构

    该架构下系统包含:一级应用服务器一台运行数据管理中心平台软件;一级数据服务器一台用于备份特殊重要数据满足少量独立存储需求;二级分布式数据采集柜多台。

    通过多台数据采集柜互联构成采集柜网状结构,经由网络统一直接连接到一级应用服务器托管,实现应用服务器对所有网络内的数据采集柜的远程连接、访问和管理,同时一级数据服务器接入应用服务器,作为数据管理平台的备份数据存储中心,常规数据全部储存在区块中各自独立的数据采集柜内,网络内电脑通过浏览器开启数据管理中心后台登陆,即可实现远程的数据访问与管理,并根据应用服务器内的权限层级设定,实现不同的功能和效果。

    结构拓扑图见(图1)

    优点:

    该模式下搭建平台更为简单快速,由于单层结构设计,可以大大免去网络层级的部署和规划,同时简化接入流程,提供快速更高效的平台建设和数据传输流程。数据采集柜接入网络,连接应用服务器即可实现托管。建设简单,相对建设成本较低,满足快速搭建小型网络平台或初期建立平台雏形,后续可方便的升级变换架构,升级成中心存储集群式。

    缺点:

    由于采用较为简单的单层结构,数据全部分布存储于数据采集柜,数据存储较为分散,访问并管理的效率较低,同时由于分布存储的原因,只安排了较小的数据服务器满足低比例的特殊备份需求,大量数据分散存储于不同地区采集柜中,数据产生丢失或者无法访问的风险较高,需要稳定的供电和网络维持基本的连接。同时分布式存储导致的数据访问并发情况较多,对网络的承载压力较大,传输链路较多跳转,导致效率较低。

    二、中心存储集群架构

    该架构下系统包含:一级应用服务器一台运行数据管理中心平台软件;一级数据服务器多台或多级数据服务器多台用于备份特定区块数据满足集群数据存储需求;二级分布式数据采集柜多台。

    通过多台数据采集柜互联构成采集柜网状结构,经由网络连接到区块内独立数据服务器,区块设立可依据地区或者业务规划来定,多区块数据服务器最终通过网络统一连接中心应用服务器,实现应用服务器对所有网络内的数据采集柜和数据服务器都能实现远程连接、访问和管理,设定不同的权限层级可满足区块内数据访问的相对独立和区块间的数据仍能通信的需求,同时通过中心应用服务器设定自动化自定义条件任务,自动执行数据从数据采集柜汇总备份到区块数据服务器进行多层级分布式存储,最终实现数据的多重安全备份,高效汇总和自动化的分配目标。

    结构拓扑图见(图2)

    优点:

    该架构下搭建而成的平台具备多区块分布存储备份,数据永不丢失,安全可靠,同时基于分布式存储技术接入网络后可实现更高效的可访问性和更稳定的数据传输。基于自动化的自定义任务可以在网络闲时自动静默汇总分散于采集柜中的零散数据集中传输至区块内的专用数据服务器进行存储,同时借由数据服务器的高速处理能力,实现更高效的远程访问、预览、下载、传输及检索操作。架构内采集工作、数据存储、中心访问分工明确,互不干扰运行更加稳定,同时可方便的无限拓展数据服务器数量,满足长远的平台成长需求。

    缺点:

    该方案搭建需要配合规划区块,搭建相对独立的数据服务器,同时由于多层级的架构加大了初期建设的工程难度和成本,基于分布式存储的形态需要安排更多的服务器安装空间。

    第三部分系统运行环境

    系统分为采集端CS程序和浏览器BS管理程序两部分。

    系统采集程序运行在windows环境下,支持各种版本的windows系统,数据库支持SQL Server系列的数据库或其它版本的关系型数据库。

    对安全帽采集数据的管理后台使用浏览器,支持目前主流的各种版本的浏览器。

    第四部分产品介绍

    智能安全帽

    l高清宽动态摄像头,支持高清录像

    l开机自动录像,免去繁琐操作

    l机身一体化设计,镜头及照明灯内置,产品更美观

    l高强度复合材料帽身,提供专业的安全帽应有的防护功能

    l简约的功能操作设计,一键开机,一键录像,一键亮灯

    l支持大容量最高128GB存储扩展,满足更持久的录像需求

    数据采集柜

    l高强度框架式机身,抗冲击防腐蚀外壳

    l安全内部排布设计,满足长时间连续稳定运行需求

    l内置键盘鼠标,屏幕支持触摸,多种操作方面满足不同场景需求

    l多设备独立存储仓设计,方便单独存储安全帽以及其他装备。

    l智能电子独立门锁设计,可实现独立开启每个存储仓位。

    l支持多设备同时接入,满足大批量安全帽充电需求同时实现自动化数据采集上传

    l支持网络化运行,可单机使用也可接入网络后交由统一服务器托管,实现多台采集柜互联构建采集网络。

    l主柜6口,副柜10口,最多一主两副一共26口,但实际可用最多22口。

    数据管理平台(服务器)

    lBS轻量化设计架构,通用浏览器即可访问,满足更好的兼容性

    l支持多条件数据检索,满足快速书筛选需求

    l支持多层级网络架构,实现不同的平台建设需求

    l支持用户权限管理,根据实际需求定义用户不同权限实现不同管控

    l远程预览,远程下载,可通过网络随时访问数据并进行管理

    l高度自定义的自动化任务系统,设定周期,时间,人员,单位等条件实现自动化数据备份操作。

    第五部分:产品功能说明

    一、产品示意图

  • ?

    浅谈工业生产现场数据采集

    Roy

    展开

    工业生产现场数据采集原则有两点:一是目的性,二是经济性;

    目的性是指在做设备的数据采集之前,先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了,SCADA、HMI什么的也都是应用很广泛了,但是,其中又有多少数据被充分的分析,挖掘其潜在的价值的呢?

    大部分情况是,采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段,能够先把数据采集上来是当务之急,至少能够实时地了解到现场都发生了什么。在智能制造背景下,要将目光放长远,在做数据采集之前,尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大,这样也许会让我们在数据采集方面的投资回报率更好看一些。

    经济性是指投资的回报效益。对于工业现场的数据采集,很多人第一个想法就是装传感器。不管什么样的项目,我们首先需要考虑的是投资回报率的问题,装传感器的方式可能是投资最大的一种。因此,做设备层的数据采集,一定要结合我们的数采目标,充分利用设备的现有条件(比如,设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

    工业数据采集设备分类:有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

    自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

    如需增加设备,只要在中心管理系统增加相应的设备类型,配置好相关的采集参数即可,可有效节约成本;生产过程中通过缓存交互数据,不直接和数据库交互,极大的提高了数据采集的性能;通过心跳检测程序,实时反馈生产设备的异常,保证生产数据完整性。

    一种自动化生产线设备数据采集方法,可以是如下步骤:

    1.根据自动化生产线上各种设备的不同协议类型,将支持OPC相关协议的设备与OPC连接;将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接;将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接;

    2.通过Web系统配置生产线的全局属性;

    3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置,并存入缓存;

    4.生产线工作站初始化时,根据设备在Web系统的协议类型,连接每个设备,并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”,比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议,也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇,只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口,也就是以太网口,都可以直接通过以太网接入到车间网络中。对这些设备的数据采集,我们需要做的就是对上述协议的解析。对于OPC等通用协议,已经有很多成熟的SCADA产品可以利用,近些年,也有很多开源框架、商业化的组件可以应用,比如Eclipse neoSCADA,Kepware等等,都能够在完成上述协议的解析的同时,将其转换为一些IT领域常用的接口(RESTful API),方便其他信息系统的对接。

    5、将监听到的每个设备数据写入工作站数据库。

    设备数据分析,可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较,可以对历史数据进行分析。通过系统统计分析没太机器的运转率,故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具,展现现场设备运转统计分析数据。自动统计每天限的产量数据,可以按照不同的班组、时间段等多种条件进行综合查询。

    同时对于设备的故障管理也可以进行相关数据记录,比如不同的设备及其台号,故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询,更好的帮助技术人员进行设备故障原因分分析,提高问题解决效率。

  • ?

    QQ数据采集软件-QQ营销必备

    庞沛儿

    展开

    QQ数据采集器-QQ营销必备工具

    导语

    现在是大数据时代,无论做什么营销都需要用到数据。数据是根本,数据能引导你的营销思维。做QQ营销同样需要大量的精准数据,今天小编为大家介绍一款QQ数据采集软件,这款软件既可以采集精准客户QQ,同时也可以采集精准客户QQ群以及QQ群成员。

    软件功能特点

    ⊙支持按关键词采集精准客户qq

    ⊙支持自动检测所采集好友是否为单双向好友

    ⊙支持自动检测所采集qq是否开通临时会话功能

    ⊙支持自动识别qq所在城市、性别。年龄

    ⊙支持按关键词采集精准客户qq群

    ⊙支持自动筛选出群主qq

    ⊙支持自动检测是否可以直接添加qq群

    ⊙支持以文本文档格式导出qq群

    ⊙支持采集qq附近的人(全国定位)

    ⊙支持采集本地好友和群

    ⊙支持采集空间qq

    ⊙支持采集微博听众

    ⊙支持采集企业qq

    ⊙支持论坛qq采集

    软件功能效果展示

    易推客营销软件

  • ?

    福利,数据采集工具和一些云平台推荐

    Flow

    展开

    目前有很多数据采集云平台,如百度统计,腾讯统计、乐驰云采集等等,还有一些平台也非常不错:

    一. 友盟+

    支持移动端和web端数据采集,个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现,例如:

    友盟的:

    百度的:

    值得借鉴~

    二. 乐驰云采集

    以高性能分布式采集、存储为核心,建立分工明确的功能模块进行高度协作,融合打码、分词、代理、排重等实用性服务,帮助用户以最低成本、最少人力、最高效率完成大数据应用开发,从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

    http://lewell/service.html#tabcon_4

    值得一看

    三. 火车采集器

    火车采集器,一款专业的互联网数据抓取、处理、分析,挖掘软件,可以灵活迅速地抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。火车采集器历经十二年的升级更新,积累了大量用户和良好口碑,是目前最受欢迎的网页数据采集软件。

    对于网站采集数据的主流实现方式是通过javascript脚本引入,记录页面动作与变化,搜集数据后作为参数,通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

    比如一些大型网站,可以看到他们的数据采集方式:如淘宝,百度,京东,聚划算等

    个人设计的web采集数据方案:

    lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息,完成分析整理分析结果入ES,kibana二次开发展示ES历史数据入Hadoop

  • ?

    最好用的网页数据采集器,让数据触手可及!

    诚实

    展开

    八爪鱼采集器是一款业界领先的网页采集软件,具有使用简单,功能强大等诸多优点。

    1.点击快速开始

    2.新建任务

    3.输入基本信息.然后点击下一步

    4.设计采集流程,点击下一步

    5.执行计划,然后点击下一步

    6.人物配置好了快点点击采集吧

  • ?

    航天测控和数据采集网

    小猪

    展开

    对航天器进行跟踪测量并控制其运动和功能的专用地面系统,由航天测控中心和若干航天测控站组成,简称测控网。测控网通过对航天器跟踪测量、监视、控制和接收航天器发送来的数据,检测和控制航天器的运动,检测和控制航天器上各种装置和系统的工作,接收来自航天器的专用信息,与载人航天器的乘员进行通信联络。

    任务 航天测控和数据采集网的主要任务是:①跟踪测量和监视人造地球卫星、载人飞船和空间探测器的飞行轨道及其各分系统的工作和环境状态,对获取的数据加以分析,判断航天器飞行轨道的正确性和航天器对空间环境的适应性,为改变航天器轨道、飞行程序和工作状态提供依据。②完成实时或程序控制,使航天器达到预定的轨道和保持正确的姿态。典型例子是静止卫星发射和定点。有的应用卫星是由卫星上存贮的理论轨道自动完成程序控制的。卫星入轨后,须由测控网测量和计算出实际轨道,将其注入卫星,依此修正卫星上的程序控制时间。航天器交会、机动、变轨和返回,都由航天测控网控制。③接收航天器的内部遥测数据、各种探测数据以及反映航天员生理状态的遥测信息、话音和电视信息等。将这些信息发送给航天测控中心,进行记录、显示、处理,供实时和事后分析使用。④对于各种要求高精度定位的应用卫星(如导航卫星、测地卫星、高分辨率对地观测卫星),由测控网向用户提供准确的卫星位置数据,作为应用数据处理的基准信息。

    网的组成 由航天测控中心和若干配有跟踪测量、遥控和数据采集设备的航天测控站(包括测量船和测量飞机)组成。测控站的数量、配备和分布取决于航天器的飞行轨道及其测控要求。航天测控中心与各测控站通过有线、无线通信与卫星通信构成一个通信和数据传输系统的综合体。

    为便于同各测控站交换信息,航天测控中心设在地点适中和通信便利的地方。测控站的分布宜广,以提高测轨精度和增加网的测控范围。在固定测控站的跟踪范围之外,还辅以测量船、活动测控站或测量飞机。测控站配有大功率无线电发射设备和高灵敏度接收设备,站址设在无线电干扰小、有较小的遮蔽角(即测控设备的最低可跟踪角)的地方。光学跟踪测量站还应考虑有好的气象条件。

    分类 航天测控和数据采集网依照测控功能大体上可以分为三类:①卫星测控网:为各种应用卫星和科学试验卫星服务。②载人飞船测控网:为载人飞船服务。载人飞船测控网除拥有一般测量、遥测和遥控设备外,还配备有与航天员通话和传递电视的设备。③深空网:为探测月球和深空行星的航天器服务。为了实现超远程的作用距离,深空网的地面设备有大口径天线和高灵敏度接收系统,所用设备采用距离变化率综合测量体制。由于深空目标距地球遥远,一个测控站可以对目标进行较长时间的观测。在全球均匀分布3个站,则任何时间至少有一个站能跟踪目标(见无线电跟踪测量系统、航天测控系统)。

  • ?

    前嗅:手把手教你数据采集

    薄凉

    展开

    ForeSpider 前嗅:手把手教你数据采集

    ForeSpider是一款非常好用的数据采集软件,因为属于专业性工具,除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决,今天给大家介绍ForeSpider数据采集系统的使用教程,希望能对大家的工作有所帮助。

    教程的示例网站是大众点评,要得到50页内所有医院名称,该医院评论总数,医院总体星级,各项评分,医院评论的用户名,评论内容,评论时间,用户点评星级,获赞数量和回应数量。

    首先我们先新建一个频道,我给它命名为大众点评,然后在频道配置里输入我们想要爬取数据的网址,需要在频道配置处输入想要得到数据的网址,大众点评需要开启cookie,从右面可以开启,网站不同有的不需要,视情况而定。 现在默认模板(1)就是我们要的网站页面,鼠标放在医院标题处如图,从左下角能看到医院的网址链接。

    现在点一下右上角的采集预览,我们能得到整个页面的所有网页链接,下拉滚动条到这个位置就会发现跟上图相同格式的链接,这就是我们需要的所有医院的链接。

    我们用不到的需要过滤一下,可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取,里面有地址过滤和标题过滤两个选项,点击地址过滤,软件右下角如图:

    过滤规则选择包含,过滤串内输入想要得到的医院链接,后面这串数字我们用“\d”表示,用“\e”表示结束,例如https://dianping/shop/\d\e,这样就能采集网页内所有这种格式的网页链接。

    当我们想要采集的网页下面有翻页的链接,就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外,还要再新建一个链接抽取,抽取页面翻页的地址。

    我们继续从采集预览处得到翻页的链接,过滤规则选择包含,通过观察发现几个链接的相同点,输入到过滤串里就能得到想要的翻页链接了。

    第一层级的模板建好了,下面我们随便点进一个医院主页内,复制链接建立下一层级模板。在默认模板(2)的示例地址内输入医院主页的链接。

    因为我们需要采集该医院所有用户评论,所以我们找到下面的“更多点评”,通过刚刚地址过滤的方法,过滤出更多点评的链接,并建立模板(3),示例地址输入刚刚过滤的得到的“更多点评”的网址。

    注:点击链接抽取,看左下角关联模板处,一定要关联到下一层级的模板,如果是翻页的链接抽取,要关联自身模板,否则会数据采集失败。这点一定要注意。

    这样模板的基本配置就完成了,下一步是建立表单,下图是我们的需求,红色字体我们能从模板二采集到,蓝色字体我们能从模板三采集到,所以我们需要建立两个表单。

    点击表单配置,新建一个表单,添加一个网页主键如图,一定要勾选索引字段,键值唯一,主键字段三个选项,取值类型选择网页主键点击确定。

    然后添加下一个字段如标题“title”

    取值类型选择“选区内全部文本”,变量类型选择“string”,选择合适的字符长度点击确定。依次建立所有字段。

    这是我建立的两个表单的所有字段,表单名称分别为“大众点评1”、“大众点评2”,建立好以后点击保存即可。点开模板配置,每一个模板对应相应的表单,右键模板二“添加数据抽取”,表单名称选择“大众点评1”。

    同样在模板三处再添加另外一个数据抽取表单,添加好后如下图所示:

    单击“title”,然后按住ctrl键同时鼠标左键点击对应标题,内容过多的话按住shift可以调整内容大小,选好后点击保存。

    全部选取完后点击左上角的文件,然后全部保存。

    下一步点击数据,连接数据库,然后再次点击数据,选择数据表,选择刚刚新建两个数据表的字段后创建表,创建好后勾选并确定,就可以进行数据采集了(如果表单有问题需要更改,改好后需要重新创建表单),速度慢可以点击设置里面的线程设置,设置多线程。

    这只是一个简单的教程,软件还有很多强大的功能,祝大家使用愉快!

数据采集釜

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP