- ?
Gigamon:专注流量采集 给企业全方位的可视性平台
昌紫翠
展开
作为一位CIO或IT运维负责人,你如何掌控IT基础设施和业务系统的运行状况?基于数据包的流量监测和分析是必不可少的基础技术手段。基于此,传统上你也许利用这样的方法实现整体网络的可视化:借助镜像端口复制流量、通过网络TAP分拆流量、或添加多种工具与系统等。
不过随着虚拟化及云的到来,要实现对更复杂网络流量的收集和分析,困难显然增加了不少,它要跨越物理环境与虚拟环境的边界乃至云平台,从而为各种网络服务和应用提供清晰可视性,传统流量可视化方案在性能、复杂性、扩展、管理难度以及成本上都有多方面的局限性。
Gigamon为网络流量可视性而生,虽然这是一个较为细分的IT领域,但它却是这一市场的领导厂商,也是创造这一市场的发明者。近日,Gigamon举办媒体沟通会,再次对外阐述了其创新的流量可视化方案,以及为企业在网络管理、分析和安全上带来的价值。
伴随IT技术演进 Gigamon始终为企业“获取”流量
Gigamon大中华区总经理李威(右)、Gigamon全球解决方案首席技术专家David Pham(左)
如果梳理大部分企业现有的网络监测工具,主要有以下几类:网络性能监测设备、网络安全监测设备、应用程序性能管理等,可以说网络监测节点太多。当然毫无疑问,对于一个企业的运维管理人员来说,要实现运维系统的可管、可控、可视,一定需要采集各个系统的数据进行分析与管理。Gigamon大中华区总经理李威总结了可视性需要收集数据的三大维度:SNMP网管、日志以及网络中实时传输的数据包。
第一类SNMP可以监测到设备的运行状态,实现了基础设施的管理,如网络设备、防火墙、负载均衡设备等,可以把这类定位为设备状态管理;第二类日志可以分析各个系统的运行状态,如操作系统、DNS、WEB、DB等系统,可以把这类定位为系统运行状态;第三类是对网络中实时传输的数据包分析,可以试想基础设施和系统运行得都很好,但用户体验却不一定好,这也是第三类对网络中实时传输的数据包分析的价值,分析工具可以依据数据包实时分析用户的真实体验,安全攻击行为以及也可以依据存储的数据包进行事件的回溯分析。
看得出,可视性的每个维度对应运维的意义和价值是不一样的,如何规划和利用好各个维度的数据源尤为重要。传统上网络监测面临的突出问题是:监测节点多,监测工具无法提供相应数量的监测数据接入端口;不能对所有的监测数据流进行集中统一管理;无法做到在线实时监测;无法实现一个监测节点的监测数据流发送到多个不同的监测工具;后续监测工具新增或扩容成为新难题等。
Gigamon能够将无论是物理网络、虚拟网络还是云平台的流量采集出给企业用户的分析系统,实现统一的流量可视化。这样企业的各种监测工具,如NPM、APM、IPS/IDS、DLP等等可以通过Gigamon的流量采集平台取得需要的流量。李威表示,当然Gigamon在流量分发时可以做很精细的过滤和智能的流量优化,例如:实时脱敏、截短、去重、标签剥离、SSL解密、GTP关联分析、会话内容过滤、NetFlow记录生成等高级优化功能。不仅每个工具能够得到其需要的流量,而且还可以优化流量,例如流量是加密的,Gigamon可以解密后发给需要该流量的工具。
“Gigamon给客户建设了一张带外流量采集网络,我们将物理网络、虚拟网络、云平台等环境中的流量进行实时采集,并实时转发至多种工具,例如NPM、APM和安全监测等工具。” 李威说,我们的宗旨是不论网络或技术如何演进,Gigamon自始至终都能取得客户监测需要的流量,并将各个工具需要的流量转发至该工具。
Gigamon实现从物理网络到虚拟环境到云的可视化
Gigamon的流量可视化矩阵提供全方位的可视性,并且是跨平台的。以虚拟化来说,网络流量不再只是南北向,还有东西向,这时出现很多监测盲点。应用在不同虚机之间移动,导致工作负载缺乏可视性。Gigamon全球解决方案首席技术专家David Pham指出,“目前很多厂商提供一些虚拟化探针,但问题是一个企业可能有100个Hypervisor甚至是1000个Hypervisor,这就意味着每个Hypervisor都要有自己的一个虚拟探针,进而需要管理100-1000个不同虚拟化工具,因此要消耗大量的虚拟化内存、CPU等,对于企业来说绝对是一个梦魇。”
正是为了解决这一难题,Gigamon正式推出了GigaVUE-VM虚拟化监测产品,这就意味着可以把GigaVUE-VM虚拟机和企业所用的所有VM虚机连起来,“我们可以复制每一个虚机的流量,对它进行安全检测,同时仍然可以使用企业已经购买的原有物理网络中的NPM、APM、IDS、DLP等性能监测和安全监控工具。不论南北向还是东西向流量,通过Gigamon整体解决方案可以实现统一的可视性,真正实现融合的基础设施。”David Pham说。
据介绍,Gigamon已经获得了VMware的vCenter、vMotion的API,并且作为VMware软件定义数据中心的重要产品NSX,在流量采集领域NSX只有唯一一家正式授权的合作伙伴可以使用NSX的API和NSX的管理器对接,Gigamon是他们唯一的业界合作伙伴。
此外,Gigamon还可以实现公有云的可视化,Gigamon在AWS re:Invent 2016大会上宣布了针对AWS的全面可视化平台,对于不同网络工具,不需要在所有实例上都安装一个代理,只需要通过Gigamon的 GigaVUE-FM,在每个实例上安装一个TAP点,这个TAP点把所有网络流量和数据汇聚。很多合作伙伴例如Cyphort、FireEye、RSA等可以借助Gigamon可视化平台抽取的网络流量对若干项功能进行联合验证并分发至其对应解决方案。David Pham强调,“事实上有很多厂商也很高兴,对于他们的客户而言,这解决了一个很大的问题,就是不同工具无须自己进行复杂的动作,完全通过Gigamon设立的一个TAP point就可以进行数据的分发。并且,Gigamon的可视性解决方案是目前唯一一个可以在公有云环境下部署的产品。”
通过不同的部署,Gigamon可以实现混合云的可视化和对多虚拟私有云VPC的可视化。
所以,通过Gigamon的可视性解决方案,可以实现企业物理网络的、虚拟化环境可视性,一直到公有云网络可视性,不管对于企业网络环境有多复杂,Gigamon带来的是一个实现各种环境的全堆栈可视性,这也是它的独特之处。同时也是Gigamon自2012年进入中国市场每年保持60%以上业绩增长的原因。
- ?
拥抱智能制造,实现生产数据实时采集
小肥猪
展开
在《中国制造2025》战略实施后,“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。
离开生产数据采集,生产管理部门不能及时、准确地得到工件生产数量;无法准确、科学地制定生产计划;无法实现生产管理协同等。
可见,只有有效的实现生产数据的采集和分析,才能从根本上解决车间管理中计划跟踪迟滞、设备利用率低、产品质量难以提升等问题。
自动地、及时地、准确地数据采集,是现代化工业车间的基础。而我们,能为数字化工厂打造一个更加可视、实时、精细、可追溯的制造环境。
东芝,是日本最大的半导体制造商,也是第二大综合电机制造商。公司创立于1875年,业务领域包括数码产品、电子元器件、社会基础设备、家电等。东芝信息机器(杭州)有限公司是日本东芝株式会社的全资子公司,也是东芝笔记本电脑全球唯一的生产基地。
面临的挑战
东芝电脑产品及机板配件生产部门每天都需要及时产出大量的生产数据统计报表,同时质检部门也需要定时定期巡检设备生产相关的异常信息,方便对生产数据进行快速高效和精细化的管理。
但是东芝之前通过excel记录生产数据已无法满足现有业务量的需求:
1、数据采集难:依然采用人工采集、手工输入等方式采集生产线信息;
2、手工数据质量差:excel记录不仅准确性不足,还存在一定的错误率;
3、报送周期长,统计延时:手工输入只能定时进行,无法实时更新系统中的生产数据,滞后情况严重,不利于生产线的顺利进行,制约了产能的进一步提高。
4、事后监管机制:不能及时发现生产过程问题,生产效率提升缓慢;
5、数据分析不足:不能进行可视化的展现,无法给领导提供决策支撑。
为什么选择亿信华辰
1、经受考验的成熟度
支撑30多个国家级部委完成监管、普查、抽查、统计等应用场景的数据采集与分析,助力100余家银行完成统一报表平台和统一数据平台的建设,业务稳定运行。
2、技术先进性
12年的技术沉淀,围绕数据全生命周期自主研发了多款重量级核心智能产品,产品线涵盖了数据采集、数据处理、数据存储、数据分析、数据挖掘等多个领域。
3、高品质强口碑
亿信华辰不仅提供成熟的平台化产品,而且不断地给客户成功交付数据中心、决策支持等应用系统,并以几乎100%的项目成功率,取得了远超同业公司的客户满意度。
平台建设
东芝制造车间生产过程中的数据包括车间人员、物料、加工设备、工票、工装、加工过程等,涉及车间各个部分。面向东芝内部的生产部门,为一线生产人员及质检部门提供数据填报及数据分析平台,是一个完全基于互联网技术构建的智能数据系统。
1、生产数据自动采集并上报
生产部门需要定时每天填写电脑产品及机板配件等的生产信息日报等,利用亿信华辰i@Report产品可以自动将数据库中的设备相关信息初始化到固定格式的报表中,然后根据相关业务逻辑公式,自动统计工数、时长、产出等,生产业务人员确认后直接上报,即可完成数据的采集填报工作,生产组长可以快速汇总其下属各个人员的生产数据,并将数据逐层上报。
2、异常数据提前预警
品质部门需要监管生产流水线的产品生产情况,并形成品质报告定期输出,利用i@Report移动填报功能,品质部门会去现场定时定期巡检,并将异常原因、设备编号等信息在平板电脑上立即进行填报,并拍照上传相关图片留档;同时,对于异常原因利用亿信BI进行历史数据的相关分析,形成问题检索表,方便对比分析。
方案价值
总体而言,利用i@Report+亿信BI两个产品,将以往需要大量的人工通过excel方式报送报表,改为只需要在移动端/PC端在线填报数据的工作模式,极大的减少了业务人员的工作量,提高了数据的共享效率;并将手工数据按照统一的标准存储到数据库,增强了数据的完整统一,也更加有利于对历史数据的对比关联分析。
同时,因为有效的流程监控,在生产过程中,可及时发现异动数据,提前预警,进一步提升了生产质量,降低了事故率,亿信华辰帮助客户收获更高的运营效率和生产质量。
目前,通过智能数据平台的搭建,亿信华辰帮助东芝提升生产能力的同时,也保证了数据的安全性和可靠性,着实为互联网时代的制造业注入了新的活力。
- ?
QQ数据采集软件-QQ营销必备
梦秋
展开
QQ数据采集器-QQ营销必备工具
导语
现在是大数据时代,无论做什么营销都需要用到数据。数据是根本,数据能引导你的营销思维。做QQ营销同样需要大量的精准数据,今天小编为大家介绍一款QQ数据采集软件,这款软件既可以采集精准客户QQ,同时也可以采集精准客户QQ群以及QQ群成员。
软件功能特点
⊙支持按关键词采集精准客户qq
⊙支持自动检测所采集好友是否为单双向好友
⊙支持自动检测所采集qq是否开通临时会话功能
⊙支持自动识别qq所在城市、性别。年龄
⊙支持按关键词采集精准客户qq群
⊙支持自动筛选出群主qq
⊙支持自动检测是否可以直接添加qq群
⊙支持以文本文档格式导出qq群
⊙支持采集qq附近的人(全国定位)
⊙支持采集本地好友和群
⊙支持采集空间qq
⊙支持采集微博听众
⊙支持采集企业qq
⊙支持论坛qq采集
软件功能效果展示
易推客营销软件
- ?
工厂排放污染源在线无线监测应用
阎霆
展开
方案需求
工业污染源远程无线监测是了解和掌握区域排污状况和排污的情况,其监测结果开展环境保护工作的依据。只有加强对污染源在线监测监控设备的监管,提高环境管理科学化、信息化水平,才能确保全市自动监控设备的正常、稳定运行。通过对污染产生、治理、排放过程中重要过程参数的采集,建立其与污染源排放在线监测数据的关联关系,判断污染物排放数据的合理性,为总量核算、排污监察、排污收费提供技术支持。现场设备可以通过有线或无线通讯方式实现监测数据的远程传输,实现各级主管部门对污染治理设施的远程实时监测、监控,历史数据提取及强制反控等操作。
通过对重点污染源排放状态的自动监控,及时、准确、全面地反映环境质量现状,为环境管理、污染源控制、环境规划、环境评价提供客观的依据,增强企业的守法自觉性,提高环保现场执法的现代化水平,逐步达到提高环境质量的最终目的。
技术部署
工业污染源远程无线监测是由监控站点传感器、数据传输、污染源监控中心、污染源在线远程监管系统等组成。采用了计算机、通讯和云计算领域技术,从而搭建污染源在线自动监控监测系统平台。
工业污染源远程无线监测分为现场层、网络传输层和中心监控层三个层次。现场层包括数据采集传输仪和各种监测、采样设备。完成数据采集、存储、发送及命令接收等方面的功能。
污染源排放在线监测传感器采集烟尘(烟尘、SO2、NOx)、污水(COD、流量、TOC、总磷、氨氮)、污染源噪声等数据,欣仰邦DTU数传终端通过2G/3G/4G网络将数据传输到云服务器,数传终端数据采集传输仪以RS485/RS232接口和各种监测、采样设备。完成数据采集、存储、发送及命令接收等方面的功能。并与服务器之间交换数据、指令下达,以实现对现场层的集中远程监控。
方案优点
l 数传终端:实用性强、覆盖面广、灵活性好的环保数据采集传输;
l 多重网络:LoRa/NB-IoT/2G/3G/4G无线传输为环境监测提供了很好的联网解决方案;
l 接口兼容:标准RS232/485 接口,支持Modbus 通信协议及非标准通讯协议的开发
l 监控功能:在监控中心可以通过网络实时监测各站点的实时数据;
l 报警功能:任何现场的异常报警信号能在监控中心集中进行声光、画面报警;
l 数据储存:按规定的数据库格式保存现场原始数据、报警数据和操作记录的数据;
l 数据发布:中心数据库数据能实现数据共享,对其它系统具有开放性。
- ?
扬尘在线监测系统的数据采集和传输系统
贺若风
展开
扬尘在线监测系统感知层,污染源在线监测仪,包括颗粒物浓度监测仪、气象五参数监测仪、噪声监测仪和视频监控摄像机,对颗粒物浓度、气象参数、噪声和现场视频进行连续自动在线监测;OSEN-YZ颗粒物监测仪就可以实现扬尘的实时监测,数据无线上报。传输层:采用有线、无线、3G/4G等方式传输各种监测数据。平台层:数据服务云平台,依托在建工地扬尘与噪声监测平台的数据,进行系统分析、提供跨区域、全时间、多层次的数据挖掘和对比,为科学治理雾霾提供数据支撑,应用层:面向不同环保局、建筑工地的客户端系统,实现基于Web的污染源实时数据在线监测、现场图像和视频的监控、污染源超标报警、以及面向不同管理层的各种管理与统计分析。
扬尘在线监测系统由颗粒物在线监测仪、数据采集和传输系统、视频监控系统、后台数据处理系统及信息监控管理平台共四部分组成。系统集成了物联网、大数据和云计算技术,通过光散射在线监测仪、云台摄像头、气象五参数采集设备和采集传输等设备,实现了实时、远程、自动监控颗粒物浓度;数据通过采用3G/4G网络传输,可以在智能移动平台、桌面PC机等多终端访问;监控平台还具有多种统计和高浓度报警功能,可广泛应用在散货堆场和码头、混凝土搅拌站以及工厂企业无组织排放的实时监控。
扬尘在线监测系统的功能与系统特点,人机交换界面,采样频率自主设定,高低上限报警,8路常开继电器,标准RS485 RS232数据提取 RJ45以太网接口,标准MODBUS RTU通讯协议。符合国家标准:GB3096-2008《声环境质量标准》和GB3095-2012《环境空气质量标准》采用在线式粉尘监测仪,性能稳定,数据准确。具有数据观察窗功能,以方便用户就地查看测量数据。具有扬尘预警、超标提醒、图像抓拍功能。全天候全自动24小时365天持续不间断工作,故障提示报警功能。气象参数扩展:可选配温湿度、风速风向、气压、降雨量、一体化摄像头等。工作环境:温度-20~80℃,相对温度不高于90%.
- ?
国内五大主流网站内容抓取工具、采集软件大盘点
Rupert
展开
大数据技术用了多年时间进行演化,才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中,数据采集产品迎来了广阔的市场前景,无论国内外,市面上都出现了许多技术不一、良莠不齐的采集软件。
今天,我们将对比国内五大主流采集软件优缺点,帮助你选择最适合的爬虫,体验数据hunting带来的快感。
国内篇
1.火车头
作为采集界的老前辈,我们火车头是一款互联网数据抓取、处理、分析,挖掘软件,可以抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群,适合编程老手。
采集功能完善,不限网页与内容,任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展,方便修改处理数据具有同义,近义词替换、参数替换,伪原创必备技能Conclusion:火车头适用于编程能手,规则编写容易,软件的定位比较专业而且精准化。
2.八爪鱼
一款可视化免编程的网页采集软件,可以从不同网站中快速提取规范化数据,帮助用户实现数据的自动化采集、编辑以及规范化,降低工作成本。云采集是它的一大特色,相比其他采集软件,云采集能够做到更加精准、高效和大规模。
自定义采集过程中,八爪鱼采集器系统自写的Xpath、自动生成的流程,可能无法满足数据采集需求。对数据质量要求高,则需自写Xpath,调成流程图等,以优化规则。
使用自定义采集的同学,虽然八爪鱼操作简单,比较容易上手。但是,仍需对八爪鱼采集原理有所了解,看完相关教程,循序渐进,成长周期较长。
可视化操作,无需编写代码,制作规则采集,适用于零编程基础的用户云采集是其主要功能,支持关机采集,并实现自动定时采集
Conclusion:八爪鱼是一款适合小白用户尝试的采集软件,云功能强大,当然爬虫老手也能开拓它的高级功能。
3.集搜客
一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集,服务于任何对数据有采集需求的人群。
可视化流程操作,与八爪鱼不同,集搜客的流程重在定义所抓取的数据和爬虫路线,八爪鱼的规则流程十分明确,由用户决定软件的每一步操作
支持抓取在指数图表上悬浮显示的数据,还可以抓取手机网站上的数据
会员可以互助抓取,提升采集效率,同时还有模板资源可以套用
Conclusion:集搜客操作较简单,适用于初级用户,功能方面没有太大的特色,后续付费要求比较多。
4.神箭手云爬虫
一款新颖的云端在线智能爬虫/采集器,基于神箭手分布式云爬虫框架,帮助用户快速获取大量规范化的网页数据。
直接接入代理IP,避免IP封锁
自动登录验证码识别,网站自动完成验证码输入
可在线生成图标,采集结果以丰富表格化形式展现本地化隐私保护,云端采集,可隐藏用户IP
Conclusion: 神箭手类似一个爬虫系统框架,具体采集还需用户自写爬虫,需要代码基础。
5.狂人采集器
一套专业的网站内容采集软件,支持各类论坛的帖子和回复采集,网站和博客文章内容抓取,分论坛采集器、CMS采集器和博客采集器三类。
支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能
Conclusion: 专注论坛、博客文本内容的抓取,对于全网数据的采集通用性不高。
注:给火车采集器的新手们一点学习建议
火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求, 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。
同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。
- ?
欧维姆在线数据采集系统为中国桥梁安全实时保驾护航
假球迷
展开
近期,由柳州欧维姆机械股份有限公司(以下简称欧维姆公司)承建的世界跨径最大钢桁梁斜拉桥——鸭池河特大桥索力监测系统升级顺利完成。至此,该桥索力监测系统由离线模式数据采集系统正式升级为在线模式数据采集系统,使鸭池河特大桥的健康、安全得到实时保障。
欧维姆在线数据采集系统为中国桥梁安全实时保驾护航
鸭池河特大桥作为贵黔高速全线控制性工程,跨越鸭池河,大桥全长1461米,是主跨为800米的双塔双索面钢桁架斜拉桥,主塔采用H型索塔,桥面至水面高差达380米,东塔高243.2米,西塔高258.2米,是目前建成的世界跨径最大钢桁梁斜拉桥,同时创世界山区斜拉桥之最。大桥采用了OVM250钢绞线拉索体系产品及施工服务,于2016年5月20日顺利合龙。
斜拉桥是一个内部高次超静定的结构体系,许多因素的变化,例如,钢绞线的应力松弛、主梁及索塔混凝土的收缩徐变、气候的变化等,都会对整个桥梁结构产生影响,其外在反映最突出的表现就是,斜拉索索力重新分配并导致主梁线形发生变化,索力变化也会使主梁及索塔产生二次内力。尤其在成桥之后的数年时间内,其变化更为显著,斜拉桥索力的变化是判断桥梁是否处于正常运营状态的一个重要指标,而索力测量是分析拉索是否处于正常运营状态的一个重要依据,通过监测斜拉索的受力状况,判断和分析斜拉索的健康状态,已经成为斜拉桥安全监测的重要内容。
2015年11月,欧维姆工程公司人员入场开展索力监测系统首期搭建工作,2016年6月顺利竣工。鸭池河特大桥首期采用的是基于磁通量传感器技术的索力监测系统,于每束斜拉索塔端锚具内安装磁通量传感器测量单根钢绞线受力;于每8束斜拉索中部位置布设1台数据采集装置,安装于塔内塔壁上。这个索力监测系统为离线模式数据采集系统,需人工定期上桥进行数据采集。
为了更好的了解鸭池河特大桥斜拉索在运营期内的受力情况,业主提出了实时采集数据的新要求,于是欧维姆公司于近期,在鸭池河大桥原索力监测系统的基础上,增设了7台磁弹仪和4套数据采集主站,由原系统升级为在线模式数据采集系统,可以实现实时采集数据,实时反馈大桥斜拉索的受力情况,为鸭池河特大桥的运营状况分析提供可靠、有效的依据。
该桥结构索力监测系统采用目前国内最先进的磁通量传感器,均由欧维姆公司自主研发及生产。
作为中国预应力行业领军,欧维姆公司五十多年来一直坚持科技创新,在提升了企业自主创新能力和核心竞争力的同时,通过科技创新产品推动中国预应力行业的发展,为中国桥梁结构健康与安全一直做着不懈的努力。OVM桥梁健康监测系统解决方案曾为毕都北盘江大桥、安徽铜陵长江公铁大桥、杭州湾大桥、厦门集美大桥等中国乃至世界大型桥梁的寿命周期提供技术支撑,推动中国未来大型桥梁产业化发展。(本文来自欧维姆)
- ?
前嗅:手把手教你数据采集
彩虹
展开
ForeSpider 前嗅:手把手教你数据采集
ForeSpider是一款非常好用的数据采集软件,因为属于专业性工具,除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决,今天给大家介绍ForeSpider数据采集系统的使用教程,希望能对大家的工作有所帮助。
教程的示例网站是大众点评,要得到50页内所有医院名称,该医院评论总数,医院总体星级,各项评分,医院评论的用户名,评论内容,评论时间,用户点评星级,获赞数量和回应数量。
首先我们先新建一个频道,我给它命名为大众点评,然后在频道配置里输入我们想要爬取数据的网址,需要在频道配置处输入想要得到数据的网址,大众点评需要开启cookie,从右面可以开启,网站不同有的不需要,视情况而定。 现在默认模板(1)就是我们要的网站页面,鼠标放在医院标题处如图,从左下角能看到医院的网址链接。
现在点一下右上角的采集预览,我们能得到整个页面的所有网页链接,下拉滚动条到这个位置就会发现跟上图相同格式的链接,这就是我们需要的所有医院的链接。
我们用不到的需要过滤一下,可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取,里面有地址过滤和标题过滤两个选项,点击地址过滤,软件右下角如图:
过滤规则选择包含,过滤串内输入想要得到的医院链接,后面这串数字我们用“\d”表示,用“\e”表示结束,例如https://dianping/shop/\d\e,这样就能采集网页内所有这种格式的网页链接。
当我们想要采集的网页下面有翻页的链接,就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外,还要再新建一个链接抽取,抽取页面翻页的地址。
我们继续从采集预览处得到翻页的链接,过滤规则选择包含,通过观察发现几个链接的相同点,输入到过滤串里就能得到想要的翻页链接了。
第一层级的模板建好了,下面我们随便点进一个医院主页内,复制链接建立下一层级模板。在默认模板(2)的示例地址内输入医院主页的链接。
因为我们需要采集该医院所有用户评论,所以我们找到下面的“更多点评”,通过刚刚地址过滤的方法,过滤出更多点评的链接,并建立模板(3),示例地址输入刚刚过滤的得到的“更多点评”的网址。
注:点击链接抽取,看左下角关联模板处,一定要关联到下一层级的模板,如果是翻页的链接抽取,要关联自身模板,否则会数据采集失败。这点一定要注意。
这样模板的基本配置就完成了,下一步是建立表单,下图是我们的需求,红色字体我们能从模板二采集到,蓝色字体我们能从模板三采集到,所以我们需要建立两个表单。
点击表单配置,新建一个表单,添加一个网页主键如图,一定要勾选索引字段,键值唯一,主键字段三个选项,取值类型选择网页主键点击确定。
然后添加下一个字段如标题“title”
取值类型选择“选区内全部文本”,变量类型选择“string”,选择合适的字符长度点击确定。依次建立所有字段。
这是我建立的两个表单的所有字段,表单名称分别为“大众点评1”、“大众点评2”,建立好以后点击保存即可。点开模板配置,每一个模板对应相应的表单,右键模板二“添加数据抽取”,表单名称选择“大众点评1”。
同样在模板三处再添加另外一个数据抽取表单,添加好后如下图所示:
单击“title”,然后按住ctrl键同时鼠标左键点击对应标题,内容过多的话按住shift可以调整内容大小,选好后点击保存。
全部选取完后点击左上角的文件,然后全部保存。
下一步点击数据,连接数据库,然后再次点击数据,选择数据表,选择刚刚新建两个数据表的字段后创建表,创建好后勾选并确定,就可以进行数据采集了(如果表单有问题需要更改,改好后需要重新创建表单),速度慢可以点击设置里面的线程设置,设置多线程。
这只是一个简单的教程,软件还有很多强大的功能,祝大家使用愉快!
在线数据采集
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并