上一期我们讲了如何利用火车采集器采集手机app中的数据信息，小伙伴们不知道看完之后有没有自己手操一遍呢？

小采在后台整理留言发现，很多采友都对网站UI瀑布流数据采集的思路不甚了解，所以今天我们就向大家介绍一下关于网站瀑布流数据的采集思路吧!

瀑布流，又称瀑布流式布局。是比较流行的一种网站页面布局。

视觉表现为参差不齐的多栏布局，随着页面滚动条向下滚动，这种布局还会不断加载数据块并附加至当前尾部。

用户一眼扫过的快速阅读模式可以在短时间内获得更多的信息量,而瀑布流里懒加载模式又避免了用户鼠标点击的翻页操作。

错落有致，定宽而不定高的设计让页面区别于传统的矩阵式图片布局模式，巧妙的利用视觉层级，视线的任意流动又缓解了视觉疲劳，同时给人以不拘一格的感觉。

切中年轻一族的个性化心理。所以这种页面布局在现今饱受欢迎。

那么如何采集瀑布流数据呢？

今天我们以花瓣网为例，向大家解说一下：

花瓣网—瀑布流数据采集思路

1.拿到网页后，分析网页的形式，得出网页为瀑布流形式，需要通过fiddler抓包获取真实地址

http://huaban/explore/uishuju/?jf22v0av&max=1356497171&limit=200&wfl=1

修改下limit参数为200，这样采集器可以获取200个列表页。

2. 编写网址采集规则

3. 获取列表页后，设置内容采集规则

图片采集用到了商业版的功能，内容添加前后缀。

注意事项：这个网页使用瀑布流形式，需要抓包获取真实地址

Fiddler抓包教程http://faq.locoy/q-755.html

抓包工具小伙伴们可以自行百度下载安装，操作很简单。

好了，不知道小伙伴们有没有看懂呢？不管会不会，回去点开火车采集器先跟着教程做一遍吧。

实际操作之后，你就会发现原来瀑布数据采集并没有想象中的那么难。

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

销售行业的客户资源非常重要。如果您想尽可能地达成交易，您就需要尽量多的客户资源。当然，优质的客户资源更好。今天教你如何使用工具来找到准确和大量的客户资源。现在有很多人应该知道有很多工具可以在公共网站上收集客户信息。这些工具做得很好，客户资源非常庞大和准确。以下是四个客户数据采集工具。

现在介绍第一款工具：可采集车主，业主，靓号机主的信息（包括姓名和手机号码），这些都是比较高端的客户群体了。还可采集不同行业的企业的信息，如做广告的，做教育的，做汽车服务的，做美容的，批发的，家政的，婚纱的等等，不同行业的企业信息你都可以采集到 。

第二款工具：可以根据关键词采集QQ群，然后导出群成员的QQ号。比如你输入交友，股票，软件，化妆品，教育，汽车等等，都可以采集到成千上万个QQ群，里面的群成员QQ号是非常庞大的，这些QQ号导出来同样可以加为QQ好友或微信好友，因为有6成的Q号会绑定微信。

第三款工具：可采集地图上（百度地图，腾讯地图，高德地图）不同行业实体店的信息，包括手机号和地址等。比如你输入面包店，五金店，母婴店，电脑维修店，美发店，化妆品店等等，都可以搜索到相关的实体店店主的信息，这些信息都是非常有价值的。手机号也可以加为微信好友。

第四款工具：可采集全国各个地区各个行业的商家信息，比如五金店、酒店、餐厅等183个行业信息，假如你是做酒水批发的，你就可以查本地的ktv、餐厅等需要酒水的商家，可以搜索到商家的联系方式，还能导入通讯录加微信好友很方便，还有图文推广等展示功能。

有些朋友会问，这些数据采集后可以做些什么？首先，您可以按照自己的方式与客户沟通，并逐一打电话给他们。但现在很多人会通过通讯录加为微信好友。手机号码可以搜索到微信。在添加为微信朋友之后，您将通过朋友圈慢慢地进入市场。小编正在做营销软件开发。如果对这些工具感兴趣，欢迎私信小编，一起交流合作。

一个高效的采集工具，能帮助我们更快速地完成采集。

火车采集器，就是这样一款高效能地网页数据采集软件，它实现了将数据从采集到处理到发布的一系列智能操作，真正意义上做到了采集智能。

不仅如此它还能够快速稳定地应对大量的数据采集需求，取代手动采集模拟人工操作，大幅提升了工作效率，节约人力资源。

作为一款专业的网站抓取工具，火车采集器在网页数据抓取、处理、分析、挖掘方面尤其擅长。

现如今市场上的网页采集软件优劣纷杂，火车头无疑是一款非常值得信赖并且极其好用的网页数据采集软件。

它可以灵活迅速地抓取网页中散乱分布的文本，图片等资源信息，然后通过一系列的分析处理，准确挖掘出你所需要的绝大部分数据信息。

这些数据信息你可以选择发布到网站后台、导入数据库，也能够保存在本地 Excel，Word 等格式的文件中。

采集新闻，采集文章统统不在话下。老板再也不用担心做不完，一切变得so easy

历经十年的升级更新，火车采集器积累了大量用户和良好口碑，是目前市场上最受欢迎的网页数据采集软件。

官方网站：locoy

为采集而生

2005年~2015年，火车采集器的用户量一直稳居国内第一。

十年口碑

火车采集器目前用户突破十万，十年间在用户中形成了良好口碑，为我们的品牌传播奠定了基础。

真正通用

采集不限网页，不限内容，支持多种扩展，打破操作局限。采什么，如何采，都由您决定！

高效稳定

分布式高速采集系统，多个大型服务端同时稳定运作，快速分解任务量，最大化提升效率。

数据精准

内置采集监控系统，实时报错及时修复；采集发布时确保数据零遗漏，为用户呈现最精准的数据。

对于中小型企业来说，火车采集器是一款实用价值相当高的采集软件。

采集智能化，采集自动化带来的便利，大大降低了数据采集的难度。现如今的社会，信息便是资源，资源决定了企业在商场上能够走多远，所以信息储备至关重要不容忽视。

作为一个有点编程基础的人来跟你讲，火车头采集器，是一款就算零基础的门外汉都能很快熟悉，并且掌握操作的网页数据采集软件，新手体验度实在是不能更友好了。

对新手小白而言，火车头是一款非常合适好用的采集工具，学会熟练的使用火车头采集器也会让要用到网络数据采集技术的新手小白们事半功倍。

下面我就来详细介绍一下有关火车头采集器这款软件的特点吧

分布式高速采集

任务分配至多个客户端，同时运行采集，效率倍增。

多识别系统

配备正文识别、中文分词识别、任意编码识别等多种识别系统，智能识别操作更轻松。

可选验证方式

可选择是否使用加密狗，随时保障数据安全。

全自动运行

无需人工值守操作，任务完成后自动关机。

替换功能

同义，近义词替换、参数替换，伪原创必备技能。

任意文件格式下载

图片、压缩文件、视频等任意格式的文件都能轻松下载。

采集监控系统

实时监控采集，确保数据的准确性。

支持多数据库

支持Access/MySQL/MsSQL/Sqlite/Oracle多种类型的数据库保存及发布。

无限级多页采集

支持包含ajax请求数据在内的多个页面信息的无限级采集。

支持扩展

支持接口和插件扩展，满足各种采发需求。

以上便是全部，但是火车头采集器的好处却不止这么多。这些仅是其中的万分之一。

你还可以用它来采集文章、新闻素材填充你的网站内容，如果你想要采集更多有趣内容，有兴趣的小伙伴们可以转战火车采集器官方论坛，那里有更多车友们可以为你答疑解惑。

作为一款网页数据采集器，火车头秉承一句格言：

“好的软件的作用是让复杂的东西看起来更简单。”

潜心修炼自己的产品，给客户以最好的服务，才对得起客户对我们的支持

火车头一直以来坚持一句口号：“做数据采集，我们是专业的！”

好了，今天的文章就写到这里了，君问归期未有期，红烧茄子油焖鸡。

迷弟迷妹们咱们下期见！

PDA数据采集器（手持终端）又叫盘点机、移动数据采集终端，指的是一种便携式数据采集和处理终端，具有独立的操作系统。特别是在条码广泛应用的今天，数据采集的重要性非常显著，利用数据采集器可以实现对条形码、标签类的东西快速读取信息。它为各大企业的仓库进出货、盘点和作业提供了便利性，那么数据采集器的具体有哪些行业应用呢？

数据采集器覆盖了医疗、零售、快销、物流、仓储、政府和公共事业等行业，比如在快递员、服装店盘点人员身上我们可以随处可见到它的身影。（1）零售：商超、服装门店等利用PDA可以实现商品盘点、配送、管理、导购、价格查询等功能，提供工作效率和客户的体验；

（2）物流仓储：用于库存管理、运输管理和货物的实时追踪；

（3）医疗：用于药品盘点、出入库管理，还可以实现移动护理，对医护人员查房、患者监护、药剂配药和分发、病历档案查询管理等功能；

（4）生产制造：用于生产计件管理、仓库管理；

广东南壹信息科技有限公司专注于条码扫描器、移动数据采集器、盘点机扫描器等广泛应用于各行各业，凭雄厚实力和整体方案的研发、生产、销售和服务深受国内外企业的一致好评！至于优质数据采集器的选型不妨咨询广东南壹了解一下吧。

大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。

QQ数据采集器-QQ营销必备工具

导语

现在是大数据时代，无论做什么营销都需要用到数据。数据是根本，数据能引导你的营销思维。做QQ营销同样需要大量的精准数据，今天小编为大家介绍一款QQ数据采集软件，这款软件既可以采集精准客户QQ，同时也可以采集精准客户QQ群以及QQ群成员。

软件功能特点

⊙支持按关键词采集精准客户qq

⊙支持自动检测所采集好友是否为单双向好友

⊙支持自动检测所采集qq是否开通临时会话功能

⊙支持自动识别qq所在城市、性别。年龄

⊙支持按关键词采集精准客户qq群

⊙支持自动筛选出群主qq

⊙支持自动检测是否可以直接添加qq群

⊙支持以文本文档格式导出qq群

⊙支持采集qq附近的人（全国定位）

⊙支持采集本地好友和群

⊙支持采集空间qq

⊙支持采集微博听众

⊙支持采集企业qq

⊙支持论坛qq采集

软件功能效果展示

易推客营销软件