三个采集工具——资源采集整理网站

平时习惯使用和整理浏览器收藏夹，将网上看的的东西收藏起来，是个好习惯。能为我们带来思路和灵感，更重要的是需要时知道怎么去找资源。我一般使用的是搜狗浏览器，因为可以用常用的社交账号登陆，用别人的电脑异地登录时也可以马上同步收藏夹。但有的浏览器并不能用一般账号直接登陆（例如谷歌浏览器），有时想要收集的只是网页上的一张图片、一段视频、或者一篇文章这类散而杂的东西，如果用浏览器的收藏夹就有点烦了。那怎么办？今天就给大家推荐三个网站，用于采集、图片、视频或者其他网上你看的想要收集起来的小东西。

花瓣

花瓣（https://huaban），是我接触的第一个这类收集资源的网站，主打是图片收集，可以自己建立画板，一次能收集十张图片，自带的浏览器器插件可以一键采集，很是方便。

当然它让我喜欢的原因并不仅仅是采集方便这一点，更大的亮点在于你能搜素和收藏别人采集整理的画板。换个讲法就是它相当于一个优质图片搜索库，对于有的喜欢在图文里配图的小伙伴来说，这里简直就是天堂。如果是像我这样不喜欢插图的，没事去看看“美图”啥的，找找灵感也是个不错的选择。

如果你第一次使用这类网站，有一点我想提醒一下，在花瓣采集到画板里的图片，它只是集中性的给你整理到一起，并不是给你下载下来转存了，所以那些图片还是在原来的网站里，版权还是归原作者所有。用归用，但是用之前一定要去原网址看看版权要求哦！

墨加

墨加（http://mojiax）一个知识资源分享型的网站，我主要是用它收集一些文章、网页或者零散的知识点。它主页就三个功能“发现”、“资源集”、“收藏工具”，“发现”是用于发现网站里最新最热的别人分享的知识、“资源集”类似于花瓣里画板是你收集整理存放资源的地方。“收藏工具”也和花瓣差不多，类似于一个插件，一键采集资源。虽然感觉是个小众的一个网站，但是好用实用就行，管他多少人用，话说他们分享的那些知识资源质量还挺不错的。

堆糖

堆糖（https://duitang）与花瓣差不多，也是用于收集图片的网站，但是感觉它跟偏向于社交。

说实话这是我为了写这篇图文，后来去找到的一个网站，和花瓣用法差不多，但是一次貌似只能收集一张图片，可能和它的偏向有关系吧，第一印象是它偏向于社交和社区，而不是像花瓣那样偏向于收集和整合。

当然，这并不是说它不好，偏向于社交和社群可以让你更方便遇到志同道合的小伙伴，也是一件乐事。

本文原创

任何形式的私自转自均视为抄袭码字：一川排版：一川

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

网络分析工具可以帮助你收集、预估和分析网站的访问记录，对于网站优化、市场研究来说，是个非常实用的工具。

每一个网站开发者和所有者，想知道他的网站的完整的状态和访问信息，目前互联网中有很多分析工具，本文选取了10款最好的分析工具，可以为你提供实时访问数据。

1.GoogleAnalytics

这是一个使用最广泛的访问统计分析工具，几周前，GoogleAnalytics推出了一项新功能，可以提供实时报告。你可以看到你的网站中目前在线的访客数量，了解他们观看了哪些网页、他们通过哪个网站链接到你的网站、来自哪个国家等等。

2.Clicky

与GoogleAnalytics这种庞大的分析系统相比，Clicky相对比较简易，它在控制面板上描供了一系列统计数据，包括最近三天的访问量、最高的20个链接来源及最高20个关键字，虽说数据种类不多，但可直观的反映出当前站点的访问情况，而且UI也比较简洁清新。

3.Woopra

Woopra将实时统计带到了另一个层次，它能实时直播网站的访问数据，你甚至可以使用WoopraChat部件与用户聊天。它还拥有先进的通知功能，可让你建立各类通知，如电子邮件、声音、弹出框等。

4.Chartbeat

这是针对新闻出版和其他类型网站的实时分析工具。针对电子商务网站的专业分析功能即将推出。它可以让你查看访问者如何与你的网站进行互动，这可以帮助你改善你的网站。

5.GoSquared

它提供了所有常用的分析功能，并且还可以让你查看特定访客的数据。它集成了Olark，可以让你与访客进行聊天。

6.Mixpanel

该工具可以让你查看访客数据，并分析趋势，以及比较几天内的变化情况。

7.Reinvigorate

它提供了所有常用的实时分析功能，可以让你直观地了解访客点击了哪些地方。你甚至可以查看注册用户的名称标签，这样你就可以跟踪他们对网站的使用情况了。

8.Piwik

这是一个开源的实时分析工具，你可以轻松下载并安装在自己的服务器上。

9.ShinyStat

该网站提供了四种产品，其中包括一个有限制的免费分析产品，可用于个人和非营利网站。企业版拥有搜索引擎排名检测，可以帮助你跟踪和改善网站的排名。

10.FoxMetrics

该工具提供了实时分析功能，基于事件和特征的概念，你还可以设置自定义事件。它可以收集与事件和特征匹配的数据，然后为你提供报告，这将有助于改善你的网站。

End.

中国统计网，是国内最早的大数据学习网站。

一个高效的采集工具，能帮助我们更快速地完成采集。

火车采集器，就是这样一款高效能地网页数据采集软件，它实现了将数据从采集到处理到发布的一系列智能操作，真正意义上做到了采集智能。

不仅如此它还能够快速稳定地应对大量的数据采集需求，取代手动采集模拟人工操作，大幅提升了工作效率，节约人力资源。

作为一款专业的网站抓取工具，火车采集器在网页数据抓取、处理、分析、挖掘方面尤其擅长。

现如今市场上的网页采集软件优劣纷杂，火车头无疑是一款非常值得信赖并且极其好用的网页数据采集软件。

它可以灵活迅速地抓取网页中散乱分布的文本，图片等资源信息，然后通过一系列的分析处理，准确挖掘出你所需要的绝大部分数据信息。

这些数据信息你可以选择发布到网站后台、导入数据库，也能够保存在本地 Excel，Word 等格式的文件中。

采集新闻，采集文章统统不在话下。老板再也不用担心做不完，一切变得so easy

历经十年的升级更新，火车采集器积累了大量用户和良好口碑，是目前市场上最受欢迎的网页数据采集软件。

官方网站：locoy

为采集而生

2005年~2015年，火车采集器的用户量一直稳居国内第一。

十年口碑

火车采集器目前用户突破十万，十年间在用户中形成了良好口碑，为我们的品牌传播奠定了基础。

真正通用

采集不限网页，不限内容，支持多种扩展，打破操作局限。采什么，如何采，都由您决定！

高效稳定

分布式高速采集系统，多个大型服务端同时稳定运作，快速分解任务量，最大化提升效率。

数据精准

内置采集监控系统，实时报错及时修复；采集发布时确保数据零遗漏，为用户呈现最精准的数据。

对于中小型企业来说，火车采集器是一款实用价值相当高的采集软件。

采集智能化，采集自动化带来的便利，大大降低了数据采集的难度。现如今的社会，信息便是资源，资源决定了企业在商场上能够走多远，所以信息储备至关重要不容忽视。

作为一个有点编程基础的人来跟你讲，火车头采集器，是一款就算零基础的门外汉都能很快熟悉，并且掌握操作的网页数据采集软件，新手体验度实在是不能更友好了。

对新手小白而言，火车头是一款非常合适好用的采集工具，学会熟练的使用火车头采集器也会让要用到网络数据采集技术的新手小白们事半功倍。

下面我就来详细介绍一下有关火车头采集器这款软件的特点吧

分布式高速采集

任务分配至多个客户端，同时运行采集，效率倍增。

多识别系统

配备正文识别、中文分词识别、任意编码识别等多种识别系统，智能识别操作更轻松。

可选验证方式

可选择是否使用加密狗，随时保障数据安全。

全自动运行

无需人工值守操作，任务完成后自动关机。

替换功能

同义，近义词替换、参数替换，伪原创必备技能。

任意文件格式下载

图片、压缩文件、视频等任意格式的文件都能轻松下载。

采集监控系统

实时监控采集，确保数据的准确性。

支持多数据库

支持Access/MySQL/MsSQL/Sqlite/Oracle多种类型的数据库保存及发布。

无限级多页采集

支持包含ajax请求数据在内的多个页面信息的无限级采集。

支持扩展

支持接口和插件扩展，满足各种采发需求。

以上便是全部，但是火车头采集器的好处却不止这么多。这些仅是其中的万分之一。

你还可以用它来采集文章、新闻素材填充你的网站内容，如果你想要采集更多有趣内容，有兴趣的小伙伴们可以转战火车采集器官方论坛，那里有更多车友们可以为你答疑解惑。

作为一款网页数据采集器，火车头秉承一句格言：

“好的软件的作用是让复杂的东西看起来更简单。”

潜心修炼自己的产品，给客户以最好的服务，才对得起客户对我们的支持

火车头一直以来坚持一句口号：“做数据采集，我们是专业的！”

好了，今天的文章就写到这里了，君问归期未有期，红烧茄子油焖鸡。

迷弟迷妹们咱们下期见！

网上有很多公布招投标信息的网站，招标公告中的信息是有很大的价值的。比如你想了解一个公司的资质，你想了解一个项目的投资资金，你想知道招投标公司之间的关系，这些都能从招投标信息中分析出来，数据是分析的基础，只有获得大量数据，分析才更准确更有说服力。今天教大家如何采集招投标类网站的数据。

示例网站：http://tjconstruct/zbxx.aspx?type=sjzb

一.首先打开ForeSpider数据采集软件，点击“采集频道列表”的“+”符号，创建新的频道。然后在采集地址处把准备采集网站的网址粘贴进去。

频道配置

二.频道入口地址配置好以后，点击“模板配置”，在右侧模板一处新建一个链接抽取，两个链接抽取，分别起名为“翻页”和“工程抽取”。这两个链接抽取分别抽取页面内的工程项目和翻页链接。

添加链接抽取

三.点击采集预览，发现采集预览中没有我想要的项目工程的链接，但是有翻页的链接，那就需要写脚本来抽取工程链接。翻页链接抽取可以通过可视化的操作完成。以前说过链接抽取的脚本如何写，这里就不多介绍了。

链接抽取教程：http://toutiao/i6454813216395493902/

链接抽取脚本

四.通过预览发现每一个翻页链接地址中都包含“page=”这个词，那我将这个词放在“翻页”的地址过滤中，将过滤规则选择为“包含”。

翻页地址过滤

链接抽取配置好，可以点击采集预览看一下效果，如果配置的有问题可以及时改正。

预览效果

五．可以看到预览效果没有问题，那继续配置下一层模板。下一层为招标公告页，也就是数据页。先建好表单字段，在表单名称处选择建好的表单。

选择表单

六.数据页中有一部分字段使用可视化的操作就能完成，有一部分需要脚本，所以我就把需要写脚本的部分分别写在了字段下。字段处理选择“脚本处理”。

字段下脚本处理

八.全部字段配置好以后，可以先点击采集预览，看一下效果，如果效果不好可以改正。

招投标类网站都是实时更新的，ForeSpider数据采集软件有增量采集的功能，可以采集新增数据，长时间时时监控网站新增数据。

虽然教程看起来简单，最重要的还是多亲自上手实践。多多实践才能更熟练的使用软件采集自己想要的数据。

八爪鱼采集器是一款业界领先的网页采集软件，具有使用简单，功能强大等诸多优点。

1.点击快速开始

2.新建任务

3.输入基本信息.然后点击下一步

4.设计采集流程，点击下一步

5.执行计划，然后点击下一步

6.人物配置好了快点点击采集吧

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

销售行业的客户资源非常重要。如果您想尽可能地达成交易，您就需要尽量多的客户资源。当然，优质的客户资源更好。今天教你如何使用工具来找到准确和大量的客户资源。现在有很多人应该知道有很多工具可以在公共网站上收集客户信息。这些工具做得很好，客户资源非常庞大和准确。以下是四个客户数据采集工具。

现在介绍第一款工具：可采集车主，业主，靓号机主的信息（包括姓名和手机号码），这些都是比较高端的客户群体了。还可采集不同行业的企业的信息，如做广告的，做教育的，做汽车服务的，做美容的，批发的，家政的，婚纱的等等，不同行业的企业信息你都可以采集到 。

第二款工具：可以根据关键词采集QQ群，然后导出群成员的QQ号。比如你输入交友，股票，软件，化妆品，教育，汽车等等，都可以采集到成千上万个QQ群，里面的群成员QQ号是非常庞大的，这些QQ号导出来同样可以加为QQ好友或微信好友，因为有6成的Q号会绑定微信。

第三款工具：可采集地图上（百度地图，腾讯地图，高德地图）不同行业实体店的信息，包括手机号和地址等。比如你输入面包店，五金店，母婴店，电脑维修店，美发店，化妆品店等等，都可以搜索到相关的实体店店主的信息，这些信息都是非常有价值的。手机号也可以加为微信好友。

第四款工具：可采集全国各个地区各个行业的商家信息，比如五金店、酒店、餐厅等183个行业信息，假如你是做酒水批发的，你就可以查本地的ktv、餐厅等需要酒水的商家，可以搜索到商家的联系方式，还能导入通讯录加微信好友很方便，还有图文推广等展示功能。

有些朋友会问，这些数据采集后可以做些什么？首先，您可以按照自己的方式与客户沟通，并逐一打电话给他们。但现在很多人会通过通讯录加为微信好友。手机号码可以搜索到微信。在添加为微信朋友之后，您将通过朋友圈慢慢地进入市场。小编正在做营销软件开发。如果对这些工具感兴趣，欢迎私信小编，一起交流合作。

大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。