当然合法呀，数据来自工商系统公开的数据，谁都可以查，这些信息本来就是公开的，只不过缤纷这类软件把公开的信息搜集起来，建立个数据库，按要素整理后，单独做出来个专注于工商信息的搜索引擎，从技术上讲跟百度是类似的，因此，信息来源并不违法。

但是因为缤纷这类平台不可能像百度那样依靠竞价排名收回成本甚至获利，所以就采取了会员制的方法，一般情况下一个用户每天可以免费查一定数量的信息，超过数量限制的是要收费的。毕竟存储数据的服务器、带宽租赁，管理人员、技术人员的薪水都是成本，一个企业要良性发展，必然得有健康的盈利模式。

当然每天要查很多工商信息的人，为信息付费无可厚非，当然也可以选择

去工商信息公开平台查询，只不过工商信息公开平台查询的时候需要输验证码，效率低很多。况且要在工商信息系统查询工商信息，一般要先知道企业的详细名称，并且批量查询的功能很弱（不知道是不是为了在一定程度上保护企业的隐私）。一定意义上缤纷这类平台可以算作需要经常查询大量信息的人员的效率工具。

综上，类似于缤纷之类的平台信息来源是合法的，收费也是合情合理的，他们的存在也是完全合法的。

对于企业和职场人士，特别是HR、财务等经常处理表单和数据的职位，日常工作中一定会接触到一些数据收集和分析的工作任务。多数情况下，用户需要从大量相同表单里提取一两项关键数据，针对这种场景，假若用户使用传统手工录入的方式，往往会有大量重复动作，毫无工作效率。

其实，用对工具，能极大提升工作效率。这篇文章里，为大家推荐5款数据处理软件。

1、Formtalk

Formtalk 提供企业级一站式办公应用定制平台，它不仅具备数据采集和管理，而且还能够满足企业内外部包括报名、登记、预约、投票、调查等在内的数据采集需求。这款软件能够帮助用户实时跟踪需要采集的数据，呈现为可视化报表，同时，它的PC表单设计引擎、移动表单设计引擎、安全引擎和数据集成接口四项核心技术能够为用户提供表单复制、表单授权及表单提取功能，让用户能够有效提高工作效率。

2、PDFelement

PDFelement 在处理 PDF 表单和提取数据这一块可谓占领行业制高点。 它能帮助用户一键识别表单域（交互式表单域和非交互式表单域皆可识别），也能帮助用户自定义创建个性表单，比如单选、多选、下拉表、文本框、数字签名等。 当用户面对海量 PDF 表单，需要提取其中一项或者多项关键数据时，它能帮助用户准确提取表单数据，批量处理为用户节省了大量时间和精力。

用户仅需将大量 PDF 拖入程序中，选择需要提取的区域，这些数据将会导入到Excel中。 如果这些 PDF 文档是扫描文件，也无需担心，PDFelement 执行 OCR，将文档转换为可编辑的文档，再进行数据提取操作。

3、金数据

这款表单处理工具是通用型的表单工具，主要功能聚集于数据收集和数据提取上，在数据统计和数据分析上有所欠缺。用金数据生成的表单不仅能以 Excel 表格的形式呈现，而且能够以链接或者 HTML 代码的形式嵌入到网页、微信文章之中。除此之外，这款软件在收集、提取数据的同时能够接入不同的支付端口，非常适合微店订单、用户反馈等业务数据的收集和提取。

4、易表

这款软件的功能介于电子表格与数据库软件之间，拥有类似电子表格的界面，也具备数据库软件特有的功能和灵活性。易表在数据处理上是非常优秀的软件，能够帮助用户完美完成复杂的数据管理和统计分析工作。但是，它的功能要求用户具备一定的开发能力，只有了解基本的编程知识才能快速建立属于自己的数据管理系统，比较适合专业性较强的用户，普通用户使用这款软件的学习成本过高。

5、Foxtable

这款软件将 Excel、Access、Foxpro、VB 等软件的优势融合在一起，无论是数据录入、提取，还是报表生成，用户都无需编写代码即可完成以上这些复杂的数据管理工作。这款软件的亮点之一是内置了 HTTP 服务和手机网页功能，用户无需任何专业知识就能够开发出自己移动端的管理软件，做到 PC 端与移动端的数据联通。相比于其他数据处理软件，这款软件更像是一个高效开发工具，让用户在开发属于自己的数据库时更关注商业逻辑，导致具体功能的实现比较艰难。同时，由于Foxtable支持外部数据源，也就意味着用户提供的数据有一定的安全风险。

你是否也有兴趣看看《身在职场不会处理这5种文档，还谈涨薪？》

前嗅的这款数据采集软件，这个可以去它官网，好像百度经验不允许粘网址。搜“前嗅”或就可以找到官网。建议大家先在官网注册登录，免费试用前嗅ForeSpider爬虫软件，如果满意的话再使用付费版也不迟。不过小编觉得还是很好用，不信你可以试试，免费体验就可以抓取很多数据信息。

前嗅采集器logo

之前小编发现很多公司使用八爪鱼等采集工具互相合作过，但是八爪鱼采集速度太慢，小编是开着服务器用八爪鱼采集，一个月差不多采到100万条数据。后来是朋友介绍知道的前嗅，用前嗅的软件，小编仅仅开着笔记本采，一天给小编采了几百万条，差距还是很明显的。

他们的ForeSpider数据采集软件很高级，不论是采集速度还是采集的数据全面，都完成的非常好。另外值得一提的是他们可视化的操作，对于小编这种技术白很是方便，几步的配置就能完成采集。有一些比较复杂的网站，也可以用他们自己的爬虫脚本。就算自己不想配置，也可以直接找他们买模板，拿回来自己一点按钮就能采集，小编也是每次都是直接买的模板。

最主要他们不仅仅能采集，他们还有自己的数据分析系统。数据采集后把数据交给他们，进行分析，然后给小编分析报告也是非常的详细和具体，省了小编很多的事。分析方面给我提供了很多有价值的建议，有效的提升了小编公司的市场竞争力。 小编也是现在跟前嗅合作久了，觉得很是不错，总想着推荐给同行们使用，良心推荐一下。

数据采集抽象图

可以采集，案例的话。。。我也没有。。你可以找他们客服要，应该有吧。大家觉得我说的哪里不对的，欢迎大家给小编留言指点，谢谢!

PipeSight管道检测视频判读报告软件

对检测视频文件进行播放预览、添加检测信息、截取缺陷图像、判读描述等；可将判读结果数据自动生成为图文并茂的检测报告；可导出GIS平台通用的ShapeFile接口数据；提供电子地图查阅功能，在电子地图中标注出作业点的位置，查看作业点对应的检测数据、判读信息、缺陷图片和检测视频；

PipeLineTracer管道检测定位示踪软件

可进行管道坡度测量，曲线绘制，并分析生成报告；

PipeSonar管道声纳成像分析报告软件

可自动检索管壁轮廓并计算沉积深度、沉积宽度、沉积体积、水位高度。支持测量尺、测量环、测量网格等多种鼠标测量工具，以进行距离、宽度、高度、半径、直径等测量操作。提供高自由度的三维管道模型漫游功能，对实体、网格、点列三种管道模型均提供管内漫游和自由漫游方式。采用回波幅度和回波时间成像技术提供三种视图：管壁横断面图、管壁全景展开图和三维管道模型。具有视图联动功能，可将不同视图中选择的位置对行关联定位和标记。

PipeFell管道电法测漏定位软件

用于进行管道电法测漏检测数据的采集存储；可对电法测漏仪的结果数据进行存储、显示、编辑、导出、分析；可将电法测漏仪的结果数据自动生成为图文并茂的检测报告（包括项目信息、工程概况、缺陷分布示意图、检测设备简介、缺陷统计图表、详细缺陷图表等内容）；

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快，创造出了“大数据（BigData）”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。

BigData是近来的一个技术热点，历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的BillInmon早在20世纪90年代就经常提及BigData。

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。

近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无

线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互。

互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据：1）全球每秒钟发送2.9百万封电子邮件；2）每天会有2.88万个小时的视频上传到Youtube；3）推特上每天发布5千万条消息；4）每天亚马逊上将产生6.3百万笔订单；4）每个月网民在Facebook上要花费7千亿分钟；5）Google上每天需要处理24PB的数据。

我们在一个大数据的时代漩涡中，每天都有是以亿计的数据产生，如何获取这些数据，如何使用这些数据，如何用好这些数据，都是一个难题。之前遇到的一位做语言学研究的小姐姐，研究课题需要建立自己的语言数据库，每次都要在新闻网站上去搜索关键字的文章，然后复制黏贴下来，非常的辛苦和费事费时，我听说之后非常吃惊，问她这种机械却又累人的工作，为什么不让软件解决，而要自己一个个手动复制黏贴。她的回答是自己是学文科的，又不会写代码，又搞不懂编程，所以她只能自己辛苦一点了。听完她的回答之后，我很心痛，所以我立马给他推荐了一款软件，帮助她从复杂的复制黏贴工作中解脱出来。

这款软件对小白用户十分友好，智能模式只要输入网址就能帮忙采集了，是谷歌大牛回国写的一款软件，而且还是免费采集和导出的，现在把这个软件分享出来，希望对大家有所帮助。我会以新闻网站中国日报为例，为大家演示如何通过这款爬虫软件自动采集数据。

首先，需要下载安装软件，大家可以到官网上下载最新版本的软件，然后注册新用户登录，游客用户也可以采集数据，但是可能会丢失，建议还是注册新用户。

首先，复制需要采集的网址，打开软件输入网址，新建智能采集任务。

在智能模式下，我们输入网址后软件即可自动识别出页面上的数据并生成采集结果，每一类数据对应一个采集字段，可以右击字段进行相关设置，包括修改字段名称、增减字段、处理数据等。

由于在列表页上只展示了部分的新闻信息，如果需要采集具体的新闻内容，我们需要右击链接使用“深入采集”功能，跳转到详情页进行采集。

接着点击“保存并启动”按钮，可在弹出的页面中进行一些高级设置，包括定时启动、自动入库和下载图片，我们如果没有用到这些功能，可以直接点击“启动”运行任务。

数据采集完毕后我们可以导出数据，这款软件比较好的一点是不仅采集免费，而是可以导出多种格式的文档，对导出也没有什么限制。

为方便查看我们导出一个Excel2007的表格，我们可以看到数据质量还是挺高的，大家可以直接使用这些数据，也可以在这个基础上对数据进行加工处理。

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

QQ数据采集器-QQ营销必备工具

导语

现在是大数据时代，无论做什么营销都需要用到数据。数据是根本，数据能引导你的营销思维。做QQ营销同样需要大量的精准数据，今天小编为大家介绍一款QQ数据采集软件，这款软件既可以采集精准客户QQ，同时也可以采集精准客户QQ群以及QQ群成员。

软件功能特点

⊙支持按关键词采集精准客户qq

⊙支持自动检测所采集好友是否为单双向好友

⊙支持自动检测所采集qq是否开通临时会话功能

⊙支持自动识别qq所在城市、性别。年龄

⊙支持按关键词采集精准客户qq群

⊙支持自动筛选出群主qq

⊙支持自动检测是否可以直接添加qq群

⊙支持以文本文档格式导出qq群

⊙支持采集qq附近的人（全国定位）

⊙支持采集本地好友和群

⊙支持采集空间qq

⊙支持采集微博听众

⊙支持采集企业qq

⊙支持论坛qq采集

软件功能效果展示

易推客营销软件

大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。