一．概述

在中国制造2025及工业4.0信息物理融合系统CPS的支持下，离散制造业需要实现生产设备网络化、生产数据可视化、生产文档无纸化、生产过程透明化、生产现场无人化等先进技术应用，做到纵向、横向和端到端的集成，以实现优质、高效、低耗、清洁、灵活的生产，从而建立基于工业大数据和“物联网”的智能工厂。

工业物联网系统是实现智能工厂和智能制造的基础，可以分为以下三个层次：

1.数据采集层针对企业所有生产设备以及供辅设施，能源介质和环境监控等进行数据的采集、接入。

2.网络数据层是将用户应用层和数据采集层进行隔离，由前置通讯装置对数据集中管理并存储。

3.中心应用层将繁杂的各类数据，进行分析和汇总。

为能源管理人员提供直观的能源介质的数据显示和报表统计，以及各种设备能源的消耗分析，为工厂节能提供数据上的分析依据。

为生产管理人员提供各种详实的生产报表和生产数据，为生产的组织安排以及产品质量提供数据分析，解决产品生产的可追溯性问题。

为设备管理人员提供所有设备的运行数据和状况，以及各种设备的报警和故障，为设备管理人员对设备的检修维护更换提供数据依据。

二．基于QTouch产品的工业物联网解决方案

QTouch系列产品分为硬件和软件部分，硬件负责数据的采集传输，软件负责组态和数据的监控处理和分析。

1. 基于QTouch的工业物联网拓扑图如下：

如上拓扑图描述：在一个生产制造型的工厂中，生产型自动化设备往往会是工厂的核心部分，电、水、风、气等组成了工厂的能源介质，而空调制冷设备、压缩机、水处理等设备组成了工厂的辅助设施。整个的物联网系统中，对整个工厂的高压继电保护，低压供电计量，能源介质，供辅设施，环境检测，以及整个生产自动化设备进行网络互联，组成一个可以监控、分析、统计的有机整体，让工厂的生产过程中产生的数据具备可关联，可分析，可追溯，可统计，可优化的效果。

2. 工厂物联网各子系统简介

（1）高压继电保护子系统

一般的生产型企业中往往会配有10KV的高压供电系统，那么就会有高压柜的继电保护装置。继电保护主要是利用电力系统中元件发生短路或异常情况时的电气量(电流、电压、功率、频率等)的变化构成继电保护动作的原理，继电保护装置就是利用这些参数的变化，在反映、检测的基础上来判断电力系统故障的性质和范围，进而作出相应的反应和处理(如发出警告信号或令断路器跳闸等)。

（2）低压供电及能源介质计量子系统

一般工厂中能源介质包含水、电、风、气、油等，离散的分布在工厂的各个地方，可以通过QT系列通信管理机取数据，用QTouch软件做监控分析画面。

基于QTouch监控画面如下：

自由组合不同站点对能耗数据进行对比和类比分析，综合比较用户各用能耗，采用折线图和柱状图分类显示，对比效果一目了然。

（3）环境和能源供辅子系统

一般企业除了主要的生产设备之外，还有辅助设备和环境制冷加热设备，辅助设备一般包含水处理，气体压缩，空调送风系统和煤气处理系统。

（4）生产设备子系统

生产设备：

三．产品介绍

1. QTouch软件技术参数：

2.智能终端

3.QT240(N)/241(N)/242/243(N)/251系列通信管理机

四．小结

工业物联网是将具有感知、监控能力的各类采集或控制传感或控制器以及泛在技术、移动通信、智能分析等技术不断融入到工业生产过程各个环节，从而大幅提高制造效率，改善产品质量，降低产品成本和资源消耗，最终实现将传统工业提升到智能化的新阶段。从应用形式上，工业物联网的应用具有实时性、自动化、嵌入式(软件)、安全性、和信息互通互联性等特点。

工业物联网技术的研究是一个跨学科的工程，它涉及自动化、通信、计算机大数据，云计算以及管理科学等领域。

我们的技术优势集中在如下两点：

1. 完整的工业物联网解决方案，从数据采集-前端运算-数据传输-数据存储-数据分析处理这样的常规解决方案。

2. 有从数据采集-前端运算-数据传输-云端-数据处理的云平台解决方案。

如下所描述：

云平台架构图：

“诺思云警--数据采集站”是由河北诺思信息科技有限公司和河北科技大学诺思音视频研究所于2016年2月28日研发完成，并于2016年7月8日获得国家版权局著作权证书。 它是《公安机关执法视音频记录管理系统》（简称现场执法六必录）里重要的硬件设备。

该设备进一步加强现场执法视音频记录工作，规范执法人员现场执法活动，维护人民群众合法权益，利用现场执法记录设备对公安机关六个类别的现场执法活动进行全过程视音频同步记录，并对现场执法视音频资料进行收集、保存、管理、使用等。

生产背景 公安部2016年颁布《公安机关现场执法视音频记录工作规定》（公通字[2016]14号），规定要求各级公安机关要充分认识现场执法视音频记录工作对于规范公安机关现场执法活动、维护当事人合法权益的重要意义，切实落实有关工作要求，充分配备相关仪器设备，加强对现场执法视音频资料的使用管理，进一步提高公安机关的执法公信力和执法安全水平。

河北科技大学诺思音视频研究揭牌仪式

发展历程

2012年，为认真落实公安部、河北省公安厅关于“三项建设”重大决策，积极谋划，大胆创新，通过加强公安信息化和执法规范化建设，努力构建和谐警民关系，由公安机关委托河北科技大学诺思音视频研究所和邯郸诺思科技有限公司研发《公安机关执法必录音视频监督管理系统》（简称：“执法必录”）平台软件。并得以在河北省公安机关及其基层所队广泛应用。2014年获得国家版权局证书。

2014年5月27日，河北省公安厅召开“执法公开工作新闻发布会”，就推进全省公安执法公开、信息化建设提出要求。据此，2014～2015年省厅、唐山、沧州、邯郸等地公安机关率先推广使用诺思科技“执法必录”系统，并经过“执法必录”软件在各市局、县（市、区）分局、基层所、队的推广以及实战应用，总结出了诺思科技模式。

2016年，根据公安部《公安机关现场执法视音频记录工作规定》（公通字〔2016〕14号），受公安机关委托，河北科技大学诺思音视频研究所和河北诺思信息科技有限公司(诺思科技河北公司)定向研发了《公安机关现场执法视音频记录管理系统》（简称：《现场执法六必录》），旨在进一步加强现场执法视音频记录工作，规范公安机关现场执法活动，维护人民群众合法权益，利用现场执法记录设备对现场执法活动进行全过程视音频同步记录，并对现场执法视音频资料进行收集、保存、管理、使用等。

诺思云警--数据采集站

主要功能

诺思科技“诺思云警--数据采集站”的主要功能：执法记录仪接入后，工作站对执法记录仪内的所有视音频、音频、图片及日志等数据进行自动采集。数据采集完毕后执法记录仪已储存的数据将自动清空。可手动或自动上传采集的视音频、音频、图片、日志或索引等数据到管理服务器。执法记录仪接入工作站后，时间与工作站自动校正。8块硬盘位设计，本地数据海量储存。可7×24小时不间断工作。上传时间可设置。工作站具有4个360°的旋转脚轮，可以自由移动，方便搬运和存放。

影响与评价

自公布研发过程和试运行以来，获得了社会媒体尤其是公检法等执法机关的关注，并引起反响。

从技术手段上，规范了民警执法程序，提高了执法监督的力度，创造性的增强了民警执法效率，科学性的提升了现场执法警力，权威性的加强了执法机关领导对基层执法者督察的时效，极大提升了群众对执法者的公信度，改善了执法环境。

有意咨询者请联系：河北诺思信息科技有限公司

2017年中国机加工市场规模达8万亿元，其中1000家的机床生产企业，80万家机床使用企业。庞大的机加工市场同时存在着很大痛点，高端控制系统被国外垄断、客户分散、订单不稳定、设备闲置率高、同质化竞争利润低、人力成本高等，国内的加工制造业已经在外流，行业急需升级。

智能云科是一家聚焦机加工领域的工业互联网平台公司，由沈阳机床联合神州控股、光大金控于2015年在上海共同投资设立。

工业互联网平台有很多家在做，可以从以下几个关键维度去快速理解智能云科在做的事情。

行业方面，智能云科聚焦在机加工领域。服务对象，核心是上游机床厂商、下游加工厂。服务内容，从设备、生产数据联网，到产能交易、设备运维、租赁、供应链金融、工业APP等产业全生命周期服务。

有了框架，下面来具体看看，智能云科的iSESOL工业互联网平台是怎么做的，如何产生价值。

可以把智能云科的服务粗略分为两个大类：数据采集联网、数据应用。

数据采集联网：不止是采集，还能直接产生客户价值

朱志浩曾带领团队历时7年，于2014年推出了自主研发的机床控制系统i5，并于同年开始销售搭载i5系统的i5智能机床。

“这件事情的意义，类似于将传统手机升级为智能手机，智能机床通过i5系统，可以快速开发上层应用，从而将宝贵的工业机理、经验持续沉淀下来”朱志浩告诉36氪。

此前，机床厂商做的是一次性买卖生意，现在通过智能机床，能持续提供增值服务，例如零部件的故障预测，帮助客户及时更换，避免生产故障。这样，设备厂商能够从设备使用全周期的角度做这门生意，提高附加值，促使不断提高产品、服务质量，产生良性循环。

更进一步，朱志浩希望能把此项能力开放给市面上更多设备制造厂商。2017年，团队将i5机床控制系统进行独立封装，推出i5OS。可以将i5理解成苹果手机专属的iOS系统，而i5OS则是面向所有设备厂商的Android系统。

智能云科的数据采集联网业务，对于i5智能机床，或者搭载i5OS的设备，可以通过标准接口协议快速获取丰富的加工数据，对于其他机床，智能云科提供iSESOL BOX产品，进行数据采集和联网。

与市面大多数据采集联网设备不同，iSESOL BOX自带操作系统和边缘计算能力，可以直接支持APP应用，如耗电优化、刀具切削优化、温度补偿等。客户付出了连接成本，可以直接获得相应价值，不是为了连接而连接，从而增强客户买单动力。

以上说的是设备层面的数据采集和联网问题，而对于设备的使用方加工厂，智能云科提供iSESOL WIS产品帮助中小微加工厂完成企业信息化。

iSESOL WIS可以理解为轻量化的云MES系统，甚至不需要接入数据采集硬件，直接通过移动设备录入信息方式，将生产过程和结果信息化、可视化。

“工厂老板最关心的是生产情况如何，哪些订单要交货，已经完成了多少，是否有风险。WIS系统不做很复杂的东西，就聚焦在客户最核心的痛点，让他们用得起。”朱志浩告诉36氪。

总结来看，智能云科通过i5 OS、iSESOL BOX、iSESOL WIS产品，将设备和生产数据采集联网，并在连接的同时，直接产生了客户价值。

产业生态应用：基于真实数据，提供精准服务

有了数据，联了网，这只是开始。

智能云科提供了工业APP、产能交易、设备运维、租赁、供应链金融等一系列产业生态应用服务。

工业APP今年很火热，在朱志浩看来，工业互联网平台单纯的汇聚APP没有意义，一定要有承载体。对智能云科来说，承载体就是i5 OS和iSESOL BOX产品，能够与底层制造装备紧密对接，向上为APP提供开发平台。设备商、工厂、研究机构，都可以将自己对于工业机理的理解，以APP的方式沉淀下来，借助平台轻量化、低成本的推广到机加工行业，获取回报。

基于工厂真实透明的生产数据，可以形成较精准的工厂画像，包括每家工厂擅长加工哪些东西，产能情况，需要哪些工业品，经营状况等。智能云科可以更精准的对接订单加工方和需求方，对接工业品的供应方和购买方，对接金融机构和中小微加工厂等。

对于设备厂商来说，基于设备数据，可以进行远程运维、分时租赁等服务，降本增效，创新商业模式。

行业落地和挑战

智能云科的整套服务覆盖面很广，要怎么逐步实现呢？

朱志浩告诉36氪，智能云科从2015年成立，先用了3年时间，把核心产品和整套商业模式架构搭建起来，并通过i5数控机床进行了内部试验验证。当前阶段以及2019年要重点实现社会化落地，先以iSESOL BOX和iSESOL WIS为核心业务，把数据问题解决，再不断延伸产业生态服务。

官方信息显示，截至2018年11月，iSESOL服务范围已涵盖26省、161市，服务企业客户3000余家，已连接智能设备22000多台，累计服务机时5000多千时，覆盖汽车刹车盘、铝雕、消费电子、珠宝等行业。

36氪还了解到，智能云科目前正在准备A轮融资，总金额在亿元以上。

目前，国内已有数十家工业互联网平台公司，包括树根互联、徐工信息、海尔、富士康、智能云科等工业背景公司，浪潮、运营商等ICT巨头，阿里等互联网巨头，用友等IT公司，以及众多科技创业公司等。

智能云科的特点是基于深厚的机加工装备背景，聚焦机加工垂直领域。相比于通用平台，能从机床内部机理入手，更深入的挖掘数据价值。同时具备机加工行业较广泛的客户基础、市场基础（已销售3万台i5智能机床）。

当然，智能云科也面临着很多挑战，包括其i5 OS以及iSESOL BOX能多快多广的覆盖到行业客户，实现工业互联网平台的构建。以及其他设备厂商的接受意愿，是否有竞争顾虑，是否能接受智能机床的新模式等。

——————

我是36氪记者陈绍元，关注物联网、AI、科技，交流或寻求报道(不收费)加微信:963757163，请注明公司、职位、姓名，否则不加。

数据驱动企业发展，企业对数据需求有按个层次，一是业务数据，代表性企业是神策；二是类似企业订单数据、CRM 数据等 SaaS 服务数据，如销售易做的事情；三是互联网公开数据，例如企业工商、电商网站、社交数据、招投标数据等开公开数据。互联网数据量是最大的，但很难拿到全部互联网公开数据，非结构化数据很难结构化。

通常互联网公开数据的获取有三种方法，第一种是复制粘贴收集数据，成本高、效率低；第二种是雇佣爬虫工程师，一个人的工资成本是每年至少20万元；第三种是用云端智能采集，机器人挖掘数据，这样做获取数据门槛降低，不再需要技术人员，效率高、成本低。造数采用的是第三种方法，是一家智能云数据采集服务商。

造数产品无需专业技术人员完成，产品对互联网页面做智能解析，采用了可视化爬取，可爬取需要登录的网页、对网站进行多次采集，支持批量规则配置，采集结果可以按时推送。最终可以到处各种格式文件，如 excel、csv、xml 等。此外还提供了 API 接口，爬取的数据可以直接接入到企业内部系统。

看这个项目考虑两个问题，一个是技术实力，一个是应用场景是不是对产品有刚需。

首先看技术，造数区别于其他爬虫公司的一点是，造数全部在云端。从用户角度讲，不用下载任何软件就可以直接爬取，产品配置和使用的门槛降低了，用户体验更好；从可视化角度讲，云端爬取“越用越聪明”，即别人爬过的数据或者之前爬过的数据不用二次爬取；此外，云端部署在 Docker上面，可以快速同时伸缩几千个节点爬取，有大规模爬取数据的能力，云端的扩展性提供了大量的 API 接口，可以和上下游产品协同，如数据可视化工具等；最后云端支持大量数据存储。

除了云端优势之外，造数在技术上的突破还有智能解析和浏览区交互页面实现，以往的爬虫产品通常是做浏览器的插件，而造数直接在网页上实现。

其次看应用场景是不是对产品有刚需。业务数据、内部 SaaS 数据和互联网公开数据的重要程度并没有高下之分，在不同行业和场景有不同侧重点。企业内部数据通常用作用户画像和精准营销，用来优化转化率；外部数据是对大环境的分析，主要是用来辅助局侧，比如外贸电商群体，需要从外部数据了解到市面上的潮款爆品，也需要从海量评论中知道消费者真正关心什么，甚至产品的陈列、排外、库存状况都受外部数据的影响。

当然，对外部数据有强烈需求的还有零售选址，金融行业中一级市场投资者需要第一时间发现好的创业公司、融资信息的分布情况、二级市场股民舆情倾向、上市公司分析等，咨询行业则需要了解调查领域的各项数据。

所以对于金融、电商、零售、咨询等领域，外部数据发挥很大作用，是引领生产、调整战略的重要依据。从这一点说，快速获取、门槛低的云端爬虫采集产品是不错的切入点。

造数最终能为中小企业节省人力成本，为大企业开源节流，将人力用在该用的地方。

造数目前有15000多家用户，包括数之联、Geoconcept、天气宝、优易数据、星客多、发改委等。合作伙伴有云基础服务商京东云、电子科技大学大数据研究中心、大数据教育平台 Datacastle、数据分析培训机构数据团学社、可视化平台BDP等。其中造数与 BDP API 接通，用户在爬取万数据后直接将数据可视化。

数据采集赛道上还有八爪鱼和神箭手，八爪鱼是传统软件，神箭手更面向开发者；国外则有 import.io 和diffbot，import.io 累计融资 2200 万美金，diffbot 获得腾讯领投的了1000 万美金 A 轮融资。

造数科技成立之初获得了明势资本、仟跃科技数百万元天使轮融资，2017年7月获得了逐鹿资本领投的千万级pre-A轮融资。

数据时代，无论个人信息还是企业数据都离不开“上云”。如果将数据流比喻为通往目的地“云端”的车辆，遇到信息断崖时，就需要有人造桥让车辆顺利通行。

“感知&反馈”的完整闭环

中国在过去五六十年的工业建设中，整个工业基础和数据化构建是相当完善的。但是这些数据都被存储在传统的、集中式的数据处理系统当中，以“孤岛型”的方式呈现，因此从未真正发挥出作用。

这一问题的本质就是信息壁垒。把企业比作“信息大厦”，每一栋“信息大厦”都有它的数据构造特点，这就是‘异构’，而通过MES系统（制造执行系统）在‘信息大厦’跟‘信息大厦’之间搭建起了一座座‘桥梁’，让现有的数据能够自己流动，数据采集就成为工厂信息化平台的一部分，不再需要人工‘搬砖’了。

“企业上云”的数据安全

数据采集了，顺利“上云”了，如何保护用户自身的数据不被“窥视”？

对于企业来说，数据安全是工业互联网必不可少的核心内容。不光是财务数据，重要的还有企业的技术专利、生产工艺、内部员工信息等。数据一旦传输到云端，企业自然都担心这些隐私信息是否受到妥善保护。

这一问题或许将被目前正在风口上的区块链技术所解决。利用区块链去中心化、一次一密（相同明文、相同密钥，每次加密呈现的密文不同）等技术，不仅能防止数据在传输过程中外界对信息的监控窃取，导致敏感信息的泄漏，而且还能防止接收方在查看信息后，忘记删除处理导致的密文信息泄露。

工业互联网代表着下一个时代发展的核心方向。透过工业互联网，将会产生“区域化大工厂”的概念，企业之间的信息交流日益频繁，社会的总需求会转化为大数据传递到企业中，分解、分析、交换这些数据并实现转化就显得尤为重要。

编辑：Nistone乐石科技（智能制造/企业上云解决方案供应商

我现在只提供我自己的思路，我希望你们看完此文章可以去静下心来执行！

创业是现在的一个大话题，做过销售的，但凡有点经验，觉得自己有点积累的就上赶着去创业。尤其是电商创业，认为开个淘宝或者微商只要发发产品就有单开，可实际上如果什么都不做，就等着客户上门的情况十分被动，业绩也不会太高。

一、打开数据搜素软件，在汽车网综合分类找，选择相应的网站，如：汽车之家，选择区域，再选择车型，一般车型代表这个人的消费能力，开宝马的，开奔驰的等车主的联系方式任由你采集。

二、导出这些车主的联系方式，用微信加他们为微信好友。

这种方法效率高，非常的精准，因为你和推广不同，这将是直接目标客。有了工具和方法，还有更多的技巧，关键还是要拥有持之以恒的执行力，成功的关键在于执行！

关注：艾米的套路

先说一个事："云采集"这个概念，是我们八爪鱼首创的，无论国内还是国际。

2013年，八爪鱼从13年创业开始，就自创了云采集技术，这个我们可以在八爪鱼的版本更新记录里面找到痕迹。只是由于当初创业，对于IP的意识不充分，也没钱没精力去申请相关知识产权，以至于现在很多竞品公司都在吹他们有云采集技术，但很多公司其实都没搞清楚真正的云采集技术。

我们今天要来谈的就是云采集是如何颠覆整个爬虫界的，当然，因为我们八爪鱼是当事人，所以笔者可以带着大家回顾近几年云采集爬虫的发展史。

云采集是在什么背景下诞生的？

2006年8月9日，Google首席执行官埃里克·施密特（Eric Schmidt）在搜索引擎大会（SES San Jose 2006）首次提出“云计算”（Cloud Computing）的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做的“Google 101”项目。

直到08年，中国IT界才开始在谈云计算，笔者作为一名07年计算机专业毕业生，正好赶上这一波热潮，但说实话，那时候都是概念，没有人见到真正的产品，所以都没搞清楚到底是什么东西。顶多就听说Google 的Google Charts,Google Words等。当时没明白这些产品有什么用，不就是网页版的word,excel嘛，还没Microsoft的好用。

但是多年工作之后，才知道，Microsoft word,excel，只能用于windows的机子，你想在苹果电脑上用，就得费老大劲了。但是网页版就不同，它是跨平台的，你用习惯了，你在哪都是一样用，而且可以在云端保存资料。更关健的是，原来帮助我们提高工作效率或组织管理的工作，不再单单依靠软件，而是云端服务。

随着云计算的诞生，业内也诞生了

下面三种层次的服务

基础设施级服务（IaaS），

平台级服务（PaaS），

软件级服务（SaaS）。

我们可以把SaaS简单理解为在云端提供标准化产品的服务模式。由于其标准化，所以无论1个企业在用，还是100个企业使用，都是一个开发成本。这对产品在某个场景下的通用性要求非常高，但也极大的提升了产品在市面上的竞争力。企业采用SaaS模式在效果上与企业自建信息系统基本没有区别，但节省了大量资金，从而大幅度降低了企业信息化的门槛与风险。

许多SaaS企业都是提供按月按年的收费模式，这有别于之前软件以项目化的形式，深受企业主喜欢，所以在接下来的十年中，也演变为一种主流的企业服务形式。

现在市面上有许多优秀的Saas企业，国际知名的类似于CRM鼻祖Salesforce, 我们国内CRM领域的明道，比如文档领域的石墨，比如表单领域的金数据等等，都是在saas领域做得特别好的企业。

八爪鱼正是在云计算与SaaS潮流的背景之下，首创了云采集技术，并提供SaaS的运营模式。用户只需在客户端上传采集规则，即可通过调用云端分布式服务式进行采集，每一台云端的服务器均会按照采集规则进行采集。所以八爪鱼团队就给这种采集模式，取了个名叫”云采集“

为什么会诞生”云采集“

在八爪鱼出来创业的时候，市面上是有很成熟很强大的竞争对手。但他们是以传统软件运营商的模式在运作，主要是卖授权码的形式，用户想要在电脑上运行，就必须购买他的授权码。就像我们早期用Word 2003、2007时，经常需要去网上搜索破解码一样。那时的竞争对手如日中天，但它也仅仅只是一个客户端软件，也只能在本地电脑进行采集。

八爪鱼创始人刘宝强keven，有多年的外企和海外工作经验，曾经也是某国际金融巨头公司数据采集方向的研发工程师，他一心想要做出一款通用化的网页采集产品来取代公司编写的众多采集代码。他很清楚各种采集技术的优势与劣势，问题与瓶颈。

Keven当时也知道竞争对手的强大，那时候的他，其实不敢想像自已能做出一款更牛B的采集产品，因为对手实在太强大了，采集界无人不识。但他知道，超越竞争对手的，往往不是跟随策略，而是应该颠覆，采用与他们完用不一样的思路。

Keven分析，传统的网络请求获取数据的方式，走的还是http post ,get请求，这确实是当时进行网页采集的主流模式，而且这种形式效率特别高，但这种模式复杂程度也非常高，不是一般人操作配置得了，能理解这一套理论的，大部分都是具备开发背景的人。

他知道在大公司里面，大部分做数据收集工作的人，都不是计算机开发人员背景，所以他给自已的采集产品定位，要做一款普通人会用的采集产品，通过界面的定位，拖拽，即可进行规则的配置。经过小半年的钻研，各项难关均被他突破，实现了所见即所得的采集工作流配置模式。

但问题也随之而来，由于是通过浏览器加载网页然后再获取数据的方式，这样竞品或许一个请求就可获取到的数据，而由于八爪鱼需要加载整个网页，这可能得涉及上百个请求，这样在采集速度上，就显得慢了。（大家可以用httpwatch看一下浏览器打开一个网页得涉及多少个请求）

解决了易用性的问题后产生了速度问题？

那怎么解决？

如果有多台机子在云端同时采，甚至对规则里面的URL列表进行拆分，让云端的服务器分布式同时进行采集，那就可以提升N倍以上的速度。这条路是可行的，但是这条路又带来另外一个问题。

解决了速度问题后产生了成本问题？

那怎么解决？

keven判断，如果租用10台云服务器，通过共享经济的概念，把成本平摊，其实每个用户每个月仅需小几百块钱的成本。相对于数据的价值，是远远大于这个投入的，应该会有用户愿意付费使用。

而且成本问题应该不是大问题，根据摩尔定律理论，硬件成本只会越来越低。事实确实如此，包括后期，八爪鱼通过与主流的云服务厂商合作，有效地控制了整个云服务器成本，帮助用户将这块的成本降到最低。

基于此，在2013年Q4，八爪鱼首创了国内国外云采集的模式。

云采集后面的发展史

其实云采集就是这么简单的东西，就是通过对云端采集服务器的控制，为每台服务器分配采集任务，通过指令控制其采集。但八爪鱼由于是首创云采集技术，也是用户量最大的云采集平台，所以云采集这件事，八爪鱼走了好远好长的一段路。所以我们一直坚称，只有八爪鱼的云采集，才是真正的云采集。

1突破多项技术难关

八爪鱼在5年的运营过程，逐渐突破云采集各项难题，这里面的许多难题，在没有大数据面前，其实都是不会出现的。我举几个例子：

可以采，导不出

有一些项目，自吹自已拥有云采集技术，但是实际试用的时候，他们就漏洞百出。比如我们可以控制100台服务器采集数据，但如果只有一个数据存储支持导出数据，那将会造成导出数据比采集慢100倍的困境。你只能眼见数据在库里而无法动弹。

可以采，但是错乱

有一些人以为，有服务器在云端进行采集，就叫云采集。但却不知道这里面成百上千台服务器同时采集的时候，他背后需要大数据存储解决方案的支撑。才能让采集到的数据一条不漏地存放在数据库里，并且是有序地存放，在后期方便检索，查询，导出。

无法动态伸缩配置

由于采集的网页数据状态不一，云采集是需要动态分配，并且做好许多事前工作。有时候一些网站有防采集策略，在采集之前，能否判断出对方网站对你的一些措施与判断，或者在采集过程中动态调整服务器运行策略，这也是考验一个优秀的云采集解决方案。

2持续性的提供稳定的采集与导出服务

八爪鱼现在在全球拥有超过5000台以上的服务器，现在每天采集与导出的数据，都是以T计算服务于全世界各语言各领域的采集用户，对于企业级产品来讲，除了技术外，能否提供稳定的运维是一大关健。

八爪鱼有多个运维后台，随时监测整个服务器集群每个采集服务器的状况，在出现状况的时候，通过灵活多开服务器，调配服务器，让客户的采集生产环境与数据，保持相对的稳定。

这样庞大的云服务器采集集群，是任何一个竞争对手所不能比拟的，并且在这个庞大的集群面前，八爪鱼依然保持稳定的采集与导出服务。

3其它资质

八爪鱼在中国大数据业内，连续三年在数据收集领域被评为第一，这也足以证明八爪鱼在数据采集这一领域的长期积累与贡献。

最后一段介绍大家可以理解为硬广啊哈哈，我们知道云采集是如何诞生，是在什么条件下诞生，还有主要的技术难点，还有一路过来我们突破了哪一些问题。回顾这段历史，是想向大家表明，我们八爪鱼一直在致力于提供稳定的云采集服务，这条路还有很长一段路要走，我们压力也在不断增大，我们也在不断优化，这个过程有点坎坷，还需要我们八爪鱼的用户对我们多多支持，我们也会尽最大努力来予以回馈。

一起加油！

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop