目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

1. 星型网络技术

1.1 什么是星型网络

星型网络是有两种网络设备构成：中心节点和终端节点。中心节点是整个星型网络的枢纽，所有终端节点通过无线或者有线的形式连接到中心节点，与中心节点进行信息交互。终端节点之间不能直接进行信息交互，只能通过中心节点进行信息转发，从而达到终端节点之间相互通信的作用。

1.2 网络拓扑

星型网络拓扑如下图所示：

2. 无线串口星型网络组网方案

2.1 无线串口模块

无线串口模块是将串口数据通过无线信号来进行通信的模块。一般有无线射频芯片和MCU构成（某些SOC芯片已将这两个部分集成到一起）。无线串口模块具体操作简单的特点，用户只需了解简单的串口通信，无需关心复杂无线通讯知识就可以轻松实现无线产品的开发和使用。

成都亿佰特电子科技有限公司所自主研发的产品E64系列无线串口模块，可以组成多达32个节点的星型网络。支持空中唤醒、低功耗休眠、自动应答、防空中碰撞等特点。大大提高了星型网络的灵活性和稳定性。更多参数信息请进入官网进行了解：http://cdebyte。

E64实物图如下所示：

2.2 简易的无线串口模块星型组网组网机制

以成都亿佰特E64模块为参考，将一个模块设置为中心节点，令其地址为 FFFF，工作在广播模式，若干个模块设置为终端节点 E0、E1、E3……。其地址分别设置为 0、1、 2、 3……（最多个以设置31个终端节点）。

中心节点每 2s 发起一次广播，用于与所有终端节点进行时间同步，终端节点收到数据后的第一时间，将记录该时刻作为时间起点。终端节点 E0 立即回复数据，终端节点 E1 在 50ms 后回复数据，子节点 E2 在 100ms 后回复数据，……以此类推。

该方法用周期性时间同步的方法，实现了一个简易的数据轮询采集，在很大程度上减少了整个网络的干扰和负荷。终端点发出的数据，由于中心节点工作在广播地址，故而可以收到所有终端节点发处的数据，而其他终端节点工作在非广播地址，则不能收到。同样，中心节点发出的数据为广播数据，故而所有终端节点哪怕地址不同，也可以收到中心节点发出的数据信息。

扩展：使用同样方法，在同一区域中可以存在多个网络分组（信道），使用更高逻辑层次的主机管理分组中心节点，从而轻易实现一个树形网络。其中，还可以根据终端节点的实际情冴考虑其工作模式问题，比如需要省电的终端节点单独分组。

匹配算法实现，通过将用户属性、用户学习状态属性、用户操作行为统计属性与资源属性进行匹配，数据容量大，遥测距离远，人机界面友好，可靠性高的优点，可广泛用于学校和社区小区域范围环境服务。

也适合于气象、海洋、环境、机场、港口、工及等领域使用．实时数据采集与上传该模块主要功能是通过无线方式获取环境观测站采集的实时数据并显示．数据采集的基本算法如下：首先判断是否到发送数据时间，若到了执行数据发送命令。

为了方便学习者查找资源以及系统推送资源，须对学习者和资源的属性进行标记，即创建属性元数据．本研究采用标签技术分别建立学习者和资源的属性元数据．学习者的属性标签主要来自于用户注册时的信息（用户属性）、学习者的学习状态属性以及学习者系统操作行为统计属性（对上传、下载、浏览、评论等操作的统计）。

资源的属性标签主要来自于资源提供者根据学科和关键字分类的标签以及资源使用者对资源的评价、标记等．根据研究性学习的主题、用户学习进度，系统可以将用户可能感兴趣，其他用户感兴趣或评分高、浏览次数多，相同领域的最优资源或相似领域的最佳资源推送给用户，系统根据学习者的学习主题，将平台中评价最高的相关资源、教师指定的资源和拓展的相关资源进行匹配，

一个高效的采集工具，能帮助我们更快速地完成采集。

火车采集器，就是这样一款高效能地网页数据采集软件，它实现了将数据从采集到处理到发布的一系列智能操作，真正意义上做到了采集智能。

不仅如此它还能够快速稳定地应对大量的数据采集需求，取代手动采集模拟人工操作，大幅提升了工作效率，节约人力资源。

作为一款专业的网站抓取工具，火车采集器在网页数据抓取、处理、分析、挖掘方面尤其擅长。

现如今市场上的网页采集软件优劣纷杂，火车头无疑是一款非常值得信赖并且极其好用的网页数据采集软件。

它可以灵活迅速地抓取网页中散乱分布的文本，图片等资源信息，然后通过一系列的分析处理，准确挖掘出你所需要的绝大部分数据信息。

这些数据信息你可以选择发布到网站后台、导入数据库，也能够保存在本地 Excel，Word 等格式的文件中。

采集新闻，采集文章统统不在话下。老板再也不用担心做不完，一切变得so easy

历经十年的升级更新，火车采集器积累了大量用户和良好口碑，是目前市场上最受欢迎的网页数据采集软件。

官方网站：locoy

为采集而生

2005年~2015年，火车采集器的用户量一直稳居国内第一。

十年口碑

火车采集器目前用户突破十万，十年间在用户中形成了良好口碑，为我们的品牌传播奠定了基础。

真正通用

采集不限网页，不限内容，支持多种扩展，打破操作局限。采什么，如何采，都由您决定！

高效稳定

分布式高速采集系统，多个大型服务端同时稳定运作，快速分解任务量，最大化提升效率。

数据精准

内置采集监控系统，实时报错及时修复；采集发布时确保数据零遗漏，为用户呈现最精准的数据。

对于中小型企业来说，火车采集器是一款实用价值相当高的采集软件。

采集智能化，采集自动化带来的便利，大大降低了数据采集的难度。现如今的社会，信息便是资源，资源决定了企业在商场上能够走多远，所以信息储备至关重要不容忽视。

作为一个有点编程基础的人来跟你讲，火车头采集器，是一款就算零基础的门外汉都能很快熟悉，并且掌握操作的网页数据采集软件，新手体验度实在是不能更友好了。

对新手小白而言，火车头是一款非常合适好用的采集工具，学会熟练的使用火车头采集器也会让要用到网络数据采集技术的新手小白们事半功倍。

下面我就来详细介绍一下有关火车头采集器这款软件的特点吧

分布式高速采集

任务分配至多个客户端，同时运行采集，效率倍增。

多识别系统

配备正文识别、中文分词识别、任意编码识别等多种识别系统，智能识别操作更轻松。

可选验证方式

可选择是否使用加密狗，随时保障数据安全。

全自动运行

无需人工值守操作，任务完成后自动关机。

替换功能

同义，近义词替换、参数替换，伪原创必备技能。

任意文件格式下载

图片、压缩文件、视频等任意格式的文件都能轻松下载。

采集监控系统

实时监控采集，确保数据的准确性。

支持多数据库

支持Access/MySQL/MsSQL/Sqlite/Oracle多种类型的数据库保存及发布。

无限级多页采集

支持包含ajax请求数据在内的多个页面信息的无限级采集。

支持扩展

支持接口和插件扩展，满足各种采发需求。

以上便是全部，但是火车头采集器的好处却不止这么多。这些仅是其中的万分之一。

你还可以用它来采集文章、新闻素材填充你的网站内容，如果你想要采集更多有趣内容，有兴趣的小伙伴们可以转战火车采集器官方论坛，那里有更多车友们可以为你答疑解惑。

作为一款网页数据采集器，火车头秉承一句格言：

“好的软件的作用是让复杂的东西看起来更简单。”

潜心修炼自己的产品，给客户以最好的服务，才对得起客户对我们的支持

火车头一直以来坚持一句口号：“做数据采集，我们是专业的！”

好了，今天的文章就写到这里了，君问归期未有期，红烧茄子油焖鸡。

迷弟迷妹们咱们下期见！

火车采集器(LocoySpider) 是一个供各大主流文章系统，论坛系统等使用的多线程内容采集发布程序。使用火车采集器，你可以瞬间建立一个拥有庞大内容的网站。系统支持远程图片下载，图片批量水印，Flash下载，下载文件地址探测，自制作发表的cms模块参数，自定义发表的内容等有关采集器。对于数据的采集其可以分为两部分，一是采集数据，二是发布数据。

火车采集器(LocoySpider)是一款功能强大且易于上手的专业采集软件，强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器，自定义用户cms系统模块，不管你的网站是什么系统，都有可能使用上火车采集器，系统自带的模块文件支持:风讯文章，动易文章，动网论坛，PHPWIND论坛,Discuz论坛,phpcms文章,phparticle文章,LeadBBS论坛,魔力论坛,Dedecms文章,Xydw文章,惊云文章等的模块文件。更多cms模块请自己参照制作修改，也可到官方网站与大家交流制作。 同时您也可以使用系统的数据导出功能,利用系统内置标签,将采集到的数据对应表的字段导出到本地任何一款Access,MySql,MS SqlServer内。LocoySpider采用Visual C#编写，可独立在Windows2008下运行(windows2003 自带1.1框架。最新版的火车采集器是2008版，需要升级到2.0框架才能使用)，如您在Windows2000、Xp等环境下使用，请先到微软官方下载一个 framework2.0或更高环境组件。火车采集器V2009 SP2 04月29日

数据抓取原理火车采集器如何去抓取数据，取决于您的规则。您要获取一个栏目的网页里的所有内容，需要先将这个网页的网址采下来，这就是采网址。程序按您的规则抓取列表页面，从中分析出网址，然后再去抓取获得网址的网页里的内容。再根据您的采集规则，对下载到的网页分析，将标题内容等信息分离开来并保存下来。如果您选择了下载图片等网络资源，程序会对采集到的数据进行分析，找出图片，资源等的下载地址并下载到本地。

数据发布原理在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以下几种方式对数据进行处理。

1、不做任何处理。因为数据本身是保存在数据库的(access、db3、mysql、sqlserver)，您如果只是查看数据，直接用相关软件打开查看即可。

2、Web发布到网站。程序会模仿浏览器向您的网站发送数据，可以实现您手工发布的效果。

3、直接入数据库。您只需写几个SQL语句，程序会将数据按您的SQL语句导入到数据库中。

4、保存为本地文件。程序会读取数据库里的数据，按一定格式保存为本地sql或是文本文件。

工作流程火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。这两个过程是可以分开的。1、采集数据，这个包括采集网址，采集内容。这个过程是获得数据的过程。我们做规则，在采的过程中也算是对内容做了处理。2、发布内容就是将数据发布到自己的论坛，CMS的过程，也是实现数据为已有的过程。可以用WEB在线发布，数据库入库或存为本地文件。具体的使用其实是很灵活的，可以根据实际来决定。比如我可以采集时先采集不发布，有时间了再发布，或是同时采集发布，或是先做发布配置，也可以在采集完了再添加发布配置。总之，具体过程由您而定，火车采集器的强大功能之一也就是体现在灵活中。

采集规则采集规则分为站点规则和任务规则，通常是指任务规则。所谓采集规则就是要采集一个网站时在软件里进行的设置。这个设置可以从软件里导出保存成一个文件并可以再导入到软件里。站点规则文件的后缀名为：.lsite;任务规则文件的后缀名为：.ljob。

采集任务采集任务又简称为任务。它是采集规则和发布规则的总和。也是采集规则和发布规则的载体。采集规则和发布规则的设置通过在任务编辑框里进行设置。从采集器里导出的采集规则文件(.ljob后缀的)也可称为任务规则。导入导出任务规则就是指导入导出.ljob文件。

发布模块发布模块又称为发布规则，通常是指数据库发布模块或者WEB发布模块。所谓发布模块就是在需要将已经采集的数据发布到目的地(比如：指定数据库，网站中)时在软件里进行的设置。这个设置可以保存成一个文件并可以导入到采集器里使用。数据库发布模块文件的后缀名为：.jhc;WEB在线发布模块文件的后缀名为：.cwr。(采集规则和发布模块都可以从采集器里导出，也都可以导入到采集器中使用。采集规则负责将网页上的数据采集下来，发布模块负责将采集的数据发布到网站中。可见，采集规则的编写和修改和被采集的网站有关系，而发布模块的编写和修改和要发布数据的网站有关系。如从不同的网站栏目采集数据往同一个网站的某个板块(频道)里发布，需要多个采集规则和一个发布模块。从一个网站栏目采集数据往不同的网站系统里发布，需要一个采集规则和多个发布模块。注意这里的说的采集规则是指采集网站和抓取内容的设置。)

发布接口发布接口就是一个小的页面程序通常和WEB发布模块配合使用。WEB在线发布(使用WEB发布模块)是将采集的数据以POST方式发送到网站页面程序中由网站程序处理数据。而发布接口就是为了满足特定需求而写的一个网站的页面程序(如：PHP页面，ASP页面等)。然后采集器通过WEB在线发布将数据发送到这个接口文件由这个接口文件处理数据。接口文件通常放在服务器网站某个目录下。简单的说就是采集器将采集的数据发送到接口文件中，接口文件得到数据后去处理数据。使用发布接口用户可以更加灵活自由的处理采集器发送的数据。

插件火车采集器里的插件分为PHP插件和.NET插件两种。标准版支持PHP插件，企业版支持PHP插件和.NET插件。插件可以让用户通过自己写PHP程序或者.NET程序放到采集器中对采集的数据进行处理。采集数据数据在四个地方可以使用插件，分别为：采网址时、采内容时、采多页时，保存时。

发布数据发布数据就是将采集到的数据发布到指定的目的地，火车采集器支持四种发布方式。方式一：Web在线发布到网站

这种发布方式类似于在网站后台手工添加数据一样。采集器将数据发送给网站后台程序，由网站后台程序去处理数据通常后台程序讲数据存入网站数据库中。方式二：保存为本地文件

这种方式可以将采集的数据发布到本地的文件中，采集器支持保存成Txt格式、Csv格式和Html格式。方式三：导入到自定义数据库

这种方式可以通过采集器连接到其他数据库从而将采集的数据从软件内置数据库中导入到其他的数据库中，采集器支持连接Mysql、Access、Oracle、MSsql数据库。方式四：保存为本地Sql文件(Insert语句)

这种方式是将采集的数据导出保存成Insert语句，可以用于在数据库的管理工具中执行插入数据。

本地编辑数据采集器不仅可以采集发布数据，还可以将采集下来的数据经过编辑以后再发布。支持批量替换，通过SQL语句批量处理以及在文本编辑框里编辑。

前提：

比如在php.ini中，开启curl模块：

基本步骤：

l 1、初始化CURL请求：$link = curl_init([网址url]);

l 2、设置请求选项：curl_setopt($link, 选项名, 选项值)。常用选项如下：

基本含义是：将该$link的某项，设置为某个值；

其中请求头通常是必不可少的信息；

比如：

curl_setopt($link, CURLOPT_URL, ‘http地址’);

curl_setopt($link, CURLOPT_HEADER, true);

l 3、执行请求并返回结果：$result = curl_exec($link)

l 4、关闭CURL请求：curl_close($link)

代码如下：

得到的$result结果如下所示：

深圳市诚控电子有限公司，是一家专业从事数据采集产品研发生产销售于一体的高科技公司，公司前身为深圳华格科技，资金雄厚，技术力量强大，应于自动化时代发展的潮流，诚控电子秉着坚持做国内品质可靠，质量稳定，成本低廉的采集模块而生。并可提供欧姆龙PLC/欧姆龙温控器以及温度/压力/流量传感器配套销售，为国内外客户提供一站式的技术服务。

模拟量采集模块应用领域：

1、楼宇自动化

楼顶水箱深度、水箱水温、室内烟雾探测、报警开关

2、智能交通

拿地铁举例：行车信号灯、二氧化碳浓度监测、氧气浓度监测、烟浓度监测、排风扇控制

3、 水处理系统

水位控制监测及报警、水流量监测、水污染指数控制、水温度监测

4、高速公路智能系统

车辆通过探测、通行信号灯控制

5、 能源管理系统

风力发电站举例、风速监测、风车转速监测、电压监测、电流监测

6、环境监测

温度、湿度、风速、空气成分监测

7、工厂自动化

8、远程监控与数据采集

9、智能楼宇控制/智能家居系统

10、安防产品与安防工程

11、工业现场控制

12、仓储与监控

13、医疗、工控产品开发

14、包装和物料转移

15、电子产品制造等

模拟量采集模块概述：

模拟量采集模块采用RS485/RS232通讯串口，将分散的现场数据点的模拟量经AD变换传输到主机或由PLC/PC控制远程主站点。 模拟量采集其实就是指模拟量信号输入，模拟量信号输入是指输入为连续变化的物理量，相对于数字量(简单的来说就是"0""1"和电流电压两种激活输入单元的方式不同而已)输入（digital input）而言。通俗点其实就是精度，位数越高，把这个模拟量化的越细，结果也就越精准。有独特的双看门狗安全设计。深圳诚控电子DAM模块是全新一代基于嵌入式系统的模块式数据采集器，采用标准DIN35导轨安装方式，现场安装简单，使用灵活；应对各种现场应用。模块配置有RS232接口，方便与PC或PLC通信；模块配置有RS485接口，可单独与PC或PLC通信，也可以与多个485模块组网使用。

DAM-80X1模拟量输入型数据采集器，可采集最多4路差分模拟信号（DAM-8041）/最多8路单端模拟信号（DAM-8081）；模块采用高性能24位AD芯片，采集测量精度±0.05%。适用于采集工业现场的各种电压和电流信号。

DAM-8021采用光电技术，有效保障数据采集可靠及安全。

DAM-8021技术指标

◆隔离耐压：DC 2500V

◆ESD保护：±15KV

◆供电范围：DC +8～+36V

◆功耗：小于1W

◆工作温度：-40℃～+80℃

◆安装方式：工业级塑料外壳，标准DIN35导轨安装

模拟量输入

◆输入通道数：最多4路差分输入/最多8路单端

◆输入范围：±20mA，±100mV，±1V，±2.5V，±5V，±10V

◆转换速率：20次/秒（全通道）

◆AD转换分辨率： 24位

◆测量精度：±0.05%（典型值）

◆输入端过压保护，过流保护，并有低通滤波

◆常模抑制(NMR)： 60 dB （1kΩ Source Imbalance @ 50/60 Hz）

◆共模抑制(CMR)： 120 dB（1kΩ Source Imbalance @ 50/60 Hz）

无线数据采集模块就是无线小型RTU设备。也可以定义为无线数据采集传输终端设备，是将串口数据或者模拟量及变量采集，通过GPRS 、CDMA、3G、4G无线网络进行传输的设备。为那…通信的WCTU就是个代表，采用工业无线通信模块，支持多路模拟量A/D采集接口和开关量I/O输入输出接口。

万众WZG6001无线变送器采集模块用于采集公司的无线压力变送器WLP-0601A、无线转速变送器WLR-0807A、无线温度变送器WLT-0807A的数据，转换为工业标准的Modbus协议，方便和其他工业产品对接，如PLC或者RTU等。

单个WZG6001无线变送器采集模块最多支持15个无线压力变送器WLP-0601A，5个无线转速变送器WLR-0807A，5个无线温度变送器WLT-0807A，对于485总线来说，是支持多个WZG6001级联的，也就是通过485级联的方式是可以实现用户所要求的任意数量的变送器数据的采集。

使用方法

该模块的功能是将无线压力、无线温度、无线转速、载荷变送器的数据转换成RS485信号，与其他测控终端对接使用。

目前RS485接口用于与测控终端对接，RS232接口用于更改配置。同时也可以通过按键L.R进行配置修改，包括modbus的地址和波特率的配置，433Mhz无线频点和地址的配置。

无线变送器接收模块的通信地址和通信频点需要和要接收的压力、温度等变送器的通信地址和频点设置一致，即可完成配对。

1. 使用环境及特性

l 工作温度应小于70℃，大于-30℃；

l 安装周围不得含有过量的尘埃、酸性、碱性或易燃易爆性气体；

l 工作电压：12-30V DC；

l RS485接口：1路，支持Modbus RTU通信协议；

l 短距离无线通信地址范围：1-9999；

2. 按键及指示灯使用说明：

①：433天线接口（模块侧面） ②：Modbus通信指示灯

③：433通信指示灯 ④：Run运行灯

⑤：电源9-30V（V+~V-） ⑥：RS485通信接口(Modbus从机、485A,485B)

⑦：RS232接口(RX,TX,GND）