1787年第一架纺织机的出现，第一次工业革命正式拉开序幕。随着蒸汽驱动机械制造设备的出现，人类进入机械时代。

火车喷出的浓烟在英格兰风景如画的旷野中升起，19世纪末至20世纪初，第二次工业革命将人类带入自动化世界。

从20世纪四五十年代以来，原子能、电子计算机、微电子技术、航天技术等领域取得重大突破，第三次的工业革命到来，世界格局发生重组改变。

现在，工业4.0已经到来，第四次工业革命的目标是工厂智能化，是基于信息融合，大数据、物联网等实现智能制造。

工业4.0离你的企业实务有多远？智能信息化究竟会给你的企业带来什么样的影响？

比如，制造企业在进行数据采集和处理时经常会遇到类似的问题：

数据采集效率低；例如：采购收货采用的是打印送货单的方式收货。数据采集耗时长；例如：从到货点收到数据录入系统耗时长。数据处理不智能；例如：库存不足时系统不会自动预警或者智能性的自动转采购订单。

制造企业只有软硬件完美结合，用智能信息化系统结合智能硬件设备，最终才能实现工厂智能化。

采购入库通过扫描送货单上的二维码或者条形码，采集送货单号后匹配后台的采购订单信息，自动抓取采购单信息进行数量确认收货，保存后实时上传后台。生产领料生产领料时，可实时查看现有库存及库位，通过扫描库位上的二维码或者条形码进行智能领料。生产入库生产完成后，录入物料信息自动带出库位信息，将货物移转到仓库后扫描库位上的二维码或者条形码进行智能入库。销售出货销售出货时，通过扫描库位上的二维码或者条形码进行物料及数量的匹配后，进行智能出库。盘点仓库盘点时，采用PDA的方式扫描库位上的二维码或者条形码进行快速盘点。简易报工扫描制令单上的二维码，自动带出工序讯息后维护数量，轻松完成报工。简便追溯客户发现品质疑问产品，用手机或二维码扫描设备扫码产品二维码，即显示该产品的生产相关信息，如：公司，生产班组、作业员、检验员、出厂日期。

经过信息化管理之后，企业数据实现快速收集以及智能处理。正如正航智能制造解决方案，帮助企业搭建智能管理平台，提升企业生产效率、提高产能、规避错误、放大管理力，通过快速，智能的工作方式帮助企业实现流程的规范化，智能化，最终实现工厂智能化。

1.1 概述

SmartDAQ智能数据采集器是专门针对SCADA分层分布系统应用推出的前置智能数据采集服务器，内置自主研发的QTOUCH2.2组态软件，它是一台完整的嵌入式计算机平台，其内置软件具有众多PLC/IO/仪表的通讯支持，具有实时数据库，具有sqlite3历史数据库，具有开放的modbusTCP上传接口。其具有工程管理的特点，通过PC进行远程组态下载，具有远程监控，远程维护，远程调试的能力。它能够像PC机一样将本地数据远传到数据服务器中，也可以分担远程数据库服务器的压力，将数据本地存储，具有远程查询，断点续传的特点，确保系统的数据完整性。其内置c语言编译接口，用户可以自行开发专用于自己系统特点的应用，更提供高级c++语言的SDK环境，用户组建自己特色的运行系统。

1.2 应用领域

SmartDAQ智能数据采集器专门为工业设计，广泛应用于钢铁冶金行业能源计量、工程机械车联网、水文水利数据无人值守自动站、电力LCU现地单元串口联网服务器等，其采用ARM9-based RISC高效能处理器，使用了精简内核LINUX嵌入式操作系统，真正实现了工业现场的“3C”（现场控制，现场计算，现场通讯）的要求。它既可以单独使用直接通过自带以太网口向上传输数据，也可以通过无线DTU通信设备接口即时发送数据，还可以建筑能耗采集，能源工作站等使用形成现地控制单元分层分布应用。

运用于物联网

运用于电力监控

运用于太阳能光伏系统

2.1 产品型号

2.2 安装环境

2.3 外形和开孔尺寸

SmartDAQ外形和开孔尺寸：以QT240为例，W180mm*H130mm*D38mm，具体外请参照产品规格。

2.4 电源要求

2.5 接地要求

产品的金属外壳必须接地 直流电源的工作地在产品内部没有连接到实际的大地。为了避免由于虚的点接地造成将外将外部噪声引入系统，最好不要将直流电源的工作地和外壳一起接到大地，但如果必须将电源的接地到星形接地点，则必须保证接地导体长度尽量短、横截面积尽量大。导体必须能够承受至少10A的短路电流。接地的导体必须直接连接到星形接地点。这可以保证接地导体不会承受其他支路的电流。

2.6 CE要求

为保证QT241N系列产品符合EMC的规范 ，减小电气噪声的干扰，在产品的电源接线端子的外壳接地端子上必须接一条独立的#14 AWG规格的接地电缆。这条接地电缆必须按照安装说明直接连接到系统的星形接地点。

2.7 安全指导

这个部分介绍了推荐的安 装惯例和步骤 。虽然没有任何两个应用的 情况是相同 的，但请在安 装时仔细考虑 以下的建议。

ICS 3-304.81 安全性建议：

必须仔细考虑紧急停止功能的作用，它必须独立于可编程控制器之外。

在操作人员直接接触机械部分的位置，例如装载和卸载机械工具的位置，或者机械自动运转的地方，必须仔细考虑现场手动装置或其他备用手段的功能，它需要独立于可编程控制器之外，可以启动或者中断系统的自动运行。

如果需要在系统运转的情况下修改程序，必须考虑采用锁或者其它措施来保证只有得到授权的人才能进行必要的修改。

*这些建议是防止危险设备故障和由这些故障 产生的影响，或者在线 修改程序时可能产生疏忽而造成安全威胁时必要的安全防护措施。

ICS 3-304.81安全性建议是在国际电气制造业协会（NEMA）的许可下从NEMA ICS 3-304标准中复制而来的。

2.8 接口介绍

2.8.1 RS485串口

SmartDAQ系列产品串口分为DB9电器接口和插针是接口，一般DB9接口引脚1为RS465 A+,引脚9为RS485 B-。插针式接口D+ 为RS465 A+, D-为RS485 B-。

2.8.2网口

SmartDAQ系列产品的网口采用的是Ethernet 10M/100M自适应网口，满足数据的快速交换和吞吐，该端口可以用于组态工程的上/下载，系统参数的设置和组态的在线模拟；可以通过以太网连接多个QT241N构成多QT241N联机；可以通过以太网与PLC等通讯； 可以通过以太网口与PC机通讯。

2.8.3 USB接口

SmartDAQ系列产品采用标准的通用的USB2.0接口，该接口用于与U盘、USB鼠标、USB键盘及USB打印机等设备连接，即插即用。

2.8.4 SD卡接口

SmartDAQ系列产品支持SDCARD卡的扩展，给硬件提供了升级的空间。

2.8.5 无线网卡接口

SmartDAQ系列产品中QT241N支持无线网卡接口。支持电信，联通3G、4G无线上网。提供数据无线传输。

2.8.6 其他接口

SmartDAQ系列产品可以扩展其他的接口，如何需要CAN通信可以扩展CAN接口。

3.1 使用方法一 数据透明传输

1）打开Qtouch软件工程管理器如下图：

2）新建串口设备，选择数据透传来配置串口，如图：

配置串口信息（串口号，波特率，数据位等信息）

3）将配置好的工程下载到串口服务器

4）PC 连接SmartDAQ的数据

SmartDAQ智能数据采集器将配置好COM1的数据（已COM1示例）映射到网络地址为IP：192.168.1.10（设备默认IP）PORT 5002端口处，PC 上位机可以通过网络实时接收到数据。

3.2 使用方法二 内置实时数据库

此方法需要建立串口工程，配数据采集点，将不同设备数据采集到QT241N智能数据采集器的实时数据库中，上位机可以通过ModbusTCP协议来连接数据库，此方法的特点是：1数据稳定；2数据上传快；数据断点保持安全可靠；可以和不同的组态软件数据通信。

下面以Modbus协议来介绍：

1）打开QTouch软件工程管理器如下图：

2）新建串口设备，选择ModbusRTU来配置串口，如图：

3）设备数据配点

在modbus设备中：

设备名：是新建串口时的设备名称

设备地址：是通信设备的modbus的地址（一般1-247,0地址是广播地址，248-255 是保留地址）

寄存器区：modbus的数据分区，分别为DO线圈，DI离散输入寄存器，AO保持寄存器，AI输入寄存器

寄存器地址：数据的地址

数据类型：多种数据类型（char ，unsigned char，short，word等数据类型 ）

读写类型：只读，只写，读写

最大值，最小值：数据的最大值和最小值得限制

初值：数据初始值 （目标值=采样值+初始值 例如初始10采样值10 则目标值是10 =10+10）

变比：数据的变比（目标值=变比乘以采样值 例如 变比是2，采样值是10则目标值是20=2*10）

配好的数据如下图：

4)将配好的工程下载到SmartDAQ智能数据采集器。

5)PC端上位机连接SmartDAQ智能数据采集器的实时数据，这时需要建上位机组态工程，如图：

6）新建网络设备

7）网络配置如下图：

8）数据配点（和SmartDAQ只能采集器数据数据建立一一映射），如图：

注意：SmartDAQ智能设备采集器实时数据库的设备地址是固定地址：200

SmartDAQ智能设备采集器实时数据库的寄存器区是：AO保持寄存器

SmartDAQ智能设备采集器实时数据库的寄存器地址是：以0开始，以2递增的

SmartDAQ智能设备采集器实时数据库的数据类型：Float单精度数据

至此SmartDAQ智能设备采集器与上位机工程的数据点一一映射完毕。

3.3 工程的下载和上载

1）工程下载到QT241N智能设备采集器，如图：

注意：第一次下载时需要勾选跟新主程序，以后可以直接下载工程。

SmartDAQ智能采集器的默认IP是：192.168.1.10 （ping 命令可以测试网络连接状态）

如果想将SmartDAQ智能采集器的IP修改为其他的IP，可以通过软件的运行菜单来修改IP如图：

2）SmartDAQ智能设备采集器的工程上载到PC，如图：

3.4 SmartDAQ设备IP和网关的修改

SmartDAQ设备IP和网关的修改可以再实时数据库中修改，打开QT241N工程，双击“实时数据库”，点击“连接”，连接SmartDAQ，点击修改ip图标，修改ip地址后点击“修改”，如图：

1. 基本内涵

目前在工业数据采集领域，多种工业协议标准并存，各种工业协议标准不统一、互不兼容，导致协议解析、数据格式转换和数据互联互通困难。

协议转换技术就是将不同的工业通信协议通过协议解析、数据转换和地址空间重映射等技术手段转换成统一协议，实现设备21数据采集的信息交互以及和信息系统的互联互通。可以支持常用的工业协议，通过协议转换降低了设备组网的难度，实现了访问的统一性。

点击上方关注，持续关注工业互联网数采发展；

2. 关键技术

OPC 基金会大力推动的 OPC UA 统一架构，是应用程序和现场控制系统连接的标准，可以通过一个统一接口实现多种工业协议标准的数据交换， OPC UA 是以 SOA、WebService 为核心的跨平台数据交换技术。

OPC UA 可用作数据传输的统一通讯协议，为互联互通提供了完善的解决方案。通过 OPC UA 提供了一致、完整的地址空间和服务模型，解决了过去同一系统的信息不能以统一方式被访问的问题。基于 OPC UA 消息的编码格式可以是 XML 文本格式或二进制格式，也可使用多种传输协议进行传输，比如：TCP 和通过HTTP 的网络服务；基于 OPC UA 的标准安全模型，应用程序之间传递消息的底层通信技术提供了加密功能和标记技术，保证了消息的完整性，也防止信息的泄漏；OPC UA 与平台无关，基于WebService 服务架构 (SOA) 和非常灵活的数据交换系统，保障软件开发不局限于任何特定系统平台。

3. 发展趋势：

OPC UA 的最大优势是与平台无关，在对传统的 OPC 进行拓展和兼容的同时，还考虑了 OPC UA 的安全性、冗余性等问题，具备极好的开放性。GE通过将数据采集转换模块Predix Machine22部署在现场传感器、控制器和网关，利用 OPC UA 技术实现工业以太网、工业现场总线等不同协议的转换。

OPC UA 技术由于具备开放性和稳定性，在国内已经取得了市场的认可和应用，随着我国智能制造和工业互联网的发展，OPCUA 技术应用及其标准规范将在各行各业得到广泛应用。

点击上方"关注"，持续关注工业互联网数采发展；

大数据的发展趋势

随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。

Google、Facebook、亚马逊、腾讯、百度、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。

机械行业的大数据

在机械领域，风力发电设备、航空发动机、高档数控机床等大型机械装备正在朝着高精、高效方向发展，装备的安全可靠运行举足轻重，必须依靠故障诊断理论与方法保驾护航。

由于需要诊断的装备群规模大、每台装备安装的测点多、数据采样的频率高、装备从开始服役到寿命终止的数据收集历时长，所以获取海量的数据，推动故障诊断领域进入了"大数据"时代。

机械大数据特性明显

机械大数据不仅具有大数据的共性，更有本领域的特性：大容量、低密度、多样性、时效性。它已经成为揭示机械故障演化过程及本质的重要资源，数据量的规模、解释运用的能力也将成为当代机械故障诊断最为重要的部分。

机械大数据的特性促使故障诊断亟需在现有基础上做出转变，并带来前所未有的机遇，不但是学术思维、研究对象还有分析手段和诊断目标都由传统思维转向了智能多层次的全局化思维。

大数据下的智能诊断

智能诊断摆脱了传统故障诊断方法过分依赖诊断专家和专业技术人员的困境，打破了机械装备诊断数据量大与诊断专家相对稀少之间的僵局，并有望成为大数据下机械装备数据处理与故障诊断的一把利器，是智能制造的关键组成，成为"中国制造2025"的重要内容。

现如今由于机械装备本身结构和机理复杂，再加上其所处复杂环境的干扰，以及其复杂任务带来的工况变化，致使机械装备大数据分析、处理与诊断仍旧困难重重。

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

点击上方"关注"，共同关注工业互联网的发展!

工业数据采集过程，包含多类工业设备接入、多种工业通信网络协议解析、多源工业数据格式转换、实时工业数据存储与预处理等多个环节，为实现多源设备、异构系统、运营环境、人等要素信息的实时高效采集，需要大量 IT、OT 与 CT 核心关键技术支撑。

本报告所列工业数据采集关键技术主要源于工业数据采集各相关方共同关切和发展急需的方面。工业数据采集主要涉及工业通信网络、协议转换、物体标识及解析、边缘计算、工业人工智能等关键技术。

(一) 工业通信网络

工业数据采集常用工业通信网络技术主要有工业现场总线、工业以太网、工业光纤网络、TSN、NB-IoT、4G/5G 等，总体上可16分为有线和无线通信网络技术。

有线通信网络技术主要包括现场总线、工业以太网、工业光纤网络、TSN 等，现阶段工业现场设备数据采集主要采用有线通信网络技术，以保证信息实时采集和上传，对生产过程实时监控的需求。

无线通信网络技术正逐步向工业数据采集领域渗透，已成为有线网络的重要补充。主要包括短距离通信技术 RFID、Zigbee、WIFI 等，用于车间内的传感数据读取、物品及资产管理、AGV 等无线设备的网络连接；专用工业无线通信技术 WIA-PA/FA、WirelessHART、ISA100.11a 等；以及蜂窝无线通信技术 4G/5G、NB-IoT 等，用于工厂外智能产品、大型远距离移动设备、手持终端等的网络连接。

1. 现场总线：

现场总线主要解决工业现场的智能化仪器仪表、控制器、执行机构等现场设备间的数字通信以及这些现场控制设备和高级控制系统之间的信息传递问题，是连接智能现场设备和自动化系统的全数字、双向、多站的通信系统。现场总线目前仍没有统一标准，很多公司都推出其各自的现场总线技术，但彼此的开放性和互操作性还难以统一，目前应用较多的有 Profibus、CAN、LonWorks、HART、Modbus 等。

现场总线在工业界使用时间较长，技术成熟稳定。现场总线仍然是目前工业环境应用最为广泛的工业网络，现场总线的简单17性、可靠性高的优点受到许多用户的喜爱。随着中国产业升级的进一步深化，现场总线作为智能制造和工业互联网的基础，预计从 2018 年开始新增节点数会逐步回升。

2. 工业以太网：

工业以太网是指在工业环境的自动化控制及过程控制中应用以太网的相关组件及技术。工业以太网采用 TCP/IP 协议，和IEEE 802.3 标准兼容，但在应用层会加入各自特有的协议。工业以太网实现了以太网 TCP/IP 协议与工业现场总线的融合，是在标准以太网协议基础上修改或增加一些特定的功能而形成的。工业以太网在发展过程中形成了多种协议标准，包括 Profinet、EthernetIP、Modbus/TCP、EtherCAT 等，这些协议背后皆有各自支持厂商，难以形成统一标准。

工业以太网最大的优势在于：能够使企业的信息网络和控制网络实现统一；以太网容易实现网络集成，开发技术广泛，价格较低，容易获得众多厂商的支持。

工业以太网近几年快速发展，技术逐渐成熟，电磁兼容性、高低温等工业特性已能够满足工业数据采集需求，在工业数据采集领域得到了广泛应用，近年来工业以太网的市场占比逐步上升。

3. 工业光纤网络

随着无源光网络（PON）技术在电信、电力行业的广泛应用，工业光纤网络已成为工业数据采集领域的一种新型组网技术。工业光纤网络在工业互联网体系架构中处于车间级网络位置，工业18光纤网络由汇聚设备 OLT、无源分光器、PON 接入设备 ONU 组成，可以提供多种工业接口，实现工业设备数据、生产数据到企业 IT系统的可靠有效地传输。

工业光纤网络在工业场景下最常用的组网方式是基于 TypeD 保护方式的手拉手保护链型组网和星型组网，实现全光路保护，提高了车间通信网络的可靠性，为制造企业的通信可靠性提供了坚实的保障。

工业光纤网络具有以下优点：PON 通过无源器件组网，不受电磁干扰和雷电影响；采用自愈环形网络支持并联型，切换时间短、抵抗失效能力强；点到多点传输架构，终端并行接入，部署灵活；仅需单根光纤线传输，最远覆盖 30 公里范围；多业务承载，支持数据、视频、语音、时间同步等多种业务；高安全性，PON 网络设置 ONU 安全注册机制，下行数据传送天然加密，上行数据传送时分机制隔离。

点击上方关注，共同关注工业互联网的发展!

4. TSN

TSN 是 IEEE 提出的一个国际标准，TSN 是为了解决工业领域中的互操作性孕育而生的标准协议，厂商设备之间可以进行非常好的互联互通。TSN 是基于以太网标准的确定性实时通信机制，定义了极其准确、极易预测的网络时间，具备高数据量传输与优先权设定功能等优势。TSN 是其它工业以太网协议的基础，现有的工业以太网协议未来将会成为 TSN 网络之上的专属网络协议，因此这类协议依旧会存在，但彼此之间不会互相取代。

通过为以太网增添诸多功能特性，有效地解决了工业数据采集数据在以太网传输中的时序性、低延时和流量整形问题。同时又保持了 100%向后兼容传统以太网，TSN 确保了关键任务型时间敏感数据在网络上不会滞留，有助于跨许多行业打造一个互操作性的生态系统。通过使用标准的以太网组件，TSN 可无缝集成现有棕色地带应用和标准的 IT 网络来提高易用性。此外，TSN 继承了 HTTP 接口和 WEB 服务，实现了工业数据采集系统所需的远程监控、可视化和修复功能。

5. NB-IoT

NB-IoT 是由 3GPP 定义的基于蜂窝网络的窄带物联网技术,它支持海量连接、有深度覆盖能力、功耗低，适合于传感、计量、监控等工业数据采集应用，可满足这些应用对广覆盖、低功耗、低成本的需求，目前广泛商用的 2G/3G/4G 及其他无线技术都无法满足这些挑战。

NB-IoT 单小区可支持 5 万用户，NB-IoT 可以比现有无线技术提供 50~100 倍的接入数；NB-IoT 比 LTE 提升 20dB 增益，很好实现广域覆盖,就算在地下车库、地下室、地下管道等信号难以到达的地方也能覆盖到。

NB-IoT 引入超长 DRX 省电技术和 PSM 省电态模式，可让设备时时在线，通过减少不必要的信令和在 PSM 状态时不接受寻呼信息来达到省电目的，保障电池 5 年以上的使用寿命。

6. 5G（第五代移动通信网络）

近些年 WiFi、Zigbee 和 WirelessHART 等无线通信网络技术已经在制造车间使用，但这些无线技术存在局限性，不能满足智能制造对于数据采集的灵活、可移动、高带宽、低时延和高可靠等通信要求。

5G 具有更高的速率、更宽的带宽，预计 5G 网速将比 4G 提高 10 倍左右，从行业应用看，5G 具有更高的可靠性，更低的时延，支持接入网络更多、密度更大，可以为关键任务型的服务提供保障能力。能满足工业数据采集的高带宽、低时延和高可靠性等网络通信需求，可保证工业信息实时采集和上传，从而实现对生产过程的实时监控。

从发展态势看，5G 目前还处于技术标准的研究阶段，5G 有望 2020 年正式商用。目前，有线连接在工业数据采集连接数量方面占主导地位。但预测显示，从 2022 年到 2026 年，5G 物联网连接的平均年复合增长率将达到 464%。

点击上方关注，共同关注工业互联网的发展!

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！