前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

网络分流器｜高速骨干网流量采集与分流实现方案

1， 流量采集｜戎腾网络分流器

所谓流量采集，就是将网络流量通过物理层、数据链路层的信号解析和解帧，实现IP原始报文的获取。骨干网流量采集系统是一种对骨干网进行流量获取并分析的系统，主要应用于政府网络管理、运行商广告推送、运行商计费取证服务、运行商信令监控服务、园区网审计、公安网监、大数据分析等领域。

2， 高速网络流量采集系统｜网络分流器

随着以太网技术和光纤通信技术的应用，骨干网带宽的增长及规模的扩大，大规模的网络流量采集面临着数据规模庞大和流量日益复杂的挑战，传统的基于软件的流量采集技术的性能已然无法满足要求。现有的高速骨干网流量采集方案主要分为三类：基于多核处理器的流量采集方案，基于交换芯片的流量采集方案，和基于FPGA的网络流量采集方案。

每种方案各有特色，下文将一一进行说明。

a) 基于多核处理器的戎腾高速网络流量采集系统

多核处理器能够提供强大的并行计算能力，应用于流量采集系统的主要型号有Broadcom的XLP、XLR、XLS，Cavium的CN6880、CN5880，以及Tilera的TILE-GX36等。采用此方案的系统可编程实现流量采集，还可对报文进行修改，具有非常高的灵活性。但系统CPU的处理能力有限，无法真正实现线速处理，整体性能不会很高，但是由于有处理器的参与，比较复杂的处理，如流表的管理、应用层协议识别、Radius上线与报文绑定等功能比较容易实现。

网络分流器｜戎腾高速骨干网流量采集与分流实现方案

图1一种基于CaviumCN6880的戎腾流量采集器CDP2000

b) 基于交换芯片的高速网络流量采集系统

交换芯片的价格较便宜，且有成熟的套片解决方案可供参考。但其过滤功能非常弱，只支持非常简单的精确多元组过滤，无法做深度报文检测（DPI: Deep Package Inspection），且无法支持POS和WAN等以太网接口，这也使得基于交换芯片的流量采集方案在实际使用的范围受到限制。

c) 基于FPGA的高速网络流量采集系统

基于FPGA的解决方案目前较少，主要原因是FPGA芯片价格较贵，且需自行设计所有高速电路和过滤算法，技术门槛较高，需要深厚的研发能力。但其兼有多核系统的高灵活性和交换系统的高性能，优势也是非常明显的。

图2基于FPGA的100G戎腾网络流量采集系统HFC602

表1 三种流量采集方案的比较

基于多核处理器　　基于交换芯片　　　基于FPGA

芯片价格　　　　　　　一般　　　　　　　　较低　　　　　　　较高

硬件设计难易度　　　　一般　　　　　　　　较容易　　　　　　较难

软件开发难易度　　　　一般　　　　　　　　较容易　　　　　　较难

常见网络接口的兼容性　　中　　　　　　　　低　　　　　　　　高

流量采集的灵活性　　　　高　　　　　　　　低　　　　　　　　一般

是否实现线速处理　　　　否　　　　　　　　否　　　　　　　　是

基于多核处理器+交换芯片的流量采集方案是目前应用最为普遍的方案，虽然系统整体价格略贵，但软硬件发开难度不大，入门门槛较低。

但随着FPGA的发展，其内部资源日益丰富，特别是内部嵌入了大量IP核，在处理速率、逻辑容量等方面不断提升，基于FPGA的方案受到了越来越多的关注，国内外许多研究机构及公司先后推出了基于FPGA的网络流量采集系统。

图2所示是常见基于FPGA的流量采集系统的结构图，流量采集及预处理平台获取网络端口送来的网络数据包，并对数据包进行流量统计和分析，最终根据流量分析的结果将网络数据包进行分流重新转发回网络中。系统采用硬件和软件协同实现设计思路，对于数据包的协议解析、数据预处理都由硬件电路实现；后端服务器进行流量的具体分析处理。通过预处理平台对流量进行分类归并和低负载数据传输，有效减少了后端服务器的工作量；服务器对预处理后的数据进行处理，可以有效降低流量处理过程的负载开销。

网络分流器｜高速骨干网流量采集与分流实现方案

3 小结｜戎腾网络分流器

戎腾网络推出的100G采集设备（采用ATCA-NTW6401机箱和HFC602业务处理板卡）是目前市面上唯一经过了实网验证的设备，10G独立机箱设备（PET160/320）是目前最大密度的协转设备，3G/LTE产品（ATCA-NTW6402）由于采用软硬结合方案（FPGA+NPU），单板处理能力达到40G bps 3G GRE/ 160G LTE，具有最高性价比｜网络分流器

点击上方"关注"，共同关注工业互联网的发展!

工业数据采集过程，包含多类工业设备接入、多种工业通信网络协议解析、多源工业数据格式转换、实时工业数据存储与预处理等多个环节，为实现多源设备、异构系统、运营环境、人等要素信息的实时高效采集，需要大量 IT、OT 与 CT 核心关键技术支撑。

本报告所列工业数据采集关键技术主要源于工业数据采集各相关方共同关切和发展急需的方面。工业数据采集主要涉及工业通信网络、协议转换、物体标识及解析、边缘计算、工业人工智能等关键技术。

(一) 工业通信网络

工业数据采集常用工业通信网络技术主要有工业现场总线、工业以太网、工业光纤网络、TSN、NB-IoT、4G/5G 等，总体上可16分为有线和无线通信网络技术。

有线通信网络技术主要包括现场总线、工业以太网、工业光纤网络、TSN 等，现阶段工业现场设备数据采集主要采用有线通信网络技术，以保证信息实时采集和上传，对生产过程实时监控的需求。

无线通信网络技术正逐步向工业数据采集领域渗透，已成为有线网络的重要补充。主要包括短距离通信技术 RFID、Zigbee、WIFI 等，用于车间内的传感数据读取、物品及资产管理、AGV 等无线设备的网络连接；专用工业无线通信技术 WIA-PA/FA、WirelessHART、ISA100.11a 等；以及蜂窝无线通信技术 4G/5G、NB-IoT 等，用于工厂外智能产品、大型远距离移动设备、手持终端等的网络连接。

1. 现场总线：

现场总线主要解决工业现场的智能化仪器仪表、控制器、执行机构等现场设备间的数字通信以及这些现场控制设备和高级控制系统之间的信息传递问题，是连接智能现场设备和自动化系统的全数字、双向、多站的通信系统。现场总线目前仍没有统一标准，很多公司都推出其各自的现场总线技术，但彼此的开放性和互操作性还难以统一，目前应用较多的有 Profibus、CAN、LonWorks、HART、Modbus 等。

现场总线在工业界使用时间较长，技术成熟稳定。现场总线仍然是目前工业环境应用最为广泛的工业网络，现场总线的简单17性、可靠性高的优点受到许多用户的喜爱。随着中国产业升级的进一步深化，现场总线作为智能制造和工业互联网的基础，预计从 2018 年开始新增节点数会逐步回升。

2. 工业以太网：

工业以太网是指在工业环境的自动化控制及过程控制中应用以太网的相关组件及技术。工业以太网采用 TCP/IP 协议，和IEEE 802.3 标准兼容，但在应用层会加入各自特有的协议。工业以太网实现了以太网 TCP/IP 协议与工业现场总线的融合，是在标准以太网协议基础上修改或增加一些特定的功能而形成的。工业以太网在发展过程中形成了多种协议标准，包括 Profinet、EthernetIP、Modbus/TCP、EtherCAT 等，这些协议背后皆有各自支持厂商，难以形成统一标准。

工业以太网最大的优势在于：能够使企业的信息网络和控制网络实现统一；以太网容易实现网络集成，开发技术广泛，价格较低，容易获得众多厂商的支持。

工业以太网近几年快速发展，技术逐渐成熟，电磁兼容性、高低温等工业特性已能够满足工业数据采集需求，在工业数据采集领域得到了广泛应用，近年来工业以太网的市场占比逐步上升。

3. 工业光纤网络

随着无源光网络（PON）技术在电信、电力行业的广泛应用，工业光纤网络已成为工业数据采集领域的一种新型组网技术。工业光纤网络在工业互联网体系架构中处于车间级网络位置，工业18光纤网络由汇聚设备 OLT、无源分光器、PON 接入设备 ONU 组成，可以提供多种工业接口，实现工业设备数据、生产数据到企业 IT系统的可靠有效地传输。

工业光纤网络在工业场景下最常用的组网方式是基于 TypeD 保护方式的手拉手保护链型组网和星型组网，实现全光路保护，提高了车间通信网络的可靠性，为制造企业的通信可靠性提供了坚实的保障。

工业光纤网络具有以下优点：PON 通过无源器件组网，不受电磁干扰和雷电影响；采用自愈环形网络支持并联型，切换时间短、抵抗失效能力强；点到多点传输架构，终端并行接入，部署灵活；仅需单根光纤线传输，最远覆盖 30 公里范围；多业务承载，支持数据、视频、语音、时间同步等多种业务；高安全性，PON 网络设置 ONU 安全注册机制，下行数据传送天然加密，上行数据传送时分机制隔离。

点击上方关注，共同关注工业互联网的发展!

4. TSN

TSN 是 IEEE 提出的一个国际标准，TSN 是为了解决工业领域中的互操作性孕育而生的标准协议，厂商设备之间可以进行非常好的互联互通。TSN 是基于以太网标准的确定性实时通信机制，定义了极其准确、极易预测的网络时间，具备高数据量传输与优先权设定功能等优势。TSN 是其它工业以太网协议的基础，现有的工业以太网协议未来将会成为 TSN 网络之上的专属网络协议，因此这类协议依旧会存在，但彼此之间不会互相取代。

通过为以太网增添诸多功能特性，有效地解决了工业数据采集数据在以太网传输中的时序性、低延时和流量整形问题。同时又保持了 100%向后兼容传统以太网，TSN 确保了关键任务型时间敏感数据在网络上不会滞留，有助于跨许多行业打造一个互操作性的生态系统。通过使用标准的以太网组件，TSN 可无缝集成现有棕色地带应用和标准的 IT 网络来提高易用性。此外，TSN 继承了 HTTP 接口和 WEB 服务，实现了工业数据采集系统所需的远程监控、可视化和修复功能。

5. NB-IoT

NB-IoT 是由 3GPP 定义的基于蜂窝网络的窄带物联网技术,它支持海量连接、有深度覆盖能力、功耗低，适合于传感、计量、监控等工业数据采集应用，可满足这些应用对广覆盖、低功耗、低成本的需求，目前广泛商用的 2G/3G/4G 及其他无线技术都无法满足这些挑战。

NB-IoT 单小区可支持 5 万用户，NB-IoT 可以比现有无线技术提供 50~100 倍的接入数；NB-IoT 比 LTE 提升 20dB 增益，很好实现广域覆盖,就算在地下车库、地下室、地下管道等信号难以到达的地方也能覆盖到。

NB-IoT 引入超长 DRX 省电技术和 PSM 省电态模式，可让设备时时在线，通过减少不必要的信令和在 PSM 状态时不接受寻呼信息来达到省电目的，保障电池 5 年以上的使用寿命。

6. 5G（第五代移动通信网络）

近些年 WiFi、Zigbee 和 WirelessHART 等无线通信网络技术已经在制造车间使用，但这些无线技术存在局限性，不能满足智能制造对于数据采集的灵活、可移动、高带宽、低时延和高可靠等通信要求。

5G 具有更高的速率、更宽的带宽，预计 5G 网速将比 4G 提高 10 倍左右，从行业应用看，5G 具有更高的可靠性，更低的时延，支持接入网络更多、密度更大，可以为关键任务型的服务提供保障能力。能满足工业数据采集的高带宽、低时延和高可靠性等网络通信需求，可保证工业信息实时采集和上传，从而实现对生产过程的实时监控。

从发展态势看，5G 目前还处于技术标准的研究阶段，5G 有望 2020 年正式商用。目前，有线连接在工业数据采集连接数量方面占主导地位。但预测显示，从 2022 年到 2026 年，5G 物联网连接的平均年复合增长率将达到 464%。

点击上方关注，共同关注工业互联网的发展!

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！