企业进行智慧工厂升级，核心问题便是，它能给企业带来怎样的变化(效益)，能节能降本多少。可以肯定的是，从传统制造到智能制造，绝不仅仅是简单的效率提升，包括生产效率、监管效率、仓储效率以及整个生产流程均有提升，它会在DNA层面改变一家企业。

目前，想要做好传统制造到智能制造的过渡，当务之急是将流程数字化，这是智慧工厂的必经步骤，现在我国大部分企业连数字化工厂都称不上，更不要谈智慧工厂了。

即使想完成企业数字化，对于我国大多数企业依旧是大难题。需要高层领导有足够大的魄力。首先企业需要明确自己做智慧工厂的目标，包括数字化愿景、对企业进行评估发现不足，最后做出详细规格化。然后进行：企业设计(规划)、具体执行、数字管控系统等等多个领域的融合，最终实现数据通源、虚实融合、绿能高效及智能制造。

然而，企业数字化中的产品配置，制造流程越复杂越多变，越需要人的参与；工人更多地是处理异常情况，调整设备。其中，数据采集一直是困扰着所有制造工厂的传统痛点，自动化设备品牌类型繁多，厂家和数据接口各异，只要还有其他人工参与环节，这些数据就不完整。

工业生产数据采集方式

工业生产设备数据采集有三种方式：分别是数据系统直接联网通信，通过工业网关进行采集和通过远程IO进行采集。

1、直接联网通信

直接联网是指借助数控系统自身的通信协议、通信网口，不添加任何硬件，直接与车间的局域网进行连接，与数据采集服务器进行通信，服务器上的软件进行数据的展示、统计、分析，一般可实现对机床开机、关机、运行、暂停、报警状态的采集，及报警信息的记录。

高端数控系统都自带有用于进行数据通信的以太网口，通过不同的数据传输协议，即可实现对数控机床运行状态的实时监测。发那科0i\31i\18i系列的数控系统在操作面板背面都配置有网口，通过发那科的FOCAS协议，就可以进行直接联网通信；西门子840D系统，PCU50版本以上的也可以通过OPC协议进行设备的直接联网通信。

2、工业网关采集

对于没有以太网通信接口，或不支持以太网通信的数控系统，可以借助工业以太网关的方式连接数控机床的PLC控制器，实现对设备数据的采集，实时获取设备的开机、关机、运行、暂停、报警状态。

工业通信网关可以在各种网络协议间做报文转换，即将车间内各种不同种类的PLC的通信协议转换成一种标准协议，通过该协议实现数据采集服务器对现场PLC设备信息的实时获取。

3、远程IO采集

对于不能直接进行以太网口通信，又没有PLC控制单元的设备，可以通过部署远程IO进行设备运行数据的采集，通过远程IO的方式可以实时采集到设备的开机、关机、运行、报警、暂停状态。

远程IO模块，是工业级远程采集与控制模块，可提供了无源节点的开关量输入采集，通过对设备电气系统的分析，确定需要的电气信号，连接入远程IO模块，由模块将电气系统的开关量、模拟量转化成网络数据，通过车间局域网传送给数据采集服务器。

编辑：Nistone乐石科技（乐渠 | 泛家居新零售解决方案供应商）

根据工作要求，有时候会安排发放一些基本信息调查表，内容各不相同，等收回来的时候，一个一个文档进行重新录入，工作量十分巨大。有没有好的办法能够自动将数据统一录入到一起呢？Office的最大优势就是联动，尤其从2013版本开始，PPT、Word、Excel里功能互相融合的趋势更加明显。今天小编就分享一个通过Word文件收集信息，使用Excel自动摘录数据的方法。

首先按照正常的工作要求制作Word信息收集表，制作完毕后修改待填信息框，切换到开发模式选项卡，点击“Aa”格式文本内容控件（如果没有，点击文件—选项—自定义功能区，右侧勾选“开发工具”）。

接下来单击信息框然后在开发工具中点选“设计模式”。

弹出对话框输入标题，这就是信息框的信息提示文字，要是有需求，还可以修改边框颜色、文本样式等等。

每个信息框都做了相应的修改后，点击开发模式中的“限制编辑”，在Word右侧栏中，勾选“限制对选定的样式设置格式”和“仅允许在文档中进行此类型的修改”并选中“填写窗体”。

Word部分就设置完毕了，这时候可以将文件发送给被收集信息者，待返回后，开始用Excel批量自动摘录Word填表信息。打开Excel，同样是切换到开发工具选项卡，点选最左侧的“Visual Basic”。

双击Sheet1，填写宏代码（登录PC版微信，订阅号中找到办公便签，点击查看历史消息找到本文再进行复制）：

Option Base 1

Sub readDoc()

Dim WordApp As Word.Application

Set WordApp = CreateObject("Word.Application")

Dim WordDoc As Word.Document

Dim diag1 As FileDialog

Dim return1 As String

Dim filePathArray()

Set diag1 = Application.FileDialog(msoFileDialogFilePicker)

'定义文件选择对话框

With diag1

.AllowMultiSelect = True '设置文件选择对话框能够选择多个文件

return1 = .Show '打开文件选择对话框

n = .SelectedItems.Count '将选中文件个数保存至变量n

If return1 = -1 Then

'如选中文件(retun1=-1)则将选中的文件路径保存到filePathArray数组

ReDim filePathArray(n)

For i = 1 To n

filePathArray(i) = .SelectedItems(i)

Next

Else '如果未选中任何文件则提示

MsgBox "未选择任何文件", vbExclamation

End If

End With

For j = 1 To n

Set WordDoc = WordApp.Documents.Open(filePathArray(j))

'根据filePathArray数组中的路径逐个打开Word文件

Dim ccSet

Set ccSet = WordDoc.ContentControls

'将ccSet设为打开文档的内容控件集合

i = 1

For Each cc In ccSet '遍历所有内容控件

Application.ActiveSheet.Cells(j, i) = cc.Range.Text '将内容控件内容保存至单元格

i = i + 1

Next

WordDoc.Close '关闭当前Word文档

Next

WordApp.Quit

End Sub

注意，抄录好宏代码后，不要着急关闭，点选当前Visual Basic界面上方工具栏的“工具—引用”，在“可使用的引用”中找到“Microsoft Word 16.0 Object Library”并勾选确定（Word2013中名称略有不同）。

回到Excel主界面，还是在开发工具选项卡中，点击“宏”，选中刚才编辑的这个宏命令，单击“运行”，这时Excel会自动弹出文件选择框，找到要摘录信息的Word文档点选打开，Excel就可以开始自动摘录信息了。这样一来，数据摘录的工作就完全依靠电脑自动完成了，大大节省了工作时间，也避免了手工摘录的出错几率。

                                                                                                                ——电脑爱好者

FC-Gateway数据采集接口网关是北京华恒信远专门为工业标准通讯接口OPC Server软件、数据采集接口软件配套定制开发的一款嵌入式硬件产品，内置两个标准RS-232串口（其中一个串口可以通过跳线设置成RS-485）和两个RJ45以太网口，型号为Gateway-227B， 此外，还有Gateway-240B、Gateway-230B等嵌入式工控机型号。 该设备操作系统有Windows、Linux两种，其功能与特点如下： 1、OPC服务器：可连接DCS、PLC等控制系统，读写实时数据，包装成OPC Server工业标准通讯接口，提供给实时数据库系统、先进控制系统和MES系统集成商； 2、安全隔离：当数据采集接口网关为实时数据库系统提供实时数据时，它一般位于自动化控制系统和实时数据库服务器之间，由于数据采集接口网关采用了内置单向数据传输技术，可达到自动化控制系统和实时数据库服务器之间的安全隔离目的。 3、该产品操作系统、数据采集程序等均固化，不可修改。一旦被修改，重新启动后，自动恢复到初始状态，可防止病毒以及黑客软件攻击。 4、结构先进、安装方便，该产品高度1U，可以直接安装在标准机柜中，独特的散热技术，1U机箱有多个磁悬浮风扇散热。 5、数据采集冗余设计：支持双机双网冗余通讯。 6、可作为InfoPlus.21、PI、PHD等实时数据库系统的数据采集终端，也可写数据至关系数据库，为MIS、ERP等管理信息系统提供生产实时数据。

经过两周的整理总结，沉淀出来好多数据采集的经验与大家分享。

前嗅免费模板共享链接：http://forenose/help/collection/template/cases.html

1.如何进行数据采集？

①下载安装软件后，登录到软件上。

②准备好模板：在前嗅的官网上下载免费的模板或自己配置好的模板

③将下载的官网导入到软件中。

点击文件---点击导入采集文件（将采集文件导入，自己配置的模板请忽略这一步）

④在数据建表中建关联数据表

选中需要采集模板下的表单---点击创建关联数据表，所创表名不能为汉字，点击确定---在所创数据表前的方框打勾即可关联数据表。详情见下图。

此时在数据浏览中就存在了刚刚建的关联数据表。

⑤进行数据采集。

在需要进行数据采集的模板前打勾--点击允许采集--点击开始按钮即可进行数据采集。详情见下图。

⑥数据预览及导出

选中关联表---点击刷新按钮即可查看数据---点击导出按钮即可导出数据。详情见下图。

多种导出方式：

a.可以将采集到的数据全部导出。

b.可以将数据分割导出，设置特定数目后数据会分别储存放在文件夹中。

c.可以将每个字段所采集到的内容分别导出到不同文件夹，方便查看。

数据导出教程：

http://forenose/help/guildbook/crawler_new/5-2.html

2.所采集的网站弹验证码是怎么回事？

弹验证码分为四种情况：

①登录需要验证码：登录时只需要一个验证码，所以直接手动填写配置即可。

②多账号登录：每次账号登录都需要验证码，此时应该接第三方打码平台。

前嗅（forenose）是首个深度大数据专家。

提供数据采集-分析-处理-管理-营销-应用，自主知识产权的全套大数据产品 。

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！