作者：深圳信立科技时间:2017-09-04来源：itbsxl点击数：11

在工业数据采集传输的方式上，可以分为有线和无线采集传输两种，采用有线通信方式的数据采集称为有线数据采集，而采用无线通信方式的数据采集称为无线数据采集。那么，了解有线和无线采集传输方式的各自优劣势，有助于在工业数据采集传输应用中选择更好的方式，减少建设成本，提供工作管理效率。

一、有线数据采集传输方式

1、安装布线十分不方便。需要架设电缆，或挖掘电缆沟，投入大量的人力和物力，大约75%的时间都消耗在安装和布线上；

2、局限性太大。在遇到一些特殊的应用环境，比如遇到山地、湖泊、林区等特殊的地理环境或是移动物体等布线比较困难的应用环境的时候，将对有线网络的布线工程有着极强的制约力；

3、扩展性比较差。在用户组建好一个通讯网络之后，常常因为系统的需要增加新的设备；如果采用有线的方式，需要重新的布线，施工比较麻烦；

4、调试维护比较麻烦。如果是安装在高处或空间比较窄的设备，需要先拆卸下来才能进行连线调试。

5、建设成本比较高。包括传感器通道和劳动力费用，造价相当高；

6、稳定性比较好。信号传输的稳定性比较好，抗干扰能力较强。

二、无线数据采集传输方式

1、安装比较灵活方便。无需挖沟布线，即插即用，只要负责数据采集的部分和传感系统相连，通讯部分依靠无线实现；

2、调试维护便捷。支持智能终端现场对工业级无线产品设备进行无线调试；工业级无线产品软硬件设备，包括XL90/91物联网智能网关、XL61无线温度传感器、XL61无线压力传感器、XL61无线气体传感器、XL51无线温湿度传感器、XL68智能环境监测装置RTU、XL60/65智能测控装置RTU、XL66智能转换器DTU、XL62环境监测传感器、XL.VIEW组态监控软件等。

3、扩展性比较好。只需将新增设备与无线产品设备连接就可以实现系统的扩充；

4、建设成本相对较低。无需布线或减少布线数量，节省了人力物力，节省了投资。

5、支持多种无线通讯方式。如2.4G，433M，GPRS，NB-IOT等。根据现场环境和用户的实际要求选择具体的无线通讯方式；

6、稳定性比较好。信号数据传输的稳定性、抗干扰能力不比有线系统差。

通过对比分析，无线数据采集传输方式的稳定性和抗干扰能力与有线数据采集传输方式相比略逊一筹，但是无线数据采集传输方式有其使用方便、成本相对较低的突出优点，凭借这些优点，它在供排水管网监测系统、供暖管网监测系统、热力管网监测系统、智慧农业温室大棚环境监测系统、智慧养殖环境监测系统、危化品储罐仓库监测系统、仓储馆藏等环境监测系统、园区等环境监测系统、工厂生产用电能耗监测系统、工厂车间无线数据采集系统、以及智能抄表、智能照明、水池水塔水位液位监测系统、消防栓及井盖监测系统、发动机、变频器、泵站监测系统等领域得到广泛的应用。

当前，无线数据采集传输方式是现代信息通信研究的重要组成部分，它与传感器网络、信息处理等作为现代数据监测控制的基本技术。深圳信立科技专业提供信号无线传输产品，及无线数据采集系统整体解决方案。随着各种技术的综合发展和应用，无线数据采集传输方式必将有更大的发展空间。

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

企业做精准营销

简单的来说就是利用互联网信息技术手段来实现个性化营销的活动

需要依靠大数据信息采集系统作支撑

企业精准营销可以从以下几个方面进行

1.存在于网络中的信息碎片是独立错乱的

需要将这些信息打通、链接实现信息共享

为此要构建大数据交换共享平台

实现用户的精准识别和数据汇集

2.利用大数据信息采集工具实现精准营销和用户维系

比如通过云速数据挖掘

采集筛选精准需求客户信息

进行一对一产品信息推广

提高营销转化率

3.实现运营精准化的基础是细分用户市场

要求根据用户的消费习惯、需求等分析研究

定位目标市场

才能为精准营销提供依据

最后要以客户为中心进行市场营销活动

传统的营销模式以产品为导向

对市场的反应速度缓慢

大数据时代的精准营销

是以客户的需求着手

进行市场营销活动

做网络营销

不论是个人还是公司都想要实现产品的渠道拓展和推广宣传

但绝大多数的企业都不能达成想要的效果

其实原因有很多

一、想要做好网络营销

客户是王道

没有强大的客户群做后盾

网络营销的销量不过是空想罢了

当下客户渠道大多以网络大数据信息采集的方式来获取

如云速数据挖掘

通过输入行业关键字

就能一键采集指定区域的客户信息和联系方式

省时高效

二、通过客户信息

从分考虑分析目标群体的生活轨迹和习惯

来预测客户下一步的消费行为

以正确的时间正确的方式传达产品信息

从而完成营销活动

三、产品文案的策划一定要以客户需求为重点

并且简单易懂、快速吸引客户眼球

才能使转化率达到最佳

在辅导企业开展绩效考核的过程中，发现绩效数据的提供是一项工程量浩大、繁琐的工作，也是考核中最容易出问题的地方，对于考核数据到底应该由谁提供，每个企业有着不同的认知，在操作中也各有不同，因此一个规范、严谨的程序是必须建立的。

今天在跟踪A公司绩效考评时发生了一件事引起了笔者的反思，事情的经过是这样的：人力资源部小张将各部门的考核打分表和考核数据汇总起来后，上报给分管领导审核，结果被分管领导一顿狠批，认为其中有几项考核指标的打分非常不合理，明明这个月已经接到了几个客户的投诉电话，可是现场服务的得分还是很高。小张非常的委屈，这些数据都是各个部门之间互相提供给对方的，双方也都签字确认了，人力资源部只是一个二传手，怎么可能知道数据是否准确，如果人力资源部要参与所有数据的提供和审核，那人力资源部还有什么精力去干别的？

但是在有些企业情况恰恰相反，一到考核打分的阶段，绩效专员就忙得团团转，因为各个部门的打分都找他要数据，甚至有些企业干脆就是由人力资源部给各部门打分的。绩效专员为了给各部门搜集数据，就只能找这个要、找那个要，找谁要谁都觉得你影响了我的工作，不积极配合，或者干脆推脱没有数据、应该由别人提供等等，数据好不容易收集上来了，人力资源部还得一一的审核和反复的确认，搞得绩效专员很头大，很无奈。

这两个现象很有意思，它们虽然是两个极端，但其实都是因为人力资源部没有梳理清楚自身在绩效管理过程中所能发挥的作用和应该履行的职责，人力资源部在整个绩效管理过程中仅承担组织者、技术支持者、信息提供者、监控者的作用，而不是亲力亲为者。一方面是因为人力资源部不可能对公司的所有业务和所有管理行为都了如指掌，另一方面也是因为各个部门自身必须对本部门的绩效负责任，而不能让人力资源部负责任。

具体到绩效管理的各个阶段，绩效计划阶段，人力资源部负责组织各部门制定绩效计划，并将各部门的绩效计划汇总起来，审视其对公司战略目标的支撑性，相互之间的牵制性、平衡性等问题，但对具体指标和标准只能是提供建议而已。绩效实施阶段，人力资源部负责跟踪各部门绩效管理日志的记录、绩效数据的积累工作，并不能参与其绩效实施过程。绩效评估阶段，人力资源部负责组织各部门考核打分，在这个过程中，人力资源部要负责为各部门的绩效打分提供数据平台，但不应该代替各部门打分。绩效改进阶段，人力资源部要负责跟踪各部门对绩差的指标或个人制定改进计划，并跟踪改进计划的实施情况，而不能对改进的结果负责。

其他几个方面的责任其实还是比较好界定的，大多数的企业也都能做到人力资源部和运营部门各尽其责，就在绩效数据到底由谁提供方面还存在着分歧。各部门在考核打分时，部分绩效数据必须来源于第三方，这是客观事实，也是绩效管理的要求。各部门通常既是数据的提供方，也是数据的需求方，这样就形成了纵横交错的一个网，如果不能梳理清楚，就会存在较大问题。

如A公司在刚开始实行绩效考评时，为了减轻人力资源部的工作量，没有采用笔者提出的数据采集程序和工具，而是让数据提供方和需求方自行对接，结果第一个月考核时，发现几乎没有一个部门有扣分或加分现象。究其原因，各部门有的是并没有找其他部门要数据，有的是去要了，对方没给，反正都是应付着打的分。因此第二个月考核时，人力资源部要求各部门在考核时，必须让数据提供部门在考核表上签字确认，这样情况确实好多了，基本真实反映了各部门的实际工作情况，但是繁琐的程序让各部门抱怨不断，对绩效考核的配合度也一直不高。

而另外一家公司就是相反的情况，有些考核指标是需要在各部门提供的数据基础上进行进一步计算的，例如成本降低额，是需要将当月的各产品成本按照不变价重新核算后与公司核定的标准成本进行比较，而财务部仅提供根据当月市场价格结算的成本，人力资源部必须根据不变价重新计算，造成了大量的工作量，并且被考核部门也总是在质疑人力资源部考核打分的合理性。

这两家公司我们都建议他们实施绩效数据的统一采集、集中审核流程，具体操作方式分为以下几步：

1、人力资源部在组织各部门建立考核指标时，就要求各部门明确其数据的来源部门，如果数据来源不明的，由人力资源部组织相关部门共同讨论确定。

2、人力资源部编制《绩效考核数据一览表》，按部门分类，将各个部门应该提供给其他部门的数据列示清楚，包括需求岗位、考核指标、指标说明、计算公式等，要求各部门分析提供的可能性后签字确认。

3、人力资源部根据考核周期收集各部门的《绩效考核数据一览表》，并根据重要程度排序，分别上报至相应的分管领导处审核，并采集部分来源自高层的考核信息，如客户的抱怨、各种分析报告的质量等。

4、人力资源部将审核汇总后的考核数据重新整理，按照数据需求部门分类反馈。

在上述流程中，人力资源部统一采集汇总数据，避免了各部门交叉提供数据的混乱和遗漏；分管领导对数据的审核，确保了数据的准确和高层信息的及时补充，提高了考核质量和效率；人力资源部统一将数据反馈给各部门，确保了各部门数据来源的客观和可信，简化了后续审核。

大家有好的想法，欢迎在评论区给我留言

MES制造执行系统的特点，就是能实时收集生产过程中的各类信息、数据，然后汇集到数据库中，作数据分析及供管理层查询。如何高效的采集车间的各类数据，是决定一个MES制造执行系统软件项目实施成败的重要关键环节。为您简单介绍一下几类常见的数据采集方式。

数据收集是MES制造执行系统业务进行的根本，也是MES制造执行系统进行统计分析的基础。MES制造执行系统软件应用中根据不同的数据、应用场景、人员能力、设备投入等方面的因素需要采用不同的数据收集方式，选择不同的数据收集设备。根据各类数据的分类，采用不同的数据采集方式。

1、必须录入的数据

必须录入的数据指系统必须直接从外部获得的数据。系统可以通过规格基础定义功能以及过程数据基础定义功能完全的自行建立属于企业自己的数据收集项目库。

例如产品的编码、产品流程、工序名称、工艺条件目标等。

2、系统自动生成的的数据

生产过程中的部分由事件触发的数据可以由系统在过程中自动收集，主要包括：工序开始操作的时间、结束时间、设备状态等。这一类的数据，可由时间触发之后，根据原本设定的基础数据，由系统自动收集。

3、通过条码采集的方式

通过条码收集制造数据的方式是最为普遍的方式之一。条码收集数据的前提是信息可以以编码的方式表达或与预设的数据通过编码建立对应关系。

条码方式可收集的数据主要包括：产品批号、物料批号、加工资源编号、运输资源编号、人员编号、异常类别、异常现象、设备状态(维修、保养、故障停机等)、作业开始、作业结束等。

条码可以提高数据录入的准确性，提高录入速度，且成本较低。因此，建议尽可能的将数据进行分类然后编码处理，转化成条码的方式表达以便于现场的数据采集。

4、传感器采集数据

某些行业对温度、压力、湿度等的要求有严格要求的，其相关数据来源可以增加各类传感器。采集模式主要为温度传感器、压力传感器、无线数据采集卡和PC等构成。

5、RFID数据采集

在汽车行业中，由于完全依据订单进行生产，并且几乎没有两辆完全一样的订购汽车，因此自动化的物流跟踪是顺利生产的前提条件。对于每道生产工序，必须要对汽车进行明确的识别，以避免诸如错误安装了空调、调漆颜色不对等问题。在装配流水线上应用RFID技术以尽可能大量地生产用户定制的汽车，用户可以从上万种内部和外部选项中选定自己所需要的颜色、引擎型号等，这样汽车装配流水线上就得装配上百种样式的汽车。在装配流水线上配有RFID系统，使用可重复使用的电子标签，该标签上可带有详细的汽车所需的所有信息，在每个工作点都有RFID读写器，这样可以保证汽车在各个流水线位置处能毫不出错的完成装配任务。

实时、准确的生产数据采集并实现是MES制造执行系统得以成功的重要基础，企业MES制造执行系统软件建设中应该充分考虑其数据采集的特点，在采集过程中，根据完整性、实时性原则、多种采集技术综合应用、人机结合原则、易于集成应用原则，运用多种数据采集方式，并利用计算机、数据网络语通信设备、各种技术标准和实时历史数据库软件的有机组合来实现生产数据的集成应用。

效率MES解决方案在自动化的基础上，显著提高工厂的智能化水平，降低人为因素的影响，便捷、“傻瓜式”的操作将大大降低人力成本。

来源：深圳效率科技efficient.hk

经过两周的整理总结，沉淀出来好多数据采集的经验与大家分享。

前嗅免费模板共享链接：http://forenose/help/collection/template/cases.html

1.如何进行数据采集？

①下载安装软件后，登录到软件上。

②准备好模板：在前嗅的官网上下载免费的模板或自己配置好的模板

③将下载的官网导入到软件中。

点击文件---点击导入采集文件（将采集文件导入，自己配置的模板请忽略这一步）

④在数据建表中建关联数据表

选中需要采集模板下的表单---点击创建关联数据表，所创表名不能为汉字，点击确定---在所创数据表前的方框打勾即可关联数据表。详情见下图。

此时在数据浏览中就存在了刚刚建的关联数据表。

⑤进行数据采集。

在需要进行数据采集的模板前打勾--点击允许采集--点击开始按钮即可进行数据采集。详情见下图。

⑥数据预览及导出

选中关联表---点击刷新按钮即可查看数据---点击导出按钮即可导出数据。详情见下图。

多种导出方式：

a.可以将采集到的数据全部导出。

b.可以将数据分割导出，设置特定数目后数据会分别储存放在文件夹中。

c.可以将每个字段所采集到的内容分别导出到不同文件夹，方便查看。

数据导出教程：

http://forenose/help/guildbook/crawler_new/5-2.html

2.所采集的网站弹验证码是怎么回事？

弹验证码分为四种情况：

①登录需要验证码：登录时只需要一个验证码，所以直接手动填写配置即可。

②多账号登录：每次账号登录都需要验证码，此时应该接第三方打码平台。

前嗅（forenose）是首个深度大数据专家。

提供数据采集-分析-处理-管理-营销-应用，自主知识产权的全套大数据产品 。

最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。