南京旭诺信息技术有限公司(xunoi)，全球最佳财税解决方案供应商，完善在华企业财税管理模式，提升管理效率。定期分享各类财税解决方案和行业咨询。

山东省、浙江省、江苏省、四川省、上海市作为全国进出口重要地区，均吸引了世界各个国家和地区的投资者在华设立企业，随着进口跨境电商交易额的不断攀升，企业进口产业发展势头猛进，同时也带来了的海关进口税费管理和申报的难题。

根据《国家税务总局 海关总署 关于实行海关进口增值税专用缴款书“先比对后抵扣”管理办法有关问题的公告》（国家税务总局海关总署公告2013年第31号）规定，企业进口业务在取得海关进口缴款书后，需进行稽核比对申报，相符后才能进行抵扣。

如上图所示，企业取得海关进口增值税缴款书后，或在通用税务数据采集软件、三小票系统、或在各省市网上申报系统中，录入缴款书号码、填发日期、税款金额、进口口岸名称和进口口岸代码，录入完毕后进行上传比对，稽核比对结果相符的缴款书才能抵扣，不符、滞留、缺联则无法抵扣税款。上述传统的进口缴款书稽核比对流程，由于录入效率和准确率双低，给企业海关进口税费管理带来不小的挑战和难题，严重掣肘了企业财务管理流程。

旭诺信息进口增值税管理系统的问世，从根本上解决了企业海关完税凭证抵扣环节的各种问题，旭诺系统自动生成海关缴款书稽核比对所需的数据，通过接口对接自动传输到网上申报系统，数据来源海关，全程自动化完成，无需人为录入干预，保证了数据的100%准确率以及极高的申报速度。

旭诺信息专注为中国税务系统提供全方位的信息化支撑与专业服务，在海关税单改革过程中持续投入大量市场和研发力量，为进口企业提供更加高端的海关税单/缴款书打印、申报、稽核预警一体化服务。企业使用旭诺进口增值税管理系统后，原本需要财务人员花费数天时间完成的缴款书申报工作，现如今3分钟就能高效完成，大大提升了财务工作效率，系统导出的海关税费各项数据还可应用于报表统计、数据分析等方面。

目前，采用旭诺进口增值税管理系统管理进口税费的企业已遍布全国各个省市和地区，其中不乏世界500强企业和大型集团公司，包括东方航空、特斯拉、沃尔沃、LG集团等等。旭诺信息在与各地企业沟通和服务中的不断深挖企业需求，旨在为更多企业提供进口税费管理解决方案。

旭诺解决方案优势：

提升财务价值：财务人员无需浪费时间在低级的手工录入上，可根据数据进行更有价值的统计分析工作。

规避税务风险：准确的海关缴款书电子数据+申报期限预警+稽核比对功能，让企业无需担心数据错、漏、丢，帮助企业规避税务风险。

提高企业效率：自动申报缴款书更加便捷、高效，大大提高企业的工作效率，降低人工成本。

完成数据共享：打通财务、关务部门共享海关进口税费数据渠道，一个系统服务多个部门。

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。

【联动i访谈第236期-物联网跨界专场】

时间：2017.08.09，周三晚21:00-22:30

嘉宾：邢振中，杭州诺朗科技有限公司创始人

主持人：索武生，重庆芯原微科技有限公司创始人

组织者：联动原素&《物联网与云计算》杂志

嘉宾介绍：

邢振中，杭州诺朗科技有限公司创始人，长期从事传感云平台的软硬件研究和推广，致力于为中小型企业提供绿色、可靠、安全、便捷的物联网平台。应用领域包括农业、养殖业、供暖、节能、环保、气象、医药冷链等等，在瑞典设有分公司，负责欧洲业务。

主持人介绍:

索武生，重庆芯原微科技有限公司创始人。电子科技大学微电子与固体电子学院材料学硕士毕业，高级工程师。12年模拟集成电路设计经验，15年传感芯片从业经验。从事过从敏感材料合成、器件结构和制备工艺设计、芯片设计到测试的整个研发流程环节，在微功耗模拟电路、功率驱动IC、军工专用IC、传感等领域积累了多年行业经验。

重庆芯原微科技有限公司是一家专注于物联网基础传感芯片研发及市场化应用的新兴初创公司。目前公司已量产压力芯片两款,2016年获评重庆市“科技小巨人”企业荣誉称号。

精彩吐槽

主要问题

主持人:感谢诺朗科技的邢总接受联动原素“i访谈”邀约，与我们分享您的创新故事！请介绍一下咱们杭州诺朗科技的发展历程

邢振中：杭州诺朗科技有限公司在2010年10月成立，

12年6月推出双模数据通信模块并在气象部门使用；

13年推出无线温湿度采集器；

14年推出传感云平台；

15年推出通用数据采集器；

16年在完善平台和产品的同时，将产品推向欧洲市场；

17年开放传感云平台接口，并在同行业中率先开源APP源代码。

预计10月份推出基于NB-IoT的通用数据采集器。

主持人：做为物联网企业成立很早啊。有哪些独门绝活呢

邢振中:嗯，因为自己就是学嵌入式系统和服务器相关专业。

主持人：哦,主要是做平台?

邢振中：通用传感采集器和传感云就是我们的绝活。

主持人:能否介绍一下贵公司的传感云平台？

邢振中:传感云是采集、传输、存储、可视化、接口、APP一体的传感器与应用服务平台。传感云强大的软硬件结合能力和人性化的产品设计，降低了工业产品的复杂程度和服务成本，满足了中小型企业在物联网时代的迫切需求。传感云不仅开放API接口，而且在业内首次开源APP代码，正真意义上从开放走向开源，进一步满足了中小型企业对于应用软件个性化定制的需求。

主持人：我对贵司采集器感兴趣,通用是如何体现的?

邢振中：传感器常见就是模拟量和数字量，以及各有协议，协议主要有modbus协议，我们都支持比较好。

主持人：相当于数据接口协议转换器?

邢振中：对。

主持人：那确实不错,解决了互联互通中自说自话的非标问题。

邢振中：考虑到做平台软件的人对于底层的socket通信不熟悉，我们的采集器支持http上传数据。当然还包括我们自己的私有协议

主持人：您说的这些私有协议是体现在采集器里?还是在云端?还是划分在端和云都有。

邢振中:采集和传感云之间是用私有协议传输

主持人：确保数据安全?

邢振中：嗯。我们有AES加密和MD5签名

主持人:那贵公司的物联网传感云平台与其它平台如AWS IoT,GE的Predix，西门子的Mindsphere等相比，有什么异同?刚才说的这个算是一个显著优点

邢振中：我们提供的是一种SaaS服务主要区别在，我们传感云直接面向终端用户。

主持人：贵司设计这个物联网平台的核心理念是什么?操作系统是自己的?

邢振中：我们有个标语：我们不生产传感器，我们只是传感数据的搬运工。

主持人：很幽默啊。

邢振中：便于理解，防止我们的客户以为我们要抢他们的生意。

主持人：那这个数据所有权是谁的?或者说从业务流程上是不是在打算贩卖数据？

邢振中：目前没有对数据用于除传感云功能以外的商业用途和非商业用途。不会贩卖数据。

主持人：看来有合作共赢可能，我觉得做为客户，物联网时代数据安全是刚需。如何保证不会贩卖数据，有技术措施吗？

邢振中：是的，数据安全方面我们也在加强。我们在和第三方的数据安全公司洽谈合作，预计第四季度会有相关的结果。所以只有用本身才能看到明文数据，连我们传感云的工作人员也无法了解。

主持人：看来考虑的还是比较全面了,那贵司物联网平台有哪些的真实应用服务场景呢,能否举例说些?

邢振中：所以只有用户本身才能看到明文数据。养殖业，农业，医药冷链，供暖，节能环保，智慧消防，都有案例。

比如江苏立华牧业（养殖业龙头企业）就是我们的客户，我们帮他们监测鸡舍环境；还有惠仁堂（连锁药店）的药店阴凉柜监测也是我们的做的。无法一一列举

主持人:看来也积累了不少了,那您认为通过这些年的努力,贵司在产品、技术、商业模式及团队管理等方面做出了哪些创新

邢振中：说几个典型案例

通过面向用户需求的产品设计和技术升级，使工业产品使用更便捷，不需要专业知识，将原本只能在2B业务中使用的产品引入到2C的客户群当中。

反过来，将服务2C的用户体验带入到2B业务当中，降低2B业务的维护成本。

消防的场景目前主要是监测消防管网的压力，需求量巨大。我们帮助上海某压力表公司建立一套消防管网压力的在线监测系统。不仅是城市级的户外应用，同时建筑内的也需要。

主持人：谢谢刑总分享的案例,贵司创新有点拗口啊,可不可以理解为,2C傻瓜化,2B屌丝化?

邢振中:精辟。

主持人:那这几年贵司在发展中遇到的最大问题，和机遇您觉得分别是什么？

邢振中：现在物联网处于大发展阶段，大部分的物联网平台在同一起跑线上，我们从2010年聚焦物联网平台，已经走在了前头。当然，我们有我们的不足。我们的起点比较低。

主持人：起点低是指意思?

邢振中：靠自己一点点摸索出来的。我们创业团队很年轻，没有大公司的光环，没有雄厚的资金支撑，没有大公司背书，有点像是游击队。但是我们会成为正规军。

主持人：这个我觉得在物联网行业不算缺点,大浪淘沙,是金子就会闪光

邢振中：谢谢鼓励，我们继续努力。所以要感谢“i访谈”给我们宝贵的机会，向大家展示传感云。

主持人：既然贵司已经走到了前头,那您觉得未来哪些方面的发展或者改变，比如技术、商业模式、合作伙伴等，会对贵司传感云的发展带来挑战？或者成为其发展的助力？

邢振中：技术的不断更新和商业模式的转变会给我们传感云带来挑战。

主持人：这个像外交辞令啊,能否举例说明哪些技术的不断更新和哪样商业模式的转变会形成怎样的挑战和威胁?

邢振中：比如现在热议的NB-IoT技术。

主持人：我个人觉得这也是很多物联网行业相关从业者在关注的，被运营商覆盖?

邢振中：还有免费的商业模式会不会从O2O带到物联网领域。

主持人：算一个危险，硬件免费我觉得总要有补充这个损失的地方，能量不会凭空产生和消失？

邢振中：做平台的一般都是实力很强，有巨头和运营商。

主持人：总得有人买单,问题是咱们挨打的功夫是否到家？

邢振中：他们可以在短期内做亏本生意拖垮我们。

主持人：这个同意,得能撑到不被七伤拳打死。

邢振中：当然，这不是我灭自家威风的说法。根结底还是客户的需求，如果我们继续保持满足客户需求为第一位，我们依然有机会。

主持人：很务实。那您如何看待目前整个物联网产业的发展态势？是否比较悲观?

邢振中:我从10年就很看好这个产业。那个时候还是讲M2M，温家宝总理提感知中心的时候，物联网产业的发展虽然迅速，但在关键技术上仍没有获得革命性的突破，比如电池、功耗、安全等方面。有挑战才需要我们去做，然后我们就一直扑在物联网行业。

主持人：这里的"革命性"是指性能数量级的提升,还是功能性的开拓?

邢振中：性能数量级的提升会增加功能性的拓展，这两者是相互影响的吧。

主持人：明白了,那您觉得像传感云这样的物联网平台在整个物联网产业发展中起着怎样的作用？如何看待它现在和未来的价值?

邢振中:物联网平台在物联网时代的作用，犹如操作系统在PC和移动互联网时代的作用。只有物联网平台技术获得长足进步，物联网的应用才能遍地开花，普通消费者才能受益于物联网的发展。

主持人：基于目前的产业发展状况，贵司近远期的发展规划如何?

邢振中：物联网是一个比较宽泛的概念，物物相连可以涵盖任何东西。我们还是会聚焦在传感这个细分领域。把传感云做得更开放，更包容，让更多的人使用我们的服务。以客户需求为导向，在服务上不断地做创新，客户要什么我们就做什么。

比如我们近期开源了APP的源代码，就是紧紧契合了用户个性定制的要求！

主持人:开源,确实体现了"开放"."包容"体现在哪些具体规划落实上?

邢振中:我们现在也支持其他公司的硬件接入我们的平台,而且这个接入工作由我们公司来做。

主持人:通过通用数据采集器?

邢振中:不用，硬件完全可以是其他公司做。

主持人:厉害

李晓妍：你们平台设计的可扩展的节点容量是多少？

邢振中：几百万个应该是没有问题的，我们采用的是可扩展的设计思路，这个不在于量，而在与单个字节的消耗。如果系统设计容量是1M，但是单位字节的消耗量很大。并不是集约型的，用服务器和带宽堆出来的，有钱就会.

李晓妍：我们现在接触到的有千万级的，过亿的还没人直接说。

主持人：物联网平台要按物联网而不是互联网的特点来设计，看来确实没白摸索。

邢振中：http、tcp、udp等等层面的协议我们都研究过可以针对不同的需求，选择合适的方案。

主持人：一个通用采集器最大可以承载多少传感器接入,有没有持续峰值饱和传输上限。

邢振中：通用采集器可以选择GPRS和Wifi。一个采集器可以接入最多32个传感器。

主持人：我觉得传感云和一般物联网平台还是有需求不同导致的平台差异，传感自身是小数据但是量大

邢振中：对于功耗也有要求。

主持人:本质得重视传输效率损失,无论是成本还是能量。

邢振中:嗯，这些我们都有涉及,比如数据补充。

主持人:另外一个就是柔性动态网络,低成本才能海量，很务实啊,彻底贯彻了客户要做什么就做什么的理念。

邢振中：有些时候我们会觉得客户的需求稀奇古怪，但是从他们的角度来说是理所当然。经验告诉我们的，客户的需求永远是对的。

关于联动原素 &“i访谈”

成立于2011年的联动原素，是一家关注物联网时代的创新创业，为相关企业提供内容制作及发布服务的原创媒体。

迄今我们在涵盖物联网、云计算、移动互联网、大数据、智能硬件、人工智能等新一代信息及应用领域，已对6000家物联网产业链上下游企业进行持续地跟踪交流，并相继报道1000多家企业及其产品和案例。

“i访谈”是联动原素专注于物联网产业的微信群在线访谈，至今已举办300多期，接下来将以每周1场的速度继续席卷整个物联网产业界。

最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。

刚刚结束的双十一淘宝达成了2000多亿的成交额的壮举它意味着：数据的增长从未停歇，如今我们对数据依赖程度的加深，促使了很多大数据产业的发展。

传统采集工具的诟病

数据采集工具作为获取数据的重要途径，在采集工具的选择上是我们不得不面对的一个问题。且这种通用的数据采集工具大多都存在功能复杂，上手难，分类不方便，兼容性不好等方面的问题，采集结果与需求不符。而这种工具对于作为客户的我们不但没有任何帮助还显得非常的鸡肋，使用这些通用的工具还有可能会导致我们数据的丢失和泄漏最终得不尝试。

为何探码科技选择定制采集服务

探码科技作为成都行业类专业的大数据公司，在前期我们与客户交流的过程中发现他们对采集的要求很难统一，针对性很强，且用户对软件的使用习惯方式方面也各不相同。很难去打造一款大家都非常满意的采集工具。市面上也没有出现一款大家都喜欢的采集工具难道不是嘛？于是我们选择用自主研发的Dyson采集系统为客户做专业的定制采集。

何为定制采集

数据定制指基于互联网上有海量的数据信息基础，根据用户的需求对特定的数据进行采集、筛选、清洗、运算加工输出数据结果的过程称为数据定制。让客户从对工具说需求转化到了面对面的与技术人员做交流，下文从探码Dyson采集为国内知名国企打造的投融资并购平台为大家来讲述定制采集！

Dyson定制采集解决方案：

客户需求的确定

在我们与客户沟通的过程中，他们希望结合自己在产权行业的深刻理解及沉淀，利用技术手段，设计出一款能够解决当前并购市场及投融资界信息不完整、不对称、不透明、缺乏客观分析与评价等行业痛点的金融信息交易平台。

确定客户需要采集的字段需求

根据客户所需搜集的投融资项目信息与客户沟通之后我们总结了一下需要收集的字段。

确定搜集数据来源的页面与平台

当我们明确采集字段后，找到匹配度高的网站运用探码自主研发的Dyson采集系统对这些网站进行采集，下图展示小部分的爬取的网站截图。

采集数据展示

在采集结果出来后，将筛选出来的及时反馈给客户查看确认之后在更新到前台展示，保持高频度的交流。

数据清洗去除重复

在数据采集的过程中难免会有重复的过时的消息，Dyson采集系统展示出爬虫程序抓取到的数据，方便我们进行清洗。数据清洗系统主要由两部分组成：

手工清洗：通过Web前端展示出抓取到的数据，对数据进行直观分析，得出哪些条件的数据需要删除，哪些条件的数据需要修改。自动清洗：经过手工清洗之后，可能会得出一些清洗模式，这种模式适用于所有数据。我们把这种模式记录在程序里，将来的数据只要匹配这种模式，数据将来会被自动清洗，不再需要人工清洗。

定时采集

客户所需建设的为大型的投融资的聚和平台，信息每天每小时都有大量的新数据拥进，为了保证平台的权威专业性我们时时对信息进行检测将真实可靠的信息采集更新到平台。

全天候的技术支持

在后期的平台维护中我们会指派平台开发人员，定期对后台数据采集等工作的检测，保障了系统的平稳运行。并且时时与客户进行交流收集后期使用过程中的修改意见。进行平台运行后的功能调整满足客户需求。

Dyson数据采集定制化行业应用

电商

电商平台数据大量且繁琐，传统采集工具根本无法做到细致化的采集，需要专业的数据采集人员提供采集方向并且增加相应的功能设置才可做到数据的精准采集，具体案例可以看Dyson采集为成都的客户打造的电商服装平台。

金融机构

在数据急速膨胀的今天，金融财经行业面临大数据的诸多挑战，例如数据应用深度不断加强，数据分析技术更新频率加快，数据类型不断增多等。基于业务和政策需求，数据的收集、整理、传输、分析和发布是一个连续而复杂的过程，然而传统的采集工具根本无法做到如此专业的数据采集，数据的准确性对于金融行业来说就是命门，数据上不能出现任何差池。定制化的数据采集对金融业来说是最好的选择。

新闻媒体

互联网技术的发展，新闻媒体的不断涌现，特别是大数据技术的到来，传统的新闻采集方式（通过来访，来信、来电的途径）已经不能够适应互联网的发展需求。新闻行业需要抓住事件的热点才能在信息流高度发展的今天生存下去，如果使用传统的采集工具根本无法做到热点的跟踪采集，对于这个信息极为敏感的行业。定制化的数据采集无非是最佳的选择！

旅行社

旅行者的信息比以往任何时候都要多，因为大数据让他们可以在社交媒体上与同龄人分享信息。因此，旅游公司需要了解以下问题，并找到应对即将到来的形势的策略。而传统的采集工具大都没有做到细致的筛选致使采集出来的数据变的价值不高，而且容易误导管理者的决策。而定制化的采集会做到人工和机器的双重筛选从而使采集更加有价值！

总结：再动听的音乐不符合你的心情也会成为噪音，在大的数据不符合你的需求也是一堆废铁。摆脱与机器的木讷对白，将你的需求高速真正懂你的人，从而发挥数据真正的价值---Dyson数据采集定制化就在你身边！

文章转自：探码科技

工业大数据一般如何进行处理呢？我画了一个相对通用的架构图来解释一下：

工业大数据在业务逻辑大的分层上和互联网大数据类似，一般都分为三部分，数据采集层、数据处理层和数据展现层，当然，具体到一个实际案例中，或者说根据不同的应用场景，可以划分为更多的层次，比如数据处理可以分为元数据管理层、数据交互层、数据分析层等等，如果你有兴趣，可以把大数据划分为N层。在分层的同时，还有许多同等重要的事情，例如安全保障、运维服务、测试规范等等，要都说清楚，基本也就搞不清楚工业大数据是怎么回事了。所以我们今天只讨论通用的、简化的、适用于一般场景的架构，而且仅仅是业务和逻辑层面的，技术层面的我们后面再详细说明。

工业大数据系统非常重要的，也是基础的层次是数据采集。没有数据采集，所有的强大的、华丽的、技术非常NB的各种东东只能躲在黑暗里哭泣，英雄无用武之地。在这一层，也是工业大数据与互联网大数据差异非常大的一层，互联网大树的数据采集主要靠用户的各种操作，例如网页浏览、系统登录、信息的互动、鼠标的点击等，而工业大数据的数据来源更加多种多样，最基本的是用于采集各类工业信号的传感器，通过传感器的采集，可以获得机器设备的运行状态、环境的指标、操作人的操作行为等各类信息。除通过传感器采集的信息，还包括现场的视频信息，各类图像设备拍摄的图片（例如，巡检人员用手持设备拍摄的设备、环境信息图片），语音及声音信息（例如，操作人员的通话、设备运转的音量等），遥感遥测信息等等，这些信息都是通过各类设备传输的。除此之外，还有操作人员手工录入的各类信息，采集软件抓取的企业内网的信息、互联网上与企业相关的信息等等。这些信息共同构成了数据采集的来源。

数据采集领域也是自动化和信息化交叉最多的领域，其实也是一般IT从业人员比较头疼的领域，跨学科嘛，哈！

数据采集结束后，就进入了数据处理阶段，这一阶段，软件人员就可以大显身手了，大部分技术都和互联网大数据技术差不太多。通常，我们会对采集到的数据先进行一定程度的处理，各类工业协议需要解析、视频流需要解码、语音需要识别等等，识别处理好后再对数据进行规范、清洗，洗刷刷完成后，干净数据才好用。需要立即处理的数据，例如报警、监测等，直接送到实时处理系统中进行处理，不着急的非急诊数据请进入仓库，按照类型存起来先。然后慢慢分析加工。存储可能会用到多种数据库，包括工业实时数据库、关系型数据库、地理数据库、分布式数据库、非关系型数据库、内存数据库等，这些数据库的整合、管理、链接又是工业大数据的一个难题，这个我们放到后面详细谈。今天先聊宏观。

洗干净、切成块、冷冻好的红烧肉，啊，不是，存储好的工业数据如此之海量，怎么推送给用户就成为数据可视化层要干的事情了。数据可视化最近也比较火，原先做报表的，现在都号称大数据可视化公司了，其实，单纯的大数据可视化是没有意义的，没有对工业业务的深入理解，很难做出让客户的满意的可视化结果。可视化包括许多方式，如报表、二维地图、三维地图、三维模型、短信、手机APP、微信、大屏等等，总之，通过一切手段让用户看到自己想看的数据即可。

基于通用业务架构，都涉及到哪些技术环节，需要了解哪些技术呢，咱们下一部分再来谈这个问题。

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。

工业互联网是在传统互联网的基础上建立起来的。这种演化是工业技术发展的必然趋势。传统互联网将人与人通过计算机网络连接在一起，分享各种信息，传递各种需求，获得各种服务，这是人类社会、经济、科技发展的巨大进步。但是，这种连接的能力还是非常有限的。因为如果只有人而没有机器的参与，我们应用互联网的空间不是完整的。只有当全球70多亿人口和600亿台左右的机器都能够连接在一起的时候，互联网的价值才能得到最大程度的彰显，人类社会才能完全从体力和脑力劳动中彻底解放出来。我们今天已经步入了“复杂的工作要用最简单的方法来处理”的时代。这就是工业互联网技术发展的原动力，发展的趋势不可逆转。在传统互联网的基础上，影响这项技术发展速度的一个重要因素是机器侧的数据采集和云控制技术问题。事实上，这就是自动化技术与信息化技术深度融合的问题。这个问题处理好了，工业互联网的发展就会更顺利一些。机器的连接只是手段，能对机器的有效管控才是工业互联网发展的重要目的。

目前，数据采集技术主要受到两个方面的制约。一是部分机器没有数据接口，二是存在大量异构的通讯规范。与此同时，我们还要考虑到工业发展的惯性，不能完全采用新旧技术彻底更替的办法来解决这两方面的问题。所以，工业社会必须要有这样的技术，在没有数据接口的机器上能够增加数据接口（包括传感器），在异构通讯规范之间采用全兼容的数据采集技术。通用网关是提供这种全兼容技术的产品。在工业互联网技术体系中，通用网关属于边缘计算的一部分。这是与传统互联网明显不同的地方。每一种通讯协议都对应着通用网关中的一种通讯驱动。一项新的技术是把通讯数据包交给通用网关中边缘计算来处理，以便分解出有效的信息来。这将极大地降低通用网关的通讯处理开发成本，提高通用网关数据采集的灵活性。边缘计算的另一个用途当然是对采集来的数据进行必要的处理，以减轻云平台的计算压力。同时，多个边缘计算构成的雾计算，也是工业互联网的重要组成部分。雾计算的加入，可极大地提升工业互联网的分布计算能力。考虑到互联网通讯的不确定性，还需要在通用网关中增加断网续传的功能，以保持数据的完整性。除此之外，我们还需要关注数据的实时性和同步性问题。这些特性一般能够通过调整通讯的请求周期和标记数据的时间戳来确定。显而易见，通用网关是数据采集的重要设备，它在整个工业互联网中构成了一个庞大的通讯节点系统，对于整个工业互联网的运行有着非常重要的影响。为此，我们需要一种有效的网络工具，用于管理这样的通讯节点系统，对它们的运行状态，采集数据更新，采集周期等状态进行监控，同时也能对相应的软件维护、节点参数、接口配置等进行动态的调整。

云控制是工业互联网很重要的一项功能。但是，目前工业互联网的关注点主要集中在数据的处理和信息的管理方面。事实上，由于工业互联网中云平台能够综合更多的数据，因此它不仅可以对企业的管理过程提供重要的决策，而且可以对机器的控制过程提供更优的指令。云机器人和能源互联网都属于云控制的典型的应用。人工智能的技术需要强大的计算资源的支持，而这只有在云计算环境中才能得到满足。只有当强大的云控制功能和强大的数据采集功能结合在一起的时候，工业互联网才能具有真正强大的支配机器的能力。一般情况下，工业互联网的云平台是按照PaaS架构进行设计的。云控制可利用这方面的计算资源，进行智能控制、资源调度、优化决策，以及多个生产过程的协同作业等方面的计算处理，从而为机器的先进控制提供最优的设定值。云控制需要解决的关键技术问题是：互联网通讯的不确定性造成的数据通讯延迟补偿，如何让复杂算法的编辑、编译和基于工业互联网的动态调试过程变得更加简单和直观。工业APP提供的可视化能力，也为云控制技术的工程应用提供了有力支撑。另外，云控制需要边缘计算的协同。边缘计算一方面为云控制提供数据通讯的通道，一方面也为云控制过程提供安全保障。随着工业互联网技术的快速发展，云控制将逐步成为工业领域中最重要的一种生产技术。

工业互联网是生产企业控制与管理深度融合的重要技术设施。数据采集和控制是工业互联网连接机器社会的重要手段。数据采集和云控制技术的研究与应用，将有效消除人们对工业互联网发展的质疑，并产生积极的促进作用。

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文