虫情信息自动采集传输设备是新一代的虫情测报工具，该灯采用不锈钢材料，利用现代光、电、数控技术，实现虫体远红外自动处理、接虫袋自动转换、整灯自动运行等功能，在无人监管的情况下，能自动完成诱虫、杀虫、收集、分装、排水等系统作业。虫情信息自动采集传输设备可对昆虫的发生、发展进行实时自动拍照、实现图像采集和监测分析，自动上传到远端的云飞物联网监控服务平台，为农业现代化提供服务，满足虫情预测预报、采集标本的需要。

在农业生产中，传统农作物病虫害监测设备随着信息技术的应用面临新变革，虫情信息自动采集传输设备兼容性强，无流量、通过无线传输将全天候实时采集信息数据发送到中心站广泛收集农业生产地的实时空气、土壤、病虫害等数据；将物联网数据接入农业大数据平台，进行归纳整理与系统分析；物联网数据结合专家诊断，海量数据将合并最终生成为当时当地特定农作物生长模型，通过大数据平台基地产品信息和市场信息的海量数据分析将总结出生产和销售规律；基于大数据形成的作物生产模型，将反过来指导物联网生产，最终实现精准化和自动化的农业大数据生产。

虫情信息自动采集传输设备实现农业有害生物测报的数字化、智能化、可视化、规范化、智能化，林业部门可以应用，测报人员远程就可以了解森林虫情动态，为虫情防控工作的开展提供了不少方便。

　　PDA手持终端在各行业应用越来越广，原因就是体积小、重量轻、高性能，适合移动作业，它是将条码扫描装置与数据终端一体化，带有电池可离线操作的终端电脑设备。

　　PDA手持终端具备实时采集、自动存储、即时显示、即时反馈、自动处理、自动传输功能，为现场数据的真实性、有效性、实时性、可用性提供了保证。

　　PDA手持终端按照采集技术来分，共有五类产品：标准激光PDA手持终端、MEMS PDA手持终端、线性图像PDA手持终端、二维图像PDA手持终端、RFID PDA手持终端

　　1) 标准激光PDA手持终端

　　标准激光PDA手持终端通过激光光束与振镜配合工作，自动在条码上左右移动光束以读取条码。激光引擎具有多种配置(例如，标准距离、广视角、高密度、远距离和高可见性)，以满足不同应用的需要。标准激光PDA手持终端的最大优势在于距离：它们可读取数英尺之外的条形码。事实上，如果打印的标签符号足够大，激光可从 35 英尺(10.7 米)之外进行读取。

　　最适合的应用：

　　●扫描仓库和配送中心高层货架上的一维条码

　　2)MEMS激光PDA手持终端

　　MEMS激光PDA手持终端采用硅芯片代替标准激光扫描器的振镜，因而扫描速率更快，可靠性更高，与标准激光扫描引擎相比具有更大的性能优势。MEMS技术造就出具备全新功能的激光扫描引擎，其中包括更快的扫描速率、体积小型化、出色的耐用性以及无摩擦机械零件，以确保持久性能。其初始扫描速率比现有采用马达的机械式激光扫描器快五倍以上，而在未来的产品中可提高至每秒数千次扫描。

　　最适合的应用：

　　●零售、医疗和仓库应用中的标准距离(手臂长度)扫描

　　3) 线性图像PDA手持终端

　　线性图像PDA手持终端全部采用固定部件，没有任何活动部件，因此与激光扫描器相比更加可靠，而后者则采用快速移动的镜头来在条形码上移动光束。要读取条形码，线性图像PDA手持终端需要采用 LED 发出的光照亮它，并通过镜头将条形码图像聚焦到CCD部件上。

　　最适合的应用：

　　●零售 POS

　　●库存管理和指令拣货

　　●生产线补充

　　4)二维图像PDA手持终端

　　二维图像PDA手持终端可采集二维或线性条形码的图像，并使用先进的解码算法进行处理。这种采集器可对线性条码进行全向读取，因此无需改变标签方位即可扫描。此外，二维图像PDA手持终端还适合读取二维条形码。二维条形码能以更小的空间承载比线性条形码更多的信息，因此非常适合空间有限的应用中，例如印刷电路板生产、医疗和包裹递送等。

　　二维图像PDA手持终端可采集实际图像(例如，签名或损坏的货箱)，因而成为现场服务、交付凭证及发货/收货应用的理想选择。

　　最适合的应用：

　　●通过 3PL 承运商发货和收货

　　●生产跟踪

　　●现场服务和包裹递送

　　●保险

　　5) RFID PDA手持终端

　　RFID目前属于条形码的补充技术，但有潜力在特定供应链应用中取代条形码技术。在短期内，条形码扫描/RFID读写组合可允许操作人员通过RFID PDA手持终端同时采用两种技术进行工作。

　　最适合的应用：

　　●越库

　　●库存管理

　　●供应链跟踪

　　●零件追溯/产品谱系

　　●资产管理

前面介绍PowerBI数据获取的时候，曾举了一个从网页中获取数据的例子，但当时只是爬取了其中一页数据，这篇文章来介绍如何用PowerBI批量采集多个网页的数据。

本文以智联招聘网站为例，采集工作地点在上海的职位发布信息。

下面是详细操作步骤：

（一）分析网址结构

打开智联招聘网站，搜索工作地点在上海的数据，

下拉页面到最下面，找到显示页码的地方，点击前三页，网址分别如下，

http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=1http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=2http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=3

可以看出最后一个数字就是页码的ID，是控制分页数据的变量。

（二）使用PowerBI采集第一页的数据

打开PowerBI Desktop，从网页获取数据，从弹出的窗口中选择【高级】，根据上面分析的网址结构，把除了最后一个页码ID的网址输入第一行，页码输入第二行，

从URL预览中可以看出，已经自动把上面两行的网址合并到一起；这里分开输入只是为了后面更清晰的区分页码变量，其实直接输入全网址也是一样可以操作的。

（如果页码变量不是最后一位，而是在中间，应该分三行输入网址）

点击确定后，发现出来很多表，

从这里可以看出，智联招聘网站上每一条招聘信息都是一个表格，不用管它，任意选择一个表格，比如勾选Table0，点击编辑进入Power Query编辑器。

在PQ编辑器中直接删除掉【源】之后的所有步骤，然后展开数据，并把前面没有的几列数据删除。

这样第一页的数据就采集过来了。然后对这一页的数据进行整理，删除掉无用信息，添加字段名，可以看出一页包含60条招聘信息。

这里整理好第一页数据以后，下面进行采集其他页面时，数据结构都会和第一页整理后的数据结构一致，采集的数据可以直接拿来用；这里不整理也没关系，可以等到采集所有网页数据后一起整理。

如果要大批量的抓取网页数据，为了节省时间，对第一页的数据可以先不整理，直接进入下一步。

（三）根据页码参数设置自定义函数

这是最重要的一步。

还是刚才第一页数据的PQ编辑器窗口，打开【高级编辑器】，在let前输入：

(p as number) as table =>

并把let后面第一行的网址中，&后面的"1"改为（这就是第二步使用高级选项分两行输入网址的好处）：

(Number.ToText(p))

更改后【源】的网址变为：

"http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p="&(Number.ToText(p)))),

确定以后，刚才第一页数据的查询窗口直接变成了自定义函数的输入参数窗口，Table0表格也变成了函数的样式。为了更直观，把这个函数重命名为Data_Zhaopin.

到这里自定义函数完成，p是该函数的变量，用来控制页码，随便输入一个数字，比如7，将抓取第7页的数据，

输入参数只能一次抓取一个网页，要想批量抓取，还需要下面这一步。

（四）批量调用自定义函数

首先使用空查询建立一个数字序列，如果想抓取前100页的数据，就建立从1到100的序列，在空查询中输入

={1..100}

回车就生成了从1到100的序列，然后转为表格。gif操作图如下：

然后调用自定义函数，

在弹出的窗口中点击【功能查询】下拉框，选择刚才建立的自定义函数Data_Zhaopin,其他都按默认就行，

点击确定，就开始批量抓取网页了，因为100页数据比较多，耗时5分钟左右，这也是我第二步提前数据整理造成的后果，导致抓取比较慢。展开这一个表格，就是这100页的数据，

至此，批量抓取智联招聘100页的信息完成，上面的步骤看起来很多，实际上熟练掌握以后，10分钟左右就可以搞定，最大块的时间还是最后一步进行抓取数据的过程比较耗时。

网页的数据是不断更新的，在操作完以上的步骤之后，在PQ中点击刷新，可以随时一键提取网站实时的数据，一次做好，终生受益！

以上主要使用的是PowerBI中的Power Query功能，在可以使用PQ功能的Excel中也是可以同样操作的。

当然PowerBI并不是专业的爬取工具，如果网页比较复杂或者有防爬机制，还是得用专业的工具，比如R或者Python。在用PowerBI批量抓取某网站数据之前，先尝试着采集一页试试，如果可以采集到，再使用以上的步骤，如果采集不到，就不用再耽误工夫了。

现在就打开PowerBI/，尝试着抓取你感兴趣的网站数据吧。

21世纪经济报道 左茂轩,纪伟 北京报道

导读

自动驾驶使用的高精地图定位精度，要求要从原有的10米左右范围控制到10厘米以内。此外，当车道标记被遮挡物覆盖，或者前方车辆挡住自动驾驶汽车的视线时，高精地图可以对汽车进行引导。

自动驾驶正全面向L3级迈进，作为L3、L4级等高级别自动驾驶核心部件，高精地图被认为是自动驾驶汽车必不可少的“基础设施”。而随着自动驾驶向商业化发展，包括BAT在内的图商们开始抢滩，相继发布了高精地图发展战略。

在传统汽车中，车载地图只是消费者可选配的附带功能，实际的使用频率并不高，也可被手机的导航APP所代替。图商扮演导航功能供应商的角色。

然而，对自动驾驶汽车而言，高精地图是不可或缺的核心资源。自动驾驶汽车必须对所处的驾驶环境进行精准感知，才能有效确保驾驶的安全性与可靠性。

高盛预计，到2020年全球高精地图市场规模为21亿美元，2025年该市场将达到94亿美元。除了高精地图本身巨大的商业前景，更加重要的是，对BAT而言，在自动驾驶领域，高精地图是其掌握流量入口和与车企合作话语权的保障。

图商的角色和定位将发生改变。“未来的合作模式与商业模式将发生变革，传统意义上靠卖数据赚钱的图商将不复存在，图商将转变为大数据服务商。”7月26日，高德汽车事业部总裁韦东在接受21世纪经济报道记者采访时表示。

高精地图如何实现商业化

7月26日，高德地图首次对外界展示了基于高精地图和高精定位的一体化解决方案的实际定位效果，并宣布了高德在高精地图技术的发展路线图。高德表示，其测绘的高精地图将和千寻的高精定位能力融合，为汽车厂商提供“高精地图+高精定位”的解决方案。

高德地图定位产品总监张天毅告诉记者，高德的高精地图技术将经历三个阶段。

“第一阶段发展高精数据，建立能够满足商业化需求、实现高精地图数据采集和更新的流水线；第二阶段是融合定位，利用高精地图数据及环境信息，实现基于差分和高精惯导、航位推算等手段的高精绝对定位能力；第三阶段的重点则是在实现了精准定位的基础上，为自动驾驶提供动态、实时的数据服务，比如动态交通信息、智慧红绿灯等交通设施信息、施工等临时或突发信息等。”张天毅说。

测绘出一张高精地图，需要投入大量的人力财力。而道路信息的实时变化以及天气、场景等因素的影响，也给高精地图增添了难度。

“高德有五六辆车在全国采集数据，已经跑了三四年，现在还在跑。中国高速道路每季度的变化大概在10%，高德将每三个月更新一次提供给厂商的高精地图。”韦东表示。

现用的GPS的定位精度一般为10米左右，但这完全可以满足用户寻找目标位置的需求。不过，对于自动驾驶而言，这样的定位精度，完全有可能让一辆车冲出马路，撞向街边的建筑物。因此，自动驾驶使用的高精地图定位精度要求要从原有的10米左右范围控制到10厘米以内。此外，当车道标记被遮挡物覆盖，或者前方车辆挡住自动驾驶汽车的视线时，高精地图可以对汽车进行引导。

早在去年8月，高德便已宣布与千寻位置达成战略合作，双方基于HD数据采集等方面加强合作，实现更准确的初始地图信息，并基于云计算和自动化众包采集体系完成数据实时更新。目前，在双方合作的技术已经能实现普通道路条件下横向误差和纵向误差在 7cm 内，高速/城市环路条件下横向误差 6cm，纵向误差 5cm 内。

高精地图的量产化使用是实现自动驾驶商业化的前提，在产业链中角色的转变，也让高精地图的商业化模式也与图商们原有的传统模式大有不同。

“未来的市场上图商可能将转变为大数据服务商。具体而言，一方面大数据服务商需要对海量实时的地图数据进行快速处理更新，这就对大数据处理和云计算能力提出很高要求；另一方面，大数据服务商作为链接各方的桥梁，需要为所有合作伙伴提供一致的产品和服务，保证公开透明的合作模式，出发点一定不是为了自身的利益最大化，而是更好地推动产业整体发展。”韦东对记者表示。

高德是目前国内唯一拥有高精地图商业化经验的地图厂商。在韦东看来，实现完全自动驾驶尚需时日，高精地图的商业化则将逐步实现。“在自动驾驶L3-L5发展的过程中，高德将会沉淀一个专为生产高精地图的‘母库’，根据具体需要拿出相应的‘子产品’，对图商来说，这将是生产高精地图的‘复用资源库’、‘共享资源库’。”韦东说。

BAT抢夺自动驾驶入口

目前，BAT占据了车载地图的大部分市场份额，高精地图的战斗也早已打响。

百度2013年开始研发高精地图；阿里巴巴2014年收购高德地图，还曾投资易图通；腾讯2014年收购四维图新11.28%股份并投资了导航测绘企业科菱航睿，而在去年年底的腾讯合作伙伴大会上，腾讯提出自动驾驶方案的技术方案和发展路线，把高精度地图摆在重要地位。

在自动驾驶领域，人工智能技术和高精地图是BAT吸引主机厂与之合作的两大核心因素。而在高精地图的优势，则让它们拥有更多的话语权。“加入阿波罗计划，百度开放的功能中，高精地图会最快在测试车上使用。”一家加入阿波罗平台车企的内部人士在接受21世纪经济报道记者采访时表示。

一位行业内资深人士告诉21世纪经济报道记者：“在地图领域，高德与百度的打法不同，百度更加强调平台概念，高德在被阿里收购之后却更加聚焦地图领域，为阿里在自动驾驶领域提供技术支持。”

各家车企都在抢占自动驾驶的先机，利用图商的高精地图数据，自动驾驶才能走得更快。同时，和国外不同的是，因为事关国家安全和机密，我国有比较严格的地图测绘政策限制，目前拥有导航电子地图资质的企业只有 14 家。在初期的研发阶段，汽车厂商不得不选择利用图商们的高精地图进行测试，这是不少汽车企业与BAT合作的重要因素之一。通用找到了高德，而宝马、福特和戴姆勒等则加入了百度的阿波罗。当然，像博世、法雷奥这样的零部件企业，同样需要中国的高精地图。

“谁拥有了高精地图，谁就能够吸引更多的主机厂与之结盟。抢占自动驾驶领域流量端口。”一位汽车业内人士告诉21世纪经济报道记者。

但现阶段，BAT的高精地图谁优谁劣并没有定论，谁能率先实现商业化或推出部分商业化的产品，就能够更早地让厂商认可其实力，迅速形成优势。

在韦东看来，多年的数据积累让传统图商在自动驾驶领域拥有了先天优势，而彼此间的竞争也会更加激烈。“高德不会做人工智能的算法，高德要很专注做高精地图，目标是做一张活地图。自动驾驶技术只是另外一些领域上的应用，我们绝对不会做。”韦东表示。

但BAT需要警惕的不仅仅是彼此的竞争，还有一批高精地图新玩家。今年7月，京东地图首次对外公开亮相。京东地图将专注于机器人地图和智能驾驶数据应用。

此外，近两三年出现了国内一批高精地图初创企业。资本正在大量涌入，宽凳科技、Momenta、Wayz.ai等企业均获得千万级美元的融资，它们效仿美国的DeepMap、CivilMaps、lvl5、Carmera等领先的高精地图企业，并纷纷发出要对标高德、百度，向BAT挑战的声音。

千寻位置CEO陈金培表示：“千寻作为基础设施公共服务商，永远不会排他。从产业角度讲，高德与千寻位置深度合作会让整个产业在很短的时间里面迅速上一个台阶，我们希望让更多的人可以参与进来，只有这样技术才能够越来越把成本降低下来，并把极大规模的数据和状况展现出来，从而让自动驾驶汽车更加安全和低成本。”

主机厂的选择

传统主机厂对互联网公司的态度一直显得开放合作但又谨慎。一方面，主机厂需要以开放的姿态与各类涉及自动驾驶相关领域的不同企业展开合作；一方面，也早自身推动自动驾驶的研发，来确保不会被时代淘汰。

高精地图同样如此。智能网联汽车的兴起，让科技公司和通信公司开始在汽车行业不断渗透。而面对自动化的浪潮，传统主机厂们必须做好多种准备，已确保不沦为科技企业的代工厂。

一家加入百度阿波罗计划或者与高德洽谈地图合作的企业，同时也可能去投资某些颇具前景的初创公司，让自己掌控高精地图的技术。

此前，奔驰、宝马、奥迪就联合收购了诺基亚旗下的HERE，构建国际高精地图联盟。这个高精地图联盟随后扩大，HERE 先后引入了 Intel 、博世、大陆等企业的投资。

在国内，上汽在高精度地图领域的布局最为完整。和德国三巨头控股HERE获取高精度地图资源一样，上汽控股了中海庭，获得了高精地图资质，是国内车企中唯一的一家。

除了入股武汉光庭，增资控股中海庭，上汽还投资国外高精度地图初创企业Civil Maps、Deepmap，同时还和Mobileye开展特征地图REM的技术合作。

但在韦东看来，如果自动驾驶的参与者都自己去建设高精地图数据，这将是一个巨大的成本。在自动驾驶领域，方方面面的参与者众多，各自并不会依靠谁。因为如果没有自己的自动驾驶算法，没有自己的能力，就没有核心竞争力，但是高精地图数据是可以实现共享的。

“要把高精地图做好，首先不能学当年的图商，背靠背谈价格，将来地图还有很多服务，一定要像基础设施标准化服务一样，标准定价。一旦作为基础设施，必须要普惠，公开价格，必须以服务获得收益，而不是靠卖资源。”韦东说。(编辑：周开平)

如今大数据，SAAS大行其道，每个公司的数据对于企业的决策，营销，活动策划，市场推广都尤其的重要。

数据采集平台可以把互联网各行各业的数据采集过来，生成结构化数据给企业，并智能化体现在自动采集和可视化采集上，比如“智数平台”可以采集全网95%以上的网站，并且转成结构化数据，其SAAS化的服务模式也得到了广大用户的认可。

大数据、人工智能等新技术的应用正在推动数据采集更加互联网化，新技术在数据采集的应用也让原本简单的采集系统变成了企业级的数据分析师。

下一个风口也许真的会在数据采集，让我们拭目以待。

现在谈论大数据已经没有新意了，形形色色的产品、平台和公司都贴满大数据标签，但大数据却并没有掀起预期飓风，甚至还被冠以“伪命题”污名。

大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。大数据在核心领域的渗透速度有目共睹，然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取采集。

因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，数据采集才是大数据产业的基石。那么什么是大数据采集技术呢？

什么是数据采集？

数据采集(DAQ)， 又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类，可将其分为线上行为数据与内容数据两大类。

线上行为数据：页面数据、交互数据、表单数据、会话数据等。

内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。

大数据的主要来源：1）商业数据 2）互联网数据 3）传感器数据

传统数据采集的不足

传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。

大数据采集新的方法

以博为软件101异构数据采集技术为例：通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。

技术特点如下：

1. 无需原软件厂商配合；

2. 实时数据采集，数据端到端的响应速度达秒级；

3. 兼容性强，可采集汇聚Windows平台各种软件系统数据；

4. 输出结构化数据，作为数据挖掘、大数据分析应用的基础；

5. 自动建立数据间关联，实施周期短、简单高效；

6. 支持自动导入历史数据，通过I/O人工智能自动将数据写入目标软件；

7. 配置简单、实施周期短。

优点：其优势在于不需要“接口”配合，这就摆脱了对软件厂商的依赖。特别是在在需要集成多个系统数据时，不仅能节省大量时间、人力与资金，实现“一站式”完成；还避免了因个别系统开发团队解体、源代码丢失等原因导致系统数据集成出现烂尾的情况。

缺点：只采集Windows平台的各软件系统数据

版权声明：本文部分来自网络，如有侵权，请联系删除!

题图来源：视觉中国

今年初，华为总裁任正非在人工智能应用GTS（全球技术服务）研讨会上明确了GTS人工智能对华为的重要意义。

当时他提出，要实现高质量数据输出，在网规网优等关键场景要敢于投资，以及率先在简工勘和自动化设计方面打歼灭战。

8月29日，华为专门召开了GTS人工智能实践进展的汇报会。任正非提醒，虽然GTS机器学习有了很大的进步，但仍然需要重视数据的录入和采集，这是人工智能和自动化的源头。

会议上，任正非对于华为内部人工智能发展提出了三点要求：

一、聚焦内部效率提升，利用人工智能改变作业模式、简化管理，结合业务场景解决一线实际问题。

二、围绕业务，持续加大GTS数据系统、AI算法和AI 使能平台的投资。

三、人工智能未来对内要横向扩张，与周边部门协同产生倍增效益；客户界面升级服务内容，在设备和网络的生命周期内，创造更大的价值。

会议还透露，华为在全球有460万站点，每年会在100万站点上作业。任正非希望在5G时代，能先把华为的基站连起来。

任正非提出了加快开发公司统一的人工智能平台要求，部署统一的人工智能训练环境，并期待在2018年首先在GTS实践和应用。（钛媒体记者李程程整理报道）

附：任正非在GTS人工智能实践进展汇报会上的讲话

一、聚焦内部效率提升，利用人工智能改变作业模式、简化管理，结合业务场景解决一线实际问题。

人工智能的核心在于应用，GTS把人工智能作为一个工具，研究海量重复性活动的智能化自动化，提升人的效率和辅助人的工作。从你们的探索来看，实践经验非常重要。

在人工智能和自动化推动过程中，要关注交付服务流程以及人员思想、行为模式的改变，如果他们还是老一套思路，不重视数据的录入和采集，我们人工智能和自动化就会失去源头，同时要看到人工智能是一个持续演进和迭代的过程，大家在推进过程中要不急不躁，持续改进，关键要抓好数据治理和平台构架设计，保证我们大方向正确，在正确的方向上加快迭代，小步快跑。

第一，利用人工智能简化站点作业活动，把设计、报告自动化，同时要联合产品线，构建免安装、免调测网络。

我们在全球有460万站点，每年会在100万站点上作业，任何一次的站点作业都是成本。要通过构建站点信息库，开发站点3D扫描能力，把站点勘测简单化，上站录入表格的时间也就大大节省了。以后的数据录入还可以进一步简化，捆绑一个好的语音系统，现场作业完成了，自己说一遍，表格就自动生成，然后回家把这个表格稍微修改，就能完成交付作业。

基站设计方案模型很多，现在通过机器学习，实现基站连线图和配置参数的自动化生成，降低对现场工程师的要求。面向未来，要在设备模型归一、免安装、免调测上做研究。5G时代万物互联，能不能先把我们的基站连起来？荒山野岭，咱们有多少站点？应该是数百万个。可以请位快递哥骑个摩托车上山，把基站挂上，通电一开，无线连接所有设备都自动连上了，这样减少了错误，也节省了人工。

质量检查只要拍个照，通过与标准图样对比，分包商在站点安装的时候就可以检测安装质量的好坏，一次把事情做对，避免了多次上站，节省了工时，提升了效率。不要小看1~2个小时的节省，这是一个点，若是有几十万个站可推广，乘以系数，就有几十万的规模效益。

第二，网规网优要敢于应用地理、测绘、数学等先进技术和新的业务模式，只要能提升效果，都为我所用。

网规网优基于数据、算法、成本的影响，选择人工智能突破口，通过“分析机器人”提升人员效率，在无线干扰分析、天馈系统方向角优化调整等方面加强人工智能技术的引入，提升无线网络优化规划效率，同时基于产品数据的虚拟路测是一个方向，不需要路测就可以清楚网络的信号状况，一个城市节省3000公里路测，十几个城市就相当于绕地球一圈。

人工智能理论是所有人类瑰宝，都可以为我所用，而不只是我们的理论。网规网优是一个基于数据的业务，人工智能也容易发挥效益，所以我们要敢于招一些统计学、系统工程学、哲学、遥感、遥测……等专业的优秀博士、硕士，就像当年我要求招一些地理测绘专业的人员一样，只要实践两年，自然就明白了。

第三，万亿存量是我们的优势，不断积累小样本，维护模式要从被动问题处理到主动预测预防，并进一步反馈到制造、产品设计，形成闭环改进。

面对海量的、确定性的重复工作，逐步将复杂的成千上万的场景收敛，通过表格、建模等方法不断的总结提炼经验。就像我年轻的时候，一个庞大的数字设备，出了问题就一次一次的闪灯，从闪灯中慢慢看集中在哪个区，再看电路，一判断，是电阻坏了，然后打开，修好了，这就是小样本！这些小样本提供给你们，你们再归纳、总结，上升到理论高度，就是故障模型。

维护的最终模式要从被动问题处理走向预测预防为主。问题处理方面，我们至少可以把问题经验库丰富起来，谁暴露的问题最多、解决的最好，也可以搞小奖励。在预测预防方面，通过障碍发现的芯片及批次等相关问题要进一步反馈到公司的制造部门、产品设计环节，从源头上提升设备的稳健性。

二、围绕业务，持续加大GTS数据系统、AI算法和AI 使能平台的投资。

第一，行为即记录，记录即数据，构建并持续完善GTS数据系统。

数据是一门科学，是人工智能的基础，要把业界做得好的方法借鉴过来。GTS沿着作业活动，把作业过程、对象、规则和经验数字化，持续完善GTS的数据系统。各产品线也要把自己的产品数字化，这是服务数字化的基础。要强化云平台基础设施建设，丰富单兵数据采集工具，给每个员工配个数据采集器，员工在现场作业完后，回到驻地处理一下，一按键就发出去了。

数据要以用促建，利用表格、建模等方法输出作业数据，将高质量的作业数据输出作为作业完成的衡量标准，要形成对工程师高质量作业数据输出的牵引，形成指导和模板。

第二，算法要服务于业务，算法科学家与熟悉服务场景的工程师紧密配合，在服务客户的战场上提升能力

人工智能应用是实践科学，在实践和应用当中迭代式前进，效果不是一蹴而就的。实践初期，算法达不到高级工程师的水平也要坚持使用，以人为主，机器为辅，对算法进行持续的训练和提升。

人工智能开发，算法专家、产品线专家要与GTS业务专家组成混合编队，共同识别实际场景中的AI应用机会、理解业务场景、设计算法模型、优化算法效果。

第三，加快开发公司统一的人工智能平台，并于2018年首先在GTS实践和应用。

开发公司统一的人工智能平台，部署统一的人工智能训练环境，首先在GTS实践和应用，把GTS积累的站点作业、网络维护、网规网优领域的算法、知识、方法、经验都固化到这个平台上。

人工智能平台在GTS的应用要急用先行、小步快跑，聚焦服务场景一个个解决，选择与场景匹配的、相对成熟的算法，快速构筑数据处理、模型训练等工程能力，边战斗边优化，并于2018年将平台部署在GTS系统上。

三、人工智能未来对内要横向扩张，与周边部门协同产生倍增效益；客户界面升级服务内容，在设备和网络的生命周期内，创造更大的价值。

第一，自动化也是人工智能，改善一个点，可能有几十万个着力点可推广，就有几十万的倍增效益。

跨领域也应有着力点进行推广，通过数据互联互通、业务交叉融合，公司很多部门就可以精简了。比如财务在人工智能上也梳理了100多个点，其中有些点和GTS有交互，如项目核算要开票，GTS可以这个点为起点，横向发展到财务那里去。

我们要矢志不渝地前进，让一些确定性工作自动化、智能化，减少重复劳动。不能总是强调人工智能对模糊问题的判断和处理，为什么对确定性问题就不行呢？自动化也是人工智能。改善一个点，乘以系数，就可能有几十万的倍增效益。GTS人员都应实验性地“洗一次澡”，有些人在循环中变得更厉害，产生新的工作方法，大幅提高工作效率。

第二，在自身实践成功的基础上，利用数据和智能技术，升级服务内容、构建在线服务模式，解决客户挑战。

基于万亿存量数据的优势，通过改善自身管理的循环实践，构建全球智能网络大平台，平台的能力再以服务方式向客户开放，并将服务内容扩展到设备和网络的全生命周期，解决客户挑战的同时华为也获得收益。

站点的选择，能否根据流量预测和动态变化，进行精准的网络规划？几百万台设备，也不能一天二十四小时高速开着，如果能根据流量动态设定产品能耗，是不是就可能极大地提升网络和能源效率？更远的未来，能否将预防预测能力延伸到整个网络，有预见地应对自然灾害、重大事件等带来的挑战。

我们抓住这些机会，升级服务内容，就可以利用在线服务等手段，在网络全生命周期持续为客户创造价值。

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App

工业生产现场数据采集原则有两点：一是目的性，二是经济性；

目的性是指在做设备的数据采集之前，先要明确所要采集的数据是否具有可观的价值。工业现场其实已经有很多的数据采集系统了，SCADA、HMI什么的也都是应用很广泛了，但是，其中又有多少数据被充分的分析，挖掘其潜在的价值的呢？

大部分情况是，采集了数据后并不知道怎么去利用。国内大部分的工业现场还处在解决生产过程可见性的阶段，能够先把数据采集上来是当务之急，至少能够实时地了解到现场都发生了什么。在智能制造背景下，要将目光放长远，在做数据采集之前，尽可能地多去思考一下什么样的数据对我们的业务改进帮助最大，这样也许会让我们在数据采集方面的投资回报率更好看一些。

经济性是指投资的回报效益。对于工业现场的数据采集，很多人第一个想法就是装传感器。不管什么样的项目，我们首先需要考虑的是投资回报率的问题，装传感器的方式可能是投资最大的一种。因此，做设备层的数据采集，一定要结合我们的数采目标，充分利用设备的现有条件(比如，设备已经具备的上位机系统、已经具备的通讯协议等)用最经济高效的方式来做数采技术路线的设计。

工业数据采集设备分类：有上位机系统的设备(设备自带的监控系统)、基于非TCP/IP通讯协议的设备、基于TCP/IP通讯协议的设备、不具备通讯接口的设备。

自动化系统设备数据采集系统采集方法主要是通过Web系统、生产线工作站系统、OPC服务器等配置对生产线上的各个设备的生产数据进行监控。同时将有效数据采集仓储在数据库中。这对整个生产系统进行生产线、工序参数、工作流程、设备参数、设备类型、OPC服务、通讯协议的全方位设置、管理。

如需增加设备，只要在中心管理系统增加相应的设备类型，配置好相关的采集参数即可，可有效节约成本；生产过程中通过缓存交互数据，不直接和数据库交互，极大的提高了数据采集的性能；通过心跳检测程序，实时反馈生产设备的异常，保证生产数据完整性。

一种自动化生产线设备数据采集方法，可以是如下步骤：

1.根据自动化生产线上各种设备的不同协议类型，将支持OPC相关协议的设备与OPC连接；将支持TCP开放协议的设备与生产线工作站系统中的网口交换机连接；将支持COM开放协议的设备与生产线工作站系统中的串口交换机连接；

2.通过Web系统配置生产线的全局属性；

3.生产线工作站系统启动时从Web系统中同步本生产线所有相关配置，并存入缓存；

4.生产线工作站初始化时，根据设备在Web系统的协议类型，连接每个设备，并启用OPC监听、TCP监听或COM监听。对于“基于TCP/IP通讯协议”，比较常用的有OPC Classic、Siemens S7、Modbus-TCP等通用协议，也有设备厂商自行定义的私有协议。这些协议的特点是都是基于TCP/IP协议簇，只是应用层协议不同。采用这些协议的设备一般都会有RJ45的接口，也就是以太网口，都可以直接通过以太网接入到车间网络中。对这些设备的数据采集，我们需要做的就是对上述协议的解析。对于OPC等通用协议，已经有很多成熟的SCADA产品可以利用，近些年，也有很多开源框架、商业化的组件可以应用，比如Eclipse neoSCADA，Kepware等等，都能够在完成上述协议的解析的同时，将其转换为一些IT领域常用的接口(RESTful API)，方便其他信息系统的对接。

5、将监听到的每个设备数据写入工作站数据库。

设备数据分析，可以通过多种查询工具可以快速查询生产实时数据、相关历史数据。给管理人员重要决策提供有效数据基础。可以对数据进行横向比较，可以对历史数据进行分析。通过系统统计分析没太机器的运转率，故障时间累计以及车间设备总体利用率。系统可以提供柱状图、饼图、报表等分析工具，展现现场设备运转统计分析数据。自动统计每天限的产量数据，可以按照不同的班组、时间段等多种条件进行综合查询。

同时对于设备的故障管理也可以进行相关数据记录，比如不同的设备及其台号，故障类型、时间段等多种条件进行历史查询赛选。这样可以进行历史数据查询，更好的帮助技术人员进行设备故障原因分分析，提高问题解决效率。

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快，创造出了“大数据（BigData）”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。

BigData是近来的一个技术热点，历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的BillInmon早在20世纪90年代就经常提及BigData。

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。

近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无

线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互。

互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据：1）全球每秒钟发送2.9百万封电子邮件；2）每天会有2.88万个小时的视频上传到Youtube；3）推特上每天发布5千万条消息；4）每天亚马逊上将产生6.3百万笔订单；4）每个月网民在Facebook上要花费7千亿分钟；5）Google上每天需要处理24PB的数据。

我们在一个大数据的时代漩涡中，每天都有是以亿计的数据产生，如何获取这些数据，如何使用这些数据，如何用好这些数据，都是一个难题。之前遇到的一位做语言学研究的小姐姐，研究课题需要建立自己的语言数据库，每次都要在新闻网站上去搜索关键字的文章，然后复制黏贴下来，非常的辛苦和费事费时，我听说之后非常吃惊，问她这种机械却又累人的工作，为什么不让软件解决，而要自己一个个手动复制黏贴。她的回答是自己是学文科的，又不会写代码，又搞不懂编程，所以她只能自己辛苦一点了。听完她的回答之后，我很心痛，所以我立马给他推荐了一款软件，帮助她从复杂的复制黏贴工作中解脱出来。

这款软件对小白用户十分友好，智能模式只要输入网址就能帮忙采集了，是谷歌大牛回国写的一款软件，而且还是免费采集和导出的，现在把这个软件分享出来，希望对大家有所帮助。我会以新闻网站中国日报为例，为大家演示如何通过这款爬虫软件自动采集数据。

首先，需要下载安装软件，大家可以到官网上下载最新版本的软件，然后注册新用户登录，游客用户也可以采集数据，但是可能会丢失，建议还是注册新用户。

首先，复制需要采集的网址，打开软件输入网址，新建智能采集任务。

在智能模式下，我们输入网址后软件即可自动识别出页面上的数据并生成采集结果，每一类数据对应一个采集字段，可以右击字段进行相关设置，包括修改字段名称、增减字段、处理数据等。

由于在列表页上只展示了部分的新闻信息，如果需要采集具体的新闻内容，我们需要右击链接使用“深入采集”功能，跳转到详情页进行采集。

接着点击“保存并启动”按钮，可在弹出的页面中进行一些高级设置，包括定时启动、自动入库和下载图片，我们如果没有用到这些功能，可以直接点击“启动”运行任务。

数据采集完毕后我们可以导出数据，这款软件比较好的一点是不仅采集免费，而是可以导出多种格式的文档，对导出也没有什么限制。

为方便查看我们导出一个Excel2007的表格，我们可以看到数据质量还是挺高的，大家可以直接使用这些数据，也可以在这个基础上对数据进行加工处理。

QQ数据采集器-QQ营销必备工具

导语

现在是大数据时代，无论做什么营销都需要用到数据。数据是根本，数据能引导你的营销思维。做QQ营销同样需要大量的精准数据，今天小编为大家介绍一款QQ数据采集软件，这款软件既可以采集精准客户QQ，同时也可以采集精准客户QQ群以及QQ群成员。

软件功能特点

⊙支持按关键词采集精准客户qq

⊙支持自动检测所采集好友是否为单双向好友

⊙支持自动检测所采集qq是否开通临时会话功能

⊙支持自动识别qq所在城市、性别。年龄

⊙支持按关键词采集精准客户qq群

⊙支持自动筛选出群主qq

⊙支持自动检测是否可以直接添加qq群

⊙支持以文本文档格式导出qq群

⊙支持采集qq附近的人（全国定位）

⊙支持采集本地好友和群

⊙支持采集空间qq

⊙支持采集微博听众

⊙支持采集企业qq

⊙支持论坛qq采集

软件功能效果展示

易推客营销软件