一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

7月25-27日，以“新时代、新机遇、新发展”为主题的2018中国地理信息产业大会在海南国际会议展览中心举办。“全空间智能GIS创新技术与应用论坛”同期举办，论坛聚焦全空间、大数据、智能GIS三大领域，分享MapGIS 10.3全空间智能GIS平台新特性及最新研发成果。中国地理信息产业协会秘书长王增宁为论坛致辞。

MapGIS 10.3全空间智能GIS平台是MapGIS 10.2发布时隔两年的又一具有里程碑意义的产品。新平台融合了大数据、物联网、云计算、人工智能等先进技术，将全空间的理念、大数据的洞察、人工智能的感知通过GIS的语言形象化为能够轻松理解的表达方式，实现了超大规模地理数据的存储、管理、高效集成和分析挖掘，在地理空间信息领域为各行业及其应用提供更强的技术支撑。

全空间智能GIS创新技术与应用论坛现场

中国地理信息产业协会秘书长王增宁致辞

MapGIS 10.3发布启动仪式

MapGIS 10.3产品家族

MapGIS 10.3全空间智能GIS平台延续了MapGIS 10.2云端深度融合的产品体系。以13个产品、7个开发包的力作带给用户时隔两年的惊喜。

云产品族MapGIS I2GSS本次共推出7个产品，覆盖分布式云存储、云服务器、云管理和云应用四个层次：

· 云存储层全面升级的MapGIS分布式数据库引擎（MapGIS DataStore）与MapGIS SDE无缝融合，实现各种类型、各种规模的全空间数据安全稳定、方便易用的存储管理；

· 云服务器又添新成员MapGIS智能GIS服务器产品（MapGIS IGServer-S），与老牌劲旅MapGIS互联网GIS服务器产品（MapGIS IGServer）和全面升级的MapGIS 大数据服务器产品（MapGIS IGServer-X）并驾齐驱，三大服务器产品形成云稳固根基，为上层应用提供专业GIS服务、大数据计算服务以及人工智能服务等支撑；

· 升级的MapGIS云运维管理系统（MapGIS Cloud Manager）优化了高性能服务引擎、大数据计算引擎和应用集成引擎三大智能云化工具箱，分别从数据、服务和应用三个维度，以更贴近用户需求的方式，深度满足云应用的高性能集群并发调度、大数据分析展示、应用集成部署需求；

· 云应用层在MapGIS 10.2基础上优化一站式综 合型云门户（MapGIS Cloud Portal），实现GIS数据资源、功能资源及应用资源的展示与共享；面向行业应用的深度定制和快速扩展需求，带来全新产品MapGIS全空间一张图（MapGIS Pan-Spatial Map），实现全空间数据的一体化管理、综 合展示及专业应用，为全行业一张图开发提供支撑框架。

MapGIS 10.3产品体系

依托云产品族强健的功能与性能支撑，MapGIS 10.3结合各应用领域多年积累，沉淀出桌面端、浏览器端、移动端6个工具产品及7个开发包，全面满足用户使用和个性化的扩展开发需求：

· 桌面端按需定制的MapGIS Desktop强化了数据制图与可视化、空间分析与影像处理能力；MapGIS三维场景构建工具（MapGIS 3D SceneBuilder）与MapGIS三维地学建模工具（MapGIS 3D GeoscienceModeller）以全空间信息模型为基础，提供多样化三维快速建模方法，丰富的三维分析工具，满足城市空间三维快速建模与地学三维智能建模需求；MapGIS数据管理系统（MapGIS DataManager System）面向各行业各层面用户提供专业数据管理方案，实现全空间各类数据的统一管理和维护；MapGIS s SDK、MapGIS Desktop SDK接口简单易用，具备优越的性能和跨平台开发能力，实现GIS应用的快速聚合与重构。

· 浏览器端MapGIS 3DClient for ActiveX、MapGIS 3DClient for WebGL、MapGIS Client for 三大开发包，实现二三维、大数据、实时流数据高效可视化表达和分析，为用户带来全新开发体验。

· 移动端开源MapGIS Mobile Explorer产品与云端产品无缝融合，让用户更好体验移动GIS魅力；MapGIS Mobile Collector移动端数据采集器，依据卫星导航定位信息，实现空间信息、属性信息、图片、视频等多源数据的采集和更新；MapGIS Mobile for Android/IOS移动端全功能GIS开发平台，丰富的接口帮助用户快速打造适用于各主流智能移动设备的移动GIS应用。

13+7的组合是平台更贴近用户之举，也打造了MapGIS 10.3全空间智能GIS更完整的产品体系。

MapGIS 10.3技术提升与全新能力

中地数码不断创新和发展GIS技术，MapGIS 10.3无论是从产品自身功能提升和能力完善方面，还是从主流IT技术的深度集成方面，都不遗余力的努力提升，致力于为用户提供功能强大、性能强劲的空间大数据GIS基础平台软件及服务。

全空间，世界本源完美呈现

MapGIS 10.2侧重地下、地表、地上、高空四个维度的三维立体空间展现。MapGIS 10.3的全空间是要打通与地理信息紧密结合的遥感、无人机、点云、倾斜摄影、BIM、VR/AR等技术环节，从地下到地上、室外到室内、现实到虚拟、静态到动态四个维度，涵盖全空间存储、模型构建、高效渲染、全空间三维一体化分析等八大创新点，凝炼了MapGIS桌面工具（MapGIS Desktop）、MapGIS三维场景构建工具（MapGIS 3D SceneBuilder）、MapGIS三维地学建模工具（MapGIS 3D GeoscienceModeler）、MapGIS全空间一张图（MapGIS Pan-Spatial Map）四个产品与MapGIS 3DClient for ActiveX、MapGIS 3DClient for WebGL两个开发包。无论从技术复杂度还是产品性能都较10.2有了较大提升。

地理大数据，大千世界深度洞察

MapGIS 10.3升级了10.2大数据的关键技术，更深层次产品化MapGIS分布式数据库引擎MapGIS DataStore与MapGIS大数据服务器产品MapGIS IGServer-X两款产品，在基于混合数据库的地理大数据存储、矢量大数据计算、实时大数据计算、影像大数据计算、文本大数据分析与挖掘、高性能矢量地图服务、高性能服务聚合等关键技术点做了较大功能与性能升级。集成了多种可视化引擎，提供多样化的表达方式，支持炫酷、动态和直观的可视化展示效果。与10.2相比，MapGIS 10.3全面扩展大数据能力，实现大数据接入、存储、计算、分析和应用的完整闭环，在地理大数据分布式存储、地理大数据计算、地理大数据服务地理大数据可视化四大领域取得十项技术提升。

智能GIS，感知世界预测未来

人工智能的初衷是用机器模拟人的智能，模拟人的识别、认知、分析和决策能力。GIS与深度学习结合，可以实现地理特征智能提取、变化检测和关联分析与预测，科学解决复杂空间问题。MapGIS智能GIS服务器产品MapGIS IGServer-S作为MapGIS产品家族的新成员，是将GIS空间运算能力与人工智能技术相融合形成的智能化产品，在影像信息提取和变化检测、图文数据语义关联匹配和多源数据融合与智能分析三个方面进行重点应用实践。MapGIS IGServer-S的推出意味着MapGIS 10.3 GIS+AI全新启航。未来MapGIS致力于研发更多的空间信息智能化产品，提升空间信息服务的智能化水平。

除了分享MapGIS 10.3在平台及技术方面的创新提升，论坛也围绕各行业及其应用开展了技术与理念的分享，在国家级自然资源和地理空间基础信息库云服务平台、国家级地质大数据云平台、省级国土空间基础信息平台、省级空间规划（多规合一）试点、智慧城市时空信息云平台等多个当前重点信息化建设领域，论坛也呈现了多场精彩报告。GIS平台软件作为地理及空间信息领域的基础软件，在信息化建设中，已经成为上述信息化应用中基础支撑技术之一。MapGIS 10.3在产品、技术方面的提升，也将促进相关应用领域的不断发展，满足更广阔空间的应用需求。

中地数码董事长吴亮教授做“中地生态创新1.0战略”演讲

中地数码集团在论坛中同步发布“中地生态创新1.0战略”。该战略基于中地数码多年GIS领域从业经验，结合产业数据深度分析，提出通过生态体系的构建实现开放式创新的理念，旨在为中国地理信息产业供给侧改革做出有益尝试。

来源：中国网

【IT168 资讯】6月15日，由成都山河空间信息技术有限公司(SUNVO)举办的“空间大数据+移动互联”峰会——山河空间·掌图专场在WGDC2018年舞台上首次惊艳亮相。

在峰会上，山河空间发布了两款具有里程碑意义的空间大数据移动互联产品—“掌图个人版”和“智飞地图个人版”，并围绕产品设计理念、功能解读以及行业应用等方面展开介绍。

让GIS像Iphone一样简单

我们现在大多数人手机里面80%的APP都和空间位置相关，那么为什么在PC互联网时代被受冷落的地图服务，到了移动互联网时代被受热捧呢?山河空间有限公司创始人兼CEO黄宇先生解释道，一方面是能够实时定位，另一方面是可以随时随地使用。

▲山河空间有限公司创始人兼CEO黄宇

的确对于大众用户来说，PC互联网时代电子地图没有办法定位和携带不方便的问题已经基本解决，然而，对于行业用户来说仍然是个大问题。因此，瞄准GIS的APP成为了山河空间的一大目标。

峰会上，山河空间正式发布掌图个人版，重新定义移动GIS。这是一款手机GIS APP，它可以基于谷歌和高德地图为底图，免费采集和管理空间数据。操作简单，具有精准的定位、多样的数据采集模式、海量空间数据加载、前沿的大数据分析、便捷的成果分享等功能优势。

就像Iphone重新定义智能手机一样，它不仅是突破性的遥感卫星APP，是革命性的地理信息APP，更实现了让GIS极致简单，开启了空间大数据移动互联时代。

打通无人机GIS应用的最后一公里

掌图个人版的发布，预示着让未来到来。当然，山河空间不仅着眼于未来，全新推出的智飞地图个人版也抓住了现在。它是一款能够加载空间数据、控制无人机智能飞行的无人机GIS APP，它不仅可以快速获取空间数据，还能将空间数据服务于无人机的飞行，打造无人机GIS应用的专属飞行地图。

不能加载自己的空间数据是众多行业大咖做无人机技术头疼的一个大问题，这最后一块儿无人机GIS应用的拼图山河空间是如何拼起的呢?我们一起看会场上山河空间市场部总监晏勤勇分享的其中一个案例。

ESRI的高级产品咨询师，目前长期为行业提供无人机GIS应用方案。他所遇到的问题，是不能加载不同坐标系的空间数据，但因为他接触的行业比较多，每一个行业应用的坐标系不一样，很多行业用户需要把不同坐标系的空间数据加到无人机里面作为飞行地图，开展行业应用。

据晏勤勇介绍，把不同的项目坐标空间数据加到智飞里面作为飞行底图，智飞就可以实现无人机的坐标和加载这些不同空间系的坐标实现智能配准，这样不能加载空间项目数据的问题就迎刃而解了。

完美打出行业应用组合拳

山河空间开启了空间大数据移动互联时代，在这次的峰会上也打出完美的一套行业应用组合拳。

回顾曾经的行业应用，在国土方面，掌图系统提供各类地图随身携带服务，精准无误的定位服务和各类业务大数据分析服务，广泛应用于执法监察、地籍管理、耕地保护、土地利用、规划管理、土地储备、矿产管理、地质环境、土地统征等各个国土管理业务部门，开创了国土“一张图”随身携带的全新管理模式。

在林业方面，高效的集成管理丰富林地资源数据，让你随时随地掌握自己的林地资源家底。定位服务和快速的数据采集为查处林地征占用、作业设计调查林业资源清查等业务工作提供准确的数据支撑。

农业方面，掌图系统结合农业灾害预测与控制、水土保持、农作物估产与检测、农业生态环境研究、测土配方等业务，提供农业资源“一张图”展示服务，协助农业工作者轻松完成现场采集记录工作，实现农业资源掌上管理，为数字农业生产管理提供有力的保障。

在峰会上，“掌图”和“智飞地图”的盛大发布，为原有的行业应用包括国土、林业、农业、水务、规建、政府等在内的蓝图填充了更丰富的内容，也推动首次的亮相走向高潮。遇见山河，预见未来，大数据移动互联智能时代已来!

“寻龙分金看缠山，一重缠是一重关，关门如有八重险，不出阴阳八卦形。”在《鬼吹灯》小说以及依据该小说改编的电影《寻龙诀》中，主人公胡八一是一名“摸金校尉”，他在找寻目标的时候，经常默念到这些口诀。从某种意义上来说，“摸金校尉”的口诀就包含了对星宿排列与山川河流等空间数据的认知和利用。

我们身处的世界，其中80%的数据都与空间有关。空间数据与业务场景的叠加（空间数据+），催生了各个行业的化学反应，更智能化的出行，更精准的商业选址，更精确的灾难救援……一切成为可能。

与此同时，海量、多源、异构的空间大数据也在源源不断地生成中。从数据采集，数据生产，数据管理，数据发布到应用服务，空间大数据业务对当前的存储系统带来了巨大挑战。

9月18-19日，2018年第十六届Esri中国用户大会在北京举办，作为Esri的战略合作伙伴，XSKY面向空间大数据对存储系统的挑战，向与会者展示了先进的软件定义存储解决方案（SDS）。

在该方案下，通过支持SCSI、iSCSI、FC、S3、NFS、SMB、FTP等多种协议，以及支持广泛的虚拟化平台和数据库应用，提供高性能、高可用性、高扩展能力，可基于一套SDS数据平台承接包括影像处理、BIM、三维模型、AI分析等所有空间大数据业务，满足用户结构化、半结构化、非结构化所有数据类型的存储与管理需求。该方案具有以下特点：

海量数据全生命周期管理

分布式统一存储平台，按需扩容实现海量影像数据存储管理；小文件归并特性解决海量小文件管理难题；多副本、纠删码、快照、同步异步复制、云归档备份等功能实现完备数据保护策略；全业务数据接口，实现影像数据全业务应用支持。

海量数据管理与应用

支持对象标签，弹性搜索实现数据快速查找；多虚拟化支持，提升GIStack的适用场景；提供GIStack所需的全类型对象存储接口；支持原生S3，提供更大的空间和更高效的检索性能；提供Restful API，GIStack可高效监控底层存储资源；全图形化界面提升用户的管理效率；存储热/冷池实现海量数据下更优的存储性能的配比；多路径提供更高效、更稳定的带宽输出。

存储平台向数据平台升级

提供数据库以及HDFS接口支撑非结构化数据的大数据分析场景；支持HIVE ，支持半结构化数据场景；通过S3a支持最新的Spark分析框架，支撑海量非结构化数据场景，实现数据应用的未来就绪；S3对象存储实现真正的海量数据管理长期保存，大幅提升大数据分析的样本有效性。

随业务变化的按需扩展

分布式架构提供更高的业务延续性，最大限度的降低因为存储调度造成大数据分析中断 ；按需扩展，提供与计算集群动态适配的存储资源；多路径实现输出最佳性能及可靠性；SSD Cache提供高并发下的存储性能；便捷运维管理，直观维护应用分析任务与存储池的关联关系。

未来就绪

分布式文件与对象存储实现内部协议转换；支持对象标签，实现数据更小粒度的管理，为分析提供更高效的分析和查询能力；按需扩展的对象存储，实现EB级别的空间支持，从而实现AI数据的全生命周期管理；特有的小文件归并，可大幅提升小文件管理能力 ；多副本、纠删码、保护域、备份等提供7个9的可靠性；权限管理、密钥、数据销毁等保障科研成果的安全。

方案实践

目前，XSKY统一数据存储平台X-EDP与Esri公司专业的地理信息服务应用软件ArcGIS实现了无缝打通，经过双方的多次大规模生产数据测试，结果表明，X-EDP可有效支撑Esri ArcGIS系统对存储功能、可靠性、性能的需求。

在国内某直辖市GNSS卫星定位连续运行基准站网系统数据中心建设项目中，XSKY SDS解决方案不仅达到了存储资源的高可用、高可靠性和可扩展性，保证了坐标转换业务的性能需求，并且基于XSKY与Esri双方的紧密技术合作，解决了地图瓦片数据的高效存储问题。

人类所接触到的信息中有80%与地理位置和空间分布有关。无人机技术的成熟与普及也为空间大数据的采集与应用带来了一场新的革命。除了消费者们熟悉的航拍摄影外，无人机的行业应用还有精细三维建模，地理信息采集，精细农业，电力巡线与油气管线巡检等。相比于消费级市场，以空间数据采集为主的行业应用的技术门槛以及利润率都更高，政府与企业用户对于产品定制化的需求与配套服务的期望也更高。从供给侧来看，目前绝大多数面向行业应用的工业级无人机都存在“单低小离弱”的特点，即“用途单一”，“任务效率低”，“载荷能力小”，“载荷设备与飞行平台分离”以及“配套服务弱”。

据中信证券估计，2015年国内民用无人机市场在600亿左右，年增长率10%以上。消费级无人机企业，如大疆，Parrot，亿航等在近三年内先后开始拓展基于各自机型的行业应用，但其在2B市场的配套服务，技术支持，细分行业的专业程度等方面均有一定局限性。国外领先的无人机行业应用服务提供商Aibotix，AscendingTech(Intel)，SenseFly(Parrot)等虽然市场侧重有所不同但都选择了“一机多用”的发展道路。在新三板挂牌以行业应用为主要业务的无人机企业数维翔图，亿瓦特，七维航测等企业近三年的复合年度增长率均在20%以上，属新三板企业中的佼佼者。除了少数拥有自主技术的无人机企业外，更多企业选择了代理或贴牌销售进口无人机，例如中海达，拓普康，华测等传统测绘企业。图1将国内外无人机行业应用龙头企业的产品与探际科技的产品进行了横向比较，图2对各类飞行平台载荷能力以及传感器重量进行了兼容性比较，可以得出：

· 探际科技)的无人机产品在旋翼机市场拥有国际领先的技术参数与价格优势;

· 在保证成本优势

前提下，5kg载荷能力的长续航无人机可以向下兼容绝大多数行业应用对于传感器的需求，以实现最大效益的“一机多用”。

图1 工业级无人机平台载荷续航能力对比

图2 主流传感器套件重量对比

探际科技依托灵活机动的“行云”，通用长续航的“景云”和稳健大载荷的“栖云”三大无人机平台，深度集成或自主开发或市场通用的多元传感器，并以此为基础提供无人机空间数据的采集，处理，分析和应用服务。除了销售可靠多元的硬件系统，探际科技依托自身在遥感数据及其应用方面的优势助力用户从“空间数据”提取“有用信息”进而创造新的“知识和应用”，让空间数据的价值最大化。

图3 产品、应用与服务架构

图5 无人机厘米级3D城市建模

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

地理信息数据管理现状

大数据为地理信息行业带来了全新机遇，伴随大数据技术的发展，获取地理信息的各种新技术也在不断涌现。传统的地理信息采集是专业任务，强调几何精确性，测绘遥感是主要的采集手段。而大数据地理信息采集手段更为丰富和自由，传感器网络、个体出行过程、网络行为、消费记录等均可能成为大数据地理信息采集手段。这些地理数据具有体量大、来源广、多样化、多时项、多尺度、高维度、高复杂性和非结构化特点。

目前，各行业用户拥有的地理数据普遍存在着数据分散、重复布局、更新维护困难等情况，严重影响到数据资源的共享、开发、利用。用户迫切需要一款数据管理平台，帮助自己实现海量数据资源的统一管理与维护。

‘安徽·天地图’政务版平台数据管理经验

安徽基础测绘信息中心应用捷泰天域睿图数据库管理系统建立了一套“高效、灵活、实用”的数据资源管理平台，完成了安徽省天地图“母库”库体建设，实现了全省基础矢量数据、影像数据、地名地址数据、三维数据、街景数据、瓦片数据等各类数据资源的高效管理和可视化应用，提高了中心数据资源管理水平与成果应用效能。

系统平台建立了灵活、可配置的数据查询体系，实现了数据查询、统计、提取的一体化；建立了融合数据与母库数据同步机制，形成母库与融合数据的良性互补，减少了重复建设；采用众筹思维模式，建立了需求牵引的快速同步更新机制，通过迭代方式快速更新产品库热点区域数据，然后与母库同步更新，从而完善、提高母库数据质量。

专业数据管理平台——睿图数据库管理系统

捷泰天域为了解决当前海量数据管理难题，推出睿图数据库管理系统，是以空间对象为主体的地理信息综合管理系统，以数据模型为核心，采用插件式开发框架，实现对基础地理信息数据、专题数据、影像数据、文档资料等各类数据的统一组织和有效管理。支持数据模型定制，可以根据实际情况跟随业务进行调整；支持开发定制，满足各种类型地理信息数据库的快速搭建和定制扩展。

用户仅需使用极低的成本，即可获得地理信息数据资源的统一存储和高效管理。捷泰天域数据库管理系统帮助用户实现数据资源的统一管理、更新、维护、分发、共享，使数据更好的为业务应用和数据挖掘提供支撑。

产品的核心价值包括以下几个方面：

数据资源一体化管理

为用户提供从数据质检、数据建库、数据更新到数据查询、数据展示、数据分发、数据共享全流程的一体化管理，减少用户进行数据管理、查找、更新、维护工作量。

灵活的数据建模能力

产品采用数据模型组织管理数据资源，用户可根据需要建立相应的数据模型。模型具备可扩展性，满足未来用户数据管理内容扩展的需要。

高效检索，快速、精确定位

用户无需担忧如何从海量的数据中快速获得到想要的那份数据，首先，产品采用ElasticSearch智能高效检索技术，提升海量数据的检索效率；其次，产品提供多种检索方式，包括空间检索、元数据检索、空间与元数据组合检索等，帮助用户快速、精确的找到需要的数据。

要素级更新能力

产品具备要素级更新能力，支持要素级更新数据的历史管理。帮助用户实现要素级的历史回溯。

提供二次开发接口

产品具备定制开发能力，用户可以通过库管产品提供的二次开发接口，结合自己的业务需求进行二次开发扩展。

目前睿图数据库管理系统产品已面向政府、企事业单位和各行业各层面用户提供了专业的数据管理解决方案，并且产品已服务于时空信息云平台大数据管理、天地图母库管理、大数据中心建设等多个应用领域。

QQ数据采集器-QQ营销必备工具

导语

现在是大数据时代，无论做什么营销都需要用到数据。数据是根本，数据能引导你的营销思维。做QQ营销同样需要大量的精准数据，今天小编为大家介绍一款QQ数据采集软件，这款软件既可以采集精准客户QQ，同时也可以采集精准客户QQ群以及QQ群成员。

软件功能特点

⊙支持按关键词采集精准客户qq

⊙支持自动检测所采集好友是否为单双向好友

⊙支持自动检测所采集qq是否开通临时会话功能

⊙支持自动识别qq所在城市、性别。年龄

⊙支持按关键词采集精准客户qq群

⊙支持自动筛选出群主qq

⊙支持自动检测是否可以直接添加qq群

⊙支持以文本文档格式导出qq群

⊙支持采集qq附近的人（全国定位）

⊙支持采集本地好友和群

⊙支持采集空间qq

⊙支持采集微博听众

⊙支持采集企业qq

⊙支持论坛qq采集

软件功能效果展示

易推客营销软件