来源中国军网综合

空间“大数据”为美军提供便利的同时，也带来了诸多困扰和挑战。美军在近几场战争和非战争军事行动中，各级指挥系统均不同程度地遭遇到空间“大数据”的困扰。在这些行动中，数据“难以用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、搜索、共享、分析和可视化等诸多方面。”请关注今日出版的《解放军报》的文章——

“大数据”缘何给美军造成困扰

■肖慧鑫 李 义

美军从上世纪60年代起就认识到数据共享和集成管理的重要性，投入大量资源进行数据建设，并于1997年提出“大数据”的概念，自伊拉克战争爆发后不断在实战中探索“大数据”的运用。美军认为，太空态势感知是控制空间、掌握制天权的根本前提，快速高效地获取空间“大数据”是控制空间、掌握制天权的关键。为此，美军建立了完善的太空态势监视系统，包括地基主动红外激光雷达和分布式相控阵雷达、光电深空望远镜和天基空间目标监视系统等。

然而，空间“大数据”为美军提供便利的同时，也带来了诸多困扰和挑战。美军在近几场战争和非战争军事行动中，各级指挥系统均不同程度地遭遇到空间“大数据”的困扰。在这些行动中，数据“难以用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、搜索、共享、分析和可视化等诸多方面。”

一是空间“大数据”的数量呈现爆炸式增长。美军各级指挥机构及作战部队在军事行动前可同时得到5个渠道的战场数据支持，即：国家情报系统提供的战略及战术情报数据，远程侦察监视系统自动报告的数据，作战部队蓝军跟踪系统自动报告的数据，相关数据库自动报告的数据，全球资源系统、训练系统及其它资源产生的数据等。不仅如此，美军还大量采用商用数据，使用“数字地球”和“地球眼”提供的卫星图像，利用谷歌地球和影视业提供的数字图像产品。因此，美军各级指挥控制机构所获得的数据已经不能以通常的G和T为单位来衡量，而是要以P（1024个T）或E（1024个P）来计算。

二是空间“大数据”的高效存储和高速传输压力巨大。经过多年的全球信息栅格基础设施建设，美军的网络传输能力已达到空前水平。但是，由于各类侦察卫星、测绘无人机、激光雷达等军事测绘传感器每天都要采集大量的情报数据，海量数据不仅在重要关头阻塞了关键网站，更使指挥官和参谋人员陷入了信息的“海洋”。数据无法及时转变成为明晰易懂的报告和指令，严重影响了作战效能，阻碍了作战进程。这就需要提供虚拟化存储技术和超大容量数据高速传输技术，解决空间“大数据”的组织、管理、存储和传输等问题。

三是空间“大数据”与通用情报进行融合的难度巨大。为了提高效率，美国陆军作战指挥系统需要访问最新的、精确的和存储于共享和分布式地理空间数据库的通用地理空间数据，这些数据构成通用作战图的基础。由于空间“大数据”包含物体及其相对地球表面的结构化数据，其格式繁多、数据量庞大，处理困难，严重制约着通用情报的融合。要实现基于网络的数据、信息和情报共享，就要求地理空间位置、时间参考框架以及测试度量标准一致。因此，美军需要制定并推行与之相对应的量测方法和度量标准，并建立与C4I、情报单位和作战部队的紧密联系。

四是现有数据架构无法满足快速决策要求。大量的网络服务从单一的文字形式转向图片、语音和影像等多媒体形式，促使数据量大增。在这种大背景下，美军现有数据架构不仅仅要处理、存储“结构化”数据，还要应对各类报表、图片、文档、文本、音视频、可扩展标记语言和超文本标记语言等“非结构化”数据,因此读取和处理效率也越来越低。长期以来，美军各级指挥控制机构及专业人员要时刻面对数据超载的巨大压力，由于需要处理的数据量太大，以致耗费大量时间。

而实际上，美军各级侦察机构使尽浑身解数收集来的信息中，有相当一部分从未经过彻底分析，因此这些数据也就从来没有派上过用场。地理空间数据、影像和影像情报、视频情报等富媒体数据不像电话簿那样，可以用二维数据来表达，它们属于非结构化数据。现有的数据架构在“大数据”之下更是搜索困难、速度缓慢，无法满足快速决策的要求。

为此，美军地理空间部门把重心放在虚拟存储技术上，着力解决空间“大数据”的存储、网络传输和服务问题，目的是以更大的数据量、更多的数据种类和更短的响应时间，提供更快、更好的地理空间信息和影像。同时，为了推动空间“大数据”的应用，美国国家安全局正在兴建一座超级情报数据中心，用于存储国家安全局的侦察卫星、无人机、海外侦察站以及遍布全美电信设施的监控中心所收集的海量情报数据。

此外，美国情报界正在研发一些能抓取“谷歌地球”图像的空间“大数据”处理工具，美国海军和海军陆战队也在试验一种被称作“语义维基”的“大数据”分析方法，可以搜索视频、情报以及卫星影像，还可加入视频流。而更有发展前途的是 “防务情报信息企业系统”，它利用空间“大数据”技术，从众多传感器和数据库中收集、处理、分析信息，提高数据处理的效率。

2017年6月13日，以“空间大数据的崛起”为主题的第六届全球地理信息开发者大会(WGDC2017)在国家会议中心拉开序幕，会期两天。本次会议以地理信息测绘、互联网、人工智能、大数据等方面为主，结合当下社会发展的实际情况为与会嘉宾共同分享大数据所带来的科技化革命和成果。

今年是WGDC诞生以来的第六年。过去五年，WGDC从摸索中出发，怀揣“跨界、创新、全球”的理想一路前行。从最初跨界、融合到“无处不在的地理信息”，从3000人次到6000人次，WGDC不断刷新着空间信息领域对会议的认知。

WGDC被誉为“中国空间信息产业的创新风向标盛会”，此次大会既有高瞻远瞩的领袖峰会，也有展现新技术、新产品、新商业的盛大展览。几十家展商和媒体共同到场，其中包括广东泰一、瞰景科技、深圳飞马、南方测绘等众多知名企业，活动现场观众约计有500人左右。演讲嘉宾分别有国家测绘地理信息局副局长李鹏德、百度地图事业部总经理李东旻、泰伯创始人刘玉璋、英国伦敦大学学院大数据分析实验室创始人兼主任程涛等知名人物。

随着移动互联网和云计算的快速发展，空间位置数据的快速沉淀和积累，使得空间大数据正在全球范围内迅速崛起，给政府用户、企业用户与个人用户提供前所未有的应用价值和服务能力。而机器深度学习、人工智能技术的诞生则进一步拓展了空间大数据的服务能力，人工智能技术不仅能够提升数据处理能力及效率、降低人力消耗，更使得空间大数据服务应用到更多领域，再针对不同客户需求，精准定制数据信息服务方面都有着出色的表现。当空间大数据、云计算与人工智能发生碰撞，地理服务产业势必会发生神奇的变革与进步。

基于云计算的空间大数据和人工智能技术的新型地理服务时代已经悄然到来，当空间大数据、云计算与人工智能发生碰撞，迎来更高效、便捷、智能的新方法，地理服务产业势必会发生神奇的变革与进步，让我们拭目以待吧！

【IT168 资讯】6月15日，由成都山河空间信息技术有限公司(SUNVO)举办的“空间大数据+移动互联”峰会——山河空间·掌图专场在WGDC2018年舞台上首次惊艳亮相。

在峰会上，山河空间发布了两款具有里程碑意义的空间大数据移动互联产品—“掌图个人版”和“智飞地图个人版”，并围绕产品设计理念、功能解读以及行业应用等方面展开介绍。

让GIS像Iphone一样简单

我们现在大多数人手机里面80%的APP都和空间位置相关，那么为什么在PC互联网时代被受冷落的地图服务，到了移动互联网时代被受热捧呢?山河空间有限公司创始人兼CEO黄宇先生解释道，一方面是能够实时定位，另一方面是可以随时随地使用。

▲山河空间有限公司创始人兼CEO黄宇

的确对于大众用户来说，PC互联网时代电子地图没有办法定位和携带不方便的问题已经基本解决，然而，对于行业用户来说仍然是个大问题。因此，瞄准GIS的APP成为了山河空间的一大目标。

峰会上，山河空间正式发布掌图个人版，重新定义移动GIS。这是一款手机GIS APP，它可以基于谷歌和高德地图为底图，免费采集和管理空间数据。操作简单，具有精准的定位、多样的数据采集模式、海量空间数据加载、前沿的大数据分析、便捷的成果分享等功能优势。

就像Iphone重新定义智能手机一样，它不仅是突破性的遥感卫星APP，是革命性的地理信息APP，更实现了让GIS极致简单，开启了空间大数据移动互联时代。

打通无人机GIS应用的最后一公里

掌图个人版的发布，预示着让未来到来。当然，山河空间不仅着眼于未来，全新推出的智飞地图个人版也抓住了现在。它是一款能够加载空间数据、控制无人机智能飞行的无人机GIS APP，它不仅可以快速获取空间数据，还能将空间数据服务于无人机的飞行，打造无人机GIS应用的专属飞行地图。

不能加载自己的空间数据是众多行业大咖做无人机技术头疼的一个大问题，这最后一块儿无人机GIS应用的拼图山河空间是如何拼起的呢?我们一起看会场上山河空间市场部总监晏勤勇分享的其中一个案例。

ESRI的高级产品咨询师，目前长期为行业提供无人机GIS应用方案。他所遇到的问题，是不能加载不同坐标系的空间数据，但因为他接触的行业比较多，每一个行业应用的坐标系不一样，很多行业用户需要把不同坐标系的空间数据加到无人机里面作为飞行地图，开展行业应用。

据晏勤勇介绍，把不同的项目坐标空间数据加到智飞里面作为飞行底图，智飞就可以实现无人机的坐标和加载这些不同空间系的坐标实现智能配准，这样不能加载空间项目数据的问题就迎刃而解了。

完美打出行业应用组合拳

山河空间开启了空间大数据移动互联时代，在这次的峰会上也打出完美的一套行业应用组合拳。

回顾曾经的行业应用，在国土方面，掌图系统提供各类地图随身携带服务，精准无误的定位服务和各类业务大数据分析服务，广泛应用于执法监察、地籍管理、耕地保护、土地利用、规划管理、土地储备、矿产管理、地质环境、土地统征等各个国土管理业务部门，开创了国土“一张图”随身携带的全新管理模式。

在林业方面，高效的集成管理丰富林地资源数据，让你随时随地掌握自己的林地资源家底。定位服务和快速的数据采集为查处林地征占用、作业设计调查林业资源清查等业务工作提供准确的数据支撑。

农业方面，掌图系统结合农业灾害预测与控制、水土保持、农作物估产与检测、农业生态环境研究、测土配方等业务，提供农业资源“一张图”展示服务，协助农业工作者轻松完成现场采集记录工作，实现农业资源掌上管理，为数字农业生产管理提供有力的保障。

在峰会上，“掌图”和“智飞地图”的盛大发布，为原有的行业应用包括国土、林业、农业、水务、规建、政府等在内的蓝图填充了更丰富的内容，也推动首次的亮相走向高潮。遇见山河，预见未来，大数据移动互联智能时代已来!

人类所接触到的信息中有80%与地理位置和空间分布有关。无人机技术的成熟与普及也为空间大数据的采集与应用带来了一场新的革命。除了消费者们熟悉的航拍摄影外，无人机的行业应用还有精细三维建模，地理信息采集，精细农业，电力巡线与油气管线巡检等。相比于消费级市场，以空间数据采集为主的行业应用的技术门槛以及利润率都更高，政府与企业用户对于产品定制化的需求与配套服务的期望也更高。从供给侧来看，目前绝大多数面向行业应用的工业级无人机都存在“单低小离弱”的特点，即“用途单一”，“任务效率低”，“载荷能力小”，“载荷设备与飞行平台分离”以及“配套服务弱”。

据中信证券估计，2015年国内民用无人机市场在600亿左右，年增长率10%以上。消费级无人机企业，如大疆，Parrot，亿航等在近三年内先后开始拓展基于各自机型的行业应用，但其在2B市场的配套服务，技术支持，细分行业的专业程度等方面均有一定局限性。国外领先的无人机行业应用服务提供商Aibotix，AscendingTech(Intel)，SenseFly(Parrot)等虽然市场侧重有所不同但都选择了“一机多用”的发展道路。在新三板挂牌以行业应用为主要业务的无人机企业数维翔图，亿瓦特，七维航测等企业近三年的复合年度增长率均在20%以上，属新三板企业中的佼佼者。除了少数拥有自主技术的无人机企业外，更多企业选择了代理或贴牌销售进口无人机，例如中海达，拓普康，华测等传统测绘企业。图1将国内外无人机行业应用龙头企业的产品与探际科技的产品进行了横向比较，图2对各类飞行平台载荷能力以及传感器重量进行了兼容性比较，可以得出：

· 探际科技)的无人机产品在旋翼机市场拥有国际领先的技术参数与价格优势;

· 在保证成本优势

前提下，5kg载荷能力的长续航无人机可以向下兼容绝大多数行业应用对于传感器的需求，以实现最大效益的“一机多用”。

图1 工业级无人机平台载荷续航能力对比

图2 主流传感器套件重量对比

探际科技依托灵活机动的“行云”，通用长续航的“景云”和稳健大载荷的“栖云”三大无人机平台，深度集成或自主开发或市场通用的多元传感器，并以此为基础提供无人机空间数据的采集，处理，分析和应用服务。除了销售可靠多元的硬件系统，探际科技依托自身在遥感数据及其应用方面的优势助力用户从“空间数据”提取“有用信息”进而创造新的“知识和应用”，让空间数据的价值最大化。

图3 产品、应用与服务架构

图5 无人机厘米级3D城市建模

QQ空间就像是互联网上的城乡结合部，兼具博客论坛时代的土气和微博微信时代的洋气，拥有让写字楼里的薇薇安、杰西卡、莱斯利一秒变回“葬爱家族”的魔力。这个城乡结合部给了我们一个机会，可以重新审视过去的自己。

你有多久没有更新QQ空间，甚至不再登录上去看一眼？

短则几个月，长则一两年，我们常用的APP几乎就要更新一遍。在这个“但见新人笑，哪闻旧人哭”的互联网时代，面对令人眼花缭乱的产品，有多少人还记得十多年前红极一时的QQ空间？

本文是一位程序猿使用C#写的一个QQ空间蜘蛛网爬虫程序。程序断断续续的运行了两周，总共爬了3000万QQ数据，这些大数据背后隐藏了哪些信息？

这是我近期使用C#写的一个QQ空间蜘蛛网爬虫程序。程序断断续续的运行了两周，目前总共爬了3000万QQ数据，其中有300万包含用户（QQ号，昵称，空间名称，头像，最新一条说说内容，最新说说的发表时间，空间简介，性别，生日，所在省份，城市）的详细数据。

目前已经爬到我的第7圈好友（depth=7）共3000万数据。

爬虫主程序运行界面：

爬虫程序设计：

大致设计思路是模仿工厂的生产车间，使用三大独立循环线程组（GetWaitList，CrawlerQQInfos，SaveData）。

详细设计图：

再看看，我根据这份数据生成的一些有趣的统计图（数据量太大了一次加载到内存中直接报内存不够了，所以下面的统计数据只取了depth值小数据较完整约80W的数据）：

内存已经爆了，不能怪我。 谁赞助台服务器吧。

1、大家一般都在啥时候发说说呢？

从图中看出一天最冷门的时候是凌晨4点，这时全国正在睡觉的人最多。 大家最亢奋的是晚上10点到11点，人们都喜欢睡前看看别人的空间，发条说说。中午12点左右也有一波小高峰。

2、中国人都喜欢在几月生小孩呢？

最热门的是1月份和10月份，最冷门的是4月份。10月份生小孩的多好理解，一年忙差不多了，天气也不冷不热正是生小孩的好时候。 但1月份最高且和2月落差很大有点不好理解，那么冷的天生不怕冻吗？ 我估计是1月份也快过年了，以前没聚一起的好不容易聚一起了，就容易冲动，冲动就啪啪啪。 4月份生日的最少也好理解，中国人不喜欢4这个数字呗。 大数据有意思吧！！ 我觉得太好玩了，后面还有很多呢。

3、这是我目前爬取的用户所在地分布

你能猜出我是哪的了吗？前四名分别为：广东，湖南，四川，江苏。 没错，我就是湖南的！ 湖南人在广东打工的超级多，这也能理解为什么广东排名第一了。江苏是我上学的地方，有点琢磨不透的是四川和我非情非故的居然排第3名，我的朋友们，你们是谁播的种？站出来！ 还有一种可能，四川人交际能力全国第一，我平时在重庆小面吃饭，四川人确实特别，说话语速那个快啊，声调那个高啊。受不了！

4、数据人群的年龄分布

一不小心就暴漏了我的年龄，没错。我就是那个最高值的1990年；从目前的数据来看，无论是分布地区以及年龄阶段与我的关联还非常大，随着数据量的不断增加这种关联会逐渐变小，统计图也会逐渐接近全国用户的真实情况。真想弄几台服务器分布式搞起，估计一周就能爬上亿的简单数据。 单靠我的笔记本和家里超烂的网速达到这个目标还很远。

5、数据人群性别分布

男比女足足多了23%的人数，我分析认为实际差距应该是不大的，但女生在设置QQ空间访问权限时普遍要比男生的高。所以我爬取的数据中男生居多。

6、下面系列图是根据一些“关键字”在说说中出现的频率统计出来的，相当有意思。

6.1 图说股市

在知乎“能利用爬虫技术做到哪些很酷很有趣很有用的事情？” 有一个google实习的哥们@Emily L爬了400亿条tweet也做了很多有趣的分，其中提到一篇关于利用twitter上人的心情来预测股市的论文。(http://battleofthequants/wp-content/uploads/2013/03/2010-10-15_JOCS_Twitter_Mood.pdf)很有意思。另附我在该问题下的答案“用爬虫监测她（他）的知乎动态”，仅做技术玩乐，求别再喷我猥琐了。

如果当我们拥有海量的QQ空间最新说说，和sina微博数据。我想，用它们来做一些股市或者其它方面的分析预测是可行的，准确度应该也是非常高的。我接下来可能会考虑去做这件有趣的事情。

将股票中的关键字做海量数据分析，比如会得出当日讨论股票排行榜。进而能得到海量讨论股票的用户，再通过市场的实际反馈找出股票上涨及下跌的正相关因子，再对这些海量用户进行分析计算得出最靠谱股票推荐大神排行榜。对这些用户分级，分优先度及抓取密度来拿数据。用这些数据分析出哪些是靠谱的股票肯定靠谱。

6.2 群众讨论最多的明星排行榜，还是很靠谱的。

另附我抓的明星QQ号吧，纯属娱乐，自辩真假。有些空间确实有很多生活私照。

张杰QQ：4199** 花千骨的赵丽颖QQ：4277** 谢娜QQ：5007** 杨幂QQ:4567** 范冰冰QQ：885** 周杰伦QQ：3326**

6.3 最为用户喜爱的手机品牌

6.4 人们最喜欢谈论的互联网公司，阿里之所以这么低估计是大家都喜欢叫它淘宝或者天猫吧。 取这么多名字，自讨苦吃。

6.5 QQ空间中讨论的最为频繁的社交平台排行榜。

6.6 生活的统计图

爱>恨； 开心>伤心; 笑声>叹气声； 吃货很多； 谁特么说中国不幸福了，这满满的都是正能量数据啊。

好了，其实还可以做很多其它的分析。技术不多说了，程序不难，多线程数据库操作却是把我搞苦了。还好，现在程序差不多稳定了。过程也是很有意思的，有空我再写个程序升级过程中的那些趣事吧。我觉得一个美妙的程序一定是高度模拟现实的，就像飞机模仿蜻蜓，雷达模仿蝙蝠一样。 这次的程序设计就是模拟的工厂的生产线。

为贯彻国家大数据战略，运用大数据提升政府治理现代化水平，苏州市发改委于2015年启动了“大数据+公共管理”的电子政务建设项目，将最新的大数据分析技术充分应用到社会管理工作中去。

苏州市空间大数据分析服务平台就是依托苏州市政务云计算中心，利用苏州地理信息库，叠加政府和社会的信息资源，建立人口、法人、经济、征信和地理五大数据库，再建立数据模型，对海量数据进行分析处理，并将分析结果以二维，三维的形式体现到地图上，让大数据能“看得见，看得清，看得懂”。

利用苏州市空间大数据分析服务平台，可以将政府各部门的数据融会贯通，汇聚成基础数据一套图，做到跨界融合，实现跨部门，跨领域的大数据分析和共享服务。

苏州市空间大数据分析服务平台除了可以服务政府部门以外，也为企业和民众提供帮助。利用平台，企业可以进行金融分析，商业选址，物流运输，消费分析和产业布局等。民众可以了解房产资讯，旅游热点，医疗健康，教育就业和物价资讯等。

苏州市政府希望利用大数据分析平台，汇聚全社会的力量，共同推动大数据的创新应用和构建智能城市。

编辑：付静

审核：王海超

“大数据的魅力，在于它几乎能够研究世界上的任何问题。”全国政协常委、国家测绘地理信息局副局长李朋德在6月13日召开的WGDC2017上指出，我们已经来到了数据大爆炸的时代。

李朋德认为，空间大数据要在中国充分发挥价值，就需要在数据开放和共享上做出突破。他表示，未来，将会有越来越多的权威地理信息数据开放给社会和企业，空间大数据将迎来新的机遇。

挖掘空间大数据的价值

“大数据已经上升为国家战略，而几乎所有的大数据，都需要而且可以与地理信息数据紧密融合。”泰伯创始人、董事长兼CEO刘玉璋表示，空间大数据是大数据与地理信息数据的融合体。由此，空间大数据正在全球范围内迅速崛起，给政府用户、企业用户与个人用户提供前所未有的应用价值和服务能力。

“空间大数据的崛起，带来的远比我们想象的要多得多。”泰伯研究院专家顾问、英国伦敦大学学院教授程涛说，“空间大数据崛起给我们带来的是时空大数据，不只是告诉位置，也不只是告诉时间，更重要是有了内涵和内容。这为城市智能化和个人的位置服务提供了非常好的机遇。”

数据离不开时空，在李朋德看来，大数据有序的挖掘才能出现价值。他把时空大数据分为五大形态，第一是基础地理信息数据，即按照国家标准精准测绘所形成的政府数据；第二是专题地理信息数据，比如地理国情所获取的大量与经济、社会有关的数据；第三是专业地理信息数据，如农业部门、国土部门等专业部门的数据；第四是传感地理信息数据，也是时空大数据里面重要且有活力的部分，并涵盖很多的领域；第五是社交地理信息数据，比如采集的共享单车所走的轨迹等数据。

“目前，真正在经济价值上值得花功夫的是第四类和第五类，而前面一、二、三类是政府部门有序打开支撑产业的发展。因此要建立以企业为中心的公众服务、事业支撑、政府监管的新大数据体制。”李朋德说。

李朋德也带来了时空大数据创新发展方面的新思路：把“一带一路”沿线和区域的大坐标关联起来，形成基础地理数据和系列的地图成果，用于规划、建设、感知，借助互联网时代的物联网、云计算和大数据技术，时空数据在数字空间串接起来，形成物理世界的虚拟再现，支持混合现实的智能化管理，为地理信息产业发展提供全新的渠道和原动力。

知卓集团创始人、董事长、泰伯研究院顾问委员陶闯还在大会上发布了《2017中国空间大数据产业趋势报告》。陶闯在发布趋势报告时表示，物联网、云计算、大数据、人工智能的迅速发展，正在催生一个庞大的空间大数据产业链。他认为，空间大数据是全球政府管理和经济发展的基础设施，随着产业的迅速发展，空间大数据将会在社会经济的各个领域发挥不可替代的重要作用，尤其是在智慧城市和智慧汽车领域。

仍面临很多挑战

虽然，现在通过遥感、社会感知传感器等获得了一些信息，这些信息从理论上来说可以更好地理解客观的世界、物理的世界，但是挑战也相当明显。

中国科学院院士、泰伯研究院名誉院长龚健雅在报告中指出，测绘遥感有严格的产品标准和生产技术规程，社会感知数据没有标准规范，模态多样、杂乱无章，如何梳理成可信的数据是一大挑战。

“如果两类数据要融合的话，它的量不一致、时空尺度不一致、精度不一致、可靠性不一致，两类数据如何集成，信息和空间如何融合？这是第一个挑战。”龚健雅说。

另外，“社会感知的数据杂乱无章需要清理，清理后需要入库，是否在线清理等都是一系列的问题。传感网的数据很大，是把传感网的数据直接存进来，还是摘取，这都给我们带来挑战。”

从动态到实施，无论是测绘还是遥感，获取的信息都是在某一个时刻经过时得到的，往往把数据导入数据库里进行管理。但是现在，地理信息已从静态向动态发展，传统的数据管理的模式已经不再适应。

“今天，从传感和各种感知设备出来之后，我们迫切需要发展一种新的地理信息系统。”龚健雅提出，能够支撑实时数据采集、处理、分析与应用模拟的实时的地理信息系统（GIS）将成为未来GIS发展的一个重要方向，也是时空大数据分析的重要平台。

“在统一的空间大数据框架下，基于传感网的实时动态GIS可以实时管理与分析城市内部的人流、物流和事件流，因而能够在智慧城市中发挥重要作用。”龚健雅说。

他还表示，天、空、地传感器成为地理信息数据采集与实时更新的重要工具，传感网与互联网和云计算结合将构成地理国情监测、智慧城市、大数据分析的基础设施。

很多大数据都具有空间位置信息，这些空间大数据可以通过大数据GIS技术进行高效存储、索引、处理和分析。另一方面，经典GIS所需面对和处理的数据规模也在快速膨胀，对于经典GIS中超大规模数据的处理与分析，同样需要大数据GIS技术作为支撑。经典GIS中常用的缓冲区分析、叠加分析、空间查询等算法都可以通过大数据GIS技术进行分布式重构，用以面向不断膨胀的超大规模数据。

一、经典GIS数据存储方案

在各种GIS项目应用当中，首要设计的就是数据存储方案。在经典GIS当中，典型数据类型包括矢量的点线面数据、影像和栅格数据、地图缓存瓦片数据等类型。在存储引擎类型方面，使用较多的类型包括以PostgreSQL为代表的SQL数据库型存储，以及众多NoSQL型数据库，包括以MongoDB为代表的文档型数据库，以HBase为代表的列存储数据库，以Redis为代表的key-value型数据库等。随着互联网应用的深入，各种NoSQL型数据库得到了快速发展，并具有支持分布式可扩展部署，高性能读写等特征，因此在大数据GIS技术中，有必要对其进行吸收和融合。

在大数据应用中，由于涉及的数据体量巨大，存储和计算环境的部署强调二者的一体化，或者通过计算向数据靠拢来实现高效的数据读写。在海量空间数据场景下，需要通过空间索引技术将节点内的数据尽可能的保持完整性和独立性，尽量避免节点间的数据交换，从而实现高效的分布式计算。

1、PostgreSQL

PostgreSQL是一个功能强大的开源关系型数据库系统。可以支持各种主流操作系统，它完全兼容ACID，完全支持外键，连接，视图，触发器和存储过程（使用多种语言）。在GIS应用当中，可以使用它进行矢量点线面数据，栅格数据的高效存储和查询，由于它完全支持ANSI-SQL：2008标准，因此可以基于其上定制各种业务化的查询和存储过程。另一方面，基于其上的PostGIS数据库可以直接进行空间对象的存储和索引，并支持高效的查询，以OpenStreetMap为代表的很多GIS应用直接基于PostgreSQL引擎之上构建存储层。

2、MongoDB

MongoDB是一个基于分布式存储的NoSQL文档型数据库，它是一个介于关系型数据库和非关系型数据库之间的产品。大多数NoSQL都提供较少的关系型数据库特征，但MongoDB是个例外，其对于SQL查询支持较为丰富。其BSON形式的数据结构非常适合进行缓存瓦片的存储，而缓存瓦片的使用往往也不要求过多的SQL查询语法支持。另一方面，它也同样可以进行矢量点线面的存储，并且内置了Spatial扩展可以支持空间索引和空间查询。

3、HDFS

HDFS是一种分布式文件系统，它虽然不是一种数据库产品，但由于其是Hadoop生态体系的基石，且与Spark技术无缝结合，因此在大数据实施时，经常被用来作为一种通用型存储方案。在大数据GIS当中，其使用方式主要有两类，一种是直接作为文件系统，将csv、json格式的大文件放置其上进行直接存储，另一种是作为Spark计算引擎的存储方案，使用自定义的二进制格式存储空间数据，并进行空间二级索引设计和实现，以高效对接Spark分布式计算。

二、经典GIS数据处理方案

由于各种存储引擎特点不一，因此在项目实施中，如何选择最适合的存储和计算方案，需要与项目的具体使用背景相结合。我们建议从数据规模（千万级、亿级、十亿级还是更大）、数据更新频率（年、月、日还是更小）、数据处理复杂性（SQL查询、空间查询还是复杂空间运算）等几个维度进行综合考量。我们选择了几个较为典型的应用场景，进行具体说明。

1、千万级实时更新

该应用的典型客户为政府各单位的分中心，虽然全国范围内的汇总数据规模庞大，但省市分中心单位维护的子库数据规模在千万级左右。虽然数据规模不大，但是具有业务逻辑复杂，要求实时更新的特点，因此推荐根据业务场景，灵活使用Oracle或UDB数据库型引擎。可以进行实时更新，也可以根据复杂业务进行较复杂的SQL查询检索。并且可以对接Spark计算引擎，进行大规模数据的复杂计算。

2、亿级准实时更新

该应用的典型客户是部委的全国级主中心，从各省市分中心汇总的数据规模可以达到亿级到十亿级规模，更新频率低于分中心的实时业务系统，但也需要具备一些SQL查询能力。此时推荐使用PostgreSQL或MongoDB进行分布式存储，一方面可以支持数据的动态扩展，另一方面也可以支持一定的SQL查询。当然也可以对接Spark计算引擎，进行业务计算。

3、十亿级低频更新

该应用的典型客户也是部委的全国级主中心，可能需要对汇总的多年份历史数据进行时间序列分析或者综合性分析。此时的数据更新频率较低，可能是以年为单位，但总体的数据规模非常庞大，可能达到十亿甚至百亿规模。此时推荐使用HDFS进行数据存储，再对接Spark技术进行分布式计算，对这种超大规模的空间数据进行处理和综合分析。

三、经典GIS应用案例

矢量数据的空间叠加赋值算法，是国土测绘领域这样的大规模矢量数据分析常用功能。SuperMapiObjectsjavaforSpark以该算法为例，讲解大数据技术如何提升经典GIS数据处理和分析性能。矢量数据分析的基础是高效的空间索引，而分布式矢量分析同样需要基于空间索引进行加速。

1、分布式构建空间索引

分布式构建空间索引根据整体流程，又可以细分为索引对象构建，数据集重分区，索引后数据缓存等几个子过程。较常使用的索引类型有均匀格网索引和四叉树索引两种。索引对象构建后可以广播到集群各节点，数据集重分区过程各节点可以获取该对象进行空间对象处理。由于后续的叠加赋值计算需要基于索引后数据进行，所以SuperMapiObjectsjavaforSpark需要把重分区后的数据缓存下来，以kryo序列化的方式将数据缓存到HDFS上。

2、分布式叠加赋值计算

由于在前面的分布式构建索引过程中，SuperMap iObjects java for Spark把按照索引重分区后的数据缓存到了HDFS上，因此在进行叠加赋值计算之前，SuperMap iObjects java for Spark首先需要将数据从HDFS上读取到Spark的RDD中。在读取之后，就可以基于索引后的FeatureRDD进行两图层间的叠加计算了。由于叠加赋值一般涉及被更新数据和更新数据两个数据集，所以SuperMap iObjects java for Spark使用RDD的zipPartitions接口来将两个RDD进行组合。

四、经典GIS性能提升测试

SuperMap iObjects java for Spark使用的测试环境的单节点操作系统为64位Ubuntu 16.04 Linux系统，CPU为英特尔酷睿i7-6700K，四核处理器，主频为4 GHz，硬盘为1 TB，内存为16 GB。Spark集群配置为一个Master节点，四个Woker节点，即五台同配置的PC机环境。使用的Hadoop版本为2.7.3，Spark版本为2.1.0。

测试数据局部放大图

为了保证测试的有效性，SuperMap iObjects java for Spark设计了规模不等的三组矢量数据进行分析计算。A组数据被 更新图层图斑对象数目为10万，更新图层（即提供属性值的图层） 图斑对象数目为80。

两图层数据分布特征为：更新图层的单个矢量面对象面积显著大于被更新图层对象，但二者的总体图斑覆盖范围相近。B组数据被更新图层图斑对象数目为100万，更新图层图斑对象数目为800，两图层数据分布特征与A组数据类似。C组数据被更新图层图斑对象数目为1000万，更新图层图斑对象数目为1万，两图层数据分布特征与A组数据类似。SuperMap iObjects java for Spark将分布式改进后的方法与传统GIS软件的单节点叠加赋值功能进行了性能对比，结果如表1所示。

表1性能测试结果

从测试结果可以看出，基于大数据技术的矢量数据叠加赋值方法，在不同级别的实验数据下，相比传统GIS单节点功能都有更好的性能表现。在小规模数据量（数据A）场景下性能有约33%的提升，在中等规模数据量（数据B）场景下性能有约71%的提升，在大规模数据量（数据C）场景下性能有约90%的提升，图2使用柱状图来更为直观的进行结果展示。

在对常用的GIS核心算法进行分析之后，我们认为：大多数的经典GIS核心算法都可以进行分布式算法改进，即使用大数据技术进行海量空间数据处理和分析的性能提升。目前SuperMap iObjects java for Spark已经完成的算法包括空间查询、叠加分 析、缓冲区分析、属性更新、矢量裁剪等功能，后面还计划针对矢量数据处理，拓扑检查等经典GIS常用功能进行进一步的升级改进。

内容来源：超图

地理信息数据管理现状

大数据为地理信息行业带来了全新机遇，伴随大数据技术的发展，获取地理信息的各种新技术也在不断涌现。传统的地理信息采集是专业任务，强调几何精确性，测绘遥感是主要的采集手段。而大数据地理信息采集手段更为丰富和自由，传感器网络、个体出行过程、网络行为、消费记录等均可能成为大数据地理信息采集手段。这些地理数据具有体量大、来源广、多样化、多时项、多尺度、高维度、高复杂性和非结构化特点。

目前，各行业用户拥有的地理数据普遍存在着数据分散、重复布局、更新维护困难等情况，严重影响到数据资源的共享、开发、利用。用户迫切需要一款数据管理平台，帮助自己实现海量数据资源的统一管理与维护。

‘安徽·天地图’政务版平台数据管理经验

安徽基础测绘信息中心应用捷泰天域睿图数据库管理系统建立了一套“高效、灵活、实用”的数据资源管理平台，完成了安徽省天地图“母库”库体建设，实现了全省基础矢量数据、影像数据、地名地址数据、三维数据、街景数据、瓦片数据等各类数据资源的高效管理和可视化应用，提高了中心数据资源管理水平与成果应用效能。

系统平台建立了灵活、可配置的数据查询体系，实现了数据查询、统计、提取的一体化；建立了融合数据与母库数据同步机制，形成母库与融合数据的良性互补，减少了重复建设；采用众筹思维模式，建立了需求牵引的快速同步更新机制，通过迭代方式快速更新产品库热点区域数据，然后与母库同步更新，从而完善、提高母库数据质量。

专业数据管理平台——睿图数据库管理系统

捷泰天域为了解决当前海量数据管理难题，推出睿图数据库管理系统，是以空间对象为主体的地理信息综合管理系统，以数据模型为核心，采用插件式开发框架，实现对基础地理信息数据、专题数据、影像数据、文档资料等各类数据的统一组织和有效管理。支持数据模型定制，可以根据实际情况跟随业务进行调整；支持开发定制，满足各种类型地理信息数据库的快速搭建和定制扩展。

用户仅需使用极低的成本，即可获得地理信息数据资源的统一存储和高效管理。捷泰天域数据库管理系统帮助用户实现数据资源的统一管理、更新、维护、分发、共享，使数据更好的为业务应用和数据挖掘提供支撑。

产品的核心价值包括以下几个方面：

数据资源一体化管理

为用户提供从数据质检、数据建库、数据更新到数据查询、数据展示、数据分发、数据共享全流程的一体化管理，减少用户进行数据管理、查找、更新、维护工作量。

灵活的数据建模能力

产品采用数据模型组织管理数据资源，用户可根据需要建立相应的数据模型。模型具备可扩展性，满足未来用户数据管理内容扩展的需要。

高效检索，快速、精确定位

用户无需担忧如何从海量的数据中快速获得到想要的那份数据，首先，产品采用ElasticSearch智能高效检索技术，提升海量数据的检索效率；其次，产品提供多种检索方式，包括空间检索、元数据检索、空间与元数据组合检索等，帮助用户快速、精确的找到需要的数据。

要素级更新能力

产品具备要素级更新能力，支持要素级更新数据的历史管理。帮助用户实现要素级的历史回溯。

提供二次开发接口

产品具备定制开发能力，用户可以通过库管产品提供的二次开发接口，结合自己的业务需求进行二次开发扩展。

目前睿图数据库管理系统产品已面向政府、企事业单位和各行业各层面用户提供了专业的数据管理解决方案，并且产品已服务于时空信息云平台大数据管理、天地图母库管理、大数据中心建设等多个应用领域。

空间大数据的崛起有着非常重要的意义，首先给我们带来的是更多的服务和信息，这是非常重要的两点，此外就是通过一些图绘来给我们直观讲解。

在大家讲的物联网和云概念也就最近短短几年，伴随社交媒体大量出现。这个时候我们关注空间信息不光是位置、时间，更多的是内容，还有很多的不同影像。

这些带给我们的问题，刚才李朋德局长讲了很多，是从空间信息到时空信息，从规则数据到不规则数据。这些内容怎么提取，其实是非常具有挑战的问题。这个社会的核心就是智能的问题。

智能是什么?

智能是用复杂的分析、复杂的模型、复杂的优化、复杂的可视化来帮助我们做更好的决策。基于这样的问题，基于这些挑战我在2012年在伦敦成立了时空实验室，我们有了时空信息，但是没有时空一体化分析的手段和方法，更没有这样的理念，所以基于这样的理念我在UCL创立了时空实验室，研究时空数据的预测、模拟、分类、画像及可视化，目的是服务于政府，服务于社会，服务于人。

大数据的应用是非常有意义的，大家可以通过一体化的思维进行分析，然后利用各种智能机器来进行讲解，对数据进行分析和统计，从而得出一定的结论。空间大数据不仅给我们带来了信息，还带来了智慧。