中企动力 > 商学院 > 高德数据采集
  • ?

    高德在智能交通领域做的三件事

    三生情

    展开

    在2017中国(南京)道路交通信息化论坛上高德软件有限公司交通管理解决方案部副总经理王红军发表《互联网+大数据——赋能智慧交通》主题演讲,以下为王红军演讲实录:

    高德是在整个交通领域里面,做交通三要素(路况、交通管理和出行者)的连接器。

    如图,可以看到高德在为用户提供出行服务的同时,用户也在帮助我们采集路况信息,而交通管理部门可以结合这所有的路况信息做相应的管理和决策,这个管理和决策又可以通过高德下达到出行者,构成一个闭环。相反,出行者也可以将所见到的路况信息,实时地通过我们连接器来传递给交通管理部门。

    由此可见这个连接器是一个双向的通道。

    在高德提供的所有业务当中,我们一个最基础的部分就是“大数据”。而“大数据”的来源,首先我们是通过向用户提供出行服务,然后由用户通过众包的手段,来采集交通“大数据”。如图,现在高德众包的数据已经超过了80%。

    下面我主要想汇报一下关于高德在三个方面实践。

    第一,传播交通信息。

    我们知道传播连接器有一个“上行”和“下行”,传统的交通信息触达是通过电台、网络、报纸,或者目前的微信、微博平台,确实效果也很好,但是这里面有一点小问题。比如:这些信息是爆炸式的推广,不能选择人群去推广;在推广的过程当中,开车的人没有办法主动去提取相关信息。

    高德作为提供出行服务的厂家,恰恰能够很好的解决这些问题。我们在推广信息的时候,是有选择性的推送,而不是对所有的用户全量推送。

    可以看看几个案例,很多城市经常发起一些演唱会,或者体育赛事,这种事件对当地交通的考验非常严峻,然而通过高德出行服务平台,我们能够非常有效的将交通疏导的一些方案实时传递下去。

    如图可以看到广州亚冠联赛的疏导方案,在这里我们提供了包括语音导航在内的八种宣传方式。2016年的亚冠联赛是高德第一次和交通管理部门合作来疏导交通,和2015年的情况对比整个交通改善也非常明显。

    另外一个是信息触达的案例,就是积水地图实时发布。

    南方城市经常发生积水现象,2016年7月20日在北京,我们通过连接器的作用,推送了7000万次的积水情报,后来据北京交管局相关领导反馈:同期的北京大面积降水,北京所有交警全部上街去疏导交通,而在2016年7月20日的时候,除了常规的执勤民警之外,并没有再增派警力疏导交通。

    原因就在于我们通过这种大量的信息下发,引导用户躲避积水点,使得北京整个交通保持畅通状态。

    交通信息的另外一个能力,就是产业能力。前面我们讲了高德的大数据来源,主要是来自互联网用户的众包能力,另外还有一个主动的上报能力,也就是用户在看到事件的时候,可以把这些信息直接反馈给交通管理部门。发现路面损伤,或者恶劣天气,甚至是一些违章事件,都可以进行上报。

    高德目前在向用户推送的这些事件当中,大概有70%以上的事件都是来自于用户的主动上报,剩下的30%自于高德和政府管理部门的合作。

    另外考虑到数据采集过程中驾驶员的安全问题,高德目前也在和国内很多智能设备厂商合作,将高德的这些采集软件移植到里面,用户可以通过语音采集方式,自动搜索路障、事故、拥堵,甚至违法事件。

    第二,优化交通管理。

    我们知道在整个交通管理的过程中,可视、可控、可见,提供这种安全畅通高效的运输能力,是交通运输部门的一项职责,为此政府管理单位也建立了大量的监测预警平台。

    互联网公司在这里又能做什么?高德主要是通过三个层次去融合路网监测和处置情况。

    第一个数据采集层面,就是利用互联网“大数据”众包产业能力,做实时收集。第二个是数据处理层面,通过大数据计算能力,将所收集到的道路运行数据通过人工智能技术做智能分析,最后得到辅助决策的数据。第三个就是信息下达能力,通过有效途径将一些决策成果反馈执行下去。

    高德目前正在与国家路网中心合作,目前我们已经将高德的大数据和路网中心的应急监测平台做了对接,这个系统在2017年春运期间就已经在线运行。

    除此之外,高德也在积极探索和各省的路网监测以及交通运输部门的合作。我们将政府数据和互联网数据融合之后,所形成的数据来做一些实时展现。另外高德在整个互联网上也提供了,包括交通信息公共服务平台上的数据,给我们的合作伙伴和政府管理单位。

    我们和交通相关的一些单位,将一些视频资料和高德大数据平台做了相应融合,对大数据提取挖掘出来的一些异常事件,通过视频的方式来做直接验证和后续处理。另外我们也和很多高速公路上的交警合作处置恶劣天气的相关情况。

    高德也在积极探索与交警、交委在内的相关部门来对整个道路的施工和设施管理进行合作。

    对于公交来讲,高德目前提供的是一个一体化出行大方案,我们提供实时公交到达服务,另外对公交公司来讲,也提供动态运营和辅助调度相应服务,而对于公交监管单位,我们提供公交整体态势运行和相应统计数据。

    第三,揭示交通规律。

    首先说下高德的交通报告。主要是探索整个城市的拥堵情况之后,挖掘真正的拥堵成因,然后找相应的解决拥堵办法。

    另外高德在每一个重大节假日都会联合交通运输部以公安部、交通管理局来做一些节假日出行指南,帮助用户躲避可能的拥堵点。在整个出行过程当中,高德也为基于出行数据提供热力图类的分析,帮交通管理部门提供整个交通流的整体态势。

    在整个交通里面,安全是第一位,基于安全这个层面,高德目前也在积极探索基于电子地图这个领域,比如路况、气候等等交通风险因素。

    对整个大陆地区做精细化处理,表示我们以后每一条道路,甚至一条道路,都会有道路行使风险系数。

    文章未经本人核实

  • ?

    高德推全新地图产品通过大数据提升用户出行体验

    Letitia

    展开

    腾讯科技讯(相欣) 4 月 20 日,高德地图副总裁董振宁在发布会上首次发布了全新升级的地图产品——“活地图”的技术全貌。

    他表示,“作为静态呈现工具的传统地图已经落伍,在大数据和深度学习的加持下,高德地图正从路活、车活和人活三个方面进化成动态智能的出行服务,也就是活地图。”

    “地图数据是地图服务最底层的根基,因此地图的竞争核心之一一直是数据采集能力的竞争。区别在于,过去完全依靠专业采集生产按计划作业,现在需要将大数据智能采集与专业采集结合,甚至让大数据成为基础数据采集的主导者。”董振宁介绍。

    这些数据来自于数亿的高德用户每天使用地图和导航服务,阿里巴巴大数据中的运单数据、物流数据、外卖数据等等,还有来自于高德服务的移动应用及政府交管的大数据。

    除了互联网众包数据,通过与公安交警、交通管理部门的合作,引入城市交通政府权威数据,两者相辅构成了双生态的交通大数据。由此,高德地图同时实现多维数据的交叉验证,使得计算准确率提升。

    目前,高德地图上的交通事故、道路施工、管制等交通事件达到秒级上线;深红、红、黄、绿颜色代表的实时路况实现了分钟级更新;实时路况的准确率达到了90%以上。通过躲避拥堵功能,高德地图每天为用户节约时间达到 400 万小时。

    同时,高德地图还签约高晓松为高德地图首席采集娱乐官。同时,高晓松也在发布会结尾的彩蛋视频中透露,他的专属导航语音包即将在不久后上线。

  • ?

    电子地图综合采集

    平文

    展开

    风清扬电子地图综合采集,支持对百度地图、高德地图、腾讯地图、360地图、搜狗地图等主流电子地图进行信息采集,可以单地图采集导出,也可以多地图整便去重导出。软件操作简单、升级及时、辅助设置功能强大。是2017年业务营销人员的必备利器,让营销营员工作专业、高效。已被诸多电商、微信、生意用户所选择。

    功能简介

    【风清扬电子地图综合采集软件】属于“风清扬营销软件”的系列软件,该软件是一款专业的电子地图综合采集软件,实时采集”百度地图/高德地图/腾讯地图/狗地图/360地图“等主流电子地图上的商户信息(非个人隐私信息,软件也不生产不存储任何数据)。搜索结果支持导出Excel或一键导入到手机通讯录。数据可用于研究学习或营销参考。

    导出数据包括“商户名、联系、省份、地市、地区、详细地址”等等。

    软件特点,只要用鼠标点点击即可,无需写任何采集规则,【并可直接导出Excel文件,一键导入手机通讯录,适合电销和微信营销。】除了采集功能之外,软件还有自动过滤重复功能,防限制采集设置功能(可以避免大部分情况下不被限制),,历史数据查询功能(只要采集过的信息,就能去“已搜索查询”中查询出来)。

    1、实时采集,非历史数据,而是官网当前最新的POI数据。

    2、操作简单容易上手,傻瓜式操作,三步到位(配置地市和行业词;点击开始采集;导出数据)。不需手写行何规则。操作就这么简单。

    3、支持全国、多省/、多市采集。(同时多地市多关键词)化繁为简,让搜索更加「简单、快速、有效」。

    4、快速搜索、极速的操作体验,流畅愉悦。

    5、若一次采集全国或多省多市的数据,可按省市分别生成Excel文件。(行业独有)

    6、采集效率和数据完整性,业界领先。(同行的软件大都不可试用,或限制只能采集一页数据便停止,而我们可以放开让用户免费体验)

    7、客户的反馈和建议的及时处理,也让软件在许多细节处理的很到位。

    8、带自动升级功能:官方发布新版本后,打开客户端会自动升级到最新版本。

    本软件是众多批发商、电商业务推广、微商业务业推广人员让业务量倍增的拓客法宝。被众多各业行务业务人员所选择使用。

    数据源

    百度地图map.baidu

    高德地图|ditu.amap

    腾讯地图|map.qq

    360地图|ditu.so

    搜狗地图|map.sogou

  • ?

    国内高精地图哪家强?商业化落地的高德地图领先一步

    杭绿竹

    展开

    随着自动驾驶一步步从梦想走向现实,高精地图这一不可或缺的关键技术被整个行业格外关注,在2018年迎来了爆发。资本开始大量涌入,高精地图初创公司如雨后春笋般出现。这也给行业带来了新的困惑,作为新技术新产品,哪家公司提供的高精地图更可靠,判断是否可靠的核心标准又该是什么?

    任何一项新技术新产品,从技术开发到商业化应用落地,都是一个质变的过程,因自动驾驶而生的高精地图更应是如此。据业内自动驾驶专家介绍,高精地图不是给人看的,而是给汽车看的,汽车在不停的改进,高精地图就需要和车辆一起来磨合改进。在这个磨合的过程中,光靠地图公司不能完成对高精地图数据的验证,因为它们最终要在车辆上使用,必须由车辆来检验高精地图数据是否存在问题,比如高精地图车道坡度、曲率等数据。这意味着没有经过商业化应用落地检验的高精地图,很难称之为真正的高精地图,因为他们尚未通过最重要的考验。

    商业化落地仅高德一家

    那么以商业化落地为关键判断标准,高精地图行业的真实情况到底如何呢?综合国内外公开资料,我们发现,虽然在自动驾驶热潮下涌现了大量研发高精地图的公司,但真正实现高精地图商业化应用的,中国国内目前仅高德地图一家。

    这个高精地图商业化应用项目已经广为人知,就是凯迪拉克超级智能驾驶系统,已与6月13日在2018 CES ASIA正式发布。超级智能驾驶系统是全球第一个使用高精地图数据的智能驾驶技术,据凯迪拉克CT6首席工程师李林登先生表示,超级智能驾驶系统针对中国高速公路的高精地图数据,由国内知名地图合作伙伴——高德地图测绘而得。凯迪拉克和高德地图工程验证人员对国内近30万公里的高速公路、城市快速路,以及与高速公路相连的所有城市高架道路进行了核查,这个距离大约要远超地球到月球距离的一半。

    在真实的商业化项目中,高德地图提供的高精地图具体是如何应用呢?据官方介绍,超级智能驾驶系统以高德高精地图数据为重要的判断依据,用以确定车辆已经行驶在高速路上。在掌握整条路况信息后,超级智能驾驶系统通过高精地图和摄像头提前2.5公里就可以知道车辆的位置,提前在收费站或下匝口前提示驾驶员接管车辆。结合曲率数据,当车辆高速行驶在弯道时,超级智能驾驶系统能及时对车辆的速度进行调整,避免在转弯时速度过快影响驾驶员的舒适性和行车安全性,更享安全、舒适、智能的驾驶体验。同时,得益于OTA远程升级技术,高精地图数据能定期实现云端更新,以满足高速公路快速扩张等道路多变的属性。

    领先背后是实力

    凭借着凯迪拉克超级智能驾驶系统这一高精度图商业化项目,高德地图已经在高精地图领域先行一步,傲视群雄。而这与高德地图高精团队的敏感性和专业性息息相关。

    “2014年时候,我们就知道高精地图会是很有意思的事,也会是将来面向自动驾驶的主流地图产品。”据高德高精地图团队负责人表示,虽然当时高精地图还是个未知的领域,但团队的兴趣程度已经很高。此后高德地图在2014年8月份获得测绘局许可,开始正式测试真实坐标的高精地图。在外部环境的不成熟和资源的不具足的情况下,2016年底,高德地图高精团队已经构建成型一整套改善高精地图精度的方案,让地图精度得到大幅度的提升,同时成本也相对可控,达到量产水平。现如今,高德地图已经完成了全国32万公里高速公路的高精地图采集和生产。同时,高德地图也推出了基于高精地图和高精定位的一体化解决方案,能够实现普通道路条件下横向误差和纵向误差在7cm以内,高速/城市环路条件下横向误差6cm,纵向误差5cm以内。

    高德高精地图行业领先的背后,也有阿里巴巴生态资源的支持。作为国内最早进行高精度地图数据采集和技术研发的企业之一,高德不但在高精地图采集总里程、精度和采集设备专业性等方面居于国内领先地位,更加依托高德大数据平台和阿里云计算平台,和阿里巴巴丰富的生态资源建立了完整的高精地图自动化采集更新发布流程。高德已实现了由专业采集车辆、行业车辆和公众车辆组成的多级采集系统;通过智能云调度,高德地图能够实现最快速、最适宜的采集车辆组合、调派,对道路交通进行实时、快速的收集和反馈。通过多级采集系统的构建,高德地图达成了质量、速度、成本、覆盖的有效平衡,保证自身数据高鲜度+高精度+高丰富度的“三高”特性,成为一张动态、实时的“活地图”。

    对于准备“上路”的自动驾驶公司,拥有高精地图商业化应用落地经验的高德地图毫无疑问将是最优先的合作对象。而已经在高精地图业务上投入了大量人、财、物的高德地图,也有了更大的谋划。“我们正在思考,把在高精地图领域艰苦卓绝的努力和沉淀,变成是对整个自动驾驶行业都有帮助的选项,变成这个行业可以‘复用’的资源,变成真真正正能用的、通用化的、产品化的技术。”高德汽车事业部总裁韦东表示,希望已经趟过水、爬过坑的高德,能在高精地图这个领域给后来者开条路。

  • ?

    复盘高德历史:三个时代,以退为进

    安戾

    展开

    互联网的确有种魔力,如水一般,既可载舟又能覆舟。运用之妙,存于一心。

    上周,高德地图通过其官方微博,对所有喜爱高德的用户表示感谢。据悉,截至2016年1月底,高德用户数破5亿大关,2015全年高德的活跃用户增长超过100%。同时,据艾媒咨询最新的《2015-2016年中国手机地图市场研究报告》显示,截至2015年底,高德地图以32.6%的占比排名地图市场份额第一。

    回顾高德地图的历史,有许多地方值得我们借鉴。

    2001年,高德公司成立,1年后开始GPS应用,06年收购北京图盟科技有限公司,与Google、新浪等网站合作,并于09年7月上线手机地图服务。早期的高德专注导航电子地图,是国内首家具有航空摄影甲级资质的民营企业。

    这是高德地图发展的第一个时代——车机时代,即和所有民营企业一样,是一个传统图商,再说白点,就是赚钱。这就是一门生意。

    2010年,互联网行业迅速蹿红,很多民营企业就嗅到了互联网的红利,纷纷开始转型,往互联网挺进。

    高德地图也不例外,敏锐的商人意识,告诉他们也得开始转型互联网企业了。13年8月,高德地图宣布,即日起高德导航施行免费政策。此前,高德导航售价为50元人民币,装机量达7000万。高德官方表示,免费之后,高德将保持两个不变。一是对‘高德导航’的研发投入不变,二是对服务用户的承诺不变。

    这是高德地图里程的第二驿站——免费时代。但未来手机地图导航的竞争,不单纯是技术、数据层面的竞争,更是开放平台和生态链的较量。高德如何应对呢?

    随着互联网发展的如日中天,高德地图的事业也日益成熟,迎来了事业的第三高峰——数据时代。2014年2月,高德宣布被阿里巴巴收购。此时,高德不再是一个创业公司,而是阿里生态下的一个重要组成部分。如今它要做的是入口,是数据,也是平台。

    入驻阿里后,高德公司总裁俞永福发布“新高德”战略,专注用户需求,做最好的地图导航产品,三年内无商业目标。显然,这是一种典型的“以退为进”策略——博观而约取,厚积而薄发。

    那么,高德地图是如何“以退为进”的呢?

    1,回归数据

    没有准确和有用的地图数据,地图也就成了无源之水、无本之木。

    据了解,高德地图拥有国内最庞大和最专业的测绘团队,数据生产人员有1000多人——外业采集人员常年奔波于中国各大城市和乡村的每一个角落采集数据,内业生产人员同步将外业采集的数据加工制作成地图数据。此外,高德地图会实时关注道路、兴趣点的变化情况,并在最短时间内进行实地核实并在高德地图产品端上线。高德官方表示,高德地图数据更新最快可实现分钟级上线,一般大部分道路数据一天以内即可实现更新。

    融入阿里后,“新高德”更加重视数据的采集和更新。不仅推出了继步采、车采及航拍之后,又一种全新的采集方式——自行车采集系统,还不断加大数据采集人力、物力的投入。截止到目前,高德采集的POI数据已经超过5000万个,自采导航道路数据超过530万公里,可实时更新交通信息的城市涵盖全国几乎全部城市。

    而有意思的是,与高德的海量数据掌握在自己手里不同,百度地图、腾讯地图等地图APP,使用的都是四维图新的数据,数据更新慢不说,一旦与四维图新的合作出现问题,就会比较被动。

    此外,除了自身的数据采集,高德地图数据的准确性和权威性还来源于全国各地交通管理部门。2015年4月,高德地图联合北京、广州等多个城市的政府交通管理部门推出“高德交通信息公共服务平台”,为各地交警提供“热点商圈路况”、“堵点异常检测”等交通信息分析。同时,高德地图还推出了“交警平台”,与各地交警就数据资源共享、交通数据分析、交通信息公众服务等方面展开合作。

    2,回归产品

    除了重视数据,高德在近两年还做出了新,做到了深,打出了影响力。

    首先在“新”上,高德地图实现了“明星导航语音”。从13年到14年,拿下林志玲和郭德纲之后,高德地图又新增了周星星等明星语音包。这个举措为高德地图带来大量关注和用户,堪称App运营的经典案例。

    其次,高德地图上线“智慧景区”、“公交导航”、“三维导航”等等创新功能,尝试将细分垂直导航或地图典型场景做深——围绕着功能本身做精做细做深,满足用户的深度出行需求。

    在贵士移动发布的2015年终APP价值榜上,2015年高德地图的MAU(月活跃用户)同比增长率超过130%,高德地图DAU(日活跃用户)同比增长率达174.5%,DAU增长率在全行业TOP50应用中排名第一。而同期百度地图MAU同比增长率只有30.1%,DAU同比增长率也只有40.3%,相比之下差距悬殊。

    阿里巴巴CTO王坚博士曾说,“中国这个地方用掉了全世界70%的计算,而不是1/3的钢材,1/2的水泥”。延续了阿里基因,高德将5亿用户搬上云端,伴随云数据生根落地。

    高德副总裁董振宁也表示:“经过这一年的战略转型,阿里巴巴集团和高德集团实际上创造了中国互联网历史上最大规模整合成功的案例”。

    从车机导航,到免费,再到大数据,高德地图三次转型,其实也是传统企业向互联网转型的标杆案例。它的历次决策,也映射了中国互联网发展的进程。

    有投资人说,极致就是“把自己逼疯,把对手逼死”。置之死地而后生,破釜沉舟,方能逐鹿问鼎。

  • ?

    地图是怎么知道实时路况的?因为每个人都是百万年薪级数据贡献者

    柯绍辉

    展开

    来源:数据猿 作者:倪滴滴

    上班出门,点开地图,前面红色,后面红色,左面红色,右面红色。被一片“姹紫嫣红”包围,前路不通后路被堵,进退维谷之际老板在深情呼唤,下属在翘首期盼,无奈只有祷告:希望地图的数据不准确,前方道路不求畅通无阻,但求顺利通行。今天本滴就告诉你地图是怎么知道路况给地图“上色”的,你侥幸不堵车的梦有多天真。

    地图公司给地图“上色”主要靠数据,数据够则地图生。数据是地图的生命,车速是路况的根本,地图获取数据主要有两种方式:自给自足、仰给于人。

    老话说得好,自己动手丰衣足食,地图依靠自给获得的实时交通数据占了一大半。

    1、人肉采集,用脚步丈量世界。这种采集方式最辛苦,人工成本最高,据说年薪可达百万,但却最低效。用这种方式采集数据,地图的工作人员需在炎炎烈日下,在凛凛寒风中手持 PDA(掌上电脑) 和相机步行在大街小巷中,人肉采集实时交通数据,报告道路通行状况。有时交警也客串一下采集员,在执勤的时候顺带汇报一下路况。

    2、采集车,采集员“翻身农奴把歌唱”。采集车是人肉采集的2.0版本,采集车集成了CCD相机、激光仪、GPS天线等设备,采集员驾驶采集车在路上穿梭,公司的监测数据指哪他们跑哪,不用再被风吹雨淋了。不过有些时候采集数据还是需要人工蹲守的。

    3、众包数据,人民群众是最可爱的人。以高德为例,2016年时高德的实时交通大数据就已经有78%是UGC众包数据。地图软件、使用LBS(位置服务)业务的软件等都会向服务器发送位置信息,也就是只要你打开了百度、高德、新浪、淘宝就是在为我国交通状况的统计做贡献,某些情况,即使你没打开软件,也是在默默贡献自己的力量。多大的问题,除以7亿网民都会变得很小,手机用户反馈的信息基本能覆盖整个城市,人民群众确实是最可爱的人。还有一些人他们更可爱,他们会主动上报路况,二环三环水泄不通、五环中段车祸修路,高德地图的实时交通动态事件数据中,有85%来自于用户上报。

    地图公司想获得更多更全面的数据,除了自给自足,还需仰给于人。

    1、抱政府交通部门的大腿。当地图公司的数据生产力不足时,就需要别人帮助,它首先想到的是政府交通部门。比数据,谁也没有政府多。交通部门的数据又有以下几种来源:

    摄像头,这类摄像头一般安装在电子警察的杆上或者信号灯杆上。它的主要作用就是统计车流量,给信号控制提供数据支持的同时顺带也让地图公司使用一下。

    地感线圈,如果说摄像头是天罗,那么地感线圈就是地网。一个车道一般有两个线圈,一个检入,一个检出,两个线圈的距离除以信号开始和结束的时间差,便可以计算出车速,也可以测出车辆何时通过、有没有车辆能过。

    车辆定位装置,交通部第5号令规定:“旅游客车、包车客车、三类以上班线客车和危险货物运输车辆在出厂前应当安装符合标准的卫星定位装置。重型载货汽车和半挂牵引车在出厂前应当安装符合标准的卫星定位装置,并接入全国道路货运车辆公共监管与服务平台。”也就是说交通部门几乎有所有行驶车辆的位置信息。

    2、向专业数据公司求助。论数据的量,政府部门独占鳌头,比数据的质,数据商完美逆袭。国内提供路况数据服务的公司有世纪高通、掌成科技、九州联宇等,他们提供的数据质量更高,专业性更强。

    3、与出租车公司、公交公司联手。出租车公司和公交公司提供的是浮动车数据,浮动车就是装有GPS的公交车和出租车,它们在行驶过程中能够定期记录车辆位置,方向和速度信息,计算处理这些数据后就能得到浮动车经过道路的车辆行驶速度以及道路的行车旅行时间等交通拥堵信息。地图公司和公交公司、出租公司合作得到这部分数据。

    4、其他数据作补充。除了上述数据源外还有手机等移动终端通过移动通信网络、Wi-Fi接入点位置、移动终端的GPS定位收集到的定位数据。当你在路上时,通过手机信号知道你的位置和移动速度,经过数据处理,便可得到你所在道路的车辆移动速度。

    以上便是地图服务商获取路况数据的主要手段,获取数据后程序猿就粉墨登场了,他们筛选出无效信息,如非移动车辆数据、重复数据等,再通过算法和模型计算出车速得到拥堵延时指数,按照拥堵延时指数给地图“上色”,深红色-非常拥堵;红色-拥堵;黄色-行驶缓慢;绿色-畅通;蓝色-没有路况信息。他们如此煞费苦心的收集路况信息和数据就是为了在地图上更精准地标出红黄绿,确凿地告诉你侥幸在姹紫嫣红中闯出一条路有多天真。

  • ?

    高德地图获2018数博会领先科技成果“新技术”奖

    景水蓉

    展开

    5月26日,以“数化万物 智在融合”为主题,由国家发展和改革委员会、工业和信息化部、国家互联网信息办公室、贵州省人民政府联合举办的2018中国国际大数据产业博览会(以下简称数博会)在贵阳国际会议展览中心盛大举行。在经过初审、复审层层筛选后,高德软件有限公司的大数据分析应用系统获得了2018数博会领先科技成果“新技术”奖,该奖项旨在展现全球大数据领域中涉及数据采集、存储、处理和应用等方面的最新技术成果,彰显大数据领域从业人员的智慧和贡献。

    据悉,数博会已连续成功举办了三届,定位于全球化、专业化,吸引全球大数据领先企业和领军人物参与,展示国际大数据发展最新成果、最新技术,探讨大数据未来发展趋势,聚焦大数据发展过程中的关键和共性问题,挖掘全球大数据产业商机,现已成长为全球大数据发展的风向标和业界最具国际性、权威性的平台。

    作为国内最大的移动出行平台,高德地图一直致力于通过大数据挖掘和探索新技术,解决并改善用户的出行体验。本次凭借该创新项目,荣获含金量非常高的2018年数博会领先科技成果“新技术”奖,属实至名归。

    该项目从高德地图高速发展过程中所遇到的产品痛点出发,首要解决人地属性时空大数据的安全可靠性、及时准确性、全面系统性和标准可用性难题,同时综合考虑PB级多元异构数据存储架构实现,进一步将人工智能技术应用于基于交通大数据的导航路径规划、旅行时间预测、动态交通诱导和拥堵延时指数分析领域。

    在大数据和深度学习的加持下,高德地图在具体应用过程中集成交通信息服务、道路交通安全精细化管理、城市交通态势分析和公共信息服务,建立了基于人地属性的时空大数据采集、存储、分析和应用系统。通过“互联网+交通”方式,建立了“我为人人、人人为我”的交通大数据生态。

  • ?

    百度地图、高德地图的数据从哪里得到的?

    又柔

    展开

    要说数据来源,首先得对地图数据做一个分类,因为不同分类的数据,其来源,采集方法都是有大不同的。

    要明白地图的数据分类,必须先理解一个概念,就是地图图层的概念:

           如上图,电子地图对我们实际空间的表达,事实上是通过不同的图层去描述,然后通过图层叠加显示来进行表达的过程。

    对于我们地图应用目标的不同,叠加的图层也是不同的,用以展示我们针对目标所需要信息内容。

    其次呢,我引入一下矢量模型和栅格模型的概念,GIS(电子地图)采用两种不同的数学模型来对现实世界进行模拟:

    矢量模型:同多X,Y(或者X,Y,Z)坐标,把自然界的地物通过点,线,面的方式进行表达


    栅格模型(瓦片模型):用方格来模拟实体

    目前在互联网公开服务中,或者绝大多数手机APP里看到的,都是基于栅格(瓦片)模型的地图服务,比如大家看到的百度地图或者谷歌地图,其实对于某一块地方的描述,都是通过10多层乃是20多层不同分辨率的图片所组成,当用户进行缩放时,根据缩放的级数,选择不同分辨率的瓦片图拼接成一幅完整的地图(由于一般公开服务,瓦片图都是从服务器上下载的,当网速慢的时候,用户其实能够亲眼看到这种不同分辨率图片的切换和拼接的过程)

    对于矢量模型的电子地图来说,由于所有的数据以矢量的方式存放管理,事实上图层是一个比较淡薄的概念,因为任何地图元素和数据都可以根据需要自由分类组成,或者划分成不同的图层。各种图层之间关系可以很复杂,例如可以将所有的道路数据做成一个图层,也可以将主干道做成一个图层,支路做成另外一个图层。图层中数据归类和组合比较自由。

    而对于栅格模型(瓦片图)来看,图层的概念就很重要的,由于图层是生成制作出来,每个图层内包含的元素相对是固化的,因此要引入一个底图的概念。也就是说,这是一个包含了最基本,最常用的地图数据元素的图层,例如:道路,河流,桥梁,绿地,甚至有些底图会包含建筑物或者其他地物的轮廓。在底图的基础上,可以叠加各种我们需要的图层,以满足应用的需要,例如:道路堵车状况的图层,卫星图,POI图层等等。

    底图通常是通过选取必要地图矢量数据项,然后通过地图美工的工作,设定颜色,字体,显示方式,显示规则等等,然后渲染得到了(通常会渲染出一整套不同分辨率的瓦片地图)

    当然,即便在瓦片图的服务中,在瓦片底图之上,依然能够覆盖一些简单的矢量图层,例如道路走向(导航和线路规划必用),POI点图层(找个饭馆加油站之类的)。只不过瓦片引擎无法对所有地图数据构建在同一个空间数据引擎之中,比较难以进行复杂的地图分析和地图处理。

    那么既然瓦片图引擎有那么多的限制和缺陷,为什么不都直接使用矢量引擎呢?因为瓦片图引擎有着重大的优势:

    1. 能够负载起大规模并发用户,矢量引擎要耗费大量的服务器运算资源(因为有完整的空间数据引擎),哪怕只是几十上百的并发用户,都需要极其夸张的服务器运算能力了。矢量引擎是无法满足公众互联网服务的要求的。
    2. 由于地图美工介入的渲染工作,瓦片图可以做得非常好看漂亮和易读,比较适合普通用户的浏览

    附:一张矢量地图截图:


    其实主要就是为了引入图层和底图的概念,以方便说明下面的地图数据分类


    为了说明数据的来源和采集渠道,采集方法,将地图数据分为以下几个类型:

         1. 底图数据: 其实就是地图中最基本的地物外形数据及一定的相关附加信息(例如道路名,河流名等)。事实上随着遥感和航拍卫拍技术的进步,这部分数据依赖实地采集的比例已经越来越小,商业地图数据商,尤其以高德为代表,处于成本收益考量,基本已经很少采用实地采集的方式了。这部分的数据主要来源于3种:

    官方地图:严格来说,这不能说是一种单独的渠道,因为官方地图的数据本身,也是来源于下面的两种渠道,但是官方地图一般来源于政府相关部门的权威测绘和发布,因此也单算成一种渠道。当然,需要说明的是,地图厂商能从国家权威部门拿到或者买到的地图,要比我们日常在街上商店里买到的地图要精细丰富很多,当然,很多时候也是用电子格式提供的。
    当然,无论任何国家,真正高精度的地图(例如1:200比例或更高)是受限制不会对外公布的。(相对应给大家参照的是,我国规定互联网上可以公开发布的地图,最高精度是1:10000)

          实地外采:说白就是测绘人员利用专业的仪器仪表,在实地环境中测绘所得到的。这样的采集方法耗时耗人都非常厉害,一则成本高,二则周期长,三则是采环境要求高(去喜马拉雅山去测测能弄吐血了),而且未必能够完全跟得上中国现在的城市变化。但是优点在于精度高,置信度,准确度非常高。这是国家测绘部门主要采用的手段,对于像北京市这样一个城市来说,一般几年才会完整重新测绘一轮。一般对于大多数商用测绘时,只是用在少数局部需要时,重点测绘才用得到。

                                 这个大家马路上应该也偶尔能见到


    当然,在精度和准确度要求没有那么高的地方,实地采集也可以使用一些成本更低更便捷的工具,而不是专业测绘设备。例如用携带高精度GPS或其他定位的手持智能设备步行以绘制轮廓等。

    航片卫片制作:就是通过自己拍摄或者购买的高精度航空照片或者卫星照片或者遥感照片,在此作为底片的基础上进行人为的矢量标注和勾勒,从而形成自己的矢量数据。现在的航片或者遥感片的精度已经可以很高了,一般来说做到精度在0.05米的程度已经很容易。高德自己的航片据说已经可以做到0.03米的精度,对于商用地图数据来说,通常已经够用了。即便作为国家权威测绘,在大量荒郊野岭的测绘,也主要依赖于这种手段。
    目前常用的航拍或者卫拍手段包括机载数码摄像,机载遥感以及三维激光扫描(主要用于3D地图数据采集)

                                             0.05米精度航片 

                                                 卫片路网标注


    航片/卫片标注和勾勒,前面是在底片上的操作,后面是勾勒标注后得到的矢量图

     数据加工制作示意图(来源于高德某公开资料)

    从这部分数据来说,百度是没有自己的采集生产能力的,也没有执照(没有测绘资质)。百度的这一块数据主要是向四维图新买的。

    国内这一块的数据,主要有两家供应商,就是高德和四维图新。

    四维图新和国家测绘单位的关系非比寻常,其数据依赖国家测绘单位供给的占大头(当然也有互相供给的)。

    高德也有一部分数据来源于国家测绘单位的供给,但是高德自己的航拍制作的能力还是不错的(还承担过一些国家测绘机关的测绘任务),相对来说,依赖国家测绘单位数据的比例要低一些。

    总的来说,这部分数据的采集生产,在中国需要国家认定的资质,有资质的除了国家测绘机关以外,商业机构本来就不太多,而真正在这个数据供给市场上活跃的,现在主要就是高德和四维图新这两家。

    其他无论是谷歌地图也好,苹果地图也好,这部分的数据,基本上都是从上述两家购买的。

    2. POI数据:严格来说属于矢量数据,不过是最简单的矢量数据,换句话来说就是坐标点标注数据。也是电子地图上最常用的数据图层。

    我们日常在电子地图上所使用的数据都是POI数据(就是地图上常见的那种标个气球的点)。

    POI数据只是信息关联坐标点的数据,不涉及到线和面,是最简单的矢量数据,用于简单的地点标注而不需要相应地物轮廓的需求。

    POI数据的内容五花八门,一般POI数据的供应商提供的POI数据都是日常常用的场所数据,例如饭店,商店,加油站,银行等日常常用设施。

    当然,在一些特殊的地图应用领域,也可以委托这些数据供应商或者自行去专门采集特殊用途的POI数据,例如井盖,消防栓等

    税务GIS系统标注企业及纳税信息

    值得指出的是,POI数据的编辑更新简单,同时也经常用于动态数据标注,最经典的莫过于车辆定位标注。

    POI数据的采集和生产来源五花八门,不能尽述,总的来说,主要有以下几种:

    a)通过整合GPS的摄像机,步行或者车行,进行扫街持续拍摄,回去以后,再根据拍摄结果手工进行输入和标注,这种方式适合于大规模的进行采集标注,效率高,成本低,车行居多,尤其适合沿街的店面和场所的采集和标注,是目前数据采集供应商的主要采集手段之一

    b)通过专职或者兼职人员,使用手持含GPS的智能设备(比如智能手机),进行拍摄(主要是为了取证),输入,提交,进行采集。这种采集方式,大多用于上述方法a的补充。在一些车辆不能达到的地方,或者商户设施变动频繁的某些区域使用

    c)地址反向编译:通过门牌地址号码,以及矢量地图中的道路数据,运用算法进行定位标注。这种标注精度相对最低,准确性也不高,但是成本非常低。用在不需要特别高精度,成本控制也比较严的采集领域。大家在地图服务搜索框中输入地址门牌号,可以直接出现标注点,用的就是这个技术。

    d)互联网或者企业获取:直接从一些专业类服务网站上抓取或者购买(例如大众点评,携程),或者直接从大家在其公开的地图服务上的标注中进行筛选和获取。这就是google,百度,高德自己免费向社会开放其地图服务所能够获得的利益。尤其对于开放API免费企业客户的使用,这种获取是很有价值的。

    国内POI数据的供应商没有太多资质限制,相对底图数据供应商,要多很多,例如图吧等都是POI数据供应商,当然四维图新和高德也提供POI数据,每个POI数据供应商,都有其自己的分类方式,数据定义等内容。很多时候,大家也互相买来买去,互补有无。

    百度地图这方面的数据,主要来自四维图新和道道通,当然也有其他来源,甚至有少量的自产数据。

    高德地图这方面的数据以自产为主,辅以向一些专业服务商购买(口碑网,大众点评,携程,乐途,搜房)

    3. 其他数据图层或数据:常见的有卫图图层,交通状况图层,三维图,街景图。专业一些的领域有楼盘图,室内图,气温分布图,商圈分布图,地形图,水文图等等。

    微观地图


    楼盘市占图

    地址灾害图

    电视有限网络分布管理图

    人口密度图

    人口密度图


    三维实景地图

    三维数据示意图

    之所以贴这么多五花八门的图,主要就是为了说明,基于电子地图的数据图层真的是应用范围和应用领域极广,不同的图层,代表了不同的数据,这个领域有大量专业性的应用和数据,其采集方法,来源渠道也五花八门,难以尽述。

    简单说几种常用数据的来源:

    a)交通拥堵数据:这个一般来源于专业的数据供应商,这些供应商和交通部门有较深合作,其数据采集主要依赖于在出租车上安装的GPS来采集实时车速为主,或者通过摄像头,红外探头,雷达测速测量车速为辅

    b)三维数据:主要依赖激光扫描以及手工建模处理等

    c)假三维数据(那种不能旋转的45度三维俯视图):依赖照片...

  • ?

    高德百度等地图是如何获取实时路况信息的

    夏侯兰

    展开

    现在我们出门去不熟悉的地方打开地图,除了指路之外,实时路况信息也是我们关注的重点之一,不仅可以提前告知在前方多少公里处因为事故导致多少公里的拥堵或者行车缓慢。甚至可以预测未来的路况信息,那么这些变动性非常大的实时路况和事故信息都是怎么获取的呢?

    一:官方采集,地图公司都有自己的官方数据来源,例如数据采集车,里面内置了激光仪,全景摄像头,GPS等,利用这些车,官方可以迅速到达需要查勘的指定地点。

    二:众包数据,众包UGC(User Generated Content)指的就是每个人都参与的任务数据,一般分为主动参与和被动参与。而地图软件80%实时路况数据来源都靠这个,不仅是地图软件,大多数获取位置权限的软件都会在后台上传位置信息,而根据你的位置和移动速度,地图软件很容易就可以计算出你当前路段的实时路况信息。

    三:获取交通部门的信息,除了用户数据,交通部门的数据应该说是最重要的一部分了,他们不仅有国内最多的公路摄像头测速仪和电子警察,而且像出租车大客车这类的运营车辆是必须安装定位设备的。所以这部分数据肯定是不能放过的,抱抱国家的大腿就是必须的了。

    四:向其他专业公司购买,虽然上面几个来源的量非常大,但是可靠性并不敢百分百保证,而有质量的数据还是得参考人家专业公司,现在国内提供路况数据服务的公司有世纪高通、掌成科技、九州联宇等,他们提供的数据质量更高,专业性更强。路况信息的整合上这些公司的数据也就更具有参考意义。

    这些就是我们常用的地图实时路况数据的信息来源了。不知道大家还有什么需要补正的没?

    点个赞再走呗!

  • ?

    几张图看懂百度地图、高德地图、谷歌地图的数据来源

    Winfred

    展开

    地图知识库,让地图与生活走得更近。

    这篇文章给大家介绍一下,我们常用的地图导航软件,以及地图挂图、教学用图中的地图数据,到底是从何而来。

    图1 地图导航界面图图2 中国部分地区地形渲染图

    首先,我们得知道两个概念:地图数据类型,地图数据结构。

    地图数据类型,就是地图上呈现的要素按照几何基本特征分成的类别。从地理目标表面特征上看,可以分成点、线、面、体。

    具体来说,在小比例尺(小比例尺,单个地理目标很小,比如全国地图的行政市;大比例尺,单个地理目标较大,比如把高德地图放大后看到的商场)上,商店、医院、学校可以看成是点,河流、铁路、公路可以看成是线,湖泊、绿地可以看成是面,体则是地理目标在三维上的展示。

    地图数据结构,就是指的地图上的点、线、面、体数据包含了哪些信息,以及这些信息的组成形式。

    一般认为,地图数据的信息由空间定位、空间关系、专题属性等内容组成。举个例子,在大比例尺地图中,高速公路在地图上是一条双向粗线:空间定位,指的是它在地图上固定的位置;空间关系,指的是它和周边其他地理目标的相对位置;专题属性,指的是这条高速公路的道路名称、车道数、车道宽、道路铺设等信息。

    图3 地图数据类型示意图

    现在,我们正式来看地图数据的几大来源渠道。

    1、最常见的数据来源:测绘仪器(全站仪、GPS)实地采集,采集车采集

    如果大家在室外看到有人拿着一种三脚架仪器去瞄准附近的地物或者立尺,并且不时改变位置,这便是经久不衰的地图实地采集工作。实地采集,需要耗费大量人力,并且采集周期长,对环境要求高。在技术落后的时期,测量珠穆朗玛峰的地理信息,得找体质非常优秀的测量技术人员,然后翻山越岭冒着高原反应和雪崩的危险去采集数据,现在想想都会吐血。但是这种数据采集方法,数据十分精准,在工程建设前期调研工作中不可或缺。

    图4 测绘仪器实地测量示意

    地图采集车,大家应该也不陌生。经常能见到印有百度、高德logo的汽车穿梭在道路上(大城市也能见到自行车)。通过车载的高精摄像机等设备,沿路拍摄持续拍摄道路或沿街信息,在室内再根据拍摄结果半自动化输入和标注地图信息。车采数据的方法,适合于大规模的进行采集标注,效率高,成本低,车行居多,是目前高德地图、百度地图的主要采集手段之一。

    图5 地图数据采集车,高德地图图6 地图数据采集自行车,百度地图

    2、最先进的数据来源:高精度航空照片,卫星照片或者遥感照片

    大家知道,用相机拍摄的照片都是由一个个小像元组成的,通过每个像元的不同灰度值或不同色彩,反映了我们五彩缤纷的世界。类似的,航空摄影测量、卫星遥感技术,是在高空或者太空中,给地面上的物体拍照片。

    把这些照片作为底片,通过对照片中地物识别解译,描绘出计算机方便处理和扩展的点、线、面等地图数据类型,是百度地图、高德地图、天地图当前城市郊区、农村、野外等地图数据的主要来源。

    目前常用的航拍或者卫拍手段包括机载数码摄像,机载遥感以及三维激光扫描(主要用于3D地图数据采集)

    图7 某区域Landsat2卫星遥感影像图8 航空摄影照片,猜一猜这是哪里

    3、最便捷的数据来源:其他专业领域数据的转换

    这种数据来源可能与之前的手段有点重复,但确实是当前主流地图应用的重要数据来源。

    比如,某新建小区建筑物的占地面积、楼层高度、建筑时间等属性,一般来源于小区楼盘图;某学校建筑的建筑名称、占地面积等属性,来源于当地教育部门或学校的文档资料;不同小区、街道的人口数量、人口密度信息,来源于当地政府部门。

    图9 深圳各行政区常驻人口数据,2017

    4、最大众化的数据来源:用户地图标注

    随着高德地图和百度地图使用人数越来越多,用户反馈逐渐成为地图数据重要来源之一。

    打开高德地图或者百度地图,通过提交地理目标准确的文字描述和实地照片,经过地图服务商审核通过后,这个地理目标的信息便会新增到地图中。举个例子,你开了一家小吃店,由于地图数据采集的滞后性,当前地图软件上搜索不到,你便可以通过地图标注的形式把准确的商店信息添加到地图上。通过审核后,其他用户在附近搜索小吃店时,你的小吃店也会被推荐到搜索结果中。

    图10 用户地图标注示意图

    更多内容,请关注百家号:地图知识库。

高德数据采集

img

TOP