- ?
「干货」苍穹大数据云GIS平台最全介绍
你牵强
展开
今天,我们继续分享一下苍穹大数据云GIS平台(KQGIS BDS)。
KQGIS BDS融合云计算、大数据和物联网等新一代先进技术,采用分布式架构,提供高可靠、高性能、高并发的云GIS服务,支持集群智能管理、资源弹性调度,实现海量地理空间数据的存储、处理、分析和共享应用。
苍穹大数据云GIS平台由苍穹大数据平台和苍穹云GIS平台两大核心组成。
1、苍穹大数据平台
苍穹大数据平台包含数据采集系统、数据融合系统、数据管理系统、挖掘分析系统。通过数据采集系统实现资源汇聚和时空标识,再经过数据融合系统进行数据抽取、清洗、转换、加载、关联、融合等,导入云数据库,由数据管理系统统一管理和应用,由挖掘分析系统进行大数据挖掘和模拟推演,用于辅助决策。
2、苍穹云GIS平台
苍穹云GIS平台包括云运维管理系统、云服务管理系统、云服务共享系统以及云门户。以计算存储、数据、功能、接口和知识服务为核心,形成服务资源池,建立服务引擎、地名地址引擎、业务流引擎和知识引擎,连同时空大数据的数据引擎,通过云服务系统,为各种业务应用按需提供大数据支撑和各类服务。
技术特点
1、五个“分布式”核心技术
苍穹大数据云GIS平台采用的核心技术,总结为五个分布式,分布式GIS算法、分布式任务调度、分布式内存计算、分布式空间索引、分布式存储。
分布式GIS算法:服务于大数据GIS中的空间数据处理和分析,通过构建分布式空间数据处理和分析算子,来支持用户多样化的数据分析需求;
分布式任务调度:可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处;
分布式内存计算:Spark的主要特性是它的内存中集群计算,提高了应用程序的处理速度,涵盖各种工作负载,减少了维护单独工具的管理负担;
分布式空间索引:利用分布式并行技术,建立网络环境下海量空间数据的大规模索引机制,满足分布式环境下海量空间数据查询、分析运算的需求;
分布式存储:具备低成本、高容错、高吞吐的特性,不但提高了系统的可靠性、可用性和存取效率,还易于扩展,将不稳定因素降到最低;
(分布式存储原理图)
2、五个“创新型”关键技术
苍穹大数据云GIS平台采用行列存储优化组合技术、多级智能缓存和索引技术、固态硬盘存储的优化算法、全面融合NEWSQL新技术、机器学习空间大数据挖掘技术等创新技术,实现超大规模GIS数据的快速浏览、查询、渲染、分析等,极大提升了运行效率。
(创新技术)
功能优势
1
智能化集群环境部署
提供一键式自动化集群环境部署,通过在线选择硬件资源和集群配置规则,实现部署环境标准化和部署过程自动化;采用负载均衡技术,加强网络数据处理能力、提高网络的灵活性和可用性。
2
空间大数据ETL处理
ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后,进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘提供决策支持的数据。
3
快速浏览和动态渲染
基于分布式存储模式,采用并行计算、内存计算等技术,解决了传统GIS平台采用切片方式进行数据快速浏览时存在的耗时、耗力、耗存储以及无法动态渲染等问题,实现了WEB端无需缓存切片即可进行地图无极缩放浏览和快速动态渲染等功能。
4
高性能分布式空间分析
从内核扩展了Spark空间数据模型,基于分布式计算技术重构和研发了大量空间分析算法,实现海量空间数据高性能的空间分析,支持空间查询、空间统计、叠加分析、网络分析、差值分析、水文分析、栅格分析、领域分析等空间分析功能,解决了空间大数据分析和应用的难题。
5
实时空间大数据分析
基于ES分布式存储,采用并行处理、行列混合存储、高效压缩以及内存计算等技术,并支持多数据源协议,实现海量数据在服务器主内存中秒级,甚至毫秒级处理,提供实时统计分析结果,能够有效提高业务效率,具备实时决策能力。
6
空间大数据可视化表达
提供丰富的数据展示模板,针对不同的数据可套用不同的模板进行展示。主要包括条形图、漏斗图、柱状图、仪表盘、雷达图、折线图、饼状图、地图等多种展示模板。同时,支持将统一数据按照不同维度、不同模板进行展现,提供数据多维度展示效果。利用API来搭建模型,选择想要的表达方式,就可以搭建大数据挖掘的可视化系统,可以有各种模板效果。
7
数据挖掘个性化推荐
为用户提供个性化推荐服务,通过对用户线上线下数据的聚类、关联和协同过滤,建立了不同使用场景的推荐机制,实现推荐引擎从传统的大众化推荐向差异化推荐转变,实现智能数据服务推荐,提升了用户购买过程的体验。
8
自动化运维管理机制
由于分布式体系架构的节点分布较广,运维管理相对复杂,因此时空信息云平台运维体系,参照ITIL的管理规范进行运维管理机制建设,通过覆盖整个体系的云运维管理系统,对平台的硬件、网络、数据、应用及服务的运行状况进行实时、综合监控,及时发现和预见问题,并按照相应的流程及时处置,保证平台持久的稳定运行。
往期精彩回顾
实现可视化定制,苍穹服务地理信息平台更快速
聚焦 | 苍穹数码研究院正式成立
拒绝低效率! 苍穹桌面GIS平台给你“加速度”
- ?
KK秒催,大数据+AI的智能催收管理云平台
寄瑶
展开
kk秒催是一款免部署、免安装、在线入驻、轻量易懂的催收管理系统。
无需安装电话,无需购买短信设备,无需轮番轰炸,无需倒卖信息,没有空号,没有失联,移动催收,一切皆在掌控。系统将催收作业与呼叫中心、短信服务完美结合在一起,用户仅需注册账号、充值短信/语音使用费即可使用kk秒催云平台,免去部署、安装、接洽短信/语音服务等中间环节,快速实现催收效果;
智能分案
kk秒催运用智能的手段,将规则、策略与催收案件紧密结合,从案件导入到催收执行仅需导入案件、分案/短信计划、催收三个步骤,大大提升催收效率,提高催收成功率;
基于人工智能的分案模型语音质检
当前,大多数质检都是通过人工听录音的方式完成的,不仅耗费大量人力,还有明显的滞后性,也不能做到100%覆盖。kk秒催智能质检机器人是完美的解决方案,它可以实时对于外呼通话进行监控,即刻捕捉催收员的情感、态度、不合规话术、敏感词等,从而进行有效的监控预警及评价,避免滞后性。
声纹识别与语义分析智能报表
报表是贷后精细化运营的核心工作,但是报表生成耗费大量人力,所以可视化强的智能报表系统尤为重要,kk秒催进行了差异化设计,报表系统从决策层、中层管理人员、底层管理人员、员工等角度设置了不同的展示。比如,决策层关心的是公司整体回收率及成本收益情况、底层管理人员(组长)关心的是每个员工的通话时长、投诉情况、回款情况排名等,充分满足不同岗位对于数据可视化的需求。
图表示例另外kk秒催还搭建了OA系统,方便企业对催收员与外访员的业绩进行实时管理,促进内部管理规范化、优化工作效率。
kk秒催专注贷后催收管理,我们懂您的真正需求。
- ?
【早春走龙江】大数据云平台看病新体验 线上线下惠及百姓
占采萱
展开
东北网5月8日讯(记者 侯巍)5月7日,2018“早春走龙江”集中采访报道活动第三路记者走进佳木斯市万里云医学影像诊断中心采访,该公司构建了医学影像大数据云平台,建立第三方医学影像中心的互联网运作模式。通过搭建基层医院、患者和专家之间专业的连接,运用新型影像力的共享,让医疗资源下沉,推动分级诊疗的实施,惠及基层百姓。
干净整洁的体检中心。
在佳木斯万里云医疗健康体检中心宽敞明亮的体检室内,记者体验了新型影像分析仪器,只需将手和脚平放在体感肌电电导分析仪器上,三分钟就能测试糖尿病潜在风险,全新的影像检查诊断方式让人耳目一新。
万里云医疗影像中心。
黑龙江万里云影像技术服务有限公司董事长富文春向记者介绍,2017年,公司在佳木斯成立了佳木斯万里云医学影像诊断中心,这是东北地区唯一一家第三方医学影像诊断中心。
万里云医生资源丰富。
万里云影像中心拥有3.0T磁共振、64排128层螺旋CT、数字DR、全自动生化分析仪等高、精、尖诊疗设备等。先进的专业设备为医生诊断治疗提供依据。目前,影像中心已与全国超过2700家医院合作,6000位专家在线诊断。面对面交流,远程会诊的方式将有效缓解基层医疗机构将不再为医师不足、流动性强和疑难病例诊断难等问题,高端医疗中心将惠及佳木斯地区13000万百姓。
万里云依托阿里健康、万东医疗、鱼跃集团和美年大健康的平台优势,建立医学影像大数据云平台,提供远程医学影像服务以及影像云技术服务,建设运营线下第三方医学影像中心。通过打造远程诊疗平台,与高端医疗机构实现信息互联互通、高端医疗资源互利共享,让群众足不出户享受高水平的医疗服务。
- ?
大数据下,云计算平台对物联网运营的解析
海瞳
展开
云计算是一种新型的商业计算模式,它主要利用网络云端对各类信息资源进行统一的数据处理和存储,并且同时,又可以实现资源的共享化。
云计算概要
也就是从某种意义上来说,云计算是一种虚拟化的技术,将资源从物理的形态转化为虚拟的数据形态的这样一种过程,就是云计算的工作原理,从而以数据的形式实现分布式的存储,并极大的节约了储存空间,同时又能够根据实际需求进行资源的增添和扩展。云计算的平台支持多样的租户,云计算是一个大平台,而所有的客户就是租户,实现软硬件的资源共享和资源的配置,各个用户之间不会相互干扰,从而在某种程度上也保证了数据资源的可靠性和安全性。
云计算与物联网的结合
从某种意义上来说,云计算和物联网的运营都是互联网技术的重要补充,二者存在着紧密的关系,相互促进和发展并存。云计算在物联网运营的过程中,极大地拓展了物联网的资源空间,从而更好的满足日益增长的需求。云计算同时又为物联网的运营提供了重要的网络基础设施,开启了全新的商业管理模式,也从另一方面拓展了物联网的发展机遇。
云计算与物联网的结合方式,一般采用多终端、大量终端和海量终端等三种模式为主。据采访爱科赛尔的技术分析员称:“基于云计算的物联网运营管理平台的设计,云计算为其提供了重要的网络基础设施,利用虚拟技术实现资源的共享。建立云平台,利用其分布式极端、存储以及虚拟技术,强大的数据处理和分析能力,大大提高了企业的工作效率。”因此,利用云计算的基础设施,建构行业计算模型,开发云应用等,将物联网运营管理平台的功能都统一到云平台上,在此基础上完善无线传输通道和监控,从而又可以大大的减少企业的成本投入。
云平台主要解决的问题有
1、以主机为单位的保护管理,前期通过设备的部署和安装,从而解决虚拟化所遇到的任何安全挑战,提升30%的硬件服务器使用率;2、整合防护,在虚拟机上启用代理进一步保护虚拟机,并可让虚拟机在云环境下迁移;3、跨区域大规模数据中心集中管理;4、可集中定义和管理各项IT服务,并随时统计用户实际使用状况;5、用户可以自己创建和管理虚拟机,监控使用状况,还可以定义自身的网络、存储和安全设置。
云平台的应用场景
1、支持异构虚拟机,可同时管理VMWare,Citrix XenServer, KVM等多种虚拟机环境,并提供统一管理界面;2、支持对硬件服务器的直接和统一管理;3、严格控制业务数据的直接访问,定期归档、内部备份或备份到二级存储器等。
- ?
《智慧城市时空大数据与云平台建设技术大纲》(2017版)正式发布
钮擎苍
展开
近日,国家测绘地理信息局印发通知,正式发布了《智慧城市时空大数据与云平台建设技术大纲》(2017版)。该技术大纲的发布对指导各地加快推进智慧城市时空大数据与云平台试点建设、加强与其他部门智慧城市工作的衔接、全面支撑智慧城市建设具有重要意义。
与2015版相比,2017版技术大纲进一步明确了测绘地理信息部门在智慧城市中的工作定位,突出了时空大数据和时空信息云平台两项重点任务,明确了建设目标、建设思路、技术路线及建设要求;进一步明确了测绘地理信息部门的任务是开展智慧时空基础设施建设及应用,为智慧城市建设提供时空基础。
时空基础设施作为智慧城市建设重要组成,既是不可或缺、基础性的信息资源,又是其他信息交换共享与协同应用的载体,实现基于统一时空基础下的规划、布局、分析和决策。
2017版技术大纲规定,作为主要建设内容之一的时空大数据包括历史与现状的基础地理信息数据、公共专题数据、智能感知数据、空间规划数据以及这四类数据的数据引擎和管理分析系统等六部分,强化了对基于时空大数据开展挖掘分析、决策服务的技术要求。
为支撑多类型应用需求,根据应用对象的不同,2017版技术大纲将时空信息云平台细化为通用化平台、专业化平台、个性化平台
其中,作为平台建设必备任务内容的专业化平台有两个重要建设方向:一是服务城市“多规合一”工作,打造空间规划平台,二是服务领导干部自然资源资产离任审计、城市地理国情监测等工作,打造生态环境监测平台
此外,2017版技术大纲还从坚持需求导向、问题导向、注重解决民生问题、实现信息共享和业务融合等方面对示范应用提出了新的要求,给出了智慧社区、智慧国土、智慧公安、智慧交通等10项惠及城市重点领域、重大工程、便民利民的应用案例。
苍穹的智慧城市时空信息云平台
苍穹数码技术股份有限公司成立于2001年,致力于政府空间信息化的全面解决方案,具有高新技术企业、甲级测绘、双软认证、计算机系统集成 、信息安全管理(ISO27001)、CMMI5级认证等10余种资质。
在专业与实力的基础上,苍穹数码开发的智慧城市时空信息云平台有着鲜明的优势和特点。
实时位置信息:集成北斗、GPS、通信基站、RFID、WIFI等空间位置定位技术,拥有精确到厘米级的实时位置获取能力。
实时感知位置解析:能够获取感知设备的各类信息,拥有流式数据解译分析能力,实时获取感知设备的位置信息。
个性化应用搭建:拥有自由搭建应用程序的能力,通过可视化的流程定制帮助用户搭建泛在终端的应用系统。
时空大数据管理:拥有动态、静态数据资源汇集能力和时空信息挖掘能力,满足时空大数据整理和序化的需求。
丰富的二次开发接口:拥有丰富的二次开发接口,提供各类功能服务和数据服务,满足开发过程中多样化的需求。
资源注册管理监控:拥有资源注册能力和管理监控能力,为平台的资源交换共享和监控提供强有力的技术支撑。
- ?
大数据平台云化的「从0到1」
Plata
展开
大数据的时代已经来临,到底什么是大数据,大数据技术如何和企业运营结合起来?读完本文,你会有新的答案。
本文为青云QingCloud 大数据平台研发工程师迟连义在 青云QingCloud 实践课堂·南京站中的演讲总结而来,他以《大数据平台的应用化、场景化及服务化实践》为议题,分享了青云QingCloud 大数据平台的整体架构及每个组件的应用场景,大数据产品云化的过程中的经验、青云 AppCenter 2.0 的整体结构和功能特性以及青云QingCloud 大数据平台未来的发展规划。全文5320字,建议阅读时间13分钟.
青云QingCloud 大数据平台架构
上图详细介绍了青云QingCloud 大数据平台目前的整体架构。分层来看:输入端的数据源,可以是企业的用户浏览记录数据、电商平台的交易数据、视频用户的浏览记录、播放时长记录等数据。这些数据会接入到存储或者计算单元进行分析。
在整个过程中需要有一个缓冲区去缓冲数据。青云QingCloud 提供了主流的 Kafka 分布式消息队列服务来满足这一需求,它的优点是:以订阅和发布模式有效地解耦了输入端与输出端,可以实现即使只有一次输入,输出端也可以多次消费,彼此之间不会发生影响。
在存储层,青云QingCloud 提供 MongoDB 非关系型数据库。MongoDB 是最接近关系型数据库的非关系型数据库,它可以提供类 SQL 的访问模式,并且提供 HBase,一个可以承载海量数据存储的分布式数据库。HBase 有一个特点,只能通过 RowKey 进行检索,但它能够保证每行很好的一致性访问,同时具备很好的读写性能,如果不想把数据存在数据库里面,青云QingCloud 还提供了 HDFS 和对象存储服务。HDFS 本身是针对于大文件进行设计的,在处理小文件的时候它会有一些问题。小文件同样会在 HDFS namenode 里面占一块内存,如果小文件过多就会导致 namenode 的内存性能受到一定影响。同时,在后续做数据分析的时候,小文件过多会导致 MapRuduce 中的 Map 数量过多,整体分析过程会很慢。相比之下,对象存储则会对小文件做一些优化,所以如果需要处理大量小文件,存储到对象存储里面是更好的选择。
从数据本地化的角度来看,如果经常要进行计算,还是采用本地化的存储计算会更快,因为从对象存储取数据会通过公网。从成本角度来说,存在 HDFS 内会比存在对象存储上成本稍高。青云QingCloud 是对数据进行分层分类,如果需要处理的是一些历史数据,不需要经常进行查询和分析,可以放在对象存储上,而对于一年内经常进行分析和查询可以放在 HDFS 上。
在数据计算层,青云QingCloud 提供了实时数据处理 Storm 和准实时处理的 Spark (包括Spark Streaming)。同时提供了 Hadoop MapReduce 及 Hive 等离线批处理工具。在服务协调方面,提供 Zookeeper 服务,Zookeeper 是一个非常通用的功能,很多大数据组件,如 HBase、Kafka 等都依赖于 Zookeeper,很多企业用户也会基于 Zookeeper 开发自己的服务协调。
Elasticsearch,常用于企业内部的日志查询及分析。除了 Elasticsearch 集群,青云QingCloud 还提供一个 ELK 套件,囊括了从日志收集、日志检索到分析结果最终展现的全过程的功能套件,青云QingCloud 还提供了 Redis 和 memcached 两个非常通用的缓存工具。
大数据管理平台
上图列出了比较主流的大数据工具,但有一个问题,这些大数据工具彼此之间都是独立的。比如:Storm 有自己的一套监控 UI,监控拓扑的执行情况以及是否存在延迟等。在 Hadoop 中,HDFS 也有一套自己的 UI,可以监控每一个 namenode 节点的状况和文件的情况。那么,如果一个企业用了很多大数据组件,一定需要一个统一的平台把所有大数据组件管理起来,青云QingCloud 提供了这样一个大数据管理平台,可以把该平台理解成一个 UI,把所有大数据组件囊括其中。
该平台根据开源 Hue 做的二次开发,支持直接 Hive 查询,结果可以通过图表展现出来,也可以提交 Spark SQL、Spark Shell 等。还可以将关系型数据库,如 MySQL,放进来统一管理。在 Job 方面,可以直接用 Oozie 进行调度,也能直接看到 MapReduce Job 目前的运行情况,包括刚才提到的 Storm 拓扑的管理,以及 Zookeeper 节点信息展现。
在储管层面,对 HDFS 及 QingStor 对象存储,都提供了数据路径的监控及展示页面,HBase 可以在管理平台上面直接做 Shell 查询,也可以看到表的信息等等。Kafka, 可以清楚展示 topic 的信息,和每个 Kafka Group 对某个 topic 的消费情况。
大数据产品云化瓶颈
在对这些应用进行运化开发的过程中,青云QingCloud 也遇到了一些问题,会影响到以后大数据平台的扩展。主要这三个方面:
第一个是大数据发展太快,各个领域存在很多竞品。比如在列式数据库方面,青云QingCloud 提供了 HBase,但还有 Canssandra。在离线计算方面,还有比 Hive 快很多倍的 Impala 这些工具目前青云QingCloud 还没有放到云平台上。另外,在一些特有领域,如 AI,区块链,机器学习,深度学习方面,如容器应用领域,这些应用都还没有集成到青云QingCloud 的大数据平台上。这些领域的产品非常多,但青云QingCloud 的精力有限,这是遇到的第一个挑战。
第二个挑战是云化周期长。以青云QingCloud 的经验要云化一个大数据产品,把大数据产品真正放到 QingCloud 上,作为一个云原生应用大约需要两到三个月的时间。首先要搭建一个整体开发测试环境,要把大数据应用的一些自带的东西放在开发设计环境里面去,同时开发人员要对青云的 API,包括生命周期管理体系都要有一定的了解。在开发过程中,撰写针对云平台生命周期管理的代码,之后还要开发应用监控、报警等功能,最后经过测试,需对接云平台内的计费、工单等等这些系统,最终做成一个独立的应用。
第三个是挑战产品间的组合非常复杂。比如,目前青云QingCloud 的 Hadoop 和 HBase 是独立提供的。 如果一个用户要想一键部署一个 Hadoop + HBase 的集群,青云QingCloud 就需要按第二点提到的开发流程重新做一个新的产品发布出来。这样子导致组件间的组合特别复杂。
同时,青云QingCloud 还需要一种服务之间的自动发现能力。比如:Kafka 是依赖于 Zookeeper 的,如果在一个部署的 ZooKeeper 集群中添加或删除一个节点,Kafka 集群需要手动修改与 ZooKeeper 的链接地址。青云QingCloud 希望这一过程是自动的,自动感知变化并作出修改 。
面对这三个挑战,最终青云QingCloud 找到了比较好的解决方案,就是青云QingCloud 的 AppCenter 2.0。首先产品特别多,而青云QingCloud 自身精力有限。但是青云QingCloud 可以联合一些技术能力很强的开发伙伴,让他们可以基于青云QingCloud 去便捷地开发云化一些大数据产品。做到这点的关键是需要提供一套很方便开发的手段,降低开发难度。
AppCenter 2.0 提供了一套模版化的开发流程,大幅降低开发难度。同时,AppCenter 2.0 也把主要的功能,如应用生命周期管理,监控告警,工单系统,计费等等全部抽象出来,以标准化的形式交付出来,最终把整个应用的开发周期从几个月降低到了几周,这也解决了第二个开发周期长的挑战。
青云QingCloud AppCenter 2.0 简介
青云QingCloud AppCenter 2.0 是什么样的平台?
首先,AppCenter 2.0 是一个经过高度抽象,可以部署各种分布式应用的平台。青云QingCloud 知道分布式应用整体架构多种多样的,比如: ZooKeeper 是 peer to peer 架构; Hadoop 是主从架构; Redis cluster 是分片式的。AppCenter 2.0 会对这些不同的架构做高度的抽象,把应用整个生命周期抽象出来,然后开发者只需用类似自然语言的方式在模版中进行修改,表明应用需要在生命周期的不同阶段,做哪些动作从而完成整个开发流程。这种高度抽象使云上的应用开发和交付变的异常的简便和标准化,它是以模版的形式提供给开发者。
其次,AppCenter 2.0 是全新的云操作系统,贯穿资源与应用平台。青云QingCloud 可以把 IaaS 理解成对物理资源的虚拟化,可以类比成现在用的 PC 机。实际上最终用户在使用 PC 机时用到的是上层的软件应用,在 PC 机和软件之间还有一定的距离,需要一个东西去调动 PC 机中的各种资源,这个东西就是操作系统。
AppCenter 2.0 实质上就是架构在 IaaS (云平台) 层上的操作系统,操作系统会提供很多接口,让开发者在青云QingCloud 操作系统上开发各种各样的应用,最终提供给最终用户去使用。
AppCenter 2.0 架构图
上图为 AppCenter 2.0 的整体架构图,主要分三块:开发者控制台、用户控制台以及调度系统(中间部分)。首先,开发者控制台:开发者可以通过这里创建一个应用及不同的版本,然后基于每个版本,分别创建配置文件,其中会描述需要被定义的信息,如环境变量、集群节点的可选个数、每一个节点角色需要的 CPU 和内存配置等。
同时还要在模版文件中完整定义整个应用的生命周期。之后将配置文件打成一个压缩包并在开发者控制台提交,之后青云QingCloud 人员会进行审核,对应用进行详细的测试,看它的监控报警是否有完善等等。当青云QingCloud 觉得该应用符合标准,会批准开发者进行发布。应用发布之后,在用户控制台,最终用户便可以看到它的应用。如果用户对该应用感兴趣,就可以进行安装和部署。
用户部署以后会真正的进入调度系统的处理范围。青云QingCloud 调度系统首先会在用户需要中创建一个元数据管理服务,基于一个 3 节点的集群,对最终用户是免费开放。然后会根据最终用户的选择,创建相应数量的节点,CPU 核数,内存容量及存储空间等资源。
在AppCenter 中, 这些资源是支持 KVM、Docker、及 LXC 三种架构。创建好资源后,这些资源的元数据信息会被注册到元数据管理集群。之后在资源管理层面会启动一个 confd,它相当于一个 agent,会时刻监控元数据管理服务中注册进去的元数据。如果这些元数据发生变化,那么会触发由开发者定义好的要执行命令,后者更新配置文件等各类操作。
接下来,调度系统会负责整个应用的生命周期管理,包括创建、扩容、关闭或启动等等这些操作。同时调度系统还会周期性地调用由开发者定义的一系列管理操作,如监控、健康检查等等。
接下来青云QingCloud 详细看一下 AppCenter 2.0 的功能和技术特性。上图显示的是开发者需要提供的一些模板文件,比较重要是这几个第一个 config.json,主要用来配置应用的 UI,其中定义了最终用户在前端需要看到的一些信息,如该应用可以选择多少核的 CPU,多少容量的内存,每一类节点橘色可以创建多少个节点。
因为很多应用对节点数量是由限制的:Hadoop 集群,salve 节点的数量最少需要 3 个;像 ZooKeeper 集群,节点数量一般都是奇数个的。对于这样的限制,都可以在在模版文件中具体的进行配置。
Json 文件最终的效果会是,青云QingCloud 通过预置好的统一的 UI 界面,把 json 文件中的各项配置在前端提供给最终用户。然后是 cluster.json.mustache,该文件实际上定义了整个应用的基础架构。
基础架构包括定义应用中需要哪些类型或角色的节点,如 Hadoop 集群中会分三种不同角色的节点,而针对每一个节点的角色,开发者需要定义其完整的生命周期管理以及监控报警。生命周期管理刚才有提到,包括如横向扩容和纵向扩容等等操作。
开发者要通过 cluster.json.mustache 模版文件,告诉调度系统需要执行哪些操作,需要执行主机里面哪些脚本,那么调度系统在生命周期到来的时候,会触发这些脚本的执行。
接下来是监控报警功能,这一点在青云QingCloud 审核过程中,会强制要求每一个应用必须存在。因为作为一个云应用,监控和报警很重要,在客户业务出现问题的时候,他需要了解到底是业务出现问题还是产品出现问题。
最后一个是多语言翻译功能,青云QingCloud 提供的是英文,最终用户其实想看到一些中文展示,开发者需要定义一个多语言翻译的文件,告诉青云QingCloud 它的行业变量和角色对应的中文是什么样的名字,青云QingCloud 会最终展示在界面上。
以上这张图就是一个上传配置文件的界面,开发者在创建应用和版本以后,并完成以上的两个配置文件的撰写后,就在该位置提交,并发布版本。之后会现在后台通过青云QingCloud 的审核。青云QingCloud 现在的审核比较严格,因为青云QingCloud 要对最终用户负责,开发者对应链接到控制台测试,测试一下配置文件写的是否合理,测试生命周期管理,并测试监控报警是否合理。
以上介绍的是 AppCenter 2.0 的一些基本功能,可以帮助开发者通过模板文件的方式很便捷地在运平台上开发一个自己的应用。还有一个比较高级的功能,就是应用编排。通过元数据管理集群以及 Confd 这两者之间的交互,可以实现应用之间的自主感知。举例来说,Kafka 需要依赖 ZooKeeper,那么如果 ZooKeeper 集群发生了增加或删减节点的变化,Kafka 集群是可以感知到该变化,并自动执行配置文件更新和重启集群等操作。
另外一个例子是上文提到的大数据平台管理 UI 系统。该 UI 在启动的时候通过应用间自主感知能力,可以感知到用户的 VPC 下面已经使用了哪些大数据产品,之后可以自动将大数据产品添加到管理 UI 里面去,而且后续如果在同一个 VPC 下,...
- ?
“智慧工地”大数据云服务平台的功能亮点有哪些?
小鳄鱼
展开
如下图:智慧工地大数据云服务平台的大屏展示图,图一位浙江省的大数据云服务平台,从图中,我们主要看的的是一个监管数据,包括各市级单位的资金,项目进度,材料用量,质量安全整改情况等数据,从屏幕上点开地图,可以看到各市的大数据监管情况,再继续点击到单个项目,就呈现出图二的界面,真正的智慧工地具体实施界面。
浙江省的大数据云服务平台从图二,我们可以看出,界面主要有几组数据,分别是资金监管,进度监管,变更管理,拌合站数据联网,试验室数据联网,视频监控界面等,各层级的管理人员都可以从大屏上了解到自己需要了解的数据内容,真正做到项目数据心中有数。
图二,计支宝大数据平台监控具体到工地管理的大数据服务平台,则各有特色,主要体现的是工地上的现场安全管理情况,包括智慧安全帽,环境监测,塔吊监视仪,人员管理等具体情况,如图三,
图三,大数据平台监控智慧工地的发展伴随着科技的发展而日新月异,但是总有一项不变的宗旨,那就是向监管集中,越来越精细化,从质量安全,到材料管理,到进度管理,到资金管控,当云平台普及到每一个工地的时候,可以想象一个大屏幕显示全国工程建设大数据会是什么盛况
- ?
大数据时代对于云平台的了解?-百客宝
尔云
展开
什么是云平台(云计算平台)?
云平台是虚拟主机,但云平台不是一个普通的虚拟主机啊,我说这个云平台是虚拟主机的高级版本,当然比一般的虚拟主机高级多了。
让我们看看云平台和虚拟主机本质上相同的一点:
是提供一个虚拟计算环境。与普通的虚拟主机不同,虚拟主机是物理主机提供虚拟环境的多个站点,云平台是主机众多站点提供无数虚拟环境的实体。
将提供对一种或几种语言的支持。一些常见的虚拟主机只支持一种语言,而另一些则支持多种语言。云计算平台也是如此。
为了在一定程度上确保所有语言的支持。一般的虚拟主机通常会限制本地文件操作API的种类,而云计算平台会有更多的限制。
API服务是特殊的。由于API仅限于不使用其中的一部分,因此API仅限于其他安全选项。另外,为了绑定他们的平台,用户提供一些特定的API服务将会让网站的用户无法轻易转移。
将提供数据存储服务。不像普通的虚拟主机通常提供SQL数据存储,而云计算平台提供的分布式计算NOSQL更有利于数据存储。
将提供具体的管理平台。虚拟主机通常会提供一些Web管理界面,或FTP和其他管理方法来管理它。云计算平台通常会提供用于上传的特殊数据同步工具。
按时间衡量并收取费用。所不同的是,云计算平台更详细的计费和计量,数量会准确到多少CPU时间和使用M的商店。
足以显示相同云平台的这些相似之处是虚拟主机的高级版本。
回答这个问题后,后一个问题很简单。
问:云计算平台有未来吗?有人用它?
答:只要使用了虚拟主机,云计算平台就会具有相同性质的更好的服务,用户没有理由不选择云计算平台。
问:云计算平台要做什么?
答:我使用的虚拟主机,能够,并在云平台是有能力的。但是云平台提供了更多的计算资源和存储资源,只要你有钱,不必担心虚拟主机,因为流量会被密封一次。
- ?
智慧农业:农业大数据中心——智慧农业云平台
离癸
展开
农业物联网:智慧农业云平台系统
智慧农业云平台可广泛应用于国内外大中型农业企业、科研机构、各级现代化农业示范园区与农业科技园区,助力农业生产标准化、规模化、现代化发展进程。
智慧农业云平台实时监测与远程监控
智慧农业云平台通过传感设备实时采集农业环境的空气温度、空气湿度、二氧化碳、光照、土壤水分、土壤温度、棚外温度与风速等数据;将数据通过移动通讯网络传输给服务管理平台,服务服管理平台对数据进行分析处理。生产者可及时采取防控措施,降低生产风险;同时在云平台生产者可远程自动控制生产现场的灌溉、通风、降温、增温等设施设备,实现精准作业,减少人工成本的投入。以智慧大棚为例:远程控制功能针对条件较好的大棚,安装有电动卷帘,排风机,电动灌溉系统等机电设备,可实现远程控制功能。农户可通过手机或电脑登录系统,控制温室内的水阀、排风机、卷帘机的开关;也可设定好控制逻辑,系统会根据内外情况自动开启或关闭卷帘机、水阀、风机等大棚机电设备。
科学、标准生产管理 利用物联网云平台,可迅速生成专业的无线传感系统解决方案、温室智能控制解决方案、农业示范园区解决方案、终端控制解决方案、土壤墒情检测解决方案、大田环境监测解决方案、畜禽舍环境监控解决方案、园艺自动控制解决方案、科研院所配套解决方案、智能节水灌溉解决方案、水产养殖管理解决方案、视频监控系统解决方案、气象环境监测解决方案。云平台可根据农业生产需求,定制建立标准化生产管理流程,流程一经启动,平台将自动进行任务创建、分配与跟踪。工作人员可在手机上收到平台发布的任务指令,并按任务要求进行农事操作与工作汇报。同时,管理者亦能在平台中对工作人员进行任务派发与工作效率监督,随时随地了解园区生产情况。
智慧农业云平台产品安全溯源 智慧农业云平台可以帮助用户进行农产品品牌管理,并为每一份农产品建立丰富的溯源档案。通过平台,生产者可进行生产投入物品,以及农产品检测、认证、加工、配送等信息的记录管理,相关信息可自动添加到农产品溯源档案;同时通过部署在生产现场的智能传感器、摄像机等物联网设备,平台可自动采集农产品生长环境数据、生长期图片信息、实时视频等,丰富农产品档案。平台利用一物一码技术,将独立的防伪溯源信息生成独一无二的二维码、条形码及14位码,用户使用手机扫描二维码、条形码,或登录一品一码农产品溯源平台录入14位码,即可快速通过图片、文字、实时视频等方式,查看农产品从田间生产、加工检测到包装物流的全程溯源信息。使用一物一码技术,一次扫码后即无效,可实现有效防伪。
智慧农业云平台智慧农业云平台需要的设备
软件系统:监控中心、报表中心、溯源中心。
传输设备:采集器、传感器、智能网关。
监测设备:土壤检测设备或水质检测设备;大气温湿度监测、空气监测、风速、风向监测、光照度监测等设备、视频设备。
智慧农业云平台系统功能
查询功能
农户使用手机或电脑登录系统后,可以实时查询温室(大棚)内的各项环境参数、历史温湿度曲线、历史机电设备操作记录、历史照片等信息;登录系统后,还可以查询当地的农业政策、市场行情、供求信息、专家通告等,实现有针对性的综合信息服务。
预警功能
警告功能需预先设定适合条件的上限值和下限值,设定值可根据农作物种类、生长周期和季节的变化进行修改。当某个数据超出限值时,系统立即将警告信息发送给相应的农户,提示农户及时采取措施。
智慧农业云平台系统应用情况
目前智慧农业云平台系统已整合了农业物联网、生态循环、农业产业化等共10块相关业务资源,形成了智慧农业大数据中心。
1、农业物联网:对物联网应用点进行集中展示和统一管控,实时掌握物联网的建设情况。
2、生态循环:对农业环境监控点进行不间断的进行实时监控、可视化管理和集中展示,掌握生态环境情况,实现异常预警。
3、种植业管理:对主导产业的种植总面积、总产量、产业分布、市场行情、经营主体等整体发展状况和植物保护情况进行全方位分析和展示。
4、畜牧业管理:整合全省畜牧生产、流通、屠宰加工和无害化处理等业务系统,实现畜牧业的资源整合、数据共享和业务协同。
5、质量安全:将农业生产主体、农资经营主体和“三品一标”农产品纳入监管,实现农产品的正向监管和逆向溯源。
6、农业机械管理:整合农机相关业务和数据,为农机调度和决策管理提供科学依据。
7、农业产业化:整合并分析特色和优势产业的分布、经营主体数量、全产业链年产值等产业数据,反映农业现代化整体水平。.......
来源:中国智慧农业网
大数据云平台
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并