- ?
美团云运维:如何承载千万级云计算基础服务
离故
展开
内容来源:2017年6月25日,美团云基础设施负责人胡湘涛在“美团云技术沙龙——千万日订单背后的电商运维实战·上海站”进行《承载新美大的云计算基础服务运维》演讲分享。IT大咖说作为独家视频合作方,经主办方和讲者审阅授权发布。
阅读字数:3969 | 7分钟阅读
嘉宾演讲视频回顾及PPT:http://t/R1u8GKA
摘要
作为美团云基础设施的负责人,胡湘涛老师之前一直在CDN从事基础设施的运维和运维自动化的开发工作。提到基础设施,大家可能更多的认为是服务器、IDC,还有网络。其实为了承载整个新美大的电商平台,他们在基础设施方面,稳定性、可靠性方面也做了非常多的工作。今天就由胡湘涛老师给大家分享一下承载新美大的云计算基础设施。
基础平台服务
基础设施这一块除了我们的设施以外,还有一个基础的服务平台,这样才能非常高效地将我们的业务传递给客户。现在新美大所有的业务都承载在美团云上,有外卖、猫眼、美团、大众点评等等。
上图是基础平台的结构。第一层是物理层,主要包括服务器、网络设备和动力环境。动力环境对于大家来说可能会相对比较陌生,它在整个平台的稳定性方面发挥了比较重要的作用。上一层是IP的控制层,有网络配置、路由表、路由协议。
要把服务稳定地交付给客户,主要是在TCP/UDP的负载均衡层和DNS层上做了很多的稳定性工作。
基础设施
在机房的选型上,基本都是选用T3及以上的标准IDC。要有独立的低压配电系统,比如低压的配电机、UPS的机组、UPS电池、以及柴油发电机。这些都需要针对我们自己模块给到独立的系统,我们才能对机房的稳定性进行把控。同时在空调制冷方面一般会选用2N或者N+1的系统,这样在任何一个机组出现问题的情况下都不会对机房产生任何影响。我们需要有独立的物理空间,按照我们的需求进行定制。
有了高标准的基础设施后依然未必能保证稳定,在此过程中运维也是一个非常重要的步骤。
在运维方面我们有完善的SOP,也就是标准性操作。所有非标准性操作可能都会给机房带来灾难。比如做电力维护时在机房上架标签的时候,标签是否一致,都可能对未来的业务造成影响。同时对IDC的风险评估也做了大量的工作。我们用了机房动力监控,比如UPS的负载、电力的负载以及机房的温度、湿度。并且还做了24小时人工动环的巡检。因为我们有独立的物理空间,所以需要定期做模拟故障演练。
高可用基础服务
MGW Session同步
MGW是我们自研的一套系统,便于与云平台进行整合。同时也提供API,很方便地与业务系统进行打通,作为内部流程的定制化。这样我们在业务交付过程中能高效地完成工作。
我们目前单台服务器在连接Session方面单节点能达到1200万。Session的同步是做单台广播,一旦出现宕机,Session能够在路由层面进行无缝切换,给用户提供无中断的服务。
经过我们自己测试,百万级Session切换的miss率为0。Session采用增量的同步策略,主要通过二层进行同步。一旦有新的Session我们能快速地同步到同集群的其它设备上去,这样在单台机器出现故障的时候能够很从容地进行切换。
我们分别做了单台和多台机器的故障演练。我们用了十个不同的机器通过MGW请求后端的服务来进行文件下载。我们在23:37左右的时候,将第一台MGW关闭。从监控上37分这个时间点来看,业务突发的情况过了之后,它的流量基本为零,整体的十个进程在23:37之后没有波动。同时可能还会面临多台机器同时发生故障的问题,那么这时还能否保证业务交付的持续性呢?
我们在23:43先关掉了第一台MGW,它会把流量切换到第二台蓝色的MGW上面。我们在这个时间点把蓝色这台依然进行模拟的故障将其关闭。大家能够看到第四台的连接数和流量进行了上扬。在23:55的时候第三台进行关闭,所有的流量都无缝迁移到最后一台。在切换的时间点上面,十个压测进程在整体的流量上非常平缓。
在修复了机器之后,我们会对机器进行重新上线。因为机器在上线前没有任何连接,那么上线的时候是否会对业务造成干扰呢?
这是我们故障恢复和扩容的场景。像前面刚刚提到的这些时间段,我们分别演练了三台机器全部进行了一次故障。这个时间段先恢复了第一台MGW,从业务来看基本是没有任何波动的。在1:03左右的时间点,我们分别把剩余的两台也进行了恢复和扩容,从并发下载上来看,1:02到1:03是一个相对平缓的过程。特别需要说明的是上图中有红框框起来的部分,因为我们在压测的时候,它是在做一个4G文件的下载,所以当时的速度都是零。
在我刚刚入行的时候,领导跟我说过一句话,让我印象特别深刻:让一个网站在地球上消失最好的办法就是干掉它的DNS。如果一个机房宕掉了可以通过机房容灾来解决;如果一个区域宕掉了,可以做跨区域的容灾。但DNS出现了故障,那就毫无办法可言。所以可见DNS是我们非常重要的基础服务。通常我们会在一个IDC里面至少部署两台DNS,服务器就会在文件里面配上这两个DNS的IP地址。在迁移到另外一个IDC的时候,由于机房IP地址的唯一性,就要改DNS的地址。
我们采用了基于AnyCast的DNS架构。大家对这个架构其实并不陌生。我们使用最多的DNS服务大概是8.8.8.8。要在不同地方都使用同一个DNS IP,通过在DNS上和内网核心跑一个路由协议,在这上面每台机器有自己管理的DNS IP。业务请求过来的时候它是一个等价路由的形式,它会均分地请求到不同的机器上。也就方便了我们做DNS扩容,而且在做跨机房迁移的时候依然可以用同一个DNS IP。这个主要是在DNS层面做了一层路由的包装,方便了我们整个基础设施架构的部署,简化了整个运维流程。
基础网络质量监控
我一直强调运维的意识决定整个平台的稳定性。在运维过程中如何迅速发现异常、判断问题点,就需要快速直观的监控体系。
因为我们的体量相对比较大,三万+的服务器,几千个机柜,每个机柜都有TOR。这种情况下如何做到对所有整体的网络一目了然,快速响应解决发生的问题呢?
这是我刚刚提到的内网超核,所有跨IDC的层面都需要借助超核进行转发,这上面分别在三个不同的IDC,每个IDC有两组内网核心。
我们会在每一组TOR下面的物理机上布一个Agent,通过Agent监控全网的IP列表。我们建了一个sysop基础设施自动化运维平台,里面记录了基础设施所有资源信息,通过这个平台可以获取到IDC、交换机、服务器所有信息。
最右边是消息告警的平台,根据我们的策略配置一些消息告警。比如两台机器之间有丢包、延时增大等情况,匹配到我们的告警策略之后通知相关人员。
我们收集到的数据是通过InfluxDB进行监控数据的存储,利用Grafana进行展示。
最核心的是我们监控的管理平台Manager。首先我们每台服务器部署的时候会把这个Agent推下去,给Manager发请求,获取到需要监控的IP列表、监控IP的对象、监控IP的数量以及上报的时间。Agent监控生成的数据会上报到Manager模块,通过模块处理后存入InfluxDB。
众所周知,在整个网络架构当中监控南北向的流向是非常容易实现的,因为每个服务器到TOR,TOR到核心,再到外网,这是现在最基本的网络监控。
但是我们需要看到的是东西向流量。两个业务之间的请求,一旦出现异常大家可能第一反应是网络的问题。如何避免这样的问题,同时为我们业务快速定位或缩小问题点,就是这个平台的价值。
通过这个平台给到业务和我们自己,让我们能快速地判断网络是否有问题,或者当服务端出现报错的时候,到底是要第一时间排查网络还是DNS,或者是业务服务本身的问题,这样缩小了问题点,让业务快速的定位。因为在电商行业一旦出现问题,影响的时间越长,损失的都是交易金额,所以我们投入了很多的精力来做这一块的工作。我们不怕出现问题,一旦出现问题我们能在最快的时间去解决问题。
这是我们内网监控的第二期架构。第一期完成了东西向流量端到端网络监控,但是还不能直观地监控网络运行状况。按照上图中网络架构,在WJ和DBA的两个超核,每个IDC的内网核心有很多线互联的。两台机器互Ping的时候,出现丢包率。
比如说服务器到TOR,TOR到内网核心可能4条线,到超核是16条、32条线,超核到内网核心又是32条线,排查链路的时候是一个指数级的增长。能否将每一条链路的状况在我们内网的网络拓扑图上面进行展示,这样我们能够第一时间在业务之前发生这个问题。
第二期所做的,就是是能够监测到这32条路径的网络质量。我们通过了解厂商的Hash策略和构造数据,让它人为地走不同链路,拿到从TOR到核心这一段每一秒的ping值和波动来了解到每一段的网络是否有问题。这样能直观地了解到整个网络情况。
我们通过一个地图来展示外网网络质量监控,基于电信、联通、移动三条线路出口分别进行监控。我们主动以1秒钟为频率监控到全国每一个地级市的网络情况。通过这种主动的监控系统探测能够很清晰地知道哪一个区域有问题。
平台发展壮大是源自于用户的选择,我们需要给用户做到更高质量的服务、更好的用户体验。同时这些系统其实在公有云和私有云上复用,我们自己用到什么基础设施、网络条件,给美团云客户也使用同样的服务。
多维资源数据运营
我们会通过监控系统,结合各项数据汇总的指标,针对性的持续优化,最终达到让运维人员更加高效、让基础设施更加的稳定。
在服务器自动化操作方面,我们申请机器的时候走自动化流程,发起、检测有没有系统, CMDB的状况是否正常。如果正常的话,更改为预申请同时部署操作系统,部署之后对主机进行Ping检测。认为没有问题的,最终交付给业务。这些后端都会收集数据,拿到最近30天,流程的总量、成功率、失败率、正在运行的数量以及平均每个流程的耗时来针对性的优化。
同时我们在成本方面也做了一定的考量。比如所有机柜的房间有多少服务器、有多少交换机,这里面有效机柜是多少,针对于每个机柜的电力收集的覆盖率是多少。我们针对这个机柜所承载的业务和服务器的功耗进行智能匹配,来提高机柜的有效率。机柜的有效率上升了,在IDC平均业务量的租用成本就会降低,这也是数据化运营的方向。一个是提高我们的稳定性,一个需要降低整体的成本。
现在除了有数据以外,我们更多强调监控的可视化。
我们在机房都有类似于探头来监控环境,比如一些变更。包括除了机房的动力环境以外,我们自己来监控机房的温度、湿度是否达标。假如机房一个机器或者空调出现了问题,它并不一定会告诉你。当机房不可控的时候我们再发现,可能整个机房就死掉了,所以这里会有一个提前的预警,包括跟机房建立一个长效的沟通机制。我们在IDC层面,每一个Q进行一次巡检。做一个动力环境的巡检,检查基础设施的利用率是否有超标、是否有风险来完善整个风险的评估体系。
今天的分享到此结束,谢谢大家!
- ?
云计算基础设施构建:平台云化-数据库云化建议
廉念真
展开
数据库单机虚拟化承载可行性
在数据库单机方式部署模式下,可以采用服务器虚拟化环境进行承载,虚拟化环境中数据库单机系统基本可以正常运行并正常提供数据库的定义、操作、访问控制等功能,性能损失在可接受范围内(5%~26%)。
数据库集群虚拟化承载可行性
数据库HA双机集群和数据库网格集群可在部分厂商(Vmware、微软、华为、中兴)虚拟化环境中部署,可以提供较高和实时的可用性服务保障,但RAC系统搭建、部署配置工作复杂,同时RAC在虚拟化环境中扩展性能较弱,需要进一步研究和优化。
数据库双机虚拟化承载可行性
由于SQLServer Failover数据库集群系统故障切换时间在60-100秒,不能满足业务访问实时高可用的要求,建议在虚拟化环境考虑采用虚拟化HA高可用方式取代SQLServer Failover集群,以降低SQLServer Failover集群的资源占用量。
KVM与Windows虚拟机适配问题
Redhat KVM虚拟机承载SQLServer数据库时性能较差,不建议采用KVM虚拟机承载SQLServer数据库。
数据库虚拟化承载选型建议
考虑到虚拟化软件与不同操作系统兼容性存在适配优劣的限制,建议承载数据库虚拟机时优先选择Vmware虚拟化软件,其次在承载Window系统虚拟机时建议采用Hyper-V虚拟化技术,在承载Linux虚拟机时建议采用Xen、KVM虚拟化技术。
数据库高可靠性
1、对于可靠性要求不高的的数据库,可采用虚拟机的HA技术进行设计,数据库服务器发生故障时,故障时间为虚拟机服务器开启时间。一般在3-6分钟左右。此模式下应用层的数据库故障时,虚拟机HA不会触发
2、对于I/O较高的数据库可采用缓存数据库+主库的方式配置,适当降低I/O开销
3、当单机虚拟机开销占用物理机50%以上时可采用物理机资源直接部署数据库及相应的HA或者RAC
4、当平台需要多台物理机运行大型数据库时,可考虑分布式数据库解决I/O问题
- ?
云计算网络基础架构的实践和演进——打造云计算网络基石
汪雅琴
展开
更多深度文章,请关注云计算频道:https://yq.aliyun/cloud
摘要:从传统IT部署到云,人肉运维已经是过去式,云上运维该怎么开展?人工智能对于运维“威胁论”也随之袭来,如何去做更智能的活,当下很多运维人在不断思考和探寻答案。在2017云栖社区运维/DevOps在线技术峰会上,阿里云专家云登就为大家分享了云计算网络基础架构的实践和演进,精彩不容错过。
以下内容根据演讲视频以及PPT整理而成。
众所周知,云计算是以计算、存储和网络作为基础的。网络作为云计算的重要基石之一,其架构设计和演进是云计算发展的重要一环,而网络架构涉及可靠性、性能、可扩展性等多方面内容。架构是从理论设计开始的,理论设计和实践碰撞到一起,能否经得住考验,是否能够符合预期呢?厂商所提供的网络设备的高级特性真的是解决问题的银弹么?如何通过经典网络和VPC构建混合云,打通云上和云下呢?阿里云在以往的实践以及与用户的交互碰撞中遇到的问题又是如何解决的呢?本次分享中将与大家一起进行探讨。
本次分享的目录
一、常见的云计算网络架构
二、云计算网络的可靠性和故障定界
三、专有云网络的模块化
四、混合云构建的并网案例
五、云网络架构的演进趋势
下图所展示是一种常见的云计算网络集群架构。传统情况下云计算网络架构会分为三层:接入层、汇聚层和核心层。如下图所示,在接入层下面的两台交换机会进行堆叠,再下面会连接服务器,服务器一般会选择使用两个网卡进行bond之后以双上连的方式连接到2台接入交换机。在接入交换机和汇聚交换机之间也会有多条线路的连接,一般而言会存在二层或者三层的接入。对于带宽收敛比的设计而言,对于千兆集群可以采用1:1无收敛的方式,而对于万兆集群则可以使用收敛比为1:3或者1:2的方案,也可能使用无收敛的设计。从汇聚层再向上连接到核心层,一般情况会使用三层连接。
下图是另外一种比较常见的云计算网络集群架构,在Spine节点和Leaf节点之间可能会存在三层连接,而Spine节点和Core节点之间也可能会存在三层连接,这种网络架构相比于前面提到的架构而言,其扩展粒度要更细,可以细化到一组或者多组进行接入。
想必大家对于Overlay以及Underlay网络都有所了解,物理网络被称为Underlay网络,物理网络搭建完成之后应该尽量保证网络拓扑是固定的;而对于Overlay的网络而言,可以基于VXLAN技术构建VPC网络,通过软件定义和控制器的方式可以动态地构建虚拟的网络。所构建的网络可以是一个或多个虚拟的网络,可以通过云上不同的租户去定义地址规划以及路由的规划,甚至还可以提供类似于高速通道这样跨VPC之间的互通。Underlay网络的设计基本上就是前面所提到的接入-汇聚-核心架构以及Spine-Leaf架构,而对于Overlay的网络则描述的是虚拟的层面,提供的实际上是虚拟的路由器和虚拟的交换机,包括其构建出来的可以接入像SLB、RDS、ECS、OCS等云产品的VPC容器。为什么叫做Overlay呢?其实因为Overlay网络是通过VXLAN隧道的封装运行在Underlay物理网络之上的。通过Overlay逻辑网关去组织业务进行资源编排就可以构建出非常丰富的基于Overlay网络的产品。
前面主要介绍了云计算网络的一些基础概念,接下来将会针对云计算网络的可靠性以及故障定位的方式进行分享。
对于云计算平台的物理网络而言,其可靠性可以分为以下的几类:
多线路,常见二层的LACP,也就是链路聚合,对于三层则使用等价路由。设备HA,从体系结构来讲,分布式的多框、多插槽的设备能够提供多主控、多接口板这样的方式,还可以提供类似于堆叠技术和多机之间的双机热备以及多机的备份或者多机堆叠的方式,还可以提供VRRP的链路切换。探测和切换机制,实际上在网络配置交付之后,如果远端出现了问题,为了解决链路上的负载均衡以及主备切换的问题,可以引入比如NQA+Track这样的探测技术,这样可以针对静态路由的配置通过不同的优先级和NQA探测方式发现远端节点不可达的时候进行路由切换。除此之外,在探索到某台设备出现故障的时候就可以进行故障隔离,可以实现端口级或者设备级的故障隔离,保证流量可以走备份或者冗余链路进而避免流量中断,当然,这种情况下可能对于流量带宽造成一定的损失。巡检和监测,针对于Overlay和Underlay的网络会提供主动探测的机制,还有对于设备的日常日志告警的分析。设备在运行中往往会报很多的日志和告警,将这些信息收集起来之后结合云平台的业务流量可以挖掘出很多故障的可能性、已经出现的故障还有对于未来可能出现故障的预判。还可以进行流量分析,并且基于此判断云平台的网络是否出现了一些问题。
如下图所示的是常见的网络集群故障点分布图,云计算平台的网络故障点主要集中在下图中标号的几个位置:
标号1:线路故障,比如服务器上连到TOR交换机,也就是服务器上的接入网卡接入到交换机上时出现了网卡、线路或者是接入端口损坏导致线路上出现故障。同样的,从接入层到汇聚层,从汇聚层到核心层也会出现这样的线路故障。标号2:核心设备的故障,核心设备的故障可能导致跨网络端口之间的流量损失,由此造成的影响范围往往比较大。对图中所示的网络架构而言,如果流量需要跨端口进行传输,就一定需要从接入层到汇聚层再到核心层再转入另外一个POD的汇聚层。标号3:汇聚交换机的故障,一般情况下汇聚交换机采用堆叠的方式,可能会出现堆叠的分裂以及单台设备的故障,也可能出现整个端口流量上行的带宽减半或者是分裂以后导致等一些不可预期的后果,因此需要及时检测出一些故障并且及时进行隔离以及对于设备进行下线维修从而排除此类故障。标号4:接入交换机的故障,接入交换机也会发生类似于汇聚交换机的故障,堆叠分裂或者单机故障则会导致下面连接的服务器出现问题。标号5:服务器故障。标号6和7:像上述提到的堆叠出现问题造成的故障,这样的故障需要通过日常的巡检以及网络设备自身报告故障的日志告警来发现问题并及时去进行相应的处理。
以下是对于常见的网络集群故障点的详细描述:
线路故障。体现为带宽的损失,一般通过多条线路保障,三层网络设备间通常用ECMP等价路由,二层网络设备间通常采用聚合LACP,提高可靠性。在实际情况下,在公有云环境中会发现:一旦网络集群规模大了之后,堆叠出现问题的概率就会变大,与此同时,二层的广播风暴和环路出现的概率也会变大,阿里云目前在逐步地考虑去掉堆叠并且去掉二层,这也可能是未来的发展方向。这样的目的是为了简化网络并提高网络集群的可靠性。DSW故障。DSW是对于核心设备的称呼,由于所有的DSW之间不直接互联,它本身的可靠性只能依靠硬件框式分布式,多主控板(主备HA)、多接口板(上面说的多线路跨板连接)来保证单点可靠性,使用多台DSW,平时负载均衡,单台故障时互为备份链路。如果是单台DSW故障,将会影响带宽损失。PSW故障。也就是汇聚设备的故障,拓扑中有PSW堆叠和去堆叠两种情况,如果是堆叠的,单台故障,上下连线依靠跨堆叠设备的LACP或者ECMP实现业务不中断(但带宽有损失),如果不是堆叠的,参考(2)的场景。如果是单台PSW故障,影响的是下连的多组ASW带宽损失一半。ASW故障。线上很多的ASW都是堆叠的,目前阿里云也开始去堆叠,如果是堆叠的,ASW下连服务器,服务器双网卡bond接入(LACP),如果是去堆叠的ASW,服务器双网卡等价路由负载均衡。如果单台ASW故障,影响的是下连的48台服务器的带宽损失一半。未来,阿里云新构建的集群会逐渐减少对于堆叠的使用,进而提高网络设备的可靠性。其实对于网络厂商而言,他们也会对于堆叠特性进行大量的测试,但是实际上由于堆叠特性十分复杂,因为其涉及到硬件、软件、内部检测以及协议的传输备份,也就是会涉及到很多跨框、跨设备的同步以及选举机制。由于堆叠特性实现本身就非常复杂,就会导致出现问题的可能性比像路由转发这样其他简单特性更高。而在云计算场景下海量的网络设备同时运行,就进一步提升了堆叠特性出现问题的可能性,基本上就会导致出现存在堆叠的场景下可能经常会出现问题。为了解决这样的问题就需要逐步地去除堆叠和二层。服务器故障。可能体现在服务器网卡或者本身内部的应用系统的问题,服务器故障一般只会影响自己,范围比较小。PSW堆叠分裂。各自认为自己是主设备,为了减小影响,一般会配置DAD双主检测,禁掉一边,影响为整个pod的上联带宽和跨asw之间转发带宽损失一半。如果PSW堆叠整体故障,整个pod挂掉(各组ASW下的48台服务器之间仍可互通),上连不通,跨asw的互连不通。ASW堆叠分裂。类似于(6),影响为一组ASW下挂的48台服务器的互联或者上联带宽损失一半。如果ASW堆叠整体故障,该组ASW下连的48台服务器全部不通。对于(6)(7)的堆叠故障,由于厂商堆叠技术本身复杂,导致故障概率提升,再加上公共云使用的网络设备规模大,基数上去了就进一步放大出故障的概率,且影响范围大。因此网络本身的可靠性和故障位置,对于云产品来说影响的范围也是不同的,ecs之类的云产品能够打散到不同的ASW、POD甚至AZ(跨网络集群),其可靠性指标也是不同的。基本上是打散的网络设备之间的层级越高,可靠性保证越高,但同样的网络延迟也越高。
那么怎样才能够及早地发现这些故障呢?其实可以使用故障主动探测的模型。在网络集群里面,可能会选择特定的接入设备比如像服务器,将其作为主动探测的机器,其探测的目标就是网络设备下面的其他服务器。
建立的第一个简单故障主动探测的模型如下:
一个TOR下面所有物理服务器(例如48台)都同时出现大量丢包-->TOR交换机故障。个别物理服务器出现丢包-->服务器负载问题/TOR交换机端口队列打满。到某个机房的大量物理服务器同时出现大量丢包-->汇聚交换机/核心交换机故障。到某个机房的大量物理服务器出现少量概率丢包->汇聚交换机/核心交换机的个别端口问题。每个机房最少只需要1台机器作为探测源,部署对业务网络影响小,ICMPping之类的只能做Layer3的探测。
依照上述的故障主动探测模型就可以简单地判断网络出现故障的范围。
建立的第二个简单故障主动探测的模型如下:
通过选择不同位置的服务器作为探测源或者探测目标,发现不同层次的故障位置,多轮次组合。要求每台服务器运行agent,并接受外部控制器指令,动态调整探测策略,可建立TCP连接并测试。可以针对overlay和underlay网络进行探测,更容易模拟实际应用的业务流量特征,支持Layer4探测、时延计算。
第二个故障主动探测模型在服务器内部会增加一些代理Agent,安装代理之后可以做到对于4到7层的探测,可以探测出TCP连接的情况以及其延迟和性能速率。同样的,探测模型也可以组合出不同的探测方式,在了解网络架构的拓扑之后就可以探测位于同一组接入交换机下面的两台或者多台服务器,也可以探测位于不同的核心交换机或者汇聚交换机下面的多台服务器。通过这种建模方式就可以知道当前延迟高或者丢包的场景下,网络的问题到底出现在什么位置。
上述提到的是网络体现在本身体系结构上的可靠性,比如分布式设备、支持主备HA、支持双机热备或者多机堆叠以及其他一些高级特性,这些都是从网络设备本身的角度而言的。除此之外,通过线路带宽的设计保证收敛比以及负载均衡,以此来保证云计算网络的可靠性。而通过日常的巡检和探测能够及时地发现故障,并在故障发生之后及时了解故障发生的具体原因并提供故障定位的方式,进而提高云平台网络的可靠性。
上述这些都是在公有云网络上的实践,对于专有云而言,又会存在什么样的差别呢?其实对于专有云而言,更多地会对其进行模块化的设计。公有云一般而言是可规划的,可以对于未来集群的规模、建设的地域以及网络架构的选择等进行规划。而对于专有云而言,客户的需求往往不能够规划出来,不同的客户所需要的业务的场景和诉求往往是不同的,这些在网络设备的选型、已有设备的利旧使用以及对于云平台功能的裁剪上都会有所体现,所以专有云与公有云上的的网络设计就存在较大的差别。
下图是专有云网络架构图,一个很明显的特点就是专有云网络会分成几个区域,最上面的是外部接入区,外部接入区包含了阿里云和ISP或者用户骨干网出口的链接以及在其上进行安全防护的云盾。专有云网络架构图中间的DSW和下部的PSW则属于DC区,也就是网络架构的核心区域。图中右面的综合接入区分为了两个部分,一部分是阿里云所提供的负载均衡、VPC网关以及OPS相关的接入,另外一部分则是CSW,实际上就是客户的VPC专线接入区,阿里云的专有云客户会有一些原来的物理网络需要与云上的VPC进行网络打通,一般会通过VPC的专线接入交换机的综合交换机接入进来。也就是说专有云网络的每一个模块都有一个相对独立的设计,所有的模...
- ?
用了这么多年的云 到底啥才是云计算平台
老炮13
展开
随着近年来物联网的发展,云计算将加速资源整合和优化,根据不同的需求,在资源池中得到相应的资源支持,以此来节约成本,提高资源的利用率,助推社会结构调整,实现科学化发展,这是一种趋势。如同这社会的主体,为信息化发展提供源源不断的动力。
对此有网友表示称,云计算,是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备。 具体实现的方式有IaaS(Infrastructure-as-a- Service):基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。换成我们通常理解的内容来讲就是我们不用购置硬件(服务器、存储等),不用去考虑如何把服务器连上网,只需要我们购买IaaS服务就可以使用这些硬件的服务。
PaaS(Platform-as-a- Service):平台即服务。PaaS实际上是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。这里的平台换成我们理解的就是应用程序运行所需要的环境,如果我们部署PHP开发程序就需要有Apache等引擎支持。用Java的需要Tomcat等支持。SaaS(Software-as-a- Service):软件即服务。
它是一种通过Internet提供软件的模式,用户无需购买软件,而是向提供商租用基于Web的软件,来管理企业经营活动。这里的软件即服务,举例子说我们用的QQ 邮箱
其实就是一种SaaS服务。企业市场常用的在线CRM系统也是。
IaaS其实提供的就是服务器,用户可以自行在服务器安装配置各种软件环境。可以很灵活的实现各种功能。PaaS目前主要是WEB环境的应用,通常支持PHP、Java、Python和GO语言。必须在云计算服务商的框架内开发。
- ?
清楚!看图学习云计算总体架构及技术体系
劳瑞恩
展开
云计算是一种能够通过网络以便利的、按需付费的方式获取IT资源(包括网络、服务器(虚机、容器)、存储、平台、应用和服务等)并提高其可用性的模式,这些资源来自一个共享的、可配置的资源池,并能够以最省力和无人干预的方式获取和释放。
云计算技术与服务架构
SaaS是一种新型软件发布模式,应用软件安装在 厂商或者服务供应商那里,用户通过网络使用。Salesforce、NetSuite、Google Apps、微软Office365是典型案例。
软件开发者可以在PaaS之上直接开发新的应用,不需要购买和部署服务器和OS、数据库和中间件软件而直接部署代码即可。
运行客户自己的应用。Salesforce的Force、Google AppEngine和微软 Azure都是PaaS模式的典型代表。
IaaS(Infrastructure as a Service,基础架构即服务)通过互联网提供数据中心、基础架构硬件和软件资源。典型
IaaS的代表产品是亚马逊的AWS(Elastic Compute Cloud)、Google的CloudEngine。
云计算基础设施服务
基础设施:机房和带宽
硬件:服务器、存储、数据中心网络
软件:操作系统、虚拟化软件等
基础架构管理:抽象、池化、服务/实例/接口
云计算应用开发和执行环境
将云计算应用开发和执行环境以PaaS形式提供给外部开发者。
基于云计算基础架构提供各种OS和运行环境(数据库、开发语言运行环境、文件系统),支持多开发语言库为开发人员提供云计算应用开发工具(开发环境插件、本地仿真环境等)
基于多租户架构为开发者开发的应用提供执行环境
应用的监控和管理根据应用负载提供良好的资源伸缩性,同时保证应用的可靠性等
云计算应用软件
各类利用云计算基础架构或之上的应用执行环境平台开发的应用,以SaaS的形式提供给外部用户。
利用了云计算基础架构和多租户架构的执行环境,因此可以保证应用具有良好的可伸缩性以及多租户共享。
提供商将这些云计算应用按多租户方式提供给客户,典型的如CRM、企业邮件、办公文档、企业协同系统等
云计算技术体系
- ?
到底什么是云计算?云计算能干什么?
卡德纳斯
展开
到底什么是云计算?云计算能干什么?
如今大家天天听到媒体说云计算,什么阿里云、百度云、腾讯云等,到底什么是云计算呢?
云计算(cloud computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。
IBM的创立者托马斯·沃森曾表示,全世界只需要5台电脑就足够了。比尔·盖茨则在一次演讲中称,个人用户的内存只需640K足矣。李开复打了一个很形象的比喻:钱庄。最早人们只是把钱放在枕头底下,后来有了钱庄,很安全,不过兑现起来比较麻烦。现在发展到银行可以到任何一个网点取钱,甚至通过ATM,或者国外的渠道。就像用电不需要家家装备发电机,直接从电力公司购买一样。云计算就是这样一种变革——由谷歌、IBM这样的专业网络公司来搭建计算机存储、运算中心,用户通过一根网线借助浏览器就可以很方便的访问,把“云”做为资料存储以及应用服务的中心。
什么是云计算?狭义的云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务。
举个例子:阿里云计算发布的Matrix+(码+)计划,通过连接全球PC、平板电脑、超便携设备和手机等设备,组建人类有史以来最为强大的计算网络,这些强大的计算能力将被用来搜索外星人。
当10亿台手机一起计算时,超过了人类有史以来的计算力总和,能够开放地支持涉及人类公共利益的科研项目。比如美国诺曼教授正在研究的人脑外挂,艾滋病研究、粒子能源、外星生物探索等前沿科学……
当用户接受邀请后,Matrix+在手机连接Wifi并待机时自动运行,并为其指派经过分解的科研任务。点亮屏幕时,计算会自动停止,并不会对正常的手机使用有任何影响。未来,Pad、电视盒子、智能电视、路由器等所有智能设备,都可参与这一计划。
这就是手机版的云计算,而云计算则是众多服务器的加强版。
据IDC最新数据显示,亚马逊AWS、微软Azure、阿里云排名前三,全球公共云市场3A格局已定。
阿里自主研发的飞天操作系统,可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。
阿里云在做公共云,那其他从事云服务的公司在做什么?
这些从事云服务的公司,就分成:
Iaas(基础设施即服务Infrastructure as a Servic),阿里云、亚马逊AWS、微软Azure
Paas(平台即服务Platform-as-a-Service),GAE(谷歌)、阿里ACE
Saas(软件即服务Software-as-a-Service),太多了
IaaS就是专门提供基础设施服务的公司,几年前如果你想在办公室或者公司的网站上运行一些应用(比如自己开发好的APP或是网络游戏),你需要去买服务器,成本太高了。
但是现在有IaaS,你可以将硬件外包给这些专业的公司,这些公司会提供场外服务器,存储和网络硬件,你花钱租用就行。
这样就节省了维护成本和办公场地,并且你可以在任何时候利用这些硬件来运行其应用。
就跟约会一样,饭店、电影院、KTV把你约会需要的硬件设置布置好了给你用,你付钱就行。
国内比较出名的Iaas有:阿里云、腾讯云等,国外就更多了包括Amazon, Microsoft, VMWare, Rackspace和Red Hat。
懂得了IaaS是什么意思,那我们再来说说PaaS平台即服务,这个是啥意思?
大家有没有发现,现在出现一些泡妞培训班、约会方案策划师啥的,这些公司提供的服务就是在帮你做一系列约会泡妞解决方案的,从软硬件都帮你搞定,剩下的只需要你去约会就行。
同理PaaS是面向软件开发者(泡妞者)的服务, 云计算平台提供硬件, OS, 编程语言, 开发库, 部署工具(各种培训班、方案策划、软硬件等), 帮助软件开发者更快的开发软件服务,某些时候也叫做中间件。
云服务商将软件开发的云端开发平台和软件运营的云端运行环境 (包括中间件、数据库、web服务、消息总线等基础通用服务)作为一种服务,提供给最终用户。
换句话说,这些PaaS服务商提供的都是基础开发服务平台,主要目的就是让你把精力专注在应用层面的开发上面,而不需要浪费在这些基础重复性的事情上,也不用担心开发完成后部署问题。
PaaS平台在云计算架构中位于中间层,其上层是SaaS,其下层是IaaS。
PaaS比较出名的包括:GAE(谷歌)、阿里ACE、百度BAE、新浪SAE等。
看到这里,大家有没有觉得PaaS跟前面的IaaS有部分重合了,对的,他其实是对IaaS的更深入的提供软硬件结合的一整套解决方案。
但是他限制太死了,就跟人家给你策划好的约会方案,你必须按剧本走,无法自由发挥。结果就是市场接受度不高,所以,PaaS一直不温不火也是这个原因。
最后SaaS模式,大家应该会更容易理解,这个概念最近超火经常能听到,并且很多公司开发的应用都基于SaaS模式的。
Saas软件即服务,简单说就是人家把你想要的功能开发好成应用软件,然后直接卖账号给你用,你也不需要担心服务器、带宽、应用开发等问题,直接交钱使用就行。
从泡妞角度来理解就是,现在各种某陌、某和网、大量的婚介机构,他们都是把妹子召集起来,然后你可以通过使用他们的平台或是服务找到适合你的妹子,是一样的道理的。
当然,交钱跟没交钱获得的待遇是不一样的,同理SaaS软件服务公司也有提供不同等级的服务的。
出名的SaaS软件服务商在各个行业都有的,这里就不一一列举了。
- ?
2017全球十大云计算平台市场占有率排行榜
颠覆
展开
从Google首席执行官埃里克·施密特(Eric Schmidt)首次提出“ 云计算 ”(cloud computing)的概念到现在,云计算已经走过了炒作期和实践期,已经处于成熟期。同时,行业集中度也越来越高并呈逐渐加强的趋势,目前业内大公司已经占据了整个市场的半壁江山。
Synergy Research Group根据2017年市场占有率的多少和市场增长率的快慢对全球几大云计算平台进行了调查和排名,亚马逊AWS依然名列榜首。以下是全球十大云计算平台市场占有率排行榜。
1.亚马逊AWS
亚马逊AWS于2006年推出,是全球最早推出的云计算服务平台,面向全世界的客户提供云解决方案,包括弹性计算、存储、数据库、应用程序在内的一整套云计算服务,降低企业IT投入成本和维护成本。
“先下手为强”,亚马逊AWS投入早、运行时间长,目前仍是云计算领域的老大哥。在AWS计算领域中Amazon Elastic Compute Cloud (Amazon EC2)是代表性产品,它是一种 Web 服务,可根据计算要求提供大小可调的计算容量。在存储服务中,Amazon S3 提供了一个简单的 Web 服务界面,用户可通过它随时在 Web 上存储和检索任意数量的数据。在数据库服务中,Amazon Relational Database Service (Amazon RDS) 是一种可让用户在云中轻松设置、运维和扩展关系数据库的 Web 服务。此外在网络和内容分发、移动服务、开发人员工具、应用程序服务等领域亚马逊AWS都有出色的产品。
在2017 AWS Re:Invent会上,Amazon 又宣布推出5项机器学习新服务,包括Amazon SageMaker、Amazon Transcribe、Amazon Translate、Amazon Comprehend、Amazon Rekognition Video以及一款面向开发者的深度学习型无线摄像机AWS DeepLens。
此外,亚马逊AWS也加快扩展中国市场的步伐。今年12月12日,亚马逊AWS在中国的第二个运营区域——中国(宁夏)区域正式开放,将会实行一轮降价措施,或给当前国内云计算市场带来强有力的价格冲击。
2. 微软Azure
微软 Azure是微软基于云计算的操作系统,最初名称是Windows Azure,主要目标是为开发者提供一个平台,帮助开发可运行在 云服务 器、数据中心、Web和PC上的应用程序。Azure是一种灵活和支持互操作的平台,它可以被用来创建云中运行的应用或者通过基于云的特性来加强现有应用。该平台目前具备以下功能:网站、虚拟机、云服务、移动应用服务、大数据支持以及媒体功能的支持。
在此次Synergy Research Group的调查统计中微软Azure排第二,虽然没有亚马逊AWS的功能全面,微软Azure也形成了独特的优势。它支持大量开源应用程序、框架和语言,并且数量仍在增加;融合本地 IT 设施和 公有云 ,是最适合混合 IT 环境的公有 云平台 ;数据中心有多家主流运营商接入,网络访问性能有保证;数据和服务的安全性也是其一大优势。
11月1日,在北京举行的2017微软技术暨生态大会上,微软宣布在中国运营的Microsoft Azure的云计算规模将在未来6个月完成三倍扩容。11月27日,微软与知名企业软件公司 SAP宣布将合作进军云服务市场,以提高微软的云端业绩,尤其是IaaS 服务。
3. IBM
IBM一直专注于云计算、网络安全和数据分析,今年11月1日IBM宣布推出全新IBM Cloud Private平台,可以帮助企业利用类似公有云的能力,构建本地部署的私有云环境,是一个集IaaS、PaaS及开发者服务所需的创建、运行和管理 云应用 于一身的集成平台。
全新的IBM Cloud Private平台安装极其简便,一键即可实现安装、添加、删除节点,还能够根据相关指标定时弹性伸缩。同时,IBM Cloud private支持异构平台,不仅可以安装于VMWare、OpenStack、物理机上,还支持X86和POWER Linux,由客户自己管理,不需要再连线IBM,投产就可用。集成了Istio、服务目录、VMWare NSX-T等,支持Ceph、Gluster 、GPFS 存储、MicroService Builder中间件镜像的开箱即用。
早在9月份,IBM 还推出了一款“拉杆箱”——Cloud Mass Data Migration,里面是一套容量 120TB 的存储系统,可以让用户快速的将本地数据上传到 IBM 的 云存储 中。
4.谷歌 云平台
谷歌公司不是传统的IT厂商,而是新型的网络公司。基础架构和平台是谷歌 云服务 的两大竞争优势。谷歌云平台服务分为四大类:
1.计算:谷歌计算引擎作为基础架构即服务(IaaS);平台即服务有谷歌App Engine;以及谷歌容器引擎,一套使用 Kubernetes来达到集群管理和自动化的Docker容器镜像 。
2.存储:谷歌 云存储
3.网络:谷歌云DNS和Interconnect
4.数据库:Google Cloud SQL,Google Cloud Datastore和Google Cloud BigTable
今年9月份谷歌云宣布收购了Bitium,Bitium专注于为基于云的应用程序提供企业级身份管理和访问工具。这次收购能够帮助Google可以更好地管理企业云客户,包括为跨Cloud和G Suite产品的应用程序设置安全级别和访问策略。
5. Salesforce
Salesforce是一家客户关系管理(CRM)软件服务提供商,提供随需应用的客户关系管理。作为全球CRM行业的领导者,Salesforce 在客户关系管理领域的专业度是毋庸置疑的。该公司勾勒出的云战略中包括SaaS和PaaS。该公司的 云计算 产品包括Force(定制软件开发)、Heroku(Ruby平台服务)、Database、Salesforce Data、Salesforce Chatter、Salesforce Sales Cloud和Salesforce Service Cloud。
今年Salesforce已经将AI整合进许多产品中,与IBM合作将Einstein与Watson合并,以便用户扩充数据。Salesforce还利用AI来让用户更轻松地获取他们所需的信息,它提供的一款名为Optimus Prime的内部工具用以组织和清理数据。通过分析用户在Salesforce上已有的数据来添加服务对Salesforce来说是一个很大的机遇。
6. 阿里云
阿里云创立于2009年,是目前国内云计算领域的龙头,由阿里云自主研发、服务全球的超大规模通用计算操作系统飞天,目前为全球200多个国家和地区的创新创业企业、政府、机构等提供服务。基于阿里云飞天操作系统强大的计算能力,阿里的人工智能ET拥有全球领先的人工智能技术,目前已具备智能语音交互、图像或视频识别、交通预测、情感分析等技能。
今年9月21日,阿里云发布全新一代云数据库产品POLARDB,采用第三代分布式共享存储架构,实现计算节点和存储节点分离,使计算引擎和存储引擎均拥有快速扩展能力;在2017杭州?云栖大会期间阿里云又发布了一系列突破性成就,“达摩院”支持研发的量子技术领域迎来了首个重量级发布—— “量子计算云平台”上线、BigBench数据规模首次扩展到100T、流计算2.0每秒峰值达千万QPS整体链路延时亚秒级、E-MapReduce对比同类产品平均性能提升3倍。
阿里云在中国遥遥领先的同时开始扩展海外市场,10月30日,阿里云宣布其马来西亚大区(Region)正式面向全球开放服务,阿里云将为该区域市场提供计算、存储、网络等互联网基础设施服务,同时为当地企业数字化转型提供互联网中间件、人工智能产品和服务。此外,阿里云也将在欧洲建立数据中心。
7.Oracle
Oracle云是一款功能强大、统一的云解决方案。 它提供了全面、集成的云服务,可帮助业务用户和开发人员在云端或内部部署环境中无缝、经济高效地构建、部署和管理负载,是少有的几家能完整覆盖IaaS、PaaS、SaaS及DaaS层面云服务的公司。
Oracle的成功主要来自于数据库业务,许多公司使用他们的数据库来运行其关键业务,数据库业务仍然是Oracle最大的收入来源。2017财年甲骨文云业务总收入超过46亿美金,年增长超过60%,是全球发展最快的云公司之一。
在刚过去的2017甲骨文全球云大会上,甲骨文发布了多项产品和技术创新:最新发布的Oracle数据库18c,凭借机器学习实现自治驱动、自治修复数据库和联机事物处理,有效提升了云端数据库运行的安全性和可靠性;Oracle人工智能平台云服务(Oracle AI Platform Cloud Service)、Oracle区块链云服务、Oracle移动云、Oracle分析云以及Oracle安全和管理云等解决方案全面展现了甲骨文的技术创新。
据外媒最新消息,Oracle已经同意斥资16亿美元收购基于云计算的建筑软件供应商Aconex,增强其云计算业务。
8.Rackspace
Rackspace是全球三大 云计算 中心之一,是一家全球领先的托管服务提供商,在全球拥有10个以上数据中心,管理超过64000台服务器。Rackspace的托管服务产品包括专用服务器,电子邮件,SharePoint, 云服务 器, 云存储 ,云网站等。在服务架构上提供专用托管, 公有云 ,私有云及混合云。同时Rackspace是,AWS与微软Azure技术支持伙伴。
业内调查表明,企业正在纷纷从企业数据中心转向多云模式,这对云计算市场来说又是一巨大的机遇。今年9月Rackspace公司签署了收购Datapipe公司的协议,其中包括由29个数据中心组成的基础架构。此次收购是Rackspace公司迄今为止最大的收购交易,主要为了满足客户要求更多的多云功能。
11月,Rackspace又表示,将于HPE合作构建一套根据使用情况向客户收费的私有云服务。Rackspace认为,对于企业来说,付费即用模式的托管私有云是一个有吸引力的选择,这是私有云市场翻开的一个新篇章。
9. virtustream
Virtustream成立于2009年,为政府和企业客户提供云端服务,主要负责解决SAP、Oracle等关键应用在云上运行的问题,Virtustream的xStream管理平台及基础设施即服务(IaaS)满足复杂的私有云、公共云或混合云生产应用的安全、合规、性能、效率及基于消费量的计费要求。
Virtustream是深受全球组织信任的企业级云提供商,其客户包括可口可乐、SAP、多米诺糖业、海因茨以及一系列来自全球各地的服务供应商。VirtuStream在整个云计算市场属于细分市场的挑战者,是托管私有云市场的领导者。2015年被存储巨头EMC公司收购,随后EMC与戴尔合并,VirtuStream成为戴尔旗下事业部。
VirtuStream借助戴尔的服务提供商生态系统,加速推进其扩张步伐。今年3月28日,Virtustream宣布,该公司面向任务关键型应用的企业 云平台 和服务即日起在澳大利亚和日本等亚太地区供应,此次供应范围包括Virtustream的创新 云技术 和独特的消费量计费模型。
10. Fujitsu
2010年7月9日,日本富士通公司正与美国微软公司合作推出云计算业务,富士通和微软在全球范围内共享数据中心,微软把其软件与富士通的客户服务结合起来;富士通开始在群马县馆林市数据中心运行微软云服务,此后将陆续在美国、英国和新加坡等国家的数据中心运行。
富士通云基础架构解决方案是根据云计算平台架构的需求,以富士通刀片服务器及存储系统为基础,在业界标准的虚拟化技术之上,采用富士通云计算资源的核心组件ROR(Server View Resource Orchestrator)组建的一个预先定义、预先测试验证、标准配置的云计算平台。
近年来为了增强在云计算领域的竞争力,富士通除了与微软合作,与云计算领域巨头纷纷展开合作。2015年12月,富士通集团与全球云基础架构和移动商务领导厂商VMware宣布双方将开展全新合作,为客户提供灵活、安全的云技术。2016年7月,Oracle和富士通宣布结成合作伙伴关系,以推动企业云计算解决方案的发展。
- ?
简单聊聊最流行的开源云计算平台OpenStack架构
定格
展开
我们知道云计算主要有三种服务模式,IaaS、PaaS和SaaS,其中最底层最基础的就是IaaS。企业级私有云领域,目前IaaS领域的老大就是VMWare公司;在开源领域,最流行的IaaS框架则是OpenStack框架。
正是因为开源,才让我们可以更深入地了解云计算IaaS的运作机制。通过对OpenStack的架构的介绍,说明OpenStack是如何实现IaaS服务的。
OpenStack的起源
在云计算领域,目前Amazon占据了绝对领先的市场地位。Amazon的CEO贝佐斯靠着强硬的行政命令要求开发人员按照SOA理念来进行开发,要求所有程序模块必须要用服务接口把数据和功能开放出来。所有程序模块间的通信,必须通过这些接口进行。
可以说SOA的设计思想,构成了今天AWS云平台的技术实现基础,同样这种设计思想也被OpenStack所效仿。AWS虽好,但毕竟是商用的,随着云计算的发展,开源云平台解决方案的需求越来越强烈。
2010年7月,RackSpace和美国国家航空航天局合作合作,分别贡献出RackSpace云文件平台代码和NASANebula平台代码,OpenStack由此诞生。
AWS分层架构
OpenStack的架构
作为Amazon的追随者,OpenStack在技术架构上也与AWS有很多相似之处。OpenStack也是由几个独立的核心功能组件所构成。
分别是计算(Compute)、对象存储(ObjectStorage)、认证(Identity)、用户界面(Dashboard)、块存储(BlockStorage)、网络(Network)和镜像服务(ImageService):
Nova:计算管理,云计算IaaS的核心,类似于Amazon的EC2(ElasticComputeCloud)。为用户提供虚拟机的管理,比如创建虚拟机或对虚拟机做热迁移。Swift:对象存储,负责对文件进行存储和检索,也包括镜像文件。Keystone:为用户提供身份验证以及OpenStack服务的授权。Horizon:为用户提供一个模块化的控制面板,基于django框架实现。Cinder:块存储服务,为虚拟机提供虚拟卷。Neutron:为虚拟机提供网络连接,允许用户创建自己的虚拟网络并连接各种网络设备。Glance:负责镜像管理,为虚拟机提供镜像。
关于每个组件的具体职责,可以参见前文《云计算IaaS管理平台的基本功能有哪些?》
OpenStack的应用
国际公有云方面,AWS、AZure都采用了自己的技术来搭建云计算平台。在国内公有云市场中,阿里云、腾讯云也都是用自有技术来搭建各自的云计算平台,没有直接利用OpenStack。
虽然在公有云市场,应用OpenStack的商业案例还不算多,但在私有云市场,基于OpenStack的项目非常多,远远多于其他的开源云计算框架,如CloudStack、Eucalyptus和OpenNebula等。
与互联网公司不同,华为倒是非常积极地推进OpenStack技术,和中国三大电信运营商们一并都是OpenStack基金会的黄金会员(GoldenMember),而且为国内外多家电信运营商都部署了基于OpenStack的公有云系统。
目前OpenStack的黄金会员主要包括传统IT企业,如Intel、NEC、Dell、VMWare等,也包括通信设备商,如华为、Ericsson、Cisco、JuniperNetworks等,也包括最新加入的国内三大运营商。相信虽然OpenStack的参与者越来越多,生态越来越完善,应用项目也会越来越多。
- ?
云计算的十大知识你知道几个?
Olive
展开
我们先来说说云计算:
这个问题内行来看就是:云计算依靠强大的运算能力,使得成千上万的终端用户不担心所使用的计算技术和接入的方式等都能够进行有效的依靠网络连接起来的硬件平台的计算能力来实施多种应用。
那么不懂的人可以这样理解:一堆你不了解的硬件、软件等在为你服务。这对硬件和软件就像一朵云,同时拥有超强的计算机能力,这就是云计算。
云计算从何而来?我们又为什么要用到它?
一、 云计算的前身是grid computing
grid computing就是传统的网格计算。网格计算就是将一个计算分割成片段,提交到网络系统上的各个计算机上(格点),工作做好进行汇总完成。grid一般都是用在学术界,单台计算机的运算和存储显然是不可能完成的,因此就必须使用网格计算了。
二、云计算的基础是什么?
储存+处理器,要支持无数的应用请求并负责保证储存和计算的性能。
三、云计算有哪些例子?
储存:把文件从这里上传到互联网,从另外一个地方可以下载
计算:在搜索引擎查找内容,几秒即可得到答案。
四、自己能够搭建一个云计算环境吗?
当然可以,我们可以利用开源的项目来搭建一个云计算环境:你可以hadoop+hbase+php(包装API)也许就实现一个简单的云计算环境。
五、更简单的例子?
布式的邮件系统就是一个云计算的雏形:计算分布在各个节点上,应用(邮件收发)通过一个统一的平台来处理,也算是符合云计算的定义了,不过只能支持最简单的一种固定应用。
六、复杂一点的例子?
google的云计算的逻辑关系:gfs 实现存储,bigtable 实现结构化、半结构化数据存储,map/reduce 实现将分布在各个节点上的计算和merage起来,剩下的就是进行job的管理器,管理工作的提交和触发,然后就是我们看到的appengine了。
七、 程序员应该关注哪些软件?
hadoop 项目应该是一个比较有前途的一个。
八、我们为什么需要云计算?
企业的雄心+个人电脑性能进展缓慢+我们处在数据指数膨胀的年代。未来的计算越来越庞大,到了我们干脆说“云”来替代其中的一切细节的时候。
九、云计算的下一步是什么?
云计算api的标准化是一个最需要进行竞争的,基础的技术平台的完善还需要时日,云计算未来也许会是免费的,当更多的云计算蓝队云平台出现的时候,然而跑在云上的应用却没有那么多。
七、云计算还有更有趣的
你可以提供一个云计算,利用云计算包含在你自己的云计算里,然后提供一个统一的api,云计算会整合成一个,成为一个超大的云计算平台,那个时候,也许自己家的电脑也可以接入云计算平台成为其中的一个计算的提供者。
国内有很多云计算云服务提供商,蓝队云专注云计算云服务有着资深的经验,并有足够的技术去为客户24小时服务。
- ?
求真务实:企业云计算平台的基础框架和技术标尺(1)
陈又晴
展开
在企业云计算平台(以下简称云平台)的建设过程中,IaaS平台(基础设施即服务,Infrastructure as a Service)是IaaS和Paas建设的前提和基础,其规划设计和具体实施是至关重要的。
那么,当企业进行IaaS平台建设时,如何去有效评估既有的IT基础设施架构?基于实际评估结果,如何设定IaaS平台建设的各个渐进阶段?对这些渐进阶段又如何去进行客观评估?这些问题,企业用户和相关的云计算服务提供商必须面对并作出契合实际的准确回答。
IaaS平台规划:务实和细节
目前,云计算的主流公司都有各自的云平台参考模型,这些模型的底层原理和相关组件大同小异,对云平台的框架性结构进行了规划和定义。研究这些参考模型,对理解云平台的各组件固然是大有裨益的,但是,在企业的云平台建设中,需要解决的关键问题不仅仅是整体结构的规划和定义,更为重要和现实的问题是进行具体而微的细节设计。
作为云平台基础的IaaS平台建设,其路线图规划绝不是大而化之的务虚工作,而是建立在全面掌握实际情况基础上的核心设计工作,可以说“处处需务实、步步要落实”。这些工作包括:对现有IT基础设施的“云化”程度进行评估,在此基础上,对构建IaaS平台所需的具体模块进行技术细节规划,进而设定建设相应模块的先后次序,最终,完成具备完善云计算服务能力的IaaS平台。
Iaas平台成熟度模型和CCRA
在业界具有相当知名度的Iaas平台成熟度模型和CCRA(Cloud Computing Reference Architecture,云计算参考框架),是建立在云计算领域的实际服务经验之上的云平台建设标准。这些经验包括:为企业用户提供云计算平台咨询服务、主导云平台规划设计工作、主持云平台的具体技术实施工作。正因为来源于实践,IaaS平台成熟度模型和CCRA才具有极其重要的现实意义,才能被被广泛地应用于IaaS平台构建的实践活动中。
事实上,业界公认,IaaS平台成熟度模型是衡量企业IaaS建设水平的标尺,而CCRA则定义了用于具体实现IaaS平台的Adoption Pattern(即“采用模式”,可理解为用于具体实现的架构、模式和方法。实际上,CCRA还定义了PaaS平台和SaaS平台等其他5类Adoption Pattern,但本文只讨论IaaS平台相关内容),是对企业IaaS整体架构进行设计时的基础框架,是规划IaaS建设路线图时所依据的纲领,而且,从服务的角度看,也是IaaS平台建成后能为企业提供的一个整体服务目录。
下面两图是IaaS平台成熟度模型的5个等级与CCRA IaaS平台采用模式的6个渐进建设阶段之间的对应关系。为了方便读者阅读,提供了两个版本的图,第一个图适用于在手机等移动终端查看,第二个图适合于在PC端查看。
上图中,右边是CCRA IaaS采用模式的6个渐进式建设阶段,是IaaS的规划设计,是基础架构;左边是IaaS平台成熟度模型所有5个级别的成熟度,是对规划设计的成熟度评估,是技术标尺。
在纵向层次,从下往上的方向上,云计算能力在不断增长,右边的6个渐进式建设阶段是企业建设IaaS平台的必由历程,从低级阶段向高级阶段进化,而左边的IaaS成熟度模型则用于衡量企业IaaS建设的成熟度,也是从底层次逐渐往高层次演进;
在两者相互对应的层次关系上:
(1)在大体层次上,CCRA IaaS采用模式0~4级的建设阶段对应于IaaS成熟度模型1~4级的成熟度。也就是说,对CCRA IaaS采用模式0~4级的建设阶段,如果以IaaS成熟度模型去衡量,成熟度在1~4级别之间(具体的IaaS平台的单个建设阶段所对应的成熟度,如图中所示)。在纵向上,这两者都属于企业内部的云化数据中心的建设范畴。
(2)CCRA IaaS采用模式第5级的建设阶段对应于IaaS成熟度模型第5级成熟度。也就是说,对CCRA IaaS采用模式第5级的建设阶段,如果以IaaS成熟度模型去衡量,成熟度为第5级。在纵向上,这两者都已经超越了企业内部云化数据中心的范畴,站在了云服务提供商的高度。
实践证明,基于这两个重要的标尺和框架,逐步地、分阶段地推进IaaS平台的建设是扎实的、可行的,其渐进式建设过程是目标明确的,也是和缓的,这使得企业的IT基础设施在极低的风险下得以平稳提升至IaaS平台水平。
砌墙与Iaas平台建设的类比
其实,这两项标准和框架的配合,正如手工砌墙的过程。在砌墙之前,设计人员要先到实地勘测,根据以往的墙体设计经验(相当于CCRA的Adoption Pattern),结合实际勘测所得情况,进行墙体的各项规格参数设计,完成设计图纸后,工人再按图纸去砌墙。在砌墙的过程中,要用拉水平线和放置铅直线等方式保证质量,还要用建筑业的各项既定标准去衡量墙的质量(相当于用Iaas平台成熟度模型去衡量企业的IaaS建设水平),一旦出现问题就及时修正和整改,就这样,“一边砌墙,一边衡量”,直到墙体完工并通过验收。
如上所述,IaaS平台的建设对应于砌墙,IaaS平台成熟度模型相当于水平线、铅直线和各项建筑业标准,CCRA的IaaS Adoption Pattern类似于由以往所积累的墙体设计经验而形成的通用设计模式和方法,而具体的企业IaaS规划设计则类比于墙的各项具体规格参数和设计图纸。
具体来说,就是在构建云平台的时候,结合企业的实际情况,将Iaas平台成熟度模型用于衡量IaaS现状和具体建设成效,将CCRA的IaaS Adoption Pattern用于具体的IaaS平台框架设计和阶段性建设目标的设定。也就是说,在企业进行云平台建设时,先采用Iaas平台成熟度模型去衡量企业的IT基础设施现状,基于具体的衡量和评估结果,依据CCRA的IaaS Adoption Pattern所对应的IaaS平台基础框架,规划企业的IaaS平台建设路线图。此后,当IaaS建设推进到一定阶段时,再用Iaas平台成熟度模型去衡量建设的具体成效,根据客观的衡量和评估结果,进行总结和归纳,并依据CCRA对下一阶段的建设内容和目标进行修正。随后,继续推行IaaS建设,同样遵循上述过程,如此循环往复,直到IaaS平台实现了预先规划的建设目标,当然,用于作出这一判断的技术标尺也正是Iaas平台成熟度模型。
至此,本文对Iaas平台成熟度模型和CCRA的基础知识进行了简要的介绍。企业IaaS平台的规划设计人员必须在思想上充分地认识到,正确理解并熟练运用IaaS平台建设的技术标尺和基础框架,就可以成功地分析企业的IT基础设施建设现状,进而有效地为企业构建出务实的IaaS平台。
《企业云计算IaaS平台的技术标尺和基础框架》系列文章的下一篇,将重点对Iaas平台成熟度模型和CCRA的各层次内容分别进行较为详尽的分析和梳理。
云计算基础平台
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并