- ?
涨知识|你所不知道的数据库高可用容灾方案
王小翠
展开
前言
对数据库服务而言,实现高可用会更加复杂,不仅能访问,还需要保证正确性。因此在容灾之外,数据库高可用方案还要同时考虑数据一致性问题。本文将介绍部分业界主流数据库高可用架构的特性、优缺点及其自动化运维,进一步阐释数据库高可用容灾方案的设计与实现。
什么是高可用数据库?
高可用数据库是由一系列数据库构成的总体系统,在任何时刻,至少有一个节点可以接受用户的请求并提供数据库服务。
(图:什么是高可用数据库)
高可用数据库的优点:
第一,方便读写分离。
高可用数据库可以通过将写操作放在主数据库节点上进行,将读操作分担到若干从库上,来提升读操作吞吐量,进而提升读写效率。
第二,变更不停服。
当整个高可用数据库架构或主节点升级时,可以让高可用数据库先进行主库切换,备用节点替换原主节点提供数据库服务,当主节点升级完毕后,再将主从库服务切换回来,这样能有效避免系统升级或变更时对用户服务质量产生影响。
第三,备份不影响服务性能。
高可用数据库架构包含多个从库,在不影响主节点服务性能的情况下,能非常方便地实现数据的容灾备份。
通常,在进行高可用数据库架构设计时,需要考虑三个问题:
如何同步各数据库之间的节点数据?同步需要保证切换后的数据库是最新数据,以及在切换过程中数据不会丢失,同时还要考虑同步过程对主库和备库的影响。高可用数据库的容灾切换如何进行?架构不同,容灾切换的复杂度也不一样,且切换以后需要保证主、从库数据的一致性,这可能需要开发者在设计之初就尽量优化和简化容灾切换逻辑。如何提高高可用的运维效率?
典型高可用数据库架构
按照数据同步方式,可以将业界主流高可用架构分为四种:共享存储方案、操作系统实时数据块复制、数据库级别的主从复制、高可用数据库集群。每一种数据同步方式可以衍生出不同架构。
方案一:共享存储
共享存储指若干DB服务使用同一份存储,一个为主DB,其它为备用DB。若主服务崩溃,则系统启动备用DB,成为新的主DB,继续提供服务。一般共享存储采用比较多的是SAN/NAS方案。
(图:共享存储)
虽然该方案的优点是没有数据同步的问题,但也有一些限制,如对于共享存储的实时性和网络性能有较高要求。而随着硬件性能的不断提升,将计算存储分离、和DB深度结合的共享存储亦是高可用数据库未来发展趋势之一。
方案二:操作系统实时数据块复制
这一方案的典型场景是DRBD,可以理解为远程的RAID1。如下图所示,左侧数据库写入数据以后,立即同步到右侧的存储设备当中。如果左边数据库崩溃,系统可以直接激活右边的数据库存储设备,启动新的数据库服务,实现容灾切换。
(图:操作系统实时数据块复制)
这个方案的缺点也比较明显,如系统只能有一个数据副本提供服务,无法实现读写分离;另外,如果系统崩溃,主库进程中断,容灾切换后需要在挂掉的数据库上做数据库崩溃恢复,系统需要的容灾恢复时间较长。
方案三:数据库主从复制
这种方案是最经典的数据同步模式,系统采用一个主库和多个从库方式,实现原理主要是基于日志的主从复制,主库操作以日志的形式发送给各个从库,从库接收到日志后进行数据备份。
优点是一个主库可以连接多个从库,能很方便地实现读写分离,同时因为每个备库都在运行中,所以备库里的数据基本都是热数据,容灾切换也非常快。
(图:数据库主从复制)
不过,这个方案也并非完美无缺,如容灾切换时,从库一定要同步完最新数据以后才能升级为主库,否则极有可能导致数据丢失。针对这些问题,业界也正在研发对应的改进技术。
改进技术一:双主架构
为了保证容灾后的数据一致性,业界对这种架构做了改进,其中一种就是双主架构。如下图所示,双主架构一般会选择两个DB做一对主库,这两个DB互为对方的从库,无论往哪个DB写入数据,另一个都会自动同步。容灾时,系统只需把流量从左边切换到右边,容灾后数据同步依旧自动进行,这样就保证了容灾后原主库的数据一致性。
(图:主从复制-双主架构)
改进技术二:日志自动寻址
早期数据库日志中,MySQL是通过文件名加上文件偏移量进行寻址,因此主库的自动定位并不好实现。为了解决此问题,MySQL提供了一种叫做GTID的全局事务标志技术,一个事务对应一个ID,所有日志都带有唯一的标识符。主从库切换后,其余从库只要根据新主库的日志ID,就可以辨别新的日志同步点,然后根据这个日志同步数据,这对于搭建一主库多从库的架构来说寻址非常便捷。
(图:主从复制-改进技术)
改进技术三:异步复制改进
默认情况下,MySQL的复制为异步。但在极端情况下,如主库刚提交日志,其它从库还没有接收到相关日志时,数据库发生故障,此时该日志的内容就会全部丢失,而采用半同步复制机制可有效解决此问题。半同步复制是指主库在将新生成的日志发送给各从库前,需发送日志到一个(默认)从库,等待从库返回ack信息后,主库再提交日志发送给各从库。半同步复制是一种提升数据一致性的有效方式,也是比较关键的技术。
方案四:数据库高可用集群
前三种方案主要通过日志的复制模式实现高可用,第四种方案则基于一致性算法来做数据同步,数据库提供多节点一致性同步机制,利用该机制构建多节点同步集群。这种方式比较经典的案例包括MGR(MySQL Group Replication)和Galera等,近期业内也有一些类似尝试,如使用一致性协议算法,自研高可用数据库架构等。
(图:数据库高可用集群)
如上图所示,五个节点构建成了一个一致性的同步集群,客户端可以读写其中的任一节点,其它节点都能进行数据同步,因此理论上每个节点都可以进行读写操作。这种方式的容灾实现也比较简单,假设第二个节点出现故障,系统只需要断开客户端对第二个节点的访问路径,其它节点照常访问即可,这也是业界近年来比较流行的高可用集群方案。
UCloud高可用数据库解决方案UDB
UCloud对比了业内各解决方案的优劣,综合了原生MySQL兼容以及不同版本、应用场景的覆盖等多种因素,最终选择采用基于数据库主从复制的方式实现高可用架构,并在原架构基础上采用双主架构、半同步复制、GTID等措施进行了系列优化,既保证数据一致性,又实现日志自动寻址。
(图:案例-UDB MySQL高可用实例架构)
如上图所示,最底层为数据层,使用了双主架构,主库与备主库之间通过半同步的方式实现数据同步;中间层有一个代理服务器Proxy将流量导入到双主数据库的主节点,使用了GTID的模式,方便从库自动寻址。
系统的容灾切换也非常简单,数据库崩溃前,Proxy将流量导入主DB,发生容灾以后,只需把Proxy从左边Master导到右边Slave,即可快速完成切换。
(图:UDB容灾切换示意图)
高可用数据库的自动化运维
自动化运维是高可用数据库中的难点,因为企业业务不一定只有一个数据库,可能需要同时管理十几个甚至上百个数据库,如果每一个数据库都配置一个高可用数据库架构,系统则要保证其中任何一个发生问题以后都可以进行容灾,这无疑给运维带来了极大挑战。
那么,如何同时管理大量高可用数据库,使其都可进行容灾?目前自动化运维方向的思路包括容灾切换自动化、健康状况自动检查和问题修复、高可用数据库运行状况监控等。
1、要实现容灾切换自动化,首先考虑两个问题:一是怎样准确判断需要容灾,这是实现自动容灾的基础和前提;二是容灾切换时,备库数据尽量和主库数据保持一致,否则就容易带来数据丢失问题。
(图:容灾切换自动化)
针对上述问题,MySQL已经有比较常用的方案,如MHA,还有一种比较新的方案叫Orchestrator,如果自行搭建数据库,可以考虑采用这两种方案。
2、健康状况自动检查需要通过自动监控搭配告警来做,在高可用容灾中,最关键的还是高可用数据库的主库和备库数据是否一致。通常,导致主从库数据不一致的主要原因有两方面:第一,复制有没有正常进行,如发送日志时主库与备库之间的连接突然断掉,这时需要系统扫描主备库是否异常;第二,主从延时,如果主从之间的数据延迟较大,那么切换数据库时也会比较麻烦,可以考虑使用业内比较常用的监控模块,如Prometheus等工具定期采集,发现异常状况后及时调整。
(图:健康状况自动检查)
3、异常情况自适应调整,以主从延迟为例,可能是CPU或者IO的问题,如果是IO,一种办法是将IO调高,这是一种比较好的解决方案,如果IO调高以后还是无法降低延时,可以在从库把日志的持久化等级暂时性调低。当然,如果主从之间延迟过大,完全无法调整为正常水平,这时候就要考虑通过一些手段重做从库。
UDB:海量高可用数据库自动化运维
UDB拥有海量的高可用数据库,在自动化运维和管理方面,UDB采用的是高可用容灾集中式自动化管理方式,通过自研的自动容灾逻辑,进行大规模、高并发的DB自动化容灾。同时,UDB的运维体系还可以做到自动化问题探测以及修复,如自动拉起DB恢复服务、自动恢复数据同步、自适应流量控制等。此外,UDB还会配合一些高效运维工具和巡检工具做更深层次的问题发现和解决。
(图:海量高可用数据库自动化运维)
UDB高可用运维中的几点经验:
第一,日常需要做例行巡检,保证高可用数据库的健康。主从延时是导致高可用数据库无法容灾的关键原因之一,因此一定要在日常运维工作中重视起来。
第二,定期容灾演练很有必要。容灾演练就是在平台上跑容灾逻辑,需要在不同场景下做切换,看数据有没有丢失、是否保持了数据一致性等,因为线上环境非常复杂,可能会有各种莫名其妙的问题导致切换逻辑在发生切换以后结果不一致,所以要通过定期演练把各种可能性降到最低。
第三,高可用切换需要记录日志,并且在切换失败时马上告警。切换日志可以做事后复盘分析,看DB是什么时间崩溃做的容灾。进入告警后可以保证第一时间介入并解决,减小整个DB崩溃对用户的影响。
(图:高可用运维经验)
总结
高可用架构是数据库运行稳定必不可少的一部分,设计架构时要考虑诸多问题,如数据是否同步、高可用自动切换、自动化运维等。如果是在云环境下,推荐使用UDB云数据库来一键完成配置,降低业务运维压力。
—End—
- ?
一张图看懂国内云计算大厂实力
席栾
展开
全文共3066词,预计阅读时间 : 13分钟
云计算厂商到底哪家强,各家有各家的说法,今天西秦来跟你聊一聊,各家厂商的云计算技术到底怎么样。我选取了国内知名度比较高的几家厂商,通过弹性计算能力(云计算的核心能力)、数据库能力、存储能力、人工智能(大数据)、CDN业务、域名服务等几个方面来评判,看看哪个才是适合你的云计算厂商。
AWS(中国)
AWS 作为云计算的老大哥,在弹性计算方面,发展其了以EC2为首的计算服务矩阵,提供了10项不同的产品,联合来使用,满足用户对于计算能力的要求。但是产品缺乏场景,无法满足用户的直接需求,需要用户自行构建一些计算的服务。给4.5分。
在数据库方面,AWS提供的数据库类型是相当丰富的,六种常见的SQL数据库(Amazon Aurora、PostgreSQL、MySQL、MariaDB、Oracle 和 Microsoft SQL Server)、特有的DynamoDB、基于Redis和Memcahed的ElastiCache产品,给你以最完美的用户体验。给5分。
在存储方面,AWS的S3存储服务可以说是鼎鼎大名,不少人都听说过或使用过,AWS还推出其块存储和弹性文件存储系统,以及PB级文件存SnowBall。不过本身由于产品类型的限制,对应某些特定场景下的用户需求,无法很好的满足,需要用户进行一定的妥协,给4分。
在安全方面,AWS提供身份认证系统、证书系统、WAF系统、密钥管理系统等多项安全、合规方面的服务,来帮助用户更好的规范化自己的业务,实现更好的业务拓展。给4分
在大数据方面,AWS投入了大量的精力研发了EMR、QuickSight、Lex、Polly等产品,来帮助用户去更好的进行大数据研发和人工智能的研究。给4分
在CDN方面,AWS在全球范围内建设了近70个 CloudFront 节点,足够满足用户出海的需求,可惜的是没有一个国内节点,如果当前业务主力仍在国内,可能并不适合使用 AWS 的 CloudFront。给3.5分。
AWS并没有提供域名注册的服务,不过其提供的DNS服务 Route 53 也属于非常出名的,很多大型企业都在使用该服务,给个及格分(3 分)
Azure(中国)
在云计算的基础能力-弹性计算上,Azure似乎更倾向于由用户自行实现场景化,所提供的计算服务较为基础,只有虚拟机、虚拟机规模集(集群)、应用服务、批处理等6项服务,由用户自身借助虚拟机实现场景化,给4.5分。
在数据库方面,Azure着重其SQL Server产品,围绕SQL Server提供了不少的服务。不过也没有忘记广大用户的需求,提供了MySQL 产品和 Redis缓存,以及其所特有的DocumentDB,给5分。
在存储方面,Azure只提供了一种云存储,而且只能挂载在虚拟机上,相对来说,可以使用的场景就少了一些,给3分。
在安全方面,Azure只提供了秘钥保管库、Active Directory 和 多重身份验证,使用的场景有限,只能给2分。
在大数据方面,Azure只提供了HDInsight、流分析、认知服务、PowerBI这四种服务,在大数据方面的投入太少,给2分。
在CDN方面,Azure在国内投入建设了大概50个节点,在之前的测评中,Azure的可用节点量还是非常多的。使用效果还算给力。不过由于Azure的CDN只能用于自家的虚拟机产品,这一方面还是不如其他家相对开放宽容一些。给2.5分。
由于Azure并没有提供域名服务,所以在这一方面,0分。
阿里云
阿里云在弹性计算投入巨大,拥有包括云服务器、专有网络、容器服务、弹性伸缩、负载均衡等9项业务,涵盖用户的每一种选择。但是其在计算领域更加专注于底层的的计算能力,而不关注顶层的封装。不管是新颖的 ServerLess 还是火热的BaaS技术都未曾涉及,不免有些遗憾,给4.5分。
在数据库方面,阿里云拥有足够的诚意,满足用户的一切需求,不管是普通用户常用的三大SQL数据库(MsSQL、MySQL、PostgreSQL),还是流行的NoSQL(MongoDB、Redis、Memcache),都为用户提供了服务,帮助用户更好的使用这些能力同时,对于大数据需要的海量存储,阿里云也提供了对应的产品(PetaData、HBase以及 OceanBase)。除此之外所提供的数据传输、数据管理的服务也大大的帮助用户更好的进行数据管理,可惜对于企业应用常用的Oracle数据库没有支持。给4分。
在存储方面,阿里云提供了对象存储、文件存储、归档存储、块存储和表格存储等多种存储模式,帮助用户更好的管理数据,给4分。
在安全方面,阿里云以云盾为基础,发展出了14款安全产品,涵盖了WAF、内容过滤、数据加密、ddos防护、数据风控等多项功能,为用户的数据安全保驾护航。给4.5分。
在大数据方面,阿里云以数加为基础,发展了数据应用、数据分析展现、人工智能、大数据基础服务四大板块,14项不同的产品,在众多产品体系中,属于阿里云集中力量发展的项目。给4分
在CDN方面,阿里云官方给出的数字是500+全球节点,之前在进行CDN测评时,测试域名使用的国内节点也有30余个,满足你对带宽的需要,给5分。
在域名服务上,阿里云做的是最好的,其域名业务源自收购的国内的最大的域名供应商万网。不仅提供了基础的域名注册的服务,还针对域名交易的人群,提供了域名交易、域名预定、域名转入等服务,帮助用户更好的管理域名,点赞,给5分。
腾讯云
腾讯云在基础计算能力的提供上,投入不少精力,包括标准的云服务器、GPU云服务器、FPGA云服务器等,在弹性计算上,大量的投入研发和实践,帮助用户更好的使用云计算,给4分。
在数据库方面,腾讯云提供了标准的SQL数据库和其特有的TDSQL,针对高速缓存场景的Redis和Memcached、标准的NoSQL数据MongoDB以及一些适合于大数据的数据库,如HBase、分布式数据库DCDB。不过丰富的产品缺没有配套的应用,腾讯云没有针对用户提供数据迁移的服务,会导致用户在使用时的体验不佳。给3分。
在存储方面,腾讯云的技术研发略显吃力。只提供了标准的对象存储和云硬盘服务,对于一些不同场景下的需求来说,还是显得不足。给3分。
在安全方面,腾讯云依托大禹网络安全和天御业务安全防护,提供了不少场景化的安全服务。相比之下,腾讯云的产品更加倾向场景化为用户提供服务。给3.5分。
在大数据方面,腾讯云发展出来了大数据基础服务、数据应用和AI三大体系,提供了丰富的技术产品,对于用户来说,也是可以更好的去借助云计算的资源来实现自己的需要。给4分
在CDN方面,腾讯云依托腾讯本身的业务,提供了全国500多个加速节点,来帮助用户去提升用户体验。不过也可能是由于节点过多,导致腾讯云的CDN的每次变更,都会有较长的时间才能生效。给4分
在域名方面,腾讯云只提供了基础的域名注册服务,只能算个及格。给3分。
百度云
百度云在计算上提供了多样化的计算能力,除了提供基础的IAAS的云服务器,还提供了专属服务器、物理服务器和GPU服务器。特别是其一直以来的发展的BAE应用引擎,增添了一些亮点。不过本身计算产品的种类较少,也确实是其问题。给4分。
百度云在数据库的建设上,不如其他家用心,只提供了标准的MySQL、SQL Server、Memcache、Redis和NoSQL 数据库 MolaDB。只能算的上及格,给3分。
在存储方面,百度云如同腾讯云,只提供了对象存储和云磁盘,只能够给一个及格分,3分。
在安全方面,百度云可以说是诸多云计算厂商中提供的最差的了。只提供了标准的安全服务和DDos防护服务,也只能够给3分及格分。
在大数据和人工智能方面,百度投入了大量的人力物力进行研发,提供了多种不同的大数据产品和人工智能产品,包括MapReduce、批量计算、OLAP引擎、机器学习等。做的是非常不错的。给4.5分。
在CDN方面,百度没有说明到底提供了多少个几点,但是根据其节点分布图,除了海南和西藏,都能够保证每个省份至少一个加速节点。给3分。
百度云提供了域名注册的基础服务,没有提供其他服务,只能算个及格。给3分。
结语
各家云计算厂商都有自己的优势业务,AWS的数据库、Azure的弹性计算、腾讯云的场景化、百度云的人工智能、阿里云的安全。但是相比之下,AWS作为云计算老大哥,领跑云计算技术竞赛。阿里云则更均衡,全面开发自身潜力。全面展开云计算能力。
同样,我们也看到太多的不足。来自海外的Aws和Azure虽然技术强劲,但是同时也出现了一些体验不好的部分,无法给用户以一站式的体验,对于产品本身的规划、产品的质量,应当再做考量。
云计算不同于现在的互联网创业,往往是轻资产,重人员。云计算打的是基础设施的仗,如果想要做好云计算,就要有大笔的资金投入,来去提升自家产品的体验,如果没有良好的输血能力,可能会倒在胜利的黎明前。
最后,给一些想要做云计算创业的人一些建议,如果你想要做云计算的创业,关注小众用户,做个性化的云计算服务,或许能够让你从诸多大厂的围追堵截中走出来。
- ?
深度解析华云数据云物理裸机托管技术中的高可用实现
Tome
展开
虚拟化技术的成熟驱动云计算的不断发展,但同时混淆了许多人对于两者的认识。严格意义上,云计算是一种服务形态,而虚拟化只是云计算为了适应典型业务场景所采用的一种技术,除此之外,高性能裸机技术在云计算应用中也同样具有非常重要的场景角色。
华云数据作为一家在云计算领域内具有多年技术积累的公司,以业务驱动为理念,深刻理解企业级用户的各种应用需求。在高IO、高并发的业务场景下,虚拟化技术已不能满足性能需求,必须采用高性能裸机进行资源交付。因此,如何将高性能裸机作为普通的云主机提供统一的云管理能力是需要解决的问题。
华云数据云物理裸机网关提供物理服务器的宽带接入和接入服务器同公有云资源互通的功能,云物理裸机网关使云物理裸机服务器无缝融合到华云数据公有云平台当中,丰富了华云数据云计算平台提供的计算服务类型,用户可以根据自身需求有更加灵活选择,华云数据不但可以向客户提供虚拟机计算服务,也可以提供高性能的专用物理服务器计算服务,或者物理机和虚拟机混合的计算服务。
本文主要描述了华云数据云物理裸机接入网关的高可用的详细设计,主要包括以下内容:
云物理裸机托管控制面:
1. 云物理裸机接入网关控制面网络架构。
2. 云物理裸机网关控制平面可灵活扩展高可用设计。
3. 云物理裸机接入网关控制面同OpenStack管理平面融合设计。
云物理裸机托管数据面:
1. 云物理裸机数据转发面网络架构。
2. 云物理裸机数据转发面网络高可用设计。
云物理裸机托管控制面
云物理裸机网关控制平面网络架构
云物理裸机网关控制平面主要包括云物理裸机网关集群,zookeeper文件服务器集群和控制面交换机。具体构架图如下:
图一:云物理裸机网关控制平面物理连接示意图
其中,图中所示三台File server均为zookeeper文件服务器集群成员,其数量必须是奇数,集群中会自动协商并选出Leader文件服务器,如上图红色所示。其余文件服务器则为从文件服务器,如上图所示黄色Follower部分。
图中OpenStack controller是指Neutron数据库所在的节点。
云物理裸机网关控制平面可灵活扩展高可用设计
云物理裸机网关控制面交换机提供千兆端口,整个控制平面使用1G的带宽保证各个成员互通,交换机可以通过堆叠或者级联方式对控制网络进行横向或者纵向扩展。
云物理裸机文件服务器从OpenStack控制节点通过RPC方式从Neutron数据库中实时动态的提取公有云的网络信息,并且按照网关数据平面的要求生成配置文件,配置文件通过同步机制实时分发到网关集群中的每一台服务器,云物理裸机网关服务器动态监听文件内容,读取配置下发到网关数据面,指导网关数据面的转发。
华云采用zookeeper集群保证云物理裸机文件服务的高可用,和分布式网关集群配置文件的一致性分发。
云物理裸机文件服务器采用集群管理设计,使用多台物理或者虚拟服务器冗余,采用一种Leader election选举算法。在整个集群运行过程中,只有一个Leader,其他的都是Follower,如果ZooKeeper集群在运行过程中Leader出了问题,系统会重新选出一个Leader,所以当一台服务器发生故障后,备份服务器马上接管故障服务器的工作,保证业务正常运行,同时集群中的物理或者是虚拟文件服务器可以根据需要动态的添加和删除,从而实现集群的灵活扩展。
利用zookeeper配置管理服务实现分布式云物理裸机网关集群一致性配置,配置管理服务提供类似文件系统的目录节点树方式的数据存储,我们将从公有云提取配置信息保存在 Zookeeper 某个目录节点中,然后设置云物理裸机网关服务器监控配置文件的状态,一旦配置信息发生变化,集群中每台云物理裸机网关服务器就会收到 Zookeeper 的通知,然后从 Zookeeper 获取新的配置信息。
图二:文件服务器分布式集群分发
云物理裸机接入网关控制面同OpenStack管理平面融合设计
云物理裸机接入网关保证接入的物理服务器能够同OpenStack公有云平台互联互通,需要得到公有云中网络的基本信息,例如租户、子网、网络、端口、Vxlan VNI等一系列信息,然后配置到云物理裸机网关数据平面。
云物理裸机网关使用文件服务器通过gateway agent 通过Sql Alchemy封装,绕过OpenStack中间业务层,直接远程调用OpenStack的DB API访问Neutron的数据库,周期的从数据库中提取Neutron网络的基本信息,将信息拼装生成文件同步到云物理裸机网关服务器。
基本服务框图如下:
图三:文件服务器基本服务框图
使用从数据库直接提取信息的方法,绕过OpenStack复杂的中间层处理,让gateway agent的工作变成直接对数据库的基本操作,工作流程变的非常简单,基本流程图如下:
图四:文件服务器基本工作流程
云物理裸机托管数据面
云物理裸机托管的网络架构
云物理裸机托管网络主要分成物理裸机所在的VLAN网络和机房VXLAN两部分,如下图六所示:
图六
云物理裸机托管的网络高可用设计
其中图六中所示云物理裸机托管网关采用集群方式来提高网关的可靠性及网络处理能力,而云物理裸机托管网关两端的交换机则采用堆叠和端口聚合的设置来提高网络的可靠性及云物理裸机托管网关两端网络端口的带宽。如下图七 所示例,在物理连接上四台完全相同配置和软件版本的云物理裸机托管网关集群分别连接到南北向交换机的四个接口。在逻辑上,这四台云物理裸机托管网关所组成的集群可认为是逻辑上的一台云物理裸机托管网关。同样,它们所连接的四个交换机端口可被认为是逻辑上的一个端口,以实现Active-Active的HA模式,配合交换机的LACP端口聚合协议,集群中的服务器能够同时提供交换服务,支持容灾高可用,支持动态增加和删除物理云网管服务器而不影响云环境中的数据报文交换服务,如图示:
图七
华云数据云物理裸机接入网关的高可用设计是华云在云物理裸机管理设计中较为关键的部分,本文以点概面的体现了整体功能的设计思路。
作为一家以技术为驱动的云计算公司,华云数据具有全栈云计算产品,丰富的解决方案,对于技术细节的雕琢是华云数据面对企业级业务应用需求所秉承的一贯态度,同时华云数据也深刻理解需求与技术实现是相辅相成、同等关键,华云数据研发团队始终围绕业务驱动技术为理念,以交付更具价值的产品服务于业务。
关于华云数据:
华云数据集团成立于 2010 年,秉承着“自主、安全、可控”的理念,面向客户提供稳定可靠的云计算与大数据产品与服务,着力推进中国云计算与大数据的发展,公司遍布于北京、上海、无锡、深圳、香港、厦门、杭州、南京、临沂等地。集团吸引了海通证券、京道、万向集团、东方证券、国联证券、五道口基金、红豆、远东、杉杉等多家基金与上市公司的投资,打通了上下游产业链,成功打造了华云的云生态圈。
作为中国全云能力领导者,华云以“市场及服务驱动”为研发理念,为企业级客户提供一站式云与大数据的产品与服务,并与数百家区域及行业服务伙伴达成合作。集团运营着全球逾 20 个云数据中心,网络覆盖电信、联通以及华云数据自有BGP网络。
华云数据以为用户提供业务驱动的定制化IT为目标,产品覆盖高品质公有云、企业级私有云、企业级大数据、企业级混合云以及数据中心云化产品,可以为用户提供数十种解决方案,深度满足企业云化需求。
作者:华云数据CTO中心-研发中心-架构部-黄滨 田大鹏 荣怡
- ?
细数云计算产品和技术-阿里云
Gene
展开
简介
阿里云创立于2009年,是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。阿里云致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。
阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业,包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户,以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中,阿里云保持着良好的运行纪录。
发展历程
2016年-阿里云与国家天文台合作,共同开展天体物理研究。杭州联手阿里云发布城市大脑,人工智能ET帮助治理交通等。
2015年-12306将车票查询业务部署在阿里云上,春运高峰分流了75%的流量。中石化与阿里云开展技术合作,升级商业服务模式等。
2014年-阿里云发布云合计划,招募1万家云服务商,构建云生态系统等。
2013年-阿里云计算获得全球首张云安全国际认证金牌(CSA-STAR)。推出金融云服务,开启互联网金融快捷通道。余额宝全部核心系统迁移至阿里云,天弘基金成为中国最大规模货币基金等。
2012年-阿里云全程支持了央视对欧洲杯24场赛事的网络直播。
2011年-阿里云官网上线,开始大规模对外提供云计算服务。
2010年-阿里云对外公测。
2009年-阿里云计算有限公司正式成立。
2008年-阿里巴巴确定“云计算”和“大数据”战略,决定自主研发大规模分布式计算操作系统“飞天”。
产品体系
ECS (Elastic Compute Service):以虚拟机的方式将一台物理机分成多台云服务器,提供可伸缩的计算服务。
SLB (Server Load Balance):基于LVS和Tengine实现的负载均衡,有动态扩容和session保持等特点。
RDS (Relational Database Service):通过云服务的方式让关系型数据库管理、操作和扩展变得更加简单。
OCS (Open Cache Service):基于内部Tair,支持海量小数据的高速访问。
OTS(Open Table Service):海量(结构化)数据存储和实时查询服务。
OSS(Open Store Service):对任意大小数据对象提供高可用,高可靠的海量存储服务。
CDN(Content Delevery Network):通过覆盖全网的缓存服务以及负载均衡等技术将用户请求定向到最合适的区域,提高用户服务的响应速度及网站服务能力。
ODPS(Open Data Processing Service):海量数据处理和分析平台。
安全体系
解决方案
多媒体解决方案
使用阿里多媒体云服务,坐享阿里领先的海量存储集群、国内海外多节点部署的CDN网络、强大的转码、渲染、图片处理服务等。共享淘宝天猫一样专业及响应迅速的技术保障和运维能力。同时阿里云资深架构师和官方认证的上云服务提供商也为您提供专业的架构咨询和服务。
物联网解决方案
基于高性能、低成本、灵活扩展的阿里云计算定制的物联网解决方案,助力传统硬件厂商和中小平台服务商快速搭建稳定可靠、安全可控的物联网平台,实现顺利转型、升级。
网站解决方案
阿里云依据网站不同的发展阶段,提供更合适的架构方案,有效降低网站的开发运维难度和整体IT成本,并保障网站的安全性和稳定性,节约大量的人力和资金投入。
金融解决方案
阿里金融云现在面向金融机构和微金融机构开放, 为金融行业量身定制的云计算服务,具备低成本、高弹性、高可用、安全合规的特性,帮助金融客户实现从传统IT向云计算的转型,并为客户实现与支付宝、淘宝、天猫的直接对接,助力金融客户业务创新,提升竞争力。
游戏解决方案
阿里云为游戏客户量身打造更低虚拟比更高稳定性的游戏专属集群、多场景多类型的架构部署方案、海量游戏数据分析解决方案、VIP护航服务等专业游戏解决方案,满足各种游戏类型客户快速部署、稳定运行、精细运营的需求。
医疗解决方案
融合云计算、大数据优势,连接用户、医疗设备、医疗机构以及医疗ISV,致力于构建医疗行业云生态。云计算弹性可扩展,帮助医疗健康行业创新应用更“轻”更高效。大数据解决方案,让医疗数据压力变为数据优势。海量存储、专有网络,构建医学影像平台,实现远程医疗。
政务解决方案
立足于对政务信息化的深刻理解,在信息和通讯技术上持续创新,构筑开放共享、敏捷高效、安全可信的政务云基础架构,并通过与政府行业的集成商和ISV密切合作,具备全面的政务云服务能力,能够为政府部门提供共享的基础资源、开放的数据支撑平台、丰富的智慧政务应用、立体的安全保障及高效的运维服务保障。
O2O解决方案
结合各类型O2O场景(如酒店、餐饮、在线旅行服务、POS支付、WIFI接入、生鲜快送、汽车服务、房产装修等),为O2O行业客户提供高质量低成本的网络、计算、存储、大数据等基础资源。帮助行业客户快速拓展O2O业务,提升用户使用体验,助力O2O客户走进互联网的“场景时代”。
价值
移动+云计算=实现了IT服务的“在线化“,即ITaaS,让技术的门槛大幅降低。
云计算是公共服务,弹性的,可按需使用,不再是固定资产投入,创业公司的成本压力由此大幅下降。
云计算将数据变成生产资料和企业资产。
目前中国随着互联网的高速发展,企业和政府已经逐渐从被外企“绑架”的阴影中走出来,因为国产的软件和服务已经能够更好地满足企业、政府的业务需求。而且IT和互联网的认知度也在不断的提高,不在是以前的“懵懂少年”。
释放价值,分享知识和经验,解读IT前沿和技术。帮助他人,提升自己。更多交流请关注itboxes(IT智囊)。
注:图片来源于网络,如有异议,请联系我们,我们将即时处理。
- ?
多云部署就是云高可用方案了吗?
三德子
展开
[来自IT168]对于大多数来说,云计算是把双刃剑。一方面,我们受益云计算带来的好处,因其可以随时随地访问服务和数据,被广大用户高度认可。但是,另一方面,云计算也隐藏着巨大风险,一旦服务宕机,企业将承受无法预估的损失。 为了将损失降到最小,企业将一部分业务部署到公有云。另外,还要将关键业务的底层基础设施,以两地双活,或者多地多中心的形式,做异地灾备。这种部署模式,极大地确保了企业数据和服务的持久性、安全性和可用性,避免因为服务中断给企业带来损失。为了进一步防止企业业务宕机,许多公司甚至将他们的服务分散到多个供应商。 但是,这样就足够了吗?多云部署真的就是高可用方案了吗?
2017年2月,美国顶级云服务供应商亚马逊AWS旗下的Simple Storage Service (简单存储服务),简称S3,因为一名工程师手滑而掉线了5个小时。此次宕机事件,导致北美东部地区的服务中断,许多依赖S3的客户的网站和服务受到影响。总的来看,受S3中断影响的工作负载分为两类:一类是那些被认为“不是关键任务”的工作负载,即那些缺乏足够的体系架构,用来做探索性业务的工作负载。另一类是,缺乏足够健壮的体系架构,但是已经有关键业务在上面做尝试性应用,这类公司感受到了最强烈的冲击。在这种情况下,如果你在另一个云服务商的云上有副本,可减轻S3服务中断产生的影响。但是,跨云复制也会增加更多的复杂性,如果采用专有的跨区复制解决方案,会是另外一种体验,可大大减少企业云运维成本。从应用部署角度看,如果你想让不同云提供商之间实现相同功能的高可用性,就必须抽象出特定的功能。这意味着用户的云端整合能力,仅限于多个平台的共有属性。即使是差异服务能抽离,但是在单个级别的服务上,抽离出不同提供商实现的差异性,也会产生大量的额外工作。另外,从容器级别的程序实现看,由于不同提供商拥有不同的IaaS,用户需要在多个平台上运行相同的容器协调器,并限制底层功能的使用(或通过公共接口访问底层功能)。虽然在不同的云服务中使用容器运行相同的程序,在理论上是可行的;但是,实现条件是,这种想法根本不切合实际,容易人为产生错误,并且更容易宕机。数据复制方式和IaaS产品本身的差异性,会极大地增加机器宕机的可能。再者,从数据安全性和服务遵从性的角度来看,管理多云环境存在着巨大挑战。我们需要做很多工作,包括提供虚拟网络、防火墙规则、监视规则、日志记录以及身份验证和访问权限管理等,整个过程既困难又耗时。并且,不同云服务更新迭代的速度特别快,我们需要用额外的工具、体系,以及过程管理、培训服务等,确保跨平台的一致性和服务的遵从性。所以,选择不同的云,不一定就已经是高可用方案了。我们还要添加新的工具或者过程管理方案,用来解决实际业务问题。比如:多云解决方案,可能会拥有更多更具体的最佳实践经验。
- ?
白话系列之:云计算
丹萱
展开
云计算与大数据的热度没有人工智能和区块链高,但是毋庸置疑的是,云计算与大数据才是当今互联网的两大基石,后两者目前仍然是未知的风口。
下面这个图是百度指数的数据,可以看到,近半年粉色(人工智能)、红色(区块链)的热度远远超过了蓝色(云计算)和绿色(大数据)。
2013年刚开始接触云计算时候,我的感觉是云里雾里,不知所云。那么什么是云计算呢?其实云计算的道理并不复杂,很多人只是被老外的创造的“Cloud Computing”名词给弄晕了。什么,云不是下雨的吗,还能计算?
通俗的讲,云计算就是共享计算能力。举个例子,小张和小李是一个单位的同事,但是由于工作职责和内容不同,小张忙到“白+黑”、“5+2”,而小李除了部分时间以外,其他时间工作相对清闲。那么领导就想到了,为什么不把小张和小李组成一个小团队,统筹安排工作,既不让小张太忙,也不让小李太闲,让两个人都得到充分利用呢?。
把小张和小李换成服务器,道理同样成立,这种管理员(资本家)统一调度计算能力(劳动力)模式就叫做云计算。
云计算最典型的应用莫过于淘宝双十一了,经常剁手的同学们应该很清楚了。每个精打细算,持家有道的淘宝买家都会提前在购物车放入一些心仪的宝贝,等到双十一时下手。
那么问题来了,如果把淘宝看成一个商场A,当A商场促销时,大量顾客涌入,商场售货员小张和小李没有三头六臂,已经忙不过来了,商场经理会怎么办?当然是从其他地方调人支援。但是促销一旦结束,这些人又没有存在的意义,那就从哪儿来回哪儿去吧。
假如还有商场B、商场C…商场N也有这种需求呢,那就出现一个商机,成立一个劳务中介公司,专门提供商场售货员。
把商场售货员的角色换成服务器,劳务中介公司就成了公有云,比如阿里云、AWS、Azure、腾讯云、百度云、华为云…
实际的技术实现十分复杂,包括了分布式计算(Distributed Computing)、虚拟化(Virtualization)、负载均衡(Load Balance)、热备冗余(High Available)等一系列技术。这些技术共同保证了云计算的高扩展性、高可用性以及相对较低的使用成本。
云计算有三种服务形式:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。听着是不是觉得很别扭,很拗口?
通俗的解释,IaaS可以认为是自来水厂、电网等基础设施,企业自行购买,按量使用。PaaS可以认为是企业孵化器,可以为企业场地、公共设施和基本服务。SaaS可以认为是酒店或者餐厅,不用考虑基础设施、也不用考虑企业的成立过程,只是享受住宿或餐饮服务。
大胆预测一下,云计算有可能会成为继电、网之后的互联网第三大基础设施。
- ?
必须知道的,云计算五大特征!
然后
展开
什么是云计算呢?
其实云端(cloud)就代表了互联网(Internet),通过网络的计算能力,取代使用你原本安装在自己电脑上的软件,或者是取代原本你把资料存在自己硬盘的动作,你转而通过网络来进行各种工作,并存放档案资料在网络,也就是庞大的虚拟空间上。我们通过所使用的网络服务,把资料存放在网络上的服务器中,并借由浏览器浏览这些服务的网页,使用上面的界面进行各种计算和工作。
在云计算中,服务器并不会管你电脑的计算能量有多强。有的同事在办公室用PC连上Google Docs,在家则是用Apple MacBook,同时还有很多其他的服务可以通过你的手机或iPhone与Android平台手机上的应用软件来完成。
你可以在任何一台电脑上登入使用云端服务,而一个朋友或同事也可以登入并和你一起在一样的文件上工作。Google Docs只是能够协同操作的一种办公室型态云计算服务。有些服务甚至还可以让人在全球不同的地点登入服务并同时在一样的文件上工作。
云计算也许听起来很棒,但是它还是有一些隐忧的,也是你在使用时必须要考虑的地方。正如同开放源代码阵营名人Richard Stallman指出的,你的资料是在第三方厂商的手上,而且是在你控制以外的。
最有可能遇到的问题是安全性,鲜少有公司会想窃取你的资料并做出无耻的网站设计,但最好还是研究一下各种网站和网络服务,找一些可信赖的专家推荐的。
幸运的是,一点点常识和一些简单的正确电脑操作练习可以将这类安全性失误的影响降至最低,避免将你的机密资料放在云端上,如果你真的放了,例如利用网上银行时,避免在网咖、学校或图书馆内的公用电脑上进行,也别太随便给出自己真正的联络资料,避免每个帐号都使用同一个密码,就算只更改一个字母也好。
云计算第二个主要问题是可能暂时故障导致你无法使用某项服务,你可能把资料放在某个网站上而这个网站却因服务器故障导致某一段时间无法进入,Twitter就因偶发性挂点而恶名昭彰,每次它的网站挂掉时就会出现“掉落的鲸鱼”图案, 更糟的是,你有可能因此而遗失全部的资料。
最糟、最糟的情况是,当你想搜索自己在云端上的资料时却发现“情空中万里无云”,如果你想野餐这当然是好事,但如果是这个为你保管资料的公司突然关门大吉,可就大事不妙了。
如果你还没有备份自己的资料,你真的应该开始备份了。如果你不信邪,用iTunes就好了,但如果你信邪而且开始备份这些资料,就一直备份下去吧...想想要把全部的CD都跑过一次要花上多少时间(如果你还保有它们的话),更别提那些你借来的CD或是已经购买的MP3。
想像一下明早你醒来时发现它们全部不见了,至少你还有音乐可以听,但如果遗失的是你的生日或婚礼或在瑞典穿着日本浴衣驾驶拖拉机的照片,那可能反而是件好事。
对于到底什么是云计算,至少可以找到100种解释。目前广为接受的是中国云计算专家咨询委员会副主任、秘书长刘鹏教授给出的定义:“云计算是通过网络提供可伸缩的廉价的分布式计算能力。”
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算力、存储空间和信息服务。
这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源,通常是一些大型服务器集群,包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来,并通过专门软件实现自动管理,无需人为参与。用户可以动态申请部分资源,支持各种应用程序的运转,无需为繁琐的细节而烦恼,能够更加专注于自己的业务,有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池,这与早在2002年就提出的网格计算池(Computing Pool)的概念非常相似。网格计算池将计算和存储资源虚拟成为一个可以任意组合分配的集合,池的规模可以动态扩展,分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率,提升平台的服务质量。
之所以称为“云”,是因为它在某些方面具有现实中云的特征:云一般都较大;云的规模可以动态伸缩,它的边界是模糊的;云在空中飘忽不定,无法也无需确定它的具体位置,但它确实存在于某处。之所以称为“云”,还因为云计算的鼻祖之一Amazon公司将大家曾经称为网格计算的东西,取了一个新名称“弹性计算云”(Elastic Computing Cloud),并取得了商业上的成功。
这里描述的云的建立过程和结构,只是一种比较普通和容易理解的形式。由于技术的不同、实现方式的不同,各家云的实现方式和结构会有很大的不同。但是,一些基本的概念是相同的,其共同的核心要点包括:
一定要有资源池。把分散的计算资源集中到大的资源池里,以方便统一管理和分配。例如前面讲的D所管理的资源池。
按需分配、自助服务。用户实际消耗多少资源,就被分配多少资源;用户对自己得到的资源能够自助管理。例如前面讲的“机房”。
灵活的资源变化。随便撤掉一台硬件的电脑,其上面的信息和活动会自动转移到别处去;随便增加一台电脑,其资源会随时添加到资源池里去。所有这些增减,用户根本意识不到。例如前面讲的“配载调配和平衡”。
一定要有记账系统。用户消耗了多少资源,如何给这些资源计费,系统有详尽的信息采集和报告,以便对用户收费(即使是免费,也得有详细的记账)。例如前面提到用户输入信用卡,就是以记账为前提。
在组建云的技术上,说到底,就是用软件产品(如前面提到的C和D,并通过监控程序)来管理、组织、和分配经过抽象或虚拟的硬件计算资源。除了个别企业用自己的技术建设、和服务外,现在常见的云技术提供者主要有:VMware、微软、Citrix、和OpenStack等。前两者是完全的商业产品;Citrix公司在监控程序上采用的是开源的Xen;OpenStack则完全是开源免费的,它的监控程序主要采用开源的KVM和Xen,也可以是其它的开源软件。
按照服务的对象和范围,云可以分为三类:
私有云:建一个云,如果只是为了单位(企业或机构)自己使用,就是私有云。就前面提到的“机房”而言,每个“机房”只是为本单位的不同部门、或不同用途而设立的。
公众云:如果云的服务对象是社会上的客户,就是公众云。前面提到的“机房”可以是任何社会上的企业、单位、或个人。Amazon公司的AWS是现在世界上最大的公众云。其它公众云提供商还有Google、Salesforce、苹果的iCloud等等。
混合云:如果一个云,既是为单位自己使用,也对外开放资源服务,就是混合云。有时,把两个或多个私有云的联合,也叫混合云。 “云计算”的五大特点
大规模、分布式“云”一般具有相当的规模,一些知名的云供应商如Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。而依靠这些分布式的服务器所构建起来的“云”能够为使用者提供前所未有的计算能力。
虚拟化云计算都会采用虚拟化技术,用户并不需要关注具体的硬件实体,只需要选择一家云服务提供商,注册一个账号,登陆到它们的云控制台,去购买和配置你需要的服务(比如 云服务器,云存储,CDN等等),再为你的应用做一些简单的配置之后,你就可以让你的应用对外服务了,这比传统的在企业的数据中心去部署一套应用要简单方便得多。而且你可以随时随地通过你的PC或移动设备来控制你的资源,这就好像是云服务商为每一个用户都提供了一个IDC(Internet Data Center)一样。
高可用性和扩展性那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。基于云服务的应用可以持续对外提供服务(7*24小时),另外“云”的规模可以动态伸缩,来满足应用和用户规模增长的需要。
按需服务,更加经济用户可以根据自己的需要来购买服务,甚至可以按使用量来进行精确计费。这能大大节省IT成本,而资源的整体利用率也将得到明显的改善。
安全网络安全已经成为所有企业或个人创业者必须面对的问题,企业的IT团队或个人很难应对那些来自网络的恶意攻击,而使用云服务则可以借助更专业的安全团队来有效降低安全风险。
- ?
如何最大化云计算的长期投资回报
吕代亦
展开
新经济加速中国云计算的快速普及
新经济加速了云计算在中国市场的普及。云计算彻底消除了传统IT对于业务的“桎梏”,通过迅捷响应业务需求,加速企业业务创新能力,提升企业的市场竞争力和扩大企业生存空间。
“互联网+”加速了中国市场云计算的快速演进。中桥相关调研显示,2014年,中国市场公有云的接受力度还不到7%。但随着“互联网+”的大规模兴起,中国市场公有云的接受力度显著提升。
2016年底,调研数据表明41.9%的受访企业已经部署和考虑在未来24个月部署公有云;25.9%的企业虽然还未有公有云的部署规划,但正在评估公有云。预计未来两年,近50%的企业级用户采用公有云(见图1)。中国用户云计算需求的持续快速提升,推动公有云在中国市场的快速应用和普及。
图1. 公有云服务市场趋势《新一代人工智能发展规划》加快了人工智能技术和市场的快速发展。同时,推动互联网、大数据、人工智能与实体经济的深度融合,加速传统经济向数字经济转型。人工智能、物联网、大数据等新技术进一步刺激了云计算的快速演进。传统IT模式无法应对机器深度学习培训对资源的需求,更无法满足物联网点到点海量并发查询的分析需求。
2017年中桥的调研结果显示,以数字为核心的新经济下,云计算、物联网、人工智能、大数据作为全新的生产要素,推动企业跨公有云服务需求的大幅提升,比例达到51.9%(见图2)。如何充分利用云计算、大数据、人工智能和物联网,打造新的经济增长点,成为提振全球经济的关键。相对于传统经济以云作为补充资源来降低IT开支,新经济下,企业级用户或产业平台基于云通过对物联网、人工智能、大数据等新技术的叠加效应,能够更快将新技术转化为业务的新价值点,从而实现业务创新和产业格局全面升级。
图2.云计算部署模式云计算的演进
新经济环境下,云计算、大数据、人工智能、物联网等新生产要素和新生产方式成为促进经济增长的新动能。在大数据、人工智能、物联网等IT技术中,云是基础和承载。企业上云则是推动提高资源配置效率,不断提升全要素生产率的重要手段。在我国从传统经济到新经济的转型过程中,企业业务需求的多样化以及技术的多元化,带来云计算形态的不断变化。云计算是一个持续动态、逐步演进的过程。中桥调研咨询最近对中国企业从业人员的调查数据显示,有84%的受访者都认为,目前云计算的演进过程可以分为三个阶段,
云计算1.0 阶段:主要应用对象是中小企业,通过云计算实现从“无”到“有”的IT使能;云计算2.0 阶段:云计算成为企业级用户核心应用的IT 补充资源,主要基于Email、办公软件,用于测试开发、审计等;云计算3.0阶段:云原生应用、人工智能和物联网作为主要驱动力,云计算成为企业IT 的核心资源。
由于云计算的持续演进,云计算平台对未来新技术的研发投入、保证用户云平台之上的持续创新能力,决定着云计算的长期投资回报率。企业不仅能得到阶段性的云计算投资回报,还能通过不断升级云计算服务能力,提高云和新技术的融合能力,从而为企业的业务转型和升级提供有力支撑。
评估云计算服务提供商的考虑因素
新经济下云计算快速成为传统IT的替代和数字经济创新的核心支撑平台。在越来越多核心业务运行于云平台时,企业的业务创新能力和全球协作效率,直接决定了经济全球化环境下的生存空间。
对于企业级用户而言,核心应用的“云化”过程中,用户不再只是考虑短期的经济效益,更多需要从战略高度和业务全球化的维度,对云技术的成熟度、云服务水平、云对业务的支撑能力、用户的使用体验等进行考量。
如何全面、多维度地评估公有云服务提供商,优化云计算长期投资回报,不仅决定着IT开支,还决定着企业的业务升级扩展能力和业务创新能力。中桥调研显示,受访者认为评估公有云服务提供商的重要考量因素包括:
图3. 评估公有云服务商的最重要因素企业级得以验证的用户群,可信可靠
核心应用运行在云计算环境,高可用、高可靠、安全合规、数据安全是重要评估因素。企业级用户得以验证的实践经验和可信可靠的服务,成为用户评估公有云服务商最重要的考量。
综合IaaS、PaaS、SaaS的服务水平和管理效率
新经济下,不同企业的业务需求不同。云计算功能的升级能力,决定了企业未来业务的升级空间。如何规避云计算技术孤岛,综合IaaS、PaaS、SaaS降低开支、加速市场响应、促进产业升级,决定着企业“云端”的创新能力。综合IaaS和物联网PaaS制造厂商可以经济、快速实现从制造业到制造数字化服务的业务转型。
全球云计算服务能力,支撑全球化业务拓展
在经济全球化环境下,对于企业级而言,云计算不仅是省钱的工具,其技术持续升级能力和全球化的支撑能力成为关键。就要求云计算服务商具有覆盖全球的云计算服务能力,为企业提供统一的云计算服务平台;同时集中管理的云计算平台能够提高全球业务协作效率;此外,强大的技术持续升级能力,能够为企业业务的全球拓展提供助力。
综合云和边缘计算分析能力,满足物联网和AI 的需求
人工智能和物联网的发展带动海量终端以及海量数据交互分析的需求。综合云计算和边缘计算分析的能力,能够提高应用的部署效率,并通过对应用数据的快速采集、边缘端对数据的实时分析和处理,提高企业运营效率和业务创新能
AWS 云计算提高用户长期投资回报
在经济和业务全球化过程中,云计算为传统企业的数字化转型、为新兴公司的创新提供了强有力的支撑。中桥在中国市场的调研发现,企业级用户在核心应用逐步上云的过程中,会对所选择的云服务商进行全面的评估,包括全球布局能力、实践经验、品牌和认知度的覆盖。
亚马逊AWS作为全球最大也是最早提供公有云服务的提供商,在技术、云平台稳定性、成本控制和生态系统建设等方面都具有绝对优势。在2017年Gartner公布的”全球基础架构即服务云计算魔力象限”(Magic Quadrant for Cloud Infrastructure as a Service, Worldwide) 中【1】,AWS 在愿景和执行力两项指标均遥遥领先所有其他云服务提供商。
此外,IDC在2015年发布的白皮书“量化AWS的业务价值(Quantifying the Business Value of Amazon Web Service)”中,对AWS 的业务价值从以下四个方面进行了评估【2】:
提升业务效率
基于AWS 服务为其业务应用提供的弹性、可扩展性和提升的性能,用户能够更快响应业务需求,并且提高雇员的生产效率,从而为客户提供更好的服务。
例如,运用AWS 云服务,用户部署新设备的时间缩短了97.1%,对业务需求的响应时间缩短了97.6%。IDC 预测,5年时间里,平均计算下来,用户每个应用每年可提高的收入和生产率价值约173,003美金。
提升用户生产效率
在AWS 云环境下,受益于AWS的稳定性、可靠性和安全性,用户能够有效减少宕机时间,并尽可能降低宕机期间带来的损失。
此外,将业务迁移到AWS云中,还显著减少了宕机带来的业务风险,确保了应用的持续可用性和数据一致性。用户能更有效地使用AWS云来支撑业务。IDC预计,5年时间里,用户每个应用每年平均节省8665美金。
提高员工生产力
AWS服务的应用,IT管理员能够显著减少每天所需的IT运维时间,效率提升68.1%以上。同时在AWS 环境下,由于预设的模块和更快获得计算资源,用户可以更快、更轻松进行应用的开发,这使得每年可以部署更多应用,且每个应用的部署时间减少36.7%。IDC 认为这些效率的提升,意味着5年时间里,每个应用每年平均节省133,389美金。
降低IT基础设施成本
相比采用自身的数据中心资源来支撑工作负载,采用AWS 来支撑同样的工作负载所需花费更少。 IDC 通过计算认为,各企业将显著减少与数据中心相关的资本和业务开支。5年时间里,用户每个应用节省的开支可达131,073美金。
IDC还就使用AWS 服务的总体拥有成本进行了对比。IDC 认为,按照5年的生命周期来计算,AWS用户每个应用的总体拥有成本平均减少63.9%。
图4 使用AWS服务后应用的总体拥有成本在新经济下,由西云数据运营的AWS中国(宁夏)区域和由光环新网运营的AWS中国(北京)区域通过为用户提供综合IaaS、PaaS、SaaS的云计算服务,让中国用户将物联网和人工智能“云端化”为业务的快速成长。AWS混合云解决方案简化传统业务与互联网运营模式的融合。对于企业级用户,AWS全球得以验证的企业级积累,让企业用户在满足企业级高可用和高可靠的同时,快速实现数字化转型。同时,AWS提供云资源管理工具,提高采购云计算资源的使用效率、细粒度管理水平和根据用户需求的个性化服务能力,为企业业务的未来升级和扩展提供支撑;AWS 云对大数据、物联网和人工智能等的技术叠加效应,最大限度提升用户的长期投资回报。
注释:
来源于”Magic Quadrant for Cloud Infrastructure as a Service, Worldwide” (G00315215), Gartner, 2017年6月发布来源于Quantifying the Business Value of Amazon Web Services”,IDC,2015年5月发布
- ?
细数云计算核心技术-云计算安全
浑代秋
展开
由于云计算特性和已有的IT模式有很大差异,自从云计算诞生之后,在安全方面受到极大非议,安全问题是企业内部引入云计算的最大顾虑。不可否认在安全方面,云计算确实面临许多挑战,但是云计算的一些优秀的特性将不仅能够有效应对这些挑战,而且也将会比已有模式更安全。
简介
挑战:信任边界变化,更多利益相关方,公有云暴露在互联网上,虚拟化技术引入,数据存放的讨论。
公有云是暴露给所有互联网用户的,这一点无疑是企业安全者最担心的问题,通常大家都认为“放在自己家里更安全”。
现有安全系统不足:成本高,复杂度也很高,内部盗窃等。很多企业都不会配备自己专门的安全团队,采用第三方的运维解决方案满足安全方面得需求,大部分企业内部核心数据丢失是内部人员所为。
云计算优势:管理、信誉和容灾方面都有很大的优势。一般都是国内外知名的厂商,而且有专业的管理和技术团队保障我们正常的业务。
安全架构
在安全方面云计算不仅需要应对已有传统IT挑战,还需要应对云计算特定的挑战。下面我们一起来看一下云计算的安全架构。
云客户端:客户端一般和用户体验相关,确保用户在安全和稳定的情况下使用云应用,需要很多方面得增强,主要采用防火墙、杀毒软件、补丁和沙盒机制等使客户端免受侵害。并通过云端检测和计算能力进行快速的安全解析,且进行相应的处理。
云端:是云计算核心,安全通信、用户管理、数据管理、应用保护、系统和网络等整体监管以及合规性等等。
第三方机构:一般具备很好的公信力,且在安全领域具备丰富的经验和技术,可以提供认证和安全级别评估,使用户有信息将数据存储在云端和使用云服务。并且可以进行监管,确保在安全范围内运行,提供用户的信任度。
Salesforce的安全机制
从云端的模块角度说明安全性,用户管理方面采用禁止cookie存储用户信息和会话信息,支持集成认证和基于SAML协议来在多个相关web服务之间传递认证和授权信息的方式。在数据管理方面对数据进行有效的隔离和加密等方式确保数据安全,在网络方面使用SPI、防御主机、双因素认证和全程加密机制确保网络传输安全等等。
AWS的安全机制
在用户管理角度AWS使用多种手段保障用户安全,使用安全token,这个token不仅用户SSH协议登录,也用户API的调用,提供多因素认证和密钥循环机制保障用户账号和访问控制。数据安全放面采用两层ACL控制机制,并使用HMAC-SHA1签名认证,所有通信都是会用SSL协议等等。
云计算为什么安全?
安全管理:专业的安全管理团队,保障云计算中心的同构型和专业性,有效的保证安全管理。
高可用性:普通的企业数据中心在高可用方面得投入肯定不如云计算中心,所以在保障核心应用角度很难和云计算相比。
数据安全:避免内部人员对数据危害,采用快照、备份和容灾等手段来保护数据的安全。
举一个不是很恰当的例子,大多数人选择把钱存在银行,而不是自己修建金库,其实就是这个道理,从成本、技术和安全角度来说,云计算能够给我们低成本、高安全的保障。
释放价值,分享知识和经验,解读IT前沿和技术。帮助他人,提升自己。
- ?
老司机教你基于云计算构建高可用应用!
迎曼
展开
业务高可用是我们每个项目的需求,一个经常故障的项目,会让我们觉得不靠谱而选择放弃,从而导致项目的失败。今天,我们来聊一聊,如何让你自己的业务能够更加稳固的运行!
本次我们从四个不同的角度,来分析,如何让我们的应用更加稳固,平稳运行。
一、 程序架构
优秀的代码
优秀的代码非常重要,即使我们拥有最好的硬件资源和架构,如果我们没有一套健壮的代码,其他资源再好都没有用,所以代码在设计和编写时,应当注意代码的健壮程度。优秀的代码不止开发起来方便,同时维护成本也较低,对于后续的优化来说,健壮的代码会让优化人员更加容易的找到问题的关键。
合理的架构
一个大型的、负载的单体应用可能会让你的整个开发进度缓慢、部署困难。所以,为了解决这种问题,不妨在开发初期便将应用程序设计为微服务架构的程序,虽然可能会提升程序之间的沟通难度,但却为你的应用提供了后续自由伸缩的可能,帮你解决后期发展起来的伸缩难题。
对于已经上线的应用,整体微服务化可能是非常困难的,毕竟你不可能让整个团队重新开发一套系统出来,这样的情况下,不妨把核心的、请求量较高的业务单独拆分出来,作为一个服务,让每一个服务都变成专注与单一的责任和功能的小的区块,更好的对外提供服务。
二、 资源架构
在云计算的时代,云计算大行其道,为各行各业提供计算能力的支持,合理的利用云计算所提供的能力,就能帮助我们更加轻松的去做好应用的高可用。
一般来说,我们的每一个应用大体上都可以分为四层:入口层、业务层、缓存层、数据库层。当我们做好每一层的优化,那么我们的应用本身对于可能出现的问题进行避免。
入口层
入口层通常的情况下指的是Nginx、Apache等层面的东西,来负责应用的入口。一般情况下,我们会将应用程序定位在某一个IP,那么如果我们这个IP宕机了,就会导致服务的不可用,所以,在入口层我们不妨使用负载均衡,通过对压力的评估和成本的预估以及技术实现的难度,我们可以选择自建负载均衡或者使用云服务商提供的负载均衡器,在这样的情况下,当我们入口层后面的业务出现了单点故障时,可以自动借助于负载均衡的健康检查和请求分发的机制,把请求转发分配到可用的节点,保证服务的正常运转。
业务层
业务层通常是由PHP、Java、Python、Go等写的逻辑代码构成的,需要依赖于后台数据库及一些缓存层面的东西。如何实现业务层的高可用呢?最核心的就是,业务层不要有状态,将状态分散到缓存层和数据库。目前大家通常喜欢将以下几种数据放入业务层。
第一个是session,即用户登录相关的数据,但好的做法是将session放在数据库里,或者一个比较稳定的缓存系统中。
第二个是缓存,在访问数据库时,如果一个查询很慢,就希望将这些结果暂时放到进程里,下次再做查询时就不用再访问数据库了。
一个简单的原则就是业务层不要有状态。在业务层没有状态时,一台业务层服务器当掉了之后,Nginx/Apache会自动将所有的请求打到另外一台业务层的服务器上。由于没有状态,两台服务器没有任何差异,所以用户完全感受不到。如果把session放在业务层里面的话,那么面临的问题是,这个用户以前是登录在一台机器上的,这个进程死掉后,用户就会被登出了。
缓存层
非常简单的架构里是没有缓存这个概念的。但在访问量上来之后,MySQL之类的数据库扛不住了,比如在SATA盘里跑MySQL,QPS到达200、300甚至500时,MySQL的性能会大幅下降,这时就可以考虑用缓存层来挡住绝大部分服务请求,提升系统整体的容量。
缓存层如果希望实现高可用的架构,最好的方案就是将缓存层分的细一些,采用分布式的缓存或者是云计算服务商提供的云缓存能力,来减轻数据库层的压力。
数据库层
在数据库层面实现高可用,通常是在软件层面来做。例如,MySQL有主从模式(Master-Slave),还有主主模式(Master-Master)都能满足需求。MongoDB也有ReplicaSet的概念,基本都能满足大家的需求。
三、 云计算资源利用
上述的内容,主要还是和开发层面有关的,接下来我们来聊聊和运维强相关的内容
业务不单点
无论我们怎么对服务器的能力进行优化,终归是有个上限的,而且,单点服务器也更容易出现安全的故障问题。即便是云计算,也无法保证业务的永久可运行,即便是国内TOP1的阿里云,也出现过机房光缆被挖断过。所以,不要指望云计算服务商为你提供绝对可用的服务,更何况,在他们自己的服务等级协议里也不是100%。
所以,对于我们自己来说,要让自己的应用尽可能的不要单机运行,即使你的应用是单体服务,也可以让他跑在同一个节点的不同可用区(节点故障很少见)、不同节点的多个可用区(异地多活)、甚至,为了保证业务的运行,不要相信一家服务商,你可以同时采购多家的云计算资源(如果预算足够),就算有百分之一的可能,这个服务商挂掉了,你还可以切换到别的服务商去提供服务。
合理利用云资源
除了云计算最基础的计算能力,我们往往会购买一些附加的业务,比如云数据库、云缓存、云存储等等。
通过云存储,我们可以将非结构化的附件数据,存储到云服务商所提供的对象存储服务中,减少本地的文件存储压力,同时为业务服务器减少IO读写压力,更加专注于运算。
通过云缓存,我们可以在使用同一个可用区的多台主机时,将状态进行同步。帮助我们的应用同步状态,以免用户登录状态的丢失。
通过云数据库,我们可以借助云服务厂商所提供的能力,来拓展我们数据库的多备份、主从分离等等。让我们的业务数据查询请求进行分流,避免单一数据库的读写压力过大而导致业务的崩溃。
利用云计算供应商的提供能力,能够为你自己维护减轻压力,把精力放在业务本身。
注意备份保安全
云服务商不是神,我们自己部署服务器会出现的问题,云服务商同样也会出现,只是他们可能比我们的优势在于能够更好的去帮我们保存数据,避免数据的丢失。同时借助数异地双活、异地多活、数据三备份等技术,保证我们数据的安全和可靠。我们在使用云服务商为我们提供的种种安全措施的同时,看清楚人家的能力,同时要保证自己的数据的定期备份,以免出现问题。
四、 关注服务商提供的公告信息
维护和故障是不可避免的,再大的云计算服务供应商,都有可能遇见这样或那样的故障文档,只要我们关注服务商所提供的公告信息,尽可能的去提前准备,那么就可以更换的提供服务。
这一方面做的比较好的是AWS和Azure,在每次出现故障后,他们都会提出故障公告,诚恳的说明故障的原因和解决方案,让用户明白故障的问题所在。这一方面,国内阿里云在完善故障通报机制,可以看到同一个故障出来阿里云都是通报最快,算是比较靠谱,其他云厂商,基本上官网不会公开,则大多是能瞒则瞒,能不报就不报,但是问题总归是问题,没有说明反而会让用户更加的疑惑,其他云厂商需要向AWS、Azure以及阿里云学习。
在维护方面,AWS、Azure就显得比较坑爹了,他们过往的维护周期比较长,如Xen底层的一个漏洞,无法采用热升级,一般就需要分批停机维护胡,用户如果没有准备,就需要关站一天,不过好在往往会提前一周发出维护公告,声明维护的节点,让用户提前做好准备。这一方面,国内遇到的还比较少,印象中如阿里云没有大规模停机维护的事件,一方面是AWS在前可作前车之鉴,另外也有技术上的因素。
不过,凡事无绝对。毕竟,云计算也是由一个个机房组成的,不是真正飘在天空中,飘在云上的服务器,我们在使用传统独立服务器可能会遇见的掉电、故障等问题,也会出现在云计算的主机上,只是相对来说,要少了很多,更加的安全。
所以,不管是AWS、Azure、还是阿里云或国内其他厂商,都在鼓励用户使用多个节点和可用区来部署业务,单点情况下出现的故障是不可避免的,当你使用多个节点时,出现故障的可能就大大的减小了。比如你可以在同一个可用区使用两台主机来做主备,再另外一个可用区做备份,这种情况下,即使一个可用区出现了问题,整体的服务也不会受影响。
最后,我们来总结下如何构建高可用的应用:
1. 健壮的代码为高可用保驾护航
2. 合理的架构为高并发情况下的伸缩提供可能
3. 入口层的请求分发
4. 业务层尽可能不存在状态
5. 缓存层使用分布式缓存缓解压力
6. 数据库层使用主备模式进行备份
7. 业务不单点运行
8. 合理利用云计算资源
9. 注意数据的安全与备份
10. 关注云计算厂商的维护公告
最后,祝大家的业务都能正常的运行!
云计算高可用
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并