- ?
到底什么是云计算?云计算能干什么?
她她
展开
到底什么是云计算?云计算能干什么?
如今大家天天听到媒体说云计算,什么阿里云、百度云、腾讯云等,到底什么是云计算呢?
云计算(cloud computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。
IBM的创立者托马斯·沃森曾表示,全世界只需要5台电脑就足够了。比尔·盖茨则在一次演讲中称,个人用户的内存只需640K足矣。李开复打了一个很形象的比喻:钱庄。最早人们只是把钱放在枕头底下,后来有了钱庄,很安全,不过兑现起来比较麻烦。现在发展到银行可以到任何一个网点取钱,甚至通过ATM,或者国外的渠道。就像用电不需要家家装备发电机,直接从电力公司购买一样。云计算就是这样一种变革——由谷歌、IBM这样的专业网络公司来搭建计算机存储、运算中心,用户通过一根网线借助浏览器就可以很方便的访问,把“云”做为资料存储以及应用服务的中心。
什么是云计算?狭义的云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务。
举个例子:阿里云计算发布的Matrix+(码+)计划,通过连接全球PC、平板电脑、超便携设备和手机等设备,组建人类有史以来最为强大的计算网络,这些强大的计算能力将被用来搜索外星人。
当10亿台手机一起计算时,超过了人类有史以来的计算力总和,能够开放地支持涉及人类公共利益的科研项目。比如美国诺曼教授正在研究的人脑外挂,艾滋病研究、粒子能源、外星生物探索等前沿科学……
当用户接受邀请后,Matrix+在手机连接Wifi并待机时自动运行,并为其指派经过分解的科研任务。点亮屏幕时,计算会自动停止,并不会对正常的手机使用有任何影响。未来,Pad、电视盒子、智能电视、路由器等所有智能设备,都可参与这一计划。
这就是手机版的云计算,而云计算则是众多服务器的加强版。
据IDC最新数据显示,亚马逊AWS、微软Azure、阿里云排名前三,全球公共云市场3A格局已定。
阿里自主研发的飞天操作系统,可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。
阿里云在做公共云,那其他从事云服务的公司在做什么?
这些从事云服务的公司,就分成:
Iaas(基础设施即服务Infrastructure as a Servic),阿里云、亚马逊AWS、微软Azure
Paas(平台即服务Platform-as-a-Service),GAE(谷歌)、阿里ACE
Saas(软件即服务Software-as-a-Service),太多了
IaaS就是专门提供基础设施服务的公司,几年前如果你想在办公室或者公司的网站上运行一些应用(比如自己开发好的APP或是网络游戏),你需要去买服务器,成本太高了。
但是现在有IaaS,你可以将硬件外包给这些专业的公司,这些公司会提供场外服务器,存储和网络硬件,你花钱租用就行。
这样就节省了维护成本和办公场地,并且你可以在任何时候利用这些硬件来运行其应用。
就跟约会一样,饭店、电影院、KTV把你约会需要的硬件设置布置好了给你用,你付钱就行。
国内比较出名的Iaas有:阿里云、腾讯云等,国外就更多了包括Amazon, Microsoft, VMWare, Rackspace和Red Hat。
懂得了IaaS是什么意思,那我们再来说说PaaS平台即服务,这个是啥意思?
大家有没有发现,现在出现一些泡妞培训班、约会方案策划师啥的,这些公司提供的服务就是在帮你做一系列约会泡妞解决方案的,从软硬件都帮你搞定,剩下的只需要你去约会就行。
同理PaaS是面向软件开发者(泡妞者)的服务, 云计算平台提供硬件, OS, 编程语言, 开发库, 部署工具(各种培训班、方案策划、软硬件等), 帮助软件开发者更快的开发软件服务,某些时候也叫做中间件。
云服务商将软件开发的云端开发平台和软件运营的云端运行环境 (包括中间件、数据库、web服务、消息总线等基础通用服务)作为一种服务,提供给最终用户。
换句话说,这些PaaS服务商提供的都是基础开发服务平台,主要目的就是让你把精力专注在应用层面的开发上面,而不需要浪费在这些基础重复性的事情上,也不用担心开发完成后部署问题。
PaaS平台在云计算架构中位于中间层,其上层是SaaS,其下层是IaaS。
PaaS比较出名的包括:GAE(谷歌)、阿里ACE、百度BAE、新浪SAE等。
看到这里,大家有没有觉得PaaS跟前面的IaaS有部分重合了,对的,他其实是对IaaS的更深入的提供软硬件结合的一整套解决方案。
但是他限制太死了,就跟人家给你策划好的约会方案,你必须按剧本走,无法自由发挥。结果就是市场接受度不高,所以,PaaS一直不温不火也是这个原因。
最后SaaS模式,大家应该会更容易理解,这个概念最近超火经常能听到,并且很多公司开发的应用都基于SaaS模式的。
Saas软件即服务,简单说就是人家把你想要的功能开发好成应用软件,然后直接卖账号给你用,你也不需要担心服务器、带宽、应用开发等问题,直接交钱使用就行。
从泡妞角度来理解就是,现在各种某陌、某和网、大量的婚介机构,他们都是把妹子召集起来,然后你可以通过使用他们的平台或是服务找到适合你的妹子,是一样的道理的。
当然,交钱跟没交钱获得的待遇是不一样的,同理SaaS软件服务公司也有提供不同等级的服务的。
出名的SaaS软件服务商在各个行业都有的,这里就不一一列举了。
- ?
云计算到底怎么用?
为奈何
展开
云计算最近的热闹不少。
8月5日,一家创业公司“前沿数控”发文,称其在腾讯云上数据全部丢失。之后腾讯云对此回应称,该事故是因所在物理硬盘固件版本bug导致的静默错误且运维人员存在不规范操作所导致,并表示了道歉与赔偿。
至此,在一年多的时间里,微软、AWS、阿里云、腾讯云等主要云计算服务商相继出现问题,这也让外界产生疑惑:云计算怎么了?
近些年,企业上云已成趋势,而云一旦出问题,很可能影响颇大;然而就像天底下没有不生病的人一样,云计算也自然也不可能百分之百完全不出问题。这次的腾讯云事件,刚好可以用来聊聊这个话题,让我们透视云计算平台与企业如何应对可能存在的问题。
没有绝对不出问题的云计算
但我们或许可以借此讨论这样一个问题:云计算平台不出错的理想情况,到底是否可能?
答案当然是否定的,任何云计算平台都有发生事故的可能。云计算本身是一种本地存储与运算的替代方案,所以本地计算可能出现的软硬件问题,也将映射到云计算体系中。
当然,随着云计算技术的不断进步以及产业服务能力增强,今天我们看到云计算应对风险的技术解决能力、容灾能力、应急冗余能力都在提高。
但同时也应该看到,云计算的另一面,是体系复杂化、碎片化的业务需求,更加复杂的云计算应用体系以及云计算+AI、云计算+IoT等新业务种类,导致出现风险的场景更多。比如去年英国一个移动应用企业发生了数据崩溃,原因在于企业员工违规收取了邮件,最终导致云存储数据被大规模劫持。
不过从另外一个角度来看,云厂商提供给用户的真正有价值的服务并不是一个一定不会出问题的服务,而是让企业可以低成本快速的搭建一个服务冗余、一定容灾的架构的能力。从腾讯云的案例中我们可以看到,云计算的问题可能很复杂,而平台的处理能力是解决问题的第一方案。
出现了问题,云计算平台如何应对?
让我们回顾一下腾讯云这次事件中,数据丢失到底因何发生:
根据腾讯云方面的技术复盘,该故障缘起于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致云盘的三副本安全机制失效,并最终导致客户数据完整性受损。具体原因是,是因为运维人员在收到仓库空间使用率过高警告后,准备发起搬迁扩容。在搬迁国产中,为了加快速度,手动关闭了迁移过程中的数据校验。而在搬迁完成后,运维人员将出事故云盘访问切至新仓库,同时为了释放空间,对原仓库中的源数据发起了回收操作,之后发现部分云盘出现IO异常。
本次事故起源自因磁盘静默错误导致的单副本数据错误,再由于数据迁移过程中的不规范操作,导致异常数据扩散至三副本,进而导致客户数据完整性受损。
腾讯云已经正式道歉,并从技术角度坦诚了相关问题的存在。
由于云计算事故的问题,往往来自复合型问题、细节问题。而往往平台讳莫如深,甚至想要撇清责任,是导致事件复杂化的直接原因。而腾讯云此次的坦诚方案,在业界还是收获了一定的肯定
而通过腾讯云的事件,我们可以看到真正能够有效降低云计算故障的方法,是在出事前进行干预。比如说:
1、搭建应急预案,不断更新容灾技术与容灾机制,可以在出现问题时快速、低成本搭建应急架构。这是云计算平台应对可能事故的核心,而容灾机制与技术的双重保障,也是云服务品牌的核心竞争力。
2、规范化管理流程,尤其涉及数据问题时的人工操作流量。腾讯云事件中可以看出,人为不规范操作是造成很多重大损失的起因。而严格的流程化和去人工可能是较好的解决方案。
保障数据,企业用户也需配合
云计算平台自然也不是万能的。对于用户来说,选择合理的服务体系、积极做好兀余和备份工作,是进一步降低风险的举措。
另一方面,云计算服务中还有一项功能,叫做云盘快照。也就是企业可以定期来复制备份自己的数据,作为应对可能性事故的备案。而恰好腾讯云还是少数定期提供免费快照功能的云平台,为避免企业数据丢失,还是应该积极使用类似备份功能,保证自身数据的安全存放。
同时,对于核心数据来说,本地存放与云存储兼顾,是公认的更良性策略。
目前,出于市场业务细分化的需要,所有云计算平台都在提供更细节化、碎片化的服务选项。但很多时候企业并不能为了节约成本而购买单一服务,而是需要设置符合自身发展需求的云计算策略,并做好重要数据本地备份。
毕竟,狡兔三窟总归不是错误。
合理用云,前提是正确认识云
综上所述,我们可以发现,为了解决类似问题,需要云计算平台、企业客户,包括行业监管、法规定制等方向的共同努力。我们可以从以下几个方面,看到未来化解类似矛盾的可能:
1、技术层面,更加简便优质的容灾备份服务显然是主流。而在今天快速迭代的云计算体系中,通过技术保障进一步加强企业数据保障并不是奢望。而更加扎实的平台管理能力,和快速调查事故原因的能力与执行规则,也是平台企业未来需要提供的用户价值。
2、权责分明的服务关系。类似案件中,平台故障当然是主因。但企业事故也可能最终导致数据危险。
因此,平台方向企业方提供明确的风险提示,并建议做好关键数据备份;企业方购买符合自身发展需求,较为合理的云计算业务体系,都是避免最终矛盾的解决方案。另外很多云计算业务,其实都来自企业应用层面的问题,那么责权如何进一步划分,也是应该解决的问题。
平台与用户双方,能够达成策略性预见,给予对方足够的尊重,并一切有规可循,才是类似问题的最终解决办法。
一棍子打死云计算,或者把云计算捧杀到万能的地步,事实上都是毫无益处的。
- ?
你知道云计算都有哪些应用场景?
风铃
展开
云教育很多时候被简单地归纳为「在线教育」,成为某些教育机构高大上的包装外壳。但实际上,云计算能够在校园系统、远程教育、公开课MOOC、数据归档、协同教学等多种教育场景中得到应用,降低教育成本,实现资源的共享和更新。
Coursera
著名MOOC在线学习平台,提供在线课程,拥有超过300类课程。通过使用云计算技术,可处理每个月大约1/2 PB级的大流量,支撑每年超过300万学生学习及交流。
Knewton
个性化教育平台。通过云计算对学生的学习行为进行大数据分析,从而有针对性地提供个性化教育方案。
随着物联网技术的深入发展和物流流量的增加,对数据储存和计算量的需求急剧增加。通过云计算+物联网的形式,云计算架构可以用来解决数据的存储、检索、合理使用问题。
菜鸟云仓
「云仓」是利用云计算技术的现代化智能仓库,能够运用大数据迅速拣货、配送,并且降低物流成本。可以说「云仓」是提升配送效率、支撑双十一物流的最大功臣。
智能仓储
云社交是一种虚拟社交应用,它以资源分享作为主要目标,把社会资源进行分类和集成,并向有需求的用户提供相应的服务。用户流量越大,资源集成越多,云社交的价值就越大。
Oracle 社交云
社交云可以帮助企业利用社交媒体的力量,挖掘合适传播的内容,并加快在Facebook、Twitter、Instagram和微博等渠道的分发速度。
云安全是云计算在互联网安全领域的应用。云安全融合了并行处理、未知病毒等新兴技术,通过分布在各领域的客户端对互联网中存在异常的情况进行监测,获取最新病毒程序信息。
现在基本上流行的联网杀毒软件都运用了云计算技术,例如小红伞(Avira)、小A(Avast)、金山云、瑞星安全云等。
云计算应用于政府部门中,为政府部门降低成本、提高效率做出贡献。云计算具有集约、共享、高效的特点,能够为政府部门降低20%-80%的成本。
伴随政府改革的进行,政府部门也开始从自建平台转变为购买服务,这将促进云计算的进一步发展,并为信息服务提供商带来商机。
美国联邦政府
美国联邦政府购买了AWS的云计算服务。通过现收现付模式,AWS提供由专家管理的技术资源,政府只需通过互联网访问AWS服务,无需前期投资,就能够使用服务商提供的计算资源。
云计算能够降低政府运营成本,提高行政效率
云存储是一个新的发展浪潮。云存储不是某一个具体的存储设备,而是互联网中大量的设备通过应用软件共同作用的服务。云计算系统要运算和处理海量数据,为支持云计算系统需要配置大量的存储设备,这样云技术系统就自动转化为云存储系统。
例如:iCloud、亚马逊Cloud Drive、SkyDrive等。
云计算有着丰富的应用场景,更和物联网、大数据等概念密不可分。
关注佳源信息,关注更多资讯。
【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至jy@jiayuaninfo,我们将及时沟通与处理。
- ?
如何看待云、云计算、云服务、云存储、云平台之间的区别和联系?
罗天德
展开
云是将服务器虚拟化,形成虚拟资源池,相比于以前的物理机更加节省资源成本,便于管理。云是计算、存储、网路资源池化的概念。我们每天使用的搜索引擎、邮箱、网盘,就是很标准的云,而这大多都是免费的。云是对互联网的升级,意味着互联网并不仅仅是存储数据,而是为你提供某种服务。云计算、云存储、云服务、云平台等就是利用云通过一堆机器经过网络组合到一起的不同形式,是云下面的子概念。总的来说就是,云服务=云平台,云服务=云计算+云存储!
云计算
随着互联网的发展,云服务和应用也变得越来越复杂,需要支持更多的用户、需要更强的计算能力、需要更加稳定安全等等。用传统的方法比如配备更加完备的IT运维部门将会耗费大量的精力和财力,而且对于大公司来说需求仍会难以满足,对于那些中小规模的企业,甚至个人创业者来说,创造软件产品的运维成本就更加难以承受了。而“云计算”出现以后就可以完美的解决这个问题。
将应用部署到云端后,就不必再关注那些令人头疼的硬件和软件问题,它们会由云服务提供商的专业团队去解决。使用的是共享的硬件,只要按照你的需求买了这个云服务就可以使用了关于软件的更新,资源的按需扩展都能自动完成。云计算具有大规模分布式、虚拟化、高可用性和扩展性、按需服务更加经济及安全五大特点。
云服务和云平台
云计算将我们传统的IT工作转为以网络为依托的云平台运行,而云服务则是在这个云平台上发布出来的供用户使用的产品服务。云平台比较通俗的可以理解为云计算服务商有N多服务器和存储设备,用信息技术将其整合为一种提供存储服务的平台,这个平台以租赁的方式对外提供服务。
云服务常规上是指通过网络以按需、易扩展的方式获得所需服务。简单来说,云服务可以将企业所需的软硬件、资料都放到网络上,在任何时间、地点,使用不同的IT设备互相连接,实现数据存取、运算等目的。
云服务的两种主要形式:公有云 & 私有云
公有云(Public Cloud):SaaS、PaaS和IaaS
公有云是最基础的服务,成本较低,是指多个客户可共享一个服务提供商的系统资源,他们毋须架设任何设备及配备管理人员,便可享有专业的IT服务,这对于中小企来说,无疑是一个降低成本的好方法。
私有云(Private Cloud):虽然公有云成本低,但是大企业(如金融、保险行业)为了兼顾行业、客户私隐,不可能将重要数据存放到公共网络上,故倾向于架设私有云端网络。私有云的运作形式,与公共云类似。然而,架设私有云却是一项重大投资,企业需自行设计数据中心、网络、存储设备,并且拥有专业的顾问团队。企业管理层必须充分考虑使用私有云的必要性,以及是否拥有足够资源来确保私有云正常运作。
云存储
云存储官方定义是一个以数据存储和管理为核心的云计算系统。
即是指通过集群应用、网格技术或分布式文机房集中监控系统件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云存储设备横向扩展的方式让存储系统具有了无限扩展的能力,能够实现控制器与硬盘的同时扩展,即性能与容量可以同时实现线性扩展,云存储一般可以分为私有云存储、公有云存储。
通过云存储模式,私有网络的资源和数据得到链接,并且这些资源和数据放到了公有云服务提供商共享公共网络上。这些数据一方面创造着无限价值,但是另一方面一旦发生某云计算平台泄漏了用户的数据隐私,或是数据在云端存储的过程中由于设备故障而导致大量丢失,亦或是数据在传输过程中被其他用户任意篡改,这种后果所造成的后果是难以估量的。因此,在云时代,关于这些方面的问题也是非常值得注意的。
目前,华为云正在云服务领域积极拓展,并向各大企业承诺三不原则,上不碰数据,下不碰应用,以及不做股权投资,并且其长期服务于大企业的经验以及具有自主研发优势的ICT技术,也令华为云拥有自身独特的市场竞争力,是目前国内领先的云服务提供商。
- ?
细数云计算产品和技术-云存储
Dempsey
展开
简介
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说,云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方,透过任何可连网的装置连接到云上方便地存取数据。
云存储不是存储,而是服务就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。
发展
宽带网络的发展
真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统,使用者需要通过ADSL、DDN等宽带接入设备来连接云存储。只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到云存储服务,否则只能是空谈。
WEB2.0技术
Web2.0 技术的核心是分享。只有通过web2.0技术,云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备,实现数据、文档、图片和视音频等内容的集中存储和资料共享。
应用存储
云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。
集群技术、网格技术和分布式文件系统
云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。
CDN内容分发、数据压缩技术
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证,想来也没有人敢用云存储,否则,保存的数据不是很快丢失了,就是全国人民都知道了。
存储虚拟化技术、存储网络化管理技术
云存储中的存储设备数量庞大且分布多在不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和 IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。
云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心,但对于云存储的运营单位来讲,却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。
应用场景
网络结构
云存储系统的结构模型由4层组成:
存储层
存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和 iSCSI等IP存储设备,也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。
基础管理层
基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。
应用接口层
应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。
访问层
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。
应用
核心技术
云计算系统的核心技术:并行计算。并行计算是指同时使用多种计算资源解决计算问题的过程。通过并行计算集群完成数据的处理,再将处理的结果返回给用户。
1、编程模式;
2、海量数据分布存储技术;
3、海量数据管理技术;
4、虚拟化技术;
5、云计算平台管理技术;
6、信息安全管理技术;
7、运维管理技术。
服务商
阿里云、七牛云、金山云、360云盘、EMC和百度云等等,提供专业的存储服务,公有云存储,私有云存储和混合云存储服务。
释放价值,分享知识和经验,解读IT前沿和技术。帮助他人,提升自己。更多交流请关注itboxes(IT智囊)。
注:图片来源于网络,如有异议,请联系我们,我们将即时处理。
- ?
云计算的公有云和私有云是什么?有什么区别?(干货)
不尤
展开
现在国家还是挺重视云计算的。为什么这么说呢?
因为工信部的规划中提到,我国云计算的产业规模在2019年将达到4300亿。
云计算究竟是什么呢?
云计算是共享经济的代表,主要利用互联网来共享计算设施、存储设备、应用程序资源,并且不受时间地点的限制。
云计算系统由云平台、云存储、云终端、云安全组成。
根据用户角度划分,云平台的类型主要有公有云、私有云和混合云。
根据服务层次,主要有IaaS、PaaS、SaaS三种,也就是基础设施、平台、软件。
云的储量灵活性和时间灵活性使得云的使用更加方便,只要笔记本联网开通了云服务,就可以拥有广阔的数据处理空间。
公有云目前发展较好的主要有亚马逊公有云、阿里云、腾讯云。用户注册账号,在提供云服务的网页点一下,就可以创建出一台虚拟电脑。
亚马逊的公有云算是全球老大,今年第三季度的财务中云服务成为亚马逊的业务支柱。
那么云服务器和云盘有什么区别呢?
用过云盘的朋友都知道,之前的360云盘本来很好用,但是某一天却宣布停止服务了。有些网盘存一些影视资源会被删除,提示违反互联网法规之类的。
用云服务器的话,数据才真的掌握在自己手里,不会被关停或者限速。
私有云是个人单独创建的专有资源,具有私人化的特点,可以有效控制数据、安全性、服务质量等。
对于企业来说,私有云具有更高的安全性和隐私性,可以定制解决方案,更充分地利用计算资源,减少能源消耗。同时,私有云的可靠性、云空间爆发和速度优势也被企业所看重。
私有云的缺点是价格较高,而相应的客户也比较有钱,更愿意为好的云服务付费。
- ?
云计算存储产品详解
春如旧
展开
云上存储产品主要有对象存储,块存储,网络文件系统(NAS),还有最赚钱的CDN,我们将针对这些主流产品,讲讲他们产品特点,有云上存储时候知道如何选型,当然我们是技术型作者也会简单讲讲实现思路,出于信息安全,不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统,我们也捎带说说存储祖师爷DFS。
Linux IO STACK
云计算本质就是单机计算能力的无限扩展,我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs,调度算法,块设备层,最终落盘:
(1)其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品
(2)VFS还有一个fuse文件系统,可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口,就可访问后端存储
(3)在设备层,通过扩展ISCSI网络协议,衍生出了块存储
存储产品架构流派
分层或平层:
如hbase,底层基于hdfs文件系统,hbase不用考虑replication,专注于自身领域问题 特点:大大降低开发成本,稳定性依赖底层存储,底层不稳定,上层遭殃。
竖井:
自己做replication,自己做副本recover,自己做写时recover master-slave体系架构
两层索引体系,解决lots of small file
第一层,master维护一个路由表,通过fileurl找到对应slave location(ip+port)
第二层,slave单机索引体系,找到具体的location,读出raw data DFS
特点:丰富类posix语意,特点Append-only存储,不支持pwrite
可能存在问题:
(1)Pb级别存储方案,非EB级别。 原因namenode集中式server,内存&qps瓶颈,bat体量公司需运维上百个集群
(2)默认三副本,成本高
(3)强一致写,慢节点问题
演进:
GFS2拆分了namenode,拆分成目录树,blockservice,外加ferdaration,但namespace集中式server缺陷依旧,同时切分image是要停服,水平扩展不是那么友好。
对象存储:
元数据管理
Blobstorage: blobid->[raw data]Metastore,aws s3又称为keymap,本质上是个kv系统。存储内容file_url->[blobid list]
I/O 路径
(1)httpserver收到muti-part form,收到固定大小raw data,切成K份等长条带
(2)条带做EC,生成(N-K)份编码块,共得到N份shard。现在的问题变成了这N份数据存哪
(3)客户端的代理继续向blobstorage申请一个全局的id,这个id代表了了后端实际node的地址,以及这个node管理的实际物理卷,我们的每个分片数据均等的存在这些物理卷上。
(4)分发写N份数据,满足安全副本数即可返回写成功,写失败的可延时EC方式修复
(5)httpserver将文件file及对应的分片列表以KV形式写入metastore。
特点:
基于http协议 ws服务,接口简单,put/get,延时高。 EB级别存储方案,适合云上产品形态。深度目录树变成两层目录结构(bucket+object)。
缺点:
posix语意接口太少,不提供append语意(其实是通过覆盖写提供),更别说随机写。
iscsi模型
与后端交互的的部分在内核实现,后端target解析iscsi协议并将请求映射到后端分布式存储
特点:
(1)绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统,而大多数主流文件系统的块大小是4KB,文件最小操作粒度是块,因此绝大多数的IO请求是4KB对齐的。
(2)强一致. 块设备必须提供强一致,即写返回后,能够读到写进去的数据。
(3)支持随机写,延时要低用户基于虚拟块设备构建文件系统(ext4),对于文件编辑操作很频繁,所以需要支持随机写。比NAS/Fuse类产品性能好,只hack块设备读写,上层dentry lookup还是走原来的IO path,没有像NAS/FUSE dentry的lookup发起多次rpc问题
(4)产品层面需要预先购买容量,扩容需要重新挂载,跟NAS比容易浪费空间
实现模型:
云盘逻辑卷按block切分,为了便于recover,按1G切分,第一层路由由blockManager管理,按volumeid+offset 映射到逻辑block,逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件(falloc,防止写过程中空间不够),称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上,很容易实现pwrite。当然也可以基于裸盘,在os看来是一个大文件,分割成不同的1G文件
IO路径:
块设备上层会有文件系统,经过io调度算法,合并io操作,isici协议发出的IO请求的都是对扇区LBA的操作,所以可以简单抽象成对于卷id加上偏移的操作,我们简单讲讲EBS(Elastic Block Store)层IO路径
(1)网络发出来的IO请求是针对volume+offerset操作,假定是个写请求
(2)通过blockManager查找到逻辑block
(3)在内存中找到block对应的物理地址(ip+port),block的replicationGroup
(4)使用业界通用复制链方式如raft协议向replicationGroup发送io请求,raft帮我们解决写时失败tuncate问题
(5)单节点接到IO请求,把LBA换算成真实的文件偏移,pwrite写下去
优化
a、可想而知,这种存储模型下,后端node会有大量的随机写,吞吐肯定不高,有很大的优化空间 可以通过类似LSM引擎方式,将随机写变成顺序写,读者可深入思考,本文不详细探讨了。
b、虚拟磁盘可以切条掉,相当于raid盘思路,单块盘的IO变成多多块盘,增大吞吐。
NAS
用户通过mount目录访问共享文件,mount点挂在的是一个NFS协议的文件系统,会通过tcp访问到NFS server。NFS server是一个代理,通过libcfs最终会访问到我们后端的存储系统。
后端存储系统
DS包含管理inode的metastore和datastore,metastore
我们充分吸取业界DFS缺点,解决Namenode集中式server瓶颈,充分考虑bigtable的各种优点。Metastore可基于分布式数据库(newsql),回想一下bigtable,一个用户的文件散落在多个tabletserver上,允许用户跨tabletserver rename操作,所以需要分布式事务完成上述保证,出于对DFS改进,我们把目录树持久化模仿linux fs dentry管理,映射规则如下两张表,dentry表和inode表,dentry表描述目录树,inode表描述文件block列表及atime,mtime,uid,gid等源信息,一般来讲硬链够用,该场景下dentry可以多份,共同指向一个inode。 dentry通过外健关联到inode表
比如lookup 子节点
SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID
datastore
特点:要求提供随机写,所以跟块存储EBS设计思路是一样的,大文件切块,按块组织,dataserver上有真实的物理block文件,提供pwrite操作。
特点
弹性容量,不限容量,多机挂载并行读写,IO线性增长,支持随机写比块存储优势在于用多少花多少,不需要提前申请容量,真弹性
缺点
vfs层 dentry lookup每个层级目录会发起rpc,延时高。
总结
- ?
云计算和云存储是什么关系?
花想容
展开
【云服务器】小鸟云服务器,纯SSD架构,行业领先的硬件计算能力,只需几分钟,便可轻松云端获取和启用,实现您的计算需求。可弹性扩展资源用量的同时,还能为您节约计算成本,简化IT运维工作,让您更专注于核心业务的创新。
现在的IT业界对于云计算的钟爱超过了以往的任何时候,云计算产业被认为是继大型计算机、个人计算机、互联网之后的 第四次IT产业革命。其实在某种的意义上云计算并不是一项全新的技术,是在信息化积累到一定的程度需要对于IT资源进行有效整合的客观需求催生的,因此在云计算整个的发展过程我们会看到过去很多看见过的技术跟应用模式。
云计算具体指的是IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务,这种服务可以是IT和软件、互联网相关,也可是其他服务。这是云计算的一个核心的概念,其实简单的理解就是将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。这种“云”服务,我们可以随时的享用,只是这种服务有偿的。
云存储,则是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。简单来说,就是一个以数据存储和管理为核心的云计算系统。
就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。从两者的关系来看,云存储和云计算之间的关系还是很好理解的,云存储和云计算相比较,可以认为是云存储配置了大容量存储空间的一个云计算系统。
未来云计算的应用会更加细致的深入到我们日常的生活中去,未来基于云计算的云存储会更加的深入到目前的移动互联行业,正如前面所说,云存储不是实物,而是服务,其在未来的市场潜力也将十分巨大。
- ?
一篇文章告诉你,云计算和云存储的关系
景明辉
展开
从目前的情况来看,IT业界已经可不开云计算的应用。云计算也被是第四次IT产业革命。但从一定的意义上来看,云计算算不上是一项全新的技术,它的存在主要源于信息化的积累以及IT资源有效整合的需求,这也就是我们为什么能在云计算发展的过程中能看到过去很多相似的技术。
云计算其实是指IT技术设施的交付和使拥模式,通过网络来进行服务。这中服务包含的是分广泛,可以是IT和软件、互联网相关的服务,也可以是其他类型的服务。简单点来说,就是将大量用网络连接的计算资源进行统一管理和调度。形成一个计算资源中心,为用户们提供多种服务。这提供资源的网络就被称作是“云”,而这种“云”服务是有偿的并且可以是随时随地享受。
而我们常说的云存储是根据云计算延伸出来的新概念,是指通过集群应用、网络技术、或分布式文件系统等功能,将网络网上各种不同的存储设备通过应用软件集起来进行协同工作,共同对外提供数据存储和业务访问功能的一个系统。从某种意义上来说,就是一个以数据存储和管理为核心的云计算系统。
但其实,云存储对于使用者来说,它已经不是一个设备了,而是有众多个存储设备和服务器所构成的集合体。同样,在使用者使用云存储时也不是在使用某一个设备,而是使用这个云存储系统带来的一种数据访问系统。所以从严格的角度来看,云存储它已经成为一种服务,而不是单纯的存储。这样云计算与云存储的关系就不难理解了,云存储相对于云计算来说,可以看作是一个拥有大容量空间的云计算系统。
云计算的应用已经渗透进我们生活的方方面面,如果以现在的发展速度来看,未来云计算可能会更加细致的深入到我们的日常生活中去。由于云存储方面的发展,可能会更加深入到目前的移动互联行业。就如本文中提到的,云存储是单纯的存储,而是一种服务,在未来必然会有更大的市场潜力。
- ?
云计算与云存储对比,具体是什么关系?
缪鸣凤
展开
Tips:“小鸟云”是深圳前海小鸟云计算有限公司旗下云计算品牌,国内领先的企业级云计算服务商。团队拥有多年行业经验,专注云计算技术研发,面向广大开发者、政企用户、金融机构等,提供基于智能云服务器的全方位云计算解决方案,为用户提供可信赖的企业级公有云服务。
现在的IT业界对于云集计算的钟爱超过了以往的任何时候,云计算产业被认为是继大型计算机、个人计算机、互联网之后的 第四次IT产业革命,IT行业进入云时代,对IT界的大小企业来说云计算就是一次炼狱。其实在某种的意义上云计算并不是一项全新的技术,是在信息化积累到一定的程度需要对于IT资源进行有效整合的客观需求催生的,因此在云计算整个的发展过程我们会看到过去很多看见过的技术跟应用模式。
云计算的概念现在已经很明晰,云计算之所以能够在最近几年快速兴起,是因为用户渴望能够充分利用IT资源来给业务提供即时按需的高效服务。云计算具体指的是:狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。
这是云计算的一个核心的概念,其实简单的理解就是将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。这种“云”服务,我们可以随时的享用,只是这种服务有偿的。
说了这么多的云计算究竟什么是云存储?究竟目前云存储发展到什么程度了?云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。
就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。
从两者的关系来看,云存储和云计算之间的关系还是很好理解的,云存储和云计算相比较,可以认为是云存储配置了大容量存储空间的一个云计算系统。
未来云计算的应用会更加细致的深入到我们日常的生活中去,未来基于云计算的云存储会更加的深入到目前的移动互联行业,而我们现在的智能有手机在未来将有一个具有大容量云端存储,正如前面所说的,云存储不是实物,是服务,未来市场潜力巨大。
云计算包括云存储
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并