【云服务器】小鸟云服务器，纯SSD架构，行业领先的硬件计算能力，只需几分钟，便可轻松云端获取和启用，实现您的计算需求。可弹性扩展资源用量的同时，还能为您节约计算成本，简化IT运维工作，让您更专注于核心业务的创新。

现在的IT业界对于云计算的钟爱超过了以往的任何时候，云计算产业被认为是继大型计算机、个人计算机、互联网之后的 第四次IT产业革命。其实在某种的意义上云计算并不是一项全新的技术，是在信息化积累到一定的程度需要对于IT资源进行有效整合的客观需求催生的，因此在云计算整个的发展过程我们会看到过去很多看见过的技术跟应用模式。

云计算具体指的是IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务，这种服务可以是IT和软件、互联网相关，也可是其他服务。这是云计算的一个核心的概念，其实简单的理解就是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。这种“云”服务，我们可以随时的享用，只是这种服务有偿的。

云存储，则是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。简单来说，就是一个以数据存储和管理为核心的云计算系统。

就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。从两者的关系来看，云存储和云计算之间的关系还是很好理解的，云存储和云计算相比较，可以认为是云存储配置了大容量存储空间的一个云计算系统。

未来云计算的应用会更加细致的深入到我们日常的生活中去，未来基于云计算的云存储会更加的深入到目前的移动互联行业，正如前面所说，云存储不是实物，而是服务，其在未来的市场潜力也将十分巨大。

云计算是什么？云计算与大数据要学啥？云计算的虚拟空间无限大，物联网和互联网产生的大量数据，要找一个地方集中存储和处理，就要用云来存储。比如我们平时手机或电脑存储空间不够的情况下，会把一些图片及视频存在云盘，云端。

云计算，简单说就是把你自己电脑里的或者公司服务器上的硬盘、CPU都放到网上，统一动态调用，现在最有名的云计算服务商是亚马逊的AWS。以前你要玩最新的大型3D游戏或者做了个大型3D动画需要渲染，首先想到的都是重新买一台更高配置电脑或者换个显卡等；

有了云计算之后，你只需要一台显示器，连到服务商的云计算平台上，如果想玩两天新游戏，就单独购买这两天的高配CPU和显卡，只付两天的钱，玩腻了就恢复成普通的配置；如果你今晚要做大量渲染，就买今晚几个小时的高配，第二天早上拿到成片，就可以恢复原来的配置。所有这些计算和渲染工作都在云计算服务商的数据中心统一完成，你只需要按小时甚至按分钟计费，不用再自己买电脑和服务器了。做云计算的服务商都会自建数据中心。

大数据，简单说，就是把所有的数据放到一起分析，找到关联，实现预测。这里的所有数据对应的是之前的抽样调研取得的部分数据。比如传统的市场调研方法，就是去大街上或者网上发问卷，能得到成百上千份结果就很不错了，或者邀请几个典型用户到会议室访谈一下；大数据的做法是把收集所有人的数据进行分析，把每个人都当做独立个体进行分析，而不是找群体特征。大数据的结果就是更精准，更细致，更个性化。

再比如我们经常会看一些现代谍战片，侦察部如何找到罪犯？就是通过全城监控录像，在海量数据中搜索一个人的面孔，犯罪分子只要出现在监控中都会保留一条数据及位置，从而更好地实施下一步方案，大大提高破案效率。这也是企业为什么在极力追捧云计算大数据技术。再比如京东、淘宝、今日头条、新浪、百度、网易、等购物网站，就是采用这种技术。今天看过或搜过的，下次再打开就会主动推送什么类型的文章。

简单的说大数据就是超级存储的意思，海量数据上传到云平台后，大数据就会对数据进行深入分析和挖掘。在在各行各业均存在大数据。比如天气预报，气象中心会通过卫星发送回气象局无数条关于空气温度、湿度、密度、空气微粒等的数据，运用大数据技术，从而分析判断出这些数据。得出天气状况、空气质量、温度及风量。再比如将几千辆车的数据位置信息综合起来分析出某条路的拥堵状况。大数据必须有云作为它的基础架构，才可以推广并体现出强大的实用价值。云计算和大数据是相辅相成的。

云计算最近的热闹不少。

8月5日，一家创业公司“前沿数控”发文，称其在腾讯云上数据全部丢失。之后腾讯云对此回应称，该事故是因所在物理硬盘固件版本bug导致的静默错误且运维人员存在不规范操作所导致，并表示了道歉与赔偿。

至此，在一年多的时间里，微软、AWS、阿里云、腾讯云等主要云计算服务商相继出现问题，这也让外界产生疑惑：云计算怎么了？

近些年，企业上云已成趋势，而云一旦出问题，很可能影响颇大；然而就像天底下没有不生病的人一样，云计算也自然也不可能百分之百完全不出问题。这次的腾讯云事件，刚好可以用来聊聊这个话题，让我们透视云计算平台与企业如何应对可能存在的问题。

没有绝对不出问题的云计算

但我们或许可以借此讨论这样一个问题：云计算平台不出错的理想情况，到底是否可能？

答案当然是否定的，任何云计算平台都有发生事故的可能。云计算本身是一种本地存储与运算的替代方案，所以本地计算可能出现的软硬件问题，也将映射到云计算体系中。

当然，随着云计算技术的不断进步以及产业服务能力增强，今天我们看到云计算应对风险的技术解决能力、容灾能力、应急冗余能力都在提高。

但同时也应该看到，云计算的另一面，是体系复杂化、碎片化的业务需求，更加复杂的云计算应用体系以及云计算+AI、云计算+IoT等新业务种类，导致出现风险的场景更多。比如去年英国一个移动应用企业发生了数据崩溃，原因在于企业员工违规收取了邮件，最终导致云存储数据被大规模劫持。

不过从另外一个角度来看，云厂商提供给用户的真正有价值的服务并不是一个一定不会出问题的服务，而是让企业可以低成本快速的搭建一个服务冗余、一定容灾的架构的能力。从腾讯云的案例中我们可以看到，云计算的问题可能很复杂，而平台的处理能力是解决问题的第一方案。

出现了问题，云计算平台如何应对？

让我们回顾一下腾讯云这次事件中，数据丢失到底因何发生：

根据腾讯云方面的技术复盘，该故障缘起于因磁盘静默错误导致的单副本数据错误，再加上数据迁移过程中的两次不规范的操作，导致云盘的三副本安全机制失效，并最终导致客户数据完整性受损。具体原因是，是因为运维人员在收到仓库空间使用率过高警告后，准备发起搬迁扩容。在搬迁国产中，为了加快速度，手动关闭了迁移过程中的数据校验。而在搬迁完成后，运维人员将出事故云盘访问切至新仓库，同时为了释放空间，对原仓库中的源数据发起了回收操作，之后发现部分云盘出现IO异常。

本次事故起源自因磁盘静默错误导致的单副本数据错误，再由于数据迁移过程中的不规范操作，导致异常数据扩散至三副本，进而导致客户数据完整性受损。

腾讯云已经正式道歉，并从技术角度坦诚了相关问题的存在。

由于云计算事故的问题，往往来自复合型问题、细节问题。而往往平台讳莫如深，甚至想要撇清责任，是导致事件复杂化的直接原因。而腾讯云此次的坦诚方案，在业界还是收获了一定的肯定

而通过腾讯云的事件，我们可以看到真正能够有效降低云计算故障的方法，是在出事前进行干预。比如说：

1、搭建应急预案，不断更新容灾技术与容灾机制，可以在出现问题时快速、低成本搭建应急架构。这是云计算平台应对可能事故的核心，而容灾机制与技术的双重保障，也是云服务品牌的核心竞争力。

2、规范化管理流程，尤其涉及数据问题时的人工操作流量。腾讯云事件中可以看出，人为不规范操作是造成很多重大损失的起因。而严格的流程化和去人工可能是较好的解决方案。

保障数据，企业用户也需配合

云计算平台自然也不是万能的。对于用户来说，选择合理的服务体系、积极做好兀余和备份工作，是进一步降低风险的举措。

另一方面，云计算服务中还有一项功能，叫做云盘快照。也就是企业可以定期来复制备份自己的数据，作为应对可能性事故的备案。而恰好腾讯云还是少数定期提供免费快照功能的云平台，为避免企业数据丢失，还是应该积极使用类似备份功能，保证自身数据的安全存放。

同时，对于核心数据来说，本地存放与云存储兼顾，是公认的更良性策略。

目前，出于市场业务细分化的需要，所有云计算平台都在提供更细节化、碎片化的服务选项。但很多时候企业并不能为了节约成本而购买单一服务，而是需要设置符合自身发展需求的云计算策略，并做好重要数据本地备份。

毕竟，狡兔三窟总归不是错误。

合理用云，前提是正确认识云

综上所述，我们可以发现，为了解决类似问题，需要云计算平台、企业客户，包括行业监管、法规定制等方向的共同努力。我们可以从以下几个方面，看到未来化解类似矛盾的可能：

1、技术层面，更加简便优质的容灾备份服务显然是主流。而在今天快速迭代的云计算体系中，通过技术保障进一步加强企业数据保障并不是奢望。而更加扎实的平台管理能力，和快速调查事故原因的能力与执行规则，也是平台企业未来需要提供的用户价值。

2、权责分明的服务关系。类似案件中，平台故障当然是主因。但企业事故也可能最终导致数据危险。

因此，平台方向企业方提供明确的风险提示，并建议做好关键数据备份；企业方购买符合自身发展需求，较为合理的云计算业务体系，都是避免最终矛盾的解决方案。另外很多云计算业务，其实都来自企业应用层面的问题，那么责权如何进一步划分，也是应该解决的问题。

平台与用户双方，能够达成策略性预见，给予对方足够的尊重，并一切有规可循，才是类似问题的最终解决办法。

一棍子打死云计算，或者把云计算捧杀到万能的地步，事实上都是毫无益处的。

简介

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

云存储不是存储，而是服务就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

发展

宽带网络的发展

真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备来连接云存储。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务，否则只能是空谈。

WEB2.0技术

Web2.0 技术的核心是分享。只有通过web2.0技术，云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。

应用存储

云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。

集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。

CDN内容分发、数据压缩技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，想来也没有人敢用云存储，否则，保存的数据不是很快丢失了，就是全国人民都知道了。

存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（如FC存储和 IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。

云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心，但对于云存储的运营单位来讲，却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此，云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台，可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。

应用场景

网络结构

云存储系统的结构模型由4层组成：

存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

基础管理层

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

应用接口层

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。

访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。

应用

核心技术

云计算系统的核心技术：并行计算。并行计算是指同时使用多种计算资源解决计算问题的过程。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。

1、编程模式；

2、海量数据分布存储技术；

3、海量数据管理技术；

4、虚拟化技术；

5、云计算平台管理技术；

6、信息安全管理技术；

7、运维管理技术。

服务商

阿里云、七牛云、金山云、360云盘、EMC和百度云等等，提供专业的存储服务，公有云存储，私有云存储和混合云存储服务。

释放价值，分享知识和经验，解读IT前沿和技术。帮助他人，提升自己。更多交流请关注itboxes（IT智囊）。

注：图片来源于网络，如有异议，请联系我们，我们将即时处理。

从目前的情况来看，IT业界已经可不开云计算的应用。云计算也被是第四次IT产业革命。但从一定的意义上来看，云计算算不上是一项全新的技术，它的存在主要源于信息化的积累以及IT资源有效整合的需求，这也就是我们为什么能在云计算发展的过程中能看到过去很多相似的技术。

云计算其实是指IT技术设施的交付和使拥模式，通过网络来进行服务。这中服务包含的是分广泛，可以是IT和软件、互联网相关的服务，也可以是其他类型的服务。简单点来说，就是将大量用网络连接的计算资源进行统一管理和调度。形成一个计算资源中心，为用户们提供多种服务。这提供资源的网络就被称作是“云”，而这种“云”服务是有偿的并且可以是随时随地享受。

而我们常说的云存储是根据云计算延伸出来的新概念，是指通过集群应用、网络技术、或分布式文件系统等功能，将网络网上各种不同的存储设备通过应用软件集起来进行协同工作，共同对外提供数据存储和业务访问功能的一个系统。从某种意义上来说，就是一个以数据存储和管理为核心的云计算系统。

但其实，云存储对于使用者来说，它已经不是一个设备了，而是有众多个存储设备和服务器所构成的集合体。同样，在使用者使用云存储时也不是在使用某一个设备，而是使用这个云存储系统带来的一种数据访问系统。所以从严格的角度来看，云存储它已经成为一种服务，而不是单纯的存储。这样云计算与云存储的关系就不难理解了，云存储相对于云计算来说，可以看作是一个拥有大容量空间的云计算系统。

云计算的应用已经渗透进我们生活的方方面面，如果以现在的发展速度来看，未来云计算可能会更加细致的深入到我们的日常生活中去。由于云存储方面的发展，可能会更加深入到目前的移动互联行业。就如本文中提到的，云存储是单纯的存储，而是一种服务，在未来必然会有更大的市场潜力。

随着互联网信息技术的发展，如今的社会和人际圈已然成为一个信息化的圈子，而基于这些信息和技术所建立起来的信息系统正改变着人们的工作和生活方式，至今，大数据已经逐渐开始形成。

大数据存储备份

然而凡事都有两面性，云时代大数据的到来给我们的工作生活带来了无数的方便，可与之对应的是信息和网络安全的脆弱性。根据美国FBI统计，每年因为信息和网络安全问题所造成的损失高达75亿美元，并且还在上升。而数据作为信息的表达形式，它的完整性与安全性问题就成了系统安全的重要问题。以美国为首的发达国家都非常重视数据备份技术，而且将其充分的利用起来，以NETAPP公司为首的一些数据备份恢复公司，将美国的大部分企业都进行了数据安全保护，服务器的连接已经达到60%之多，可是反观国内，只有15%，甚至更低的服务器连有设备，这也就意味着，85%以上的服务器中的数据，随时都有着被窃取和破坏的危险。

大数据的脆弱性

这里再普及一下，很多人都把双机热备份、磁盘阵列备份以及磁盘镜像等备份硬件备份和数据存储备份相提并论，实际上所有的硬件备份都不能代替数据存储备份。大家要知道的是，拷贝不等于系统备份，因为系统的重要信息无法用拷贝的方法备份下来，而硬件备份对于人为的错误操作，便导致数据丢失。甚至严重的话，如果有电源故障、自然灾害的情况、病毒侵袭等，引起的后果不堪设想，所有的系统瘫痪，设备无法正常运行，所有的数据都会在一瞬间丢失。

大数据的灾备

关于灾备，有一份来自IDC的统计数据显示，1990-2000年发生灾难导致数据丢失的公司，能够生存下来的只有16%，美国明尼苏达大学研究报告显示，发生数据丢失的公司如果无法快速恢复数据，75%的公司业务将会停顿，45%的公司将倒闭破产。

所以说数据存储和备份是非常有必须要的，而数据的存储和备份往往也离不开软件系统和硬件的相辅相成。据爱科赛尔大数据负责人赵利林讲到：“目前国内主流的就是磁盘阵列一体机，小空间、大容量、低能耗，每个磁盘阵列的最大容量高达96TB，工业平均使用寿命长达180年，数据传输速率达12GBPS。”同时为了实现大数据的增量备份与恢复，系统可配置备份服务器地址和备份时间的间隔，并可在任意时刻输入备份命令开始进行备份，同时在指定的时间间隔进行快速增量备份，数据块备份过程中能够通过重复数据删除减少网络传输，支持对任意版本的数据快速恢复。

随着大数据技术的发展以及应用需求的不断扩展和变大，大数据灾备的方案也会越来越多和完善。只有在企业有了充分的数据重要性认知的情况下，我们的数据存储和备份才会发挥到淋漓尽致。

Tips：“小鸟云”是深圳前海小鸟云计算有限公司旗下云计算品牌，国内领先的企业级云计算服务商。团队拥有多年行业经验，专注云计算技术研发，面向广大开发者、政企用户、金融机构等，提供基于智能云服务器的全方位云计算解决方案，为用户提供可信赖的企业级公有云服务。

现在的IT业界对于云集计算的钟爱超过了以往的任何时候，云计算产业被认为是继大型计算机、个人计算机、互联网之后的 第四次IT产业革命，IT行业进入云时代，对IT界的大小企业来说云计算就是一次炼狱。其实在某种的意义上云计算并不是一项全新的技术，是在信息化积累到一定的程度需要对于IT资源进行有效整合的客观需求催生的，因此在云计算整个的发展过程我们会看到过去很多看见过的技术跟应用模式。

云计算的概念现在已经很明晰，云计算之所以能够在最近几年快速兴起，是因为用户渴望能够充分利用IT资源来给业务提供即时按需的高效服务。云计算具体指的是：狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。

这是云计算的一个核心的概念，其实简单的理解就是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。这种“云”服务，我们可以随时的享用，只是这种服务有偿的。

说了这么多的云计算究竟什么是云存储？究竟目前云存储发展到什么程度了？云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。

从两者的关系来看，云存储和云计算之间的关系还是很好理解的，云存储和云计算相比较，可以认为是云存储配置了大容量存储空间的一个云计算系统。

未来云计算的应用会更加细致的深入到我们日常的生活中去，未来基于云计算的云存储会更加的深入到目前的移动互联行业，而我们现在的智能有手机在未来将有一个具有大容量云端存储，正如前面所说的，云存储不是实物，是服务，未来市场潜力巨大。

每次谈起大数据就会聊到云计算，好像两者总是分不开的。下面就来聊聊一些云计算与数据管理的内容。这次内容非常浅显，非计算机专业也可以看到，是一些理论性的东西，是为了说明A是A的概念。

天气越来越热，容易心烦气躁。大计未成，不可懈怠啊。我不是贩卖焦虑，只是这些东西越早了解越好。话止于此。看各位造化。

（一）云计算基本概念

云计算（Cloud Ccomputing），分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。

（二）云计算出现的背景

云计算是继1980年代大型计算机到客户端—服务器的大转变之后的又一种巨变。

云计算（Cloud Computing）是分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机和网络技术发展融合的产物。

云计算主要经历了四个阶段才发展到现在这样比较成熟的水平，这四个阶段依次：

第一阶段：电厂模式阶段

第二阶段：效用计算阶段

第三阶段：网格计算阶段

第四阶段：云计算阶段

（三）云计算关键技术

（1）数据存储技术

云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有分布式、高吞吐率和高传输率的特点。

（2）数据管理技术

云计算的特点是对海量的数据存储、读取后进行大量的分析，如何提高数据的更新速率以及进一步提高随机读取速率是未来的数据管理技术必须解决的问题。

云上存储产品主要有对象存储，块存储，网络文件系统（NAS），还有最赚钱的CDN，我们将针对这些主流产品，讲讲他们产品特点，有云上存储时候知道如何选型，当然我们是技术型作者也会简单讲讲实现思路，出于信息安全，不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统，我们也捎带说说存储祖师爷DFS。

Linux IO STACK

云计算本质就是单机计算能力的无限扩展，我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs，调度算法，块设备层，最终落盘：

（1）其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品

（2）VFS还有一个fuse文件系统，可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口，就可访问后端存储

（3）在设备层，通过扩展ISCSI网络协议，衍生出了块存储

存储产品架构流派

分层或平层:

如hbase，底层基于hdfs文件系统，hbase不用考虑replication，专注于自身领域问题 特点：大大降低开发成本，稳定性依赖底层存储，底层不稳定，上层遭殃。

竖井:

自己做replication，自己做副本recover，自己做写时recover master-slave体系架构

两层索引体系，解决lots of small file

第一层，master维护一个路由表，通过fileurl找到对应slave location（ip+port）

第二层，slave单机索引体系，找到具体的location，读出raw data DFS

特点:丰富类posix语意，特点Append-only存储，不支持pwrite

可能存在问题:

（1）Pb级别存储方案，非EB级别。 原因namenode集中式server，内存&qps瓶颈，bat体量公司需运维上百个集群

（2）默认三副本，成本高

（3）强一致写，慢节点问题

演进:

GFS2拆分了namenode，拆分成目录树，blockservice，外加ferdaration，但namespace集中式server缺陷依旧，同时切分image是要停服，水平扩展不是那么友好。

对象存储:

元数据管理

Blobstorage： blobid->[raw data]Metastore，aws s3又称为keymap，本质上是个kv系统。存储内容file_url->[blobid list]

I/O 路径

（1）httpserver收到muti-part form,收到固定大小raw data，切成K份等长条带

（2）条带做EC，生成（N-K）份编码块，共得到N份shard。现在的问题变成了这N份数据存哪

（3）客户端的代理继续向blobstorage申请一个全局的id，这个id代表了了后端实际node的地址，以及这个node管理的实际物理卷，我们的每个分片数据均等的存在这些物理卷上。

（4）分发写N份数据，满足安全副本数即可返回写成功，写失败的可延时EC方式修复

（5）httpserver将文件file及对应的分片列表以KV形式写入metastore。

特点:

基于http协议 ws服务，接口简单，put/get，延时高。 EB级别存储方案，适合云上产品形态。深度目录树变成两层目录结构（bucket+object）。

缺点:

posix语意接口太少，不提供append语意（其实是通过覆盖写提供），更别说随机写。

iscsi模型

与后端交互的的部分在内核实现，后端target解析iscsi协议并将请求映射到后端分布式存储

特点：

（1）绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统，而大多数主流文件系统的块大小是4KB，文件最小操作粒度是块，因此绝大多数的IO请求是4KB对齐的。

（2）强一致. 块设备必须提供强一致，即写返回后，能够读到写进去的数据。

（3）支持随机写，延时要低用户基于虚拟块设备构建文件系统（ext4），对于文件编辑操作很频繁，所以需要支持随机写。比NAS/Fuse类产品性能好，只hack块设备读写，上层dentry lookup还是走原来的IO path，没有像NAS/FUSE dentry的lookup发起多次rpc问题

（4）产品层面需要预先购买容量，扩容需要重新挂载，跟NAS比容易浪费空间

实现模型：

云盘逻辑卷按block切分，为了便于recover，按1G切分，第一层路由由blockManager管理，按volumeid+offset 映射到逻辑block，逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件（falloc，防止写过程中空间不够)，称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上，很容易实现pwrite。当然也可以基于裸盘，在os看来是一个大文件，分割成不同的1G文件

IO路径：

块设备上层会有文件系统，经过io调度算法，合并io操作，isici协议发出的IO请求的都是对扇区LBA的操作，所以可以简单抽象成对于卷id加上偏移的操作，我们简单讲讲EBS（Elastic Block Store）层IO路径

（1）网络发出来的IO请求是针对volume+offerset操作，假定是个写请求

（2）通过blockManager查找到逻辑block

（3）在内存中找到block对应的物理地址（ip+port），block的replicationGroup

（4）使用业界通用复制链方式如raft协议向replicationGroup发送io请求，raft帮我们解决写时失败tuncate问题

（5）单节点接到IO请求，把LBA换算成真实的文件偏移，pwrite写下去

优化

a、可想而知，这种存储模型下，后端node会有大量的随机写，吞吐肯定不高，有很大的优化空间 可以通过类似LSM引擎方式，将随机写变成顺序写，读者可深入思考，本文不详细探讨了。

b、虚拟磁盘可以切条掉，相当于raid盘思路，单块盘的IO变成多多块盘，增大吞吐。

NAS

用户通过mount目录访问共享文件，mount点挂在的是一个NFS协议的文件系统，会通过tcp访问到NFS server。NFS server是一个代理，通过libcfs最终会访问到我们后端的存储系统。

后端存储系统

DS包含管理inode的metastore和datastore，metastore

我们充分吸取业界DFS缺点，解决Namenode集中式server瓶颈，充分考虑bigtable的各种优点。Metastore可基于分布式数据库（newsql），回想一下bigtable，一个用户的文件散落在多个tabletserver上，允许用户跨tabletserver rename操作，所以需要分布式事务完成上述保证，出于对DFS改进，我们把目录树持久化模仿linux fs dentry管理，映射规则如下两张表，dentry表和inode表，dentry表描述目录树，inode表描述文件block列表及atime，mtime，uid，gid等源信息，一般来讲硬链够用，该场景下dentry可以多份，共同指向一个inode。 dentry通过外健关联到inode表

比如lookup 子节点

SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID

datastore

特点：要求提供随机写，所以跟块存储EBS设计思路是一样的，大文件切块，按块组织，dataserver上有真实的物理block文件，提供pwrite操作。

特点

弹性容量，不限容量，多机挂载并行读写，IO线性增长，支持随机写比块存储优势在于用多少花多少，不需要提前申请容量，真弹性

缺点

vfs层 dentry lookup每个层级目录会发起rpc，延时高。

总结