近年来，大数据产业的蓬勃发展，不但对人类的日常工作和生活都产生了极大的影响，并且还将在未来的世界中扮演更为关键的作用。

根据国际数据公司IDC预测，到2025 年，全球数据规模将增长到163ZB。这些数据蕴含着独特的用户体验和更多全新的商业机会，应当如何有效地存储并利用这些海量的数据，对于企业而言也变得至关重要。

面对大数据行业潜在的巨大商机，云计算服务提供商京东云和存储解决方案提供商希捷科技，选择了以强强联合的方式来更好地提升用户体验。

2018年9月6日，京东云宣布与希捷科技建立全面战略合作伙伴关系。京东集团副总裁、京东云战略合作部负责人王培暖与希捷科技全球副总裁暨中国区总裁孙丹在现场签署了战略合作协议，京东云总裁申元庆、希捷科技全球销售和销售运营高级副总裁B.S Teh等一众高管见证了这一历史时刻。

根据这份战略合作协议，京东云和希捷同意按照市场化原则在云计算、存储技术、电商等领域开展广泛而深入的全面战略合作，结合双方的优质技术与资源，共同开拓创新，促进双方战略合作目标的实现。

京东云拥有全球领先的云计算技术和完整的服务平台。自2016年投入商用以来，京东云迅速形成了从基础平台搭建、业务咨询规划，到业务平台建设及运营等全产业链的云生态格局。同时，京东云依托京东集团在云计算、大数据、物联网和移动互联网应用等多方面的长期业务实践和技术积淀，打造社会化的云服务平台，向全社会提供安全、专业、稳定、便捷的云计算专业服务。

此次签署战略合作协议，双方将深化现有产品线的合作，增加产品品类的丰富度，推进大容量、差异化产品的引入，对高品质客户进行引导和教育，并设立联合实验室研发创新存储技术，例如HAMR、双读写臂、SSD、硬盘健康管理等技术。在高速存储前沿领域，特别是SSD、NVMe、PCI-e开展战略合作，建立完整产品生态，借助京东集团优质的市场资源对产品进行定向推广，并向全国潜在客户进行宣传，大幅度提升产品销量，增加双方行业口碑和知名度。此外，双方还将加强电商领域的战略升级合作，在一定的场景下给与最优质的电商资源倾斜。

声音：

“京东与希捷合作由来已久，此前已在产品定制、智能供应链以及集成产品等方面有过多次成功的合作经验。此次战略合作以京东云创新技术平台为基础，搭建希捷机器学习平台，能够安全高效地帮助客户使用京东云，降低用户上云成本。我们期待通过双方优势资源的整合和协作，提升双方在各自领域的市场美誉度和品牌影响力，持续为客户提供更加优质的产品和服务。”

——京东云总裁 申元庆

“希捷科技拥有庞大的用户群体，其中蕴藏着大量的数据备份和共享的需求。结合京东云在云端的高品质云存储服务，构建‘希捷线下 + 京东云线上混合云’存储方案，可以安全、高效的满足客户需求，提升终端用户的使用体验，增强用户对希捷和京东的品牌忠诚度，促进京东云云存储服务的市场覆盖率，同时拓展希捷科技云端业务新通路。”

——希捷科技全球副总裁暨中国区总裁 孙丹

云计算的“横空出世”让很多人将其视为一项全新的技术，但事实上它的雏形已出现多年，只是最近几年才开始取得相对较快的发展。确切地说，云计算是大规模分布式计算技术及其配套商业模式演进的产物，它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展。近些年来，托管、后向收费、按需交付等商业模式的演进也加速了云计算市场的转折。云计算不仅改变了信息提供的方式，也颠覆了传统ICT系统的交付模式。与其说云计算是技术的创新，不如说云计算是思维和商业模式的转变。

下面详细谈一谈云计算的核心技术。

云计算是一种以数据和处理能力为中心的密集型计算模式，它融合了多项ICT技术，是传统技术“平滑演进”的产物。其中以虚拟化技术、分布式数据存储技术、编程模型、大规模数据管理技术、分布式资源管理、信息安全、云计算平台管理技术、绿色节能技术最为关键。

1、虚拟化技术

虚拟化是云计算最重要的核心技术之一，它为云计算服务提供基础架构层面的支撑，是ICT服务快速走向云计算的最主要驱动力。可以说，没有虚拟化技术也就没有云计算服务的落地与成功。随着云计算应用的持续升温，业内对虚拟化技术的重视也提到了一个新的高度。与此同时，我们的调查发现，很多人对云计算和虚拟化的认识都存在误区，认为云计算就是虚拟化。事实上并非如此，虚拟化是云计算的重要组成部分但不是全部。

从技术上讲，虚拟化是一种在软件中仿真计算机硬件，以虚拟资源为用户提供服务的计算形式。旨在合理调配计算机资源，使其更高效地提供服务。它把应用系统各硬件间的物理划分打破，从而实现架构的动态化，实现物理资源的集中管理和使用。虚拟化的最大好处是增强系统的弹性和灵活性，降低成本、改进服务、提高资源利用效率。

从表现形式上看，虚拟化又分两种应用模式。一是将一台性能强大的服务器虚拟成多个独立的小服务器，服务不同的用户。二是将多个服务器虚拟成一个强大的服务器，完成特定的功能。这两种模式的核心都是统一管理，动态分配资源，提高资源利用率。在云计算中，这两种模式都有比较多的应用。

2、分布式数据存储技术

云计算的另一大优势就是能够快速、高效地处理海量数据。在数据爆炸的今天，这一点至关重要。为了保证数据的高可靠性，云计算通常会采用分布式存储技术，将数据存储在不同的物理设备中。这种模式不仅摆脱了硬件设备的限制，同时扩展性更好，能够快速响应用户需求的变化。

分布式存储与传统的网络存储并不完全一样，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

在当前的云计算领域，Google的GFS和Hadoop开发的开源系统HDFS是比较流行的两种云计算分布式存储系统。

GFS（Google File System）技术：谷歌的非开源的GFS（GoogleFile System） 云计算平台满足大量用户的需求，并行地为大量用户提供服务。使得云计算的数据存储技术具有了高吞吐率和高传输率的特点。

HDFS（Hadoop Distributed File System）技术：大部分ICT厂商，包括Yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高I/O速率等方面。

3、编程模式

从本质上讲，云计算是一个多用户、多任务、支持并发处理的系统。高效、简捷、快速是其核心理念，它旨在通过网络把强大的服务器计算资源方便地分发到终端用户手中，同时保证低成本和良好的用户体验。在这个过程中，编程模式的选择至关重要。云计算项目中分布式并行编程模式将被广泛采用。

分布式并行编程模式创立的初衷是更高效地利用软、硬件资源，让用户更快速、更简单地使用应用或服务。在分布式并行编程模式中，后台复杂的任务处理和资源调度对于用户来说是透明的，这样用户体验能够大大提升。MapReduce是当前云计算主流并行编程模式之一。MapReduce模式将任务自动分成多个子任务，通过Map和Reduce两步实现任务在大规模计算节点中的高度与分配。

MapReduce是Google开发的java、Python、C++编程模型，主要用于大规模数据集（大于1TB）的并行运算。 MapReduce模式的思想是将要执行的问题分解成Map（映射）和Reduce（化简）的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。

4、大规模数据管理

处理海量数据是云计算的一大优势。那么如何处理则涉及到很多层面的东西，因此高效的数据处理技术也是云计算不可或缺的核心技术之一。对于云计算来说，数据管理面临巨大的挑战。云计算不仅要保证数据的存储和访问，还要能够对海量数据进行特定的检索和分析。由于云计算需要对海量的分布式数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。

Google的BT（BigTable）数据管理技术和Hadoop团队开发的开源数据管理模块HBase是业界比较典型的大规模数据管理技术。

BT（BigTable）数据管理技术：BigTable是非关系的数据库，是一个分布式的、持久化存储的多维度排序Map.BigTable建立在 GFS, Scheduler, Lock Service和MapReduce之上，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。 Bigtable的设计目的是可靠的处理PB级别的数据，并且能够部署到上千台机器上。

开源数据管理模块HBase:HBase是Apache的Hadoop项目的子项目，定位于分布式、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。作为高可靠性分布式存储系统，HBase在性能和可伸缩方面都有比较好的表现。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

5、分布式资源管理

云计算采用了分布式存储技术存储数据，那么自然要引入分布式资源管理技术。在多节点的并发执行环境中，各个节点的状态需要同步，并且在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响。而分布式资源管理系统恰是这样的技术，它是保证系统状态的关键。

另外，云计算系统所处理的资源往往非常庞大，少则几百台服务器，多则上万台，同时可能跨跃多个地域。且云平台中运行的应用也是数以千计，如何有效地管理这批资源，保证它们正常提供服务，需要强大的技术支撑。因此，分布式资源管理技术的重要性可想而知。

全球各大云计算方案/服务提供商们都在积极开展相关技术的研发工作。其中Google内部使用的Borg技术很受业内称道。另外，微软、IBM、Oracle/Sun等云计算巨头都有相应解决方案提出。

6、信息安全

调查数据表明，安全已经成为阻碍云计算发展的最主要原因之一。数据显示，32%已经使用云计算的组织和45%尚未使用云计算的组织的ICT管理将云安全作为进一步部署云的最大障碍。因此，要想保证云计算能够长期稳定、快速发展，安全是首要需要解决的问题。

事实上，云计算安全也不是新问题，传统互联网存在同样的问题。只是云计算出现以后，安全问题变得更加突出。在云计算体系中，安全涉及到很多层面，包括网络安全、服务器安全、软件安全、系统安全等等。因此，有分析师认为，云安全产业的发展，将把传统安全技术提到一个新的阶段。

现在，不管是软件安全厂商还是硬件安全厂商都在积极研发云计算安全产品和方案。包括传统杀毒软件厂商、软硬防火墙厂商、IDS/IPS厂商在内的各个层面的安全供应商都已加入到云安全领域。相信在不久的将来，云安全问题将得到很好的解决.

7、云计算平台管理

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效地管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。云计算系统的平台管理技术，需要具有高效调配大量服务器资源，使其更好协同工作的能力。其中，方便地部署和开通新业务、快速发现并且恢复系统故障、通过自动化、智能化手段实现大规模系统可靠的运营是云计算平台管理技术的关键。

对于提供者而言，云计算可以有三种部署模式，即公共云、私有云和混合云。三种模式对平台管理的要求大不相同。对于用户而言，由于企业对于ICT资源共享的控制、对系统效率的要求以及ICT成本投入预算不尽相同，企业所需要的云计算系统规模及可管理性能也大不相同。因此，云计算平台管理方案要更多地考虑到定制化需求，能够满足不同场景的应用需求。

包括Google、IBM、微软、Oracle/Sun等在内的许多厂商都有云计算平台管理方案推出。这些方案能够帮助企业实现基础架构整合、实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，让企业云计算平台价值得以充分发挥。

8、绿色节能技术

节能环保是全球整个时代的大主题。云计算也以低成本、高效率着称。云计算具有巨大的规模经济效益，在提高资源利用效率的同时，节省了大量能源。绿色节能技术已经成为云计算必不可少的技术，未来越来越多的节能技术还会被引入云计算中来。

Carbon Disclosure Project（碳排放披露项目，简称CDP）近日发布了一项有关云计算有助于减少碳排放的研究报告。报告指出，迁移至云的美国公司每年就可以减少碳排放8570万吨，这相当于2亿桶石油所排放出的碳总量。

总之，云计算服务提供商们需要持续改善技术，让云计算更绿色。

新霸哥发现目前信息量高速增长的今天，IT行业正在面临着空间和成本等资源的巨大压力，但是随着这些需求的日益增长，在行业中出现了一类全新的解决方案，通过云计算技术对数据中心进行改造。要获得云计算的优势，必须在it基础设施中部署一套明确定义的开发标准。

虚拟化技术

虚拟化是表示计算机资源的逻辑组的过程，这样就可以从原始的配置中获益的方式来访问它们。一般将虚拟化技术分成软件虚拟化、系统虚拟化和基础设施虚拟化三大类。通常情况下这种新的虚拟化视图不受时限、地理位置等等物理配置的限制。

软件虚拟化是针对软件环境的虚拟化技术，应用虚拟化就是其中的一种。应用虚拟化分离了应用程序的计算逻辑和显示逻辑，也就是我们常说的界面抽象化，而不是在用户端安装软件，能够给用户的一种感觉就是像在本地运行应用程序一样。

系统虚拟化最为常见的就是使用虚拟化软件在一台物理机上虚拟出一台或者多台相互独立的虚拟机。我们经常用到的服务器虚拟化就属于系统虚拟化，它是在一台物理机上运行多个虚拟机，各个虚拟机之间独立运行。

基础设施虚拟化一般包含网络虚拟化和存储虚拟化等等，存储虚拟化是指为物理存储设备提供抽象的逻辑视图，而用户通过这个视图中的统一逻辑接口去访问被整合在一起的存储资源。新霸哥发现网络虚拟化就是将软件资源和网络的硬件整合起来，为用户提供虚拟的网络连接服务，最为常见的就是虚拟专用网（VPN）以及虚拟局域网（VLAN）。

新霸哥还发现目前有三种最为常见的虚拟化技术，分别是VMware Infrastructure、Xen和KVM。其中VM是企业实施云计算常用的一种模式，Xen是一个开源的GPL项目，有XenSource所管理。KVM是基于Linux内核的虚拟机。

数据存储技术

云计算一般都会采用分布式的存储方式来存储数据的。云计算的数据存储主要用到谷歌的非开源的GFS和Hadoop开发团队开发的GFS的开源实现HDFS。实际的应用中很多的IT厂商都会使用HDFS的数据存储技术。

GFS系统是采用一个Master和大量块服务器构成，客户端不通过Master读取数据，可以避免大量的读操作是Master成为系统瓶颈。客户端从Master获取目标数据块的位置信息后，直接的和块服务器交互进行读操作。

HDFS被设计在可以部署在大量的廉价的硬件上，使用于大数据集应用程序的分布式文件系统，具有高容错、高吞吐率等优点。

键值存储

键值存储系统的目的就是存储海量半结构化和非结构化的数据，解决的一个问题就是数据量和用户规模的不断扩展。对于传统的数据库来说是完全不能实现的事情在键值存储系统中能够实现。

资源管理技术

资源的统一管理，对网络、内存等等都可以在一起管理的不需要一个一个的去管理。好了，新霸哥今天就写到这里了，更多的云计算技术欢迎大家关注新霸哥。

Tips：“小鸟云”是深圳前海小鸟云计算有限公司旗下云计算品牌，国内领先的企业级云计算服务商。团队拥有多年行业经验，专注云计算技术研发，面向广大开发者、政企用户、金融机构等，提供基于智能云服务器的全方位云计算解决方案，为用户提供可信赖的企业级公有云服务。

现在的IT业界对于云集计算的钟爱超过了以往的任何时候，云计算产业被认为是继大型计算机、个人计算机、互联网之后的 第四次IT产业革命，IT行业进入云时代，对IT界的大小企业来说云计算就是一次炼狱。其实在某种的意义上云计算并不是一项全新的技术，是在信息化积累到一定的程度需要对于IT资源进行有效整合的客观需求催生的，因此在云计算整个的发展过程我们会看到过去很多看见过的技术跟应用模式。

云计算的概念现在已经很明晰，云计算之所以能够在最近几年快速兴起，是因为用户渴望能够充分利用IT资源来给业务提供即时按需的高效服务。云计算具体指的是：狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。

这是云计算的一个核心的概念，其实简单的理解就是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。这种“云”服务，我们可以随时的享用，只是这种服务有偿的。

说了这么多的云计算究竟什么是云存储？究竟目前云存储发展到什么程度了？云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。

从两者的关系来看，云存储和云计算之间的关系还是很好理解的，云存储和云计算相比较，可以认为是云存储配置了大容量存储空间的一个云计算系统。

未来云计算的应用会更加细致的深入到我们日常的生活中去，未来基于云计算的云存储会更加的深入到目前的移动互联行业，而我们现在的智能有手机在未来将有一个具有大容量云端存储，正如前面所说的，云存储不是实物，是服务，未来市场潜力巨大。

云计算作为一种基于互联网的计算方式，是一种技术的综合应用构成方式，必然要运用众多相关的技术，下面这五种技术构成了云计算的核心技术体系，在云计算中发挥着非常重要的作用。

一.虚拟化技术

作为一种资源管理技术，虚拟化技术指的是将实体资源以抽象的形式展现出来并得以应用的技术。

二.数据存储技术

所谓“数据存储技术”即数据以特定的格式在计算机内部或外部存储介质上被记录下来过程中所运用的技术。

在云计算运行体系中，采用的是分布式存储的数据存储技术，这是由云计算的服务应用决定的。

三.平台管理技术

在这里，平台管理技术是针对云计算而言的，是对云计算的运行、存储和服务平台进行有效管理的技术。

在云计算系统中，这一技术的完善和高效应用是平台管理过程中的巨大挑战。

四.数据管理技术

云计算是一个大型的有关于资源和服务提供的计算系统，这决定了其在系统运行过程中有着非常高效的数据管理。

五.编程模型

在云计算体系中，可以说，编程模型的应用是其得以构建和完善的前提条件。

在云计算体系构建中选用得当且严格的编程模型，将极大地规范和简化云计算的工作环境。

云计算的五大核心技术了解了么？欢迎持续关注！

从目前的情况来看，IT业界已经可不开云计算的应用。云计算也被是第四次IT产业革命。但从一定的意义上来看，云计算算不上是一项全新的技术，它的存在主要源于信息化的积累以及IT资源有效整合的需求，这也就是我们为什么能在云计算发展的过程中能看到过去很多相似的技术。

云计算其实是指IT技术设施的交付和使拥模式，通过网络来进行服务。这中服务包含的是分广泛，可以是IT和软件、互联网相关的服务，也可以是其他类型的服务。简单点来说，就是将大量用网络连接的计算资源进行统一管理和调度。形成一个计算资源中心，为用户们提供多种服务。这提供资源的网络就被称作是“云”，而这种“云”服务是有偿的并且可以是随时随地享受。

而我们常说的云存储是根据云计算延伸出来的新概念，是指通过集群应用、网络技术、或分布式文件系统等功能，将网络网上各种不同的存储设备通过应用软件集起来进行协同工作，共同对外提供数据存储和业务访问功能的一个系统。从某种意义上来说，就是一个以数据存储和管理为核心的云计算系统。

但其实，云存储对于使用者来说，它已经不是一个设备了，而是有众多个存储设备和服务器所构成的集合体。同样，在使用者使用云存储时也不是在使用某一个设备，而是使用这个云存储系统带来的一种数据访问系统。所以从严格的角度来看，云存储它已经成为一种服务，而不是单纯的存储。这样云计算与云存储的关系就不难理解了，云存储相对于云计算来说，可以看作是一个拥有大容量空间的云计算系统。

云计算的应用已经渗透进我们生活的方方面面，如果以现在的发展速度来看，未来云计算可能会更加细致的深入到我们的日常生活中去。由于云存储方面的发展，可能会更加深入到目前的移动互联行业。就如本文中提到的，云存储是单纯的存储，而是一种服务，在未来必然会有更大的市场潜力。

云上存储产品主要有对象存储，块存储，网络文件系统（NAS），还有最赚钱的CDN，我们将针对这些主流产品，讲讲他们产品特点，有云上存储时候知道如何选型，当然我们是技术型作者也会简单讲讲实现思路，出于信息安全，不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统，我们也捎带说说存储祖师爷DFS。

Linux IO STACK

云计算本质就是单机计算能力的无限扩展，我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs，调度算法，块设备层，最终落盘：

（1）其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品

（2）VFS还有一个fuse文件系统，可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口，就可访问后端存储

（3）在设备层，通过扩展ISCSI网络协议，衍生出了块存储

存储产品架构流派

分层或平层:

如hbase，底层基于hdfs文件系统，hbase不用考虑replication，专注于自身领域问题 特点：大大降低开发成本，稳定性依赖底层存储，底层不稳定，上层遭殃。

竖井:

自己做replication，自己做副本recover，自己做写时recover master-slave体系架构

两层索引体系，解决lots of small file

第一层，master维护一个路由表，通过fileurl找到对应slave location（ip+port）

第二层，slave单机索引体系，找到具体的location，读出raw data DFS

特点:丰富类posix语意，特点Append-only存储，不支持pwrite

可能存在问题:

（1）Pb级别存储方案，非EB级别。 原因namenode集中式server，内存&qps瓶颈，bat体量公司需运维上百个集群

（2）默认三副本，成本高

（3）强一致写，慢节点问题

演进:

GFS2拆分了namenode，拆分成目录树，blockservice，外加ferdaration，但namespace集中式server缺陷依旧，同时切分image是要停服，水平扩展不是那么友好。

对象存储:

元数据管理

Blobstorage： blobid->[raw data]Metastore，aws s3又称为keymap，本质上是个kv系统。存储内容file_url->[blobid list]

I/O 路径

（1）httpserver收到muti-part form,收到固定大小raw data，切成K份等长条带

（2）条带做EC，生成（N-K）份编码块，共得到N份shard。现在的问题变成了这N份数据存哪

（3）客户端的代理继续向blobstorage申请一个全局的id，这个id代表了了后端实际node的地址，以及这个node管理的实际物理卷，我们的每个分片数据均等的存在这些物理卷上。

（4）分发写N份数据，满足安全副本数即可返回写成功，写失败的可延时EC方式修复

（5）httpserver将文件file及对应的分片列表以KV形式写入metastore。

特点:

基于http协议 ws服务，接口简单，put/get，延时高。 EB级别存储方案，适合云上产品形态。深度目录树变成两层目录结构（bucket+object）。

缺点:

posix语意接口太少，不提供append语意（其实是通过覆盖写提供），更别说随机写。

iscsi模型

与后端交互的的部分在内核实现，后端target解析iscsi协议并将请求映射到后端分布式存储

特点：

（1）绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统，而大多数主流文件系统的块大小是4KB，文件最小操作粒度是块，因此绝大多数的IO请求是4KB对齐的。

（2）强一致. 块设备必须提供强一致，即写返回后，能够读到写进去的数据。

（3）支持随机写，延时要低用户基于虚拟块设备构建文件系统（ext4），对于文件编辑操作很频繁，所以需要支持随机写。比NAS/Fuse类产品性能好，只hack块设备读写，上层dentry lookup还是走原来的IO path，没有像NAS/FUSE dentry的lookup发起多次rpc问题

（4）产品层面需要预先购买容量，扩容需要重新挂载，跟NAS比容易浪费空间

实现模型：

云盘逻辑卷按block切分，为了便于recover，按1G切分，第一层路由由blockManager管理，按volumeid+offset 映射到逻辑block，逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件（falloc，防止写过程中空间不够)，称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上，很容易实现pwrite。当然也可以基于裸盘，在os看来是一个大文件，分割成不同的1G文件

IO路径：

块设备上层会有文件系统，经过io调度算法，合并io操作，isici协议发出的IO请求的都是对扇区LBA的操作，所以可以简单抽象成对于卷id加上偏移的操作，我们简单讲讲EBS（Elastic Block Store）层IO路径

（1）网络发出来的IO请求是针对volume+offerset操作，假定是个写请求

（2）通过blockManager查找到逻辑block

（3）在内存中找到block对应的物理地址（ip+port），block的replicationGroup

（4）使用业界通用复制链方式如raft协议向replicationGroup发送io请求，raft帮我们解决写时失败tuncate问题

（5）单节点接到IO请求，把LBA换算成真实的文件偏移，pwrite写下去

优化

a、可想而知，这种存储模型下，后端node会有大量的随机写，吞吐肯定不高，有很大的优化空间 可以通过类似LSM引擎方式，将随机写变成顺序写，读者可深入思考，本文不详细探讨了。

b、虚拟磁盘可以切条掉，相当于raid盘思路，单块盘的IO变成多多块盘，增大吞吐。

NAS

用户通过mount目录访问共享文件，mount点挂在的是一个NFS协议的文件系统，会通过tcp访问到NFS server。NFS server是一个代理，通过libcfs最终会访问到我们后端的存储系统。

后端存储系统

DS包含管理inode的metastore和datastore，metastore

我们充分吸取业界DFS缺点，解决Namenode集中式server瓶颈，充分考虑bigtable的各种优点。Metastore可基于分布式数据库（newsql），回想一下bigtable，一个用户的文件散落在多个tabletserver上，允许用户跨tabletserver rename操作，所以需要分布式事务完成上述保证，出于对DFS改进，我们把目录树持久化模仿linux fs dentry管理，映射规则如下两张表，dentry表和inode表，dentry表描述目录树，inode表描述文件block列表及atime，mtime，uid，gid等源信息，一般来讲硬链够用，该场景下dentry可以多份，共同指向一个inode。 dentry通过外健关联到inode表

比如lookup 子节点

SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID

datastore

特点：要求提供随机写，所以跟块存储EBS设计思路是一样的，大文件切块，按块组织，dataserver上有真实的物理block文件，提供pwrite操作。

特点

弹性容量，不限容量，多机挂载并行读写，IO线性增长，支持随机写比块存储优势在于用多少花多少，不需要提前申请容量，真弹性

缺点

vfs层 dentry lookup每个层级目录会发起rpc，延时高。

总结

导语

云存储或者说云端存储，是无论公有云还是私有云平台所必备的服务之一。那么究竟我们该如何理解目前云计算背景下的云存储概念，与传统存储又有哪些区别与联系？

网络存储技术，早已有之

如果我们认为云端存储的概念就是基于网络的文件存储，换句话，就是把我们的文件或者数据放在网络服务器上存储，那么可以说云端存储的技术其实在互联网诞生之前就已经存在了。

Sun公司在1984年开发了网络文件系统（NFS：Network File System）协议，NFS协议允许网络中的计算机之间通过TCP/IP网络共享资源。NFS客户端可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。

云存储基于虚拟化

那么我们怎么理解云计算背景下的云存储，各大曾经以及现在提供云存储服务的网盘公司，如百度、360、金山等，所使用的云存储技术与传统的存储技术有何区别？

关于云计算，前文《云计算IaaS的核心技术：虚拟化技术》云计算的核心技术之一就是虚拟化，把计算、存储、网络资源虚拟化，以便类似OpenStack这样的云计算管理工具来对资源进行软件化配置。所以现在的云存储都是建立在存储虚拟化技术的基础上的。对于存储资源的虚拟化工作是由hypervisor程序来完成。

VMWare的裸金属虚拟化架构

物理存储

传统的存储技术没有经过虚拟化这样一层，这是我们目前所说的云存储与传统存储的一个主要差别。我们称传统存储技术为物理存储，相对于虚拟存储而言。

说到物理存储，主要可以分成三种类型：

（1）直连存储(DAS：direct attached storage)：这是最简单的存储类型，我们的个人电脑都属于这种，就是磁盘（或磁盘阵列RAID）直接接在主机的总线上。常见的DAS协议是SCSI和SATA。磁盘是管理DAS的主要单位。

磁盘阵列（Redundant Arrays of Independent Disks，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上，可以提高存取效率，或者通过冗余提高系统可用性。

（2）存储域网络(SAN：storage area network）：SAN是通过光纤通道（Fiber Channel）连接到一群计算机上，建立专用于数据存储的区域网络。在SAN的环境中，管理员可以把一组硬盘(或者这组硬盘的一部分)组成逻辑单元（LUN：logic unit)，对外界来说，LUN就像一块硬盘。常见的SAN协议是FC和iSCSI。LUN是管理SAN的主要单位。

与DAS的磁盘一样，LUN也只能连接一台主机，换句话说，不允许多台主机同时访问一个LUN，不利于文件共享。为了解决文件共享的问题，又提出了NAS技术。

（3）网络附属存储（NAS）：NAS是一种专用数据存储服务器，包括存储器件和内嵌系统软件，可提供跨平台文件共享功能。NAS允许管理员分配一部分存储空间组成一个文件系统，文件系统是管理NAS的主要单位。

云存储带来什么好处？

对于用户来说，能把数据安全可靠地存好就够了，哪管那么多存储载体是不是虚拟化的啊？存在物理磁盘，还是虚拟化的磁盘上，对于用户来说，确实是感受不到的。但是对于公有云或私有云的构建者而言，区别却太大了。

首先，通过对物理服务器和遗留存储平台的整合，提高了现有硬件的利用率，避免了新一轮的采购，从而提高投资回报率 （ROI）；其次，虚拟化可以提高IT系统资源管理的灵活性，并提高系统资源的使用效率。比如VMWare Sphere，可以将硬件利用率从 5% - 15% 提高到 80% 甚至更高。

无论原来是DAS，还是SAN，虚拟化技术都可以把它们利用好。

结语

搭建云存储平台，可以直接对原来的物理存储设备进行利用，无论是DAS，还是SAN，都可以再次技术上进行虚拟化，形成虚拟磁盘实例或其他类型的虚拟存储单位，供虚拟机及上层应用来使用。云存储也通过虚拟化技术也与传统的物理存储无缝衔接，平滑过渡。

无论对已有资源的再利用，还是提高资源的使用效率，都有利于IT设施投资者的ROI。所以虚拟化技术，以及虚拟化基础上的云存储、云计算，都是能给老板挣钱的好技术。

云计算系统运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。

(1)编程模型

MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配(调度)给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。

(2)海量数据分布存储技术

云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

GFS即Google文件系统(GoogleFile

System)，是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。

一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成，并被许多客户(Client)访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约(lease)管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。

客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。

(3)海量数据管理技术

云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。

BT是建立在GFS,Scheduler,Lock

Service和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。

Google的很多项目使用BT来存储数据，包括网页查询，Google

earth和Google金融。这些应用程序对BT的要求各不相同：数据大小(从URL到网页到卫星图象)不同，反应速度不同(从后端的大批处理到实时数据服务)。对于不同的要求，BT都成功的提供了灵活高效的服务。

(4)虚拟化技术

通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。

(5)云计算平台管理技术

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。

云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。

简介

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

云存储不是存储，而是服务就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

发展

宽带网络的发展

真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备来连接云存储。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务，否则只能是空谈。

WEB2.0技术

Web2.0 技术的核心是分享。只有通过web2.0技术，云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。

应用存储

云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。

集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。

CDN内容分发、数据压缩技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，想来也没有人敢用云存储，否则，保存的数据不是很快丢失了，就是全国人民都知道了。

存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（如FC存储和 IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。

云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心，但对于云存储的运营单位来讲，却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此，云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台，可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。

应用场景

网络结构

云存储系统的结构模型由4层组成：

存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

基础管理层

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

应用接口层

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。

访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。

应用

核心技术

云计算系统的核心技术：并行计算。并行计算是指同时使用多种计算资源解决计算问题的过程。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。

1、编程模式；

2、海量数据分布存储技术；

3、海量数据管理技术；

4、虚拟化技术；

5、云计算平台管理技术；

6、信息安全管理技术；

7、运维管理技术。

服务商

阿里云、七牛云、金山云、360云盘、EMC和百度云等等，提供专业的存储服务，公有云存储，私有云存储和混合云存储服务。

释放价值，分享知识和经验，解读IT前沿和技术。帮助他人，提升自己。更多交流请关注itboxes（IT智囊）。

注：图片来源于网络，如有异议，请联系我们，我们将即时处理。