（摘要：分布式存储、云存储、软件定义存储、Server SAN、超融合存储……这些让人眼花缭乱的名词有没有让您如堕五里雾中呢？ZettaStor又是什么样的黑科技呢？让小编来带您一探究竟。）

分布式存储是存储领域当前最为热点的技术，不仅仅是因为它终将颠覆传统存储设备的统治地位，更重要的是它改变了存储系统的建设模式和服务模式，打破了限制IT基础架构向云计算转型的最后一道枷锁。由南京鹏云网络自主研发的ZettaStor分布式存储系统正是这一领域具有代表性的产品之一。

热点技术自然伴随着热点名词，除了分布式存储，还有云存储、软件定义存储、Server SAN、超融合存储等概念纷至沓来，让人眼花缭乱。那么这些概念该如何理解？ZettaStor又是什么样的黑科技呢？就让小编来带您一探究竟。

所谓分布式存储，是从技术实现原理出发所做的诠释。

分布式存储系统由一组配置了本地硬盘的标准PC服务器构成，这些服务器基于分布式存储软件进行组织和管理，用户数据被均匀地分布存储在这些服务器上。

分布式存储的魔力在于用任务分担的方式聚合了大量标准PC服务器的资源，从而形成海量的存储空间和数据处理能力，并且能够广泛适应各类应用场景，提供存储资源服务。就好比一滴水平平无奇，但聚合起来，可以是涓涓细流，也可以是长江大海；可以载舟浮船，也可以蓄能发电。

ZettaStor是技术领先的分布式存储系统，面向企业级环境设计。它的原生块存储特性能更好地匹配企业级环境最普遍的IO需求，性能表现优于Ceph等底层基于对象的存储系统。它能够满足企业级环境严苛的可靠性和可用性要求，在服务器或网络故障时确保数据不丢失、业务不间断。它完全自主研发，而不是基于开源技术二次开发，不会在核心功能模块上依赖开源社区，并且在问题修复和功能改进方面保证效率。

所谓云存储，是从存储系统的建设和服务模式出发所作的描述。

分布式存储是云计算环境存储系统的最佳构建模型。分布式存储利用标准PC服务器来建设统一的存储资源池，业务系统可以按需从资源池中申请存储资源；资源池可以灵活弹性扩展，只要添加服务器就能同步增加存储容量和性能，并且能够支持超大规模。而这些恰恰是云计算最主要的基本特征：以服务的形式，从弹性资源池中灵活按需地获取资源。

所以，云存储这个名字，用一个“云”字生动地概括了分布式存储的特性、作用、以及业务层面的价值。不像“分布式存储”这个名字，似乎更偏向小编这样的技术宅。

像ZettaStor这样的基于分布式架构的云存储系统，可以和计算、网络等其他系统和技术整合在一起，为用户建设云计算平台；也可以自成系统，在企业级数据中心里作为一朵“存储云”，为各类业务系统提供存储资源服务。

所谓软件定义存储，是数据中心基础架构演进路线图上的关键一环。

传统数据中心中，计算、网络、存储等基础设施资源都是依赖专用硬件来提供的。而软件定义技术，则是通过在廉价的标准化服务器上安装功能软件，来实现与传统专用硬件同等的功能。

软件定义最直接的好处就是取代了专用硬件，显著降低了系统建设成本；同时破除了上层应用对特定硬件系统的依赖，避免了厂商对用户的绑架。但更加重要的是，用标准硬件构成了一个可按需弹性伸缩的统一资源池，用户就可以随心所欲地操控底层资源为上层应用提供服务，无论新业务上线、还是业务系统规模的扩展与收缩，都可以用非常短的周期快速完成。

软件定义是数据中心基础架构演进的大势所趋，软件定义计算和软件定义网络都在各自的技术发展路线上高速前进着，但存储系统仍然受困于专用的存储阵列设备。分布式存储技术与软件定义的理念如出一辙，它的出现补足了数据中心架构转型的关键一环。小编以为，软件定义存储这个名字可以说再自然不过了。

ZettaStor是基于分布式架构的软件定义存储系统，可以帮助用户加速实现数据中心基础架构的转型，以显著提升业务敏捷性，应对日趋激烈的市场竞争。

所谓Server SAN，是定位于企业级应用场景的产品形态。

SAN，即存储区域网络（Storage Area Network）。SAN存储，通过专用的存储网络，把存储阵列上的存储资源共享给各个业务系统主机进行数据存取访问，时至今日仍然是绝大多数企业级环境中存储系统的主流产品形态。

Server SAN是分布式存储系统的典型产品形态，顾名思义，就是基于标准PC服务器来实现SAN存储的功能。Wikibon预测，Server SAN将以超过44.2％的年增长率快速成长，并最终基本取代传统存储阵列。

以ZettaStor为例，它可以部署为独立的存储系统，经标准接口与业务系统对接，用户无需改变现有的系统架构，即可用新兴技术取代传统存储设备，并享受技术进步带来的各项优势与便利。同时，存储平台的软件定义与云的属性，使得用户可以以此为基础，逐步地实现IT基础架构的平滑转型与升级。

所谓超融合存储，是定位于新型IT基础架构的产品形态。

在超融合架构里，大量标准PC服务器构成了一个统一的资源池，可同时提供计算和存储两类IT基础设施服务。其中每一台服务器都可以作为计算节点来承载业务系统，也可以同时作为分布式存储系统的存储节点，来提供存储资源服务。这个资源池以服务器为基本粒度进行扩展，每加入一台服务器，业务承载能力和存储能力都得到同步的横向扩展。

可以看到，超融合架构的弹性和敏捷性是前所未有的，充分发挥了软件定义技术的各项优势，非常适合于云计算基础架构的建设。需要指出的是，“超融合”之所以成为“超”融合，就是因为分布式存储技术的采用。否则它只能是定位于模块化数据中心建设的融合架构。正是分布式存储技术的采用才让超融合架构焕发了生命力，并诞生了像Nutanix这样的独角兽企业。

ZettaStor可以基于超融合模式部署，帮助用户自建基于超融合架构的云计算基础平台，相对于特定厂商所提供的软硬件一体化超融合产品，更具灵活性与自主性，避免新的厂商绑定。

总结

总之，围绕着分布式存储这一核心技术，面向不同场景和对象时，就派生出了云存储、软件定义存储、Server SAN、超融合存储等众多理念或产品形态。分身虽多，本尊却是不变的。

ZettaStor更是分布式存储领域的代表性产品，无论传统企业级数据中心，还是新兴的云计算环境都能应付裕如，可上九天揽月，可下五洋捉鳖，厉害了我的ZettaStor！

云计算作为一种基于互联网的计算方式，是一种技术的综合应用构成方式，必然要运用众多相关的技术，下面这五种技术构成了云计算的核心技术体系，在云计算中发挥着非常重要的作用。

一.虚拟化技术

作为一种资源管理技术，虚拟化技术指的是将实体资源以抽象的形式展现出来并得以应用的技术。

二.数据存储技术

所谓“数据存储技术”即数据以特定的格式在计算机内部或外部存储介质上被记录下来过程中所运用的技术。

在云计算运行体系中，采用的是分布式存储的数据存储技术，这是由云计算的服务应用决定的。

三.平台管理技术

在这里，平台管理技术是针对云计算而言的，是对云计算的运行、存储和服务平台进行有效管理的技术。

在云计算系统中，这一技术的完善和高效应用是平台管理过程中的巨大挑战。

四.数据管理技术

云计算是一个大型的有关于资源和服务提供的计算系统，这决定了其在系统运行过程中有着非常高效的数据管理。

五.编程模型

在云计算体系中，可以说，编程模型的应用是其得以构建和完善的前提条件。

在云计算体系构建中选用得当且严格的编程模型，将极大地规范和简化云计算的工作环境。

云计算的五大核心技术了解了么？欢迎持续关注！

从目前的情况来看，IT业界已经可不开云计算的应用。云计算也被是第四次IT产业革命。但从一定的意义上来看，云计算算不上是一项全新的技术，它的存在主要源于信息化的积累以及IT资源有效整合的需求，这也就是我们为什么能在云计算发展的过程中能看到过去很多相似的技术。

云计算其实是指IT技术设施的交付和使拥模式，通过网络来进行服务。这中服务包含的是分广泛，可以是IT和软件、互联网相关的服务，也可以是其他类型的服务。简单点来说，就是将大量用网络连接的计算资源进行统一管理和调度。形成一个计算资源中心，为用户们提供多种服务。这提供资源的网络就被称作是“云”，而这种“云”服务是有偿的并且可以是随时随地享受。

而我们常说的云存储是根据云计算延伸出来的新概念，是指通过集群应用、网络技术、或分布式文件系统等功能，将网络网上各种不同的存储设备通过应用软件集起来进行协同工作，共同对外提供数据存储和业务访问功能的一个系统。从某种意义上来说，就是一个以数据存储和管理为核心的云计算系统。

但其实，云存储对于使用者来说，它已经不是一个设备了，而是有众多个存储设备和服务器所构成的集合体。同样，在使用者使用云存储时也不是在使用某一个设备，而是使用这个云存储系统带来的一种数据访问系统。所以从严格的角度来看，云存储它已经成为一种服务，而不是单纯的存储。这样云计算与云存储的关系就不难理解了，云存储相对于云计算来说，可以看作是一个拥有大容量空间的云计算系统。

云计算的应用已经渗透进我们生活的方方面面，如果以现在的发展速度来看，未来云计算可能会更加细致的深入到我们的日常生活中去。由于云存储方面的发展，可能会更加深入到目前的移动互联行业。就如本文中提到的，云存储是单纯的存储，而是一种服务，在未来必然会有更大的市场潜力。

云计算系统运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。

(1)编程模型

MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配(调度)给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。

(2)海量数据分布存储技术

云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

GFS即Google文件系统(GoogleFile

System)，是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。

一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成，并被许多客户(Client)访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约(lease)管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。

客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。

(3)海量数据管理技术

云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。

BT是建立在GFS,Scheduler,Lock

Service和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。

Google的很多项目使用BT来存储数据，包括网页查询，Google

earth和Google金融。这些应用程序对BT的要求各不相同：数据大小(从URL到网页到卫星图象)不同，反应速度不同(从后端的大批处理到实时数据服务)。对于不同的要求，BT都成功的提供了灵活高效的服务。

(4)虚拟化技术

通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。

(5)云计算平台管理技术

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。

云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。

共享存储模型

文件/记录层（File/Record Layer）

提供存储资源访问方法，包括：文件系统，数据库，缓存等将用户视图的数据单元（文件/记录/对象）保存到存储空间，并记录映射关系，负责维护命名空间、存储空间分配性能优化，分布式系统集群管理与控制

块层（Block Layer）：支持文件/记录层

存储设备：磁盘、磁带、固态硬盘等，用来存储数据提供块聚合管理：实现存储网络聚合，物理卷聚合，镜像冗余（RAID-n）等功能负责缓存管理包括DAS、NAS和SAN等不同存储模型

数据存储

数据存储是一个逻辑存储单元，它可以使用一个或多个物理设备上的磁盘空间。

数据存储类型：

VMFS网络文件系统 (NFS)

数据存储可用于存储虚拟机文件、模板和 ISO 映像。

存储：云计算发展瓶颈之一

由于虚拟化技术的发展存储向集中式共享存储发展，并正在向分布式存储方向发展

分布式存储（分布式文件存储、分布式块存储、分布式对象存储）

资源池所依赖的共享存储问题规模有限、无法线性扩展：机头、网络的瓶颈单独的存储网络、成本高：独立的存储网络（FC），建设成本高、复杂

性能和容量有限：受集中式机头性能限制，性能和总容量受限重建时间长：盘越来越大、重建时间变长、引入数据丢失风险 （重建时间数小时到数天）

分布式存储技术及其区别

分布式块存储：将分布式的大量服务器硬盘经过分布式块存储软件变为统一的逻辑硬盘，再按逻辑卷分给虚机（操作系统）,操作系统需要首先分区，格式化，才能部署文件或数据库，基于SCSI/iSCSI接口，适合于作为资源池共享存储，IO要求高。

分布式文件存储：将一个大文件切分为多个小的文件块，并将小文件块分布式存储在服务器节点上，基于元数据服务器控制各个数据节点。基于类POSIX接口实现文件访问。适合于大数据文件的存储和处理。适合于特别大的文件，并且存储与计算一体化。

对象存储：也是一种分布式文件存储系统，但对象存储的特点是扁平化，也就是层级很少，有利于快速查找到对应的文件（对象），文件之间没有复杂的关系（层级或类型），基于REST API，适合于各种大小的海量文件基于互联网的在线存储、访问和备份。

云上存储产品主要有对象存储，块存储，网络文件系统（NAS），还有最赚钱的CDN，我们将针对这些主流产品，讲讲他们产品特点，有云上存储时候知道如何选型，当然我们是技术型作者也会简单讲讲实现思路，出于信息安全，不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统，我们也捎带说说存储祖师爷DFS。

Linux IO STACK

云计算本质就是单机计算能力的无限扩展，我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs，调度算法，块设备层，最终落盘：

（1）其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品

（2）VFS还有一个fuse文件系统，可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口，就可访问后端存储

（3）在设备层，通过扩展ISCSI网络协议，衍生出了块存储

存储产品架构流派

分层或平层:

如hbase，底层基于hdfs文件系统，hbase不用考虑replication，专注于自身领域问题 特点：大大降低开发成本，稳定性依赖底层存储，底层不稳定，上层遭殃。

竖井:

自己做replication，自己做副本recover，自己做写时recover master-slave体系架构

两层索引体系，解决lots of small file

第一层，master维护一个路由表，通过fileurl找到对应slave location（ip+port）

第二层，slave单机索引体系，找到具体的location，读出raw data DFS

特点:丰富类posix语意，特点Append-only存储，不支持pwrite

可能存在问题:

（1）Pb级别存储方案，非EB级别。 原因namenode集中式server，内存&qps瓶颈，bat体量公司需运维上百个集群

（2）默认三副本，成本高

（3）强一致写，慢节点问题

演进:

GFS2拆分了namenode，拆分成目录树，blockservice，外加ferdaration，但namespace集中式server缺陷依旧，同时切分image是要停服，水平扩展不是那么友好。

对象存储:

元数据管理

Blobstorage： blobid->[raw data]Metastore，aws s3又称为keymap，本质上是个kv系统。存储内容file_url->[blobid list]

I/O 路径

（1）httpserver收到muti-part form,收到固定大小raw data，切成K份等长条带

（2）条带做EC，生成（N-K）份编码块，共得到N份shard。现在的问题变成了这N份数据存哪

（3）客户端的代理继续向blobstorage申请一个全局的id，这个id代表了了后端实际node的地址，以及这个node管理的实际物理卷，我们的每个分片数据均等的存在这些物理卷上。

（4）分发写N份数据，满足安全副本数即可返回写成功，写失败的可延时EC方式修复

（5）httpserver将文件file及对应的分片列表以KV形式写入metastore。

特点:

基于http协议 ws服务，接口简单，put/get，延时高。 EB级别存储方案，适合云上产品形态。深度目录树变成两层目录结构（bucket+object）。

缺点:

posix语意接口太少，不提供append语意（其实是通过覆盖写提供），更别说随机写。

iscsi模型

与后端交互的的部分在内核实现，后端target解析iscsi协议并将请求映射到后端分布式存储

特点：

（1）绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统，而大多数主流文件系统的块大小是4KB，文件最小操作粒度是块，因此绝大多数的IO请求是4KB对齐的。

（2）强一致. 块设备必须提供强一致，即写返回后，能够读到写进去的数据。

（3）支持随机写，延时要低用户基于虚拟块设备构建文件系统（ext4），对于文件编辑操作很频繁，所以需要支持随机写。比NAS/Fuse类产品性能好，只hack块设备读写，上层dentry lookup还是走原来的IO path，没有像NAS/FUSE dentry的lookup发起多次rpc问题

（4）产品层面需要预先购买容量，扩容需要重新挂载，跟NAS比容易浪费空间

实现模型：

云盘逻辑卷按block切分，为了便于recover，按1G切分，第一层路由由blockManager管理，按volumeid+offset 映射到逻辑block，逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件（falloc，防止写过程中空间不够)，称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上，很容易实现pwrite。当然也可以基于裸盘，在os看来是一个大文件，分割成不同的1G文件

IO路径：

块设备上层会有文件系统，经过io调度算法，合并io操作，isici协议发出的IO请求的都是对扇区LBA的操作，所以可以简单抽象成对于卷id加上偏移的操作，我们简单讲讲EBS（Elastic Block Store）层IO路径

（1）网络发出来的IO请求是针对volume+offerset操作，假定是个写请求

（2）通过blockManager查找到逻辑block

（3）在内存中找到block对应的物理地址（ip+port），block的replicationGroup

（4）使用业界通用复制链方式如raft协议向replicationGroup发送io请求，raft帮我们解决写时失败tuncate问题

（5）单节点接到IO请求，把LBA换算成真实的文件偏移，pwrite写下去

优化

a、可想而知，这种存储模型下，后端node会有大量的随机写，吞吐肯定不高，有很大的优化空间 可以通过类似LSM引擎方式，将随机写变成顺序写，读者可深入思考，本文不详细探讨了。

b、虚拟磁盘可以切条掉，相当于raid盘思路，单块盘的IO变成多多块盘，增大吞吐。

NAS

用户通过mount目录访问共享文件，mount点挂在的是一个NFS协议的文件系统，会通过tcp访问到NFS server。NFS server是一个代理，通过libcfs最终会访问到我们后端的存储系统。

后端存储系统

DS包含管理inode的metastore和datastore，metastore

我们充分吸取业界DFS缺点，解决Namenode集中式server瓶颈，充分考虑bigtable的各种优点。Metastore可基于分布式数据库（newsql），回想一下bigtable，一个用户的文件散落在多个tabletserver上，允许用户跨tabletserver rename操作，所以需要分布式事务完成上述保证，出于对DFS改进，我们把目录树持久化模仿linux fs dentry管理，映射规则如下两张表，dentry表和inode表，dentry表描述目录树，inode表描述文件block列表及atime，mtime，uid，gid等源信息，一般来讲硬链够用，该场景下dentry可以多份，共同指向一个inode。 dentry通过外健关联到inode表

比如lookup 子节点

SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID

datastore

特点：要求提供随机写，所以跟块存储EBS设计思路是一样的，大文件切块，按块组织，dataserver上有真实的物理block文件，提供pwrite操作。

特点

弹性容量，不限容量，多机挂载并行读写，IO线性增长，支持随机写比块存储优势在于用多少花多少，不需要提前申请容量，真弹性

缺点

vfs层 dentry lookup每个层级目录会发起rpc，延时高。

总结

先介绍与大数据相关 的内容，然后讲解Hadoop、大数据以及云计算之间的关系，使读者从大数据和云计算的角 度来认识Hadoop.

大数据

大数据一般是指这样的数据：数据量巨大，需要运用新处理模式才能具有更强的决策力、 洞察力和流程优化能力的海量、髙增长率和多样化的信息资产。大数据可分成大数据技术、 大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据 应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理 的系统工程；大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及 其与自然和社会活动之间的关系。

大数据的特征有四个层面：第一，数据量巨大，从TB级别，跃升到PB级别；第二， 数据类型繁多，包括网络日志、视频、图片、地理位置信息等；第三，价值密度低，商业 价值高，以视频为例，在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒；第 四，处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为 4V-------Volume、Variety、Value 和 Velocity。

上面我们介绍了大数据的基本概念以及其显著的特征，下面将从不同的维度来阐述大数据的核心问题。

1.数据态的多样性问题

大数据具有多态性，主要体现在数据源、结构及相关度上，在数据来源上包括图像、 视频、音频、文本、网页、数据流等；在结构上不仅仅包括结构化的数据，还包括非结构 化 的 数 据 ； 在 相 关 度 上 不 仅 有 数 据 记 录 彼 此 间 相 关 性 问 题 ， 还 有 时 间 序 列 数 据 的 相 关 性 问题。

2. 维度复杂性问题

首先，大数据中存在着多元空间的维度问题，例如典型的三元空间中大数据的产生、状 态感应以及采集问题，这个问题在物联网中非常常见；其次，就是柔性粒度数据的传输、移 动、存储及计算问题；最后，就是数据空间范围和数据密度的不均匀问题。

3. 大数据存储问题

大数据最为显著的特征就是数据规模非常巨大，单机系统肯定无法解决存储问题，这就 需要分布式存储系统作为大数据的存储支撑服务，而分布式存储系统需要考虑的核心问题包 括：高可靠性、扩展性、伸缩性、容灾及恢复等问题。

4. 大数据计算分析问题

由大数据的特征可知，大数据在数据规模上非常巨大，要在一定的时间内达到撷取、管 理、处理并整理为能够帮助企业做出经营决策更有效的资讯，传统的顺序计算模式必然不能 满足这样的需求，这就要求使用集群计算系统来完成计算分析任务。基于集群的计算模型目 前主要包括：基于消息传递的MPI、MapReduce计算模型、流式计算架构Storm、S4、高性 能集群计算HPCC,以及基于共享内存RDD的Spark模型。

5. 大数据价值挖掘问题

由于大数据的价值密度低而商业价值大，这使得大数据的价值挖掘显得格外重要，而 价值挖掘主要包括两个阶段：第一个阶段就是过滤清洗，需要在尽量不损失其价值的条件下 减小数据规模，同时在不改变数据基本属性的情况下采取数据清洗、抽样、去重、过滤、筛 选、压缩、索引、提取元数据等方法，以直接将大数据变小；第二个阶段就是对商业价值的 挖掘，主要是发挥大数据探索式考察与可视化作用，人机的交互分析可以将人的智慧融入数 据，再者是通过群体智慧、社会计算、认知计算对数据价值进行提炼，从而挖掘出大数据中 隐藏的商业价值。

大数据、Hadoop和云计算的关系

上面讲述了大数据的基本概念及与大数据相关的几个核心问题，通过这些问 题我们已对大数据有了一个初步的了解，那么大数据、Hadoop及云计算之间到底是什么关系 呢？为了从大数据和云计算的角度去了解Hadoop,下面将阐述这三个概念之间的关系。

可以这样说，正是由于大数据对系统提出了很多极限的要求，不论是存储、传输还是计 算，现有计算技术难以满足大数据的需求，因此整个IT架构的革命性重构势在必行，存储 能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分 布式存储架构不仅需要scale up式的可扩展性，也需要scale out式的可扩展性，因此大数据 处理离不开云计算技术，云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服 务的高效模式，大数据则为云计算提供了新的商业价值，大数据技术与云计算技术必将有更 完美的结合。

我 们 知 道 云 计 算 的 关 键 技 术 包 括 分 布 式 并 行 计 算 、 分 布 式 存 储 以 及 分 布 式 数 据 管 理 技术，而Hadoop就是一个实现了 Google云计算系统的开源平台，包括并行计算模型 MapReduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目 也很丰富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，这些项目都使得 Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括 IBM的蓝云，雅虎、英特尔的“云计划”，百度的云计算基础架构，阿里巴巴云计算平台， 以及中国移动的BigCloud大云平台。

总而言之，用一句话概括就是云计算因大数据问题而生，大数据驱动了云计算的发展， 而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。

随着信息时代的到来,企业产生的数据量开始直线攀升，由于传统的集中式存储对搭建和管理的要求较高，且硬盘驱动器等相关存储的成本居高不下，所以市面上的大多存储设备难以满足企业对容量大小、扩充速度、读写速度和数据备份等多方面的要求。以云计算为核心的云存储技术的出现，无疑为长期困扰企业的数据存储问题打开了大门。分布式存储则是其中最为关键的技术之一，安全性高，稳定性强，在行业内具有良好口碑的Richdrive企业网盘采用的就是分布式存储技术，可以轻松实现海量数据的存储管理。

简单地来说，分布式存储就是将数据分散地存储到多个存储服务器上，彩讯Richdrive企业网盘就是通过网络，使企业中的每台机器上的磁盘空间都可以得到充分利用，将分散的磁盘空间资源构成一个虚拟的存储设备。分布式存储和传统的数据存储方式相比，具有明显的优势，也更为适应时代的发展需求，下面简析一下分布式存储的优势有哪些。

搭建门槛低

相对于传统存储方式对环境、设备的高度要求，分布式存储搭建方式简单，并且实现门槛低。由于物理介质分布到不同的地理位置上，数据文件可就近上传，分布式存储对骨干网的带宽要求较低，可以降低企业在带宽方面的投入。在设备局限性较大的企业，采用多套低端的小容量存储设备就可实现分布部署，对机房环境如散热、空间、承重的要求也相对较低，所以设备的价格和维护成本也一并降低。

扩容实现易

随着企业业务的逐渐增多，产生的数据也越来越多，这就要求Richdrive存储系统不断扩展以适应业务膨胀的需求。分布式存储支持容量扩展的同时，同步提升系统性能，数据可自动均衡，还能更好地与虚拟化平台融合，方便管理和维护，轻松解决海量数据给Richdrive存储带来的压力。

系统性能强

衡量系统性能的指标在于系统的吞吐量和系统的响应延迟，而系统的吞吐量和系统的响应延迟是两个相矛盾的指标。高吞吐量往往难以做到低延迟，追求低延迟，吞吐量则会受影响。Richdrive分布式存储的搭建使两者处于相对平衡的位置，令系统的运行保持稳定。当面对大数据时代P级的海量存储，频繁的数据传输，Richdrive企业网盘能有效实现系统的强适应性，在不影响系统性能的基础上，很好地满足企业日益增长的存储需求。

高可靠安全

Richdrive分布式存储，能自动同步备份企业数据，并保留文档修改的历史版本，可随时恢复误修改、误删除文件。企业信息在分布式存储的隔离下，即使受到恶意访问和攻击，也能充分保护存储数据不被窃取，全面保障系统的运行稳定和安全，让企业安心发挥“信息资产”的作用，创造更多价值。

数据为王的时代，彩讯Richdrive顺应时代潮流，利用分布式存储技术优越的性能特性对企业数据进行妥善保管，树立起高效、安全、海量的产品形象，已成功与中国移动、中国海油、佛山市教育局等知名企事业单位展开长期合作。

第286期

分布式云计算来了

文 | 徐鹏 责任编辑 | 张齐

审核 | 姜校春 策划 | 刘克丽

分布式计算架构是云计算的基石，让计算中心成千上万服务器的计算资源最大化，也让云计算成为未来物联网的计算中心。而当数以亿级的边缘计算设备开始大规模接入云计算时，标志着分布式云计算时代正式到来。

物联网让云离散化

物联网的核心在于物与物、人与物的强关联，而多数时候的彼此联系会发生在本地。也就是说，计算、存储、分析等需求响应通常在距离物理位置较近的地方完成，而不是传输到千里之外的数据中心。这种就近处理的方式耗时更短，而且足以应付本地业务交互的轻量化需求，让云计算的分布式计算体系从单纯的计算中心内蔓延到真实世界的每个角落，也就是云计算的离散化。

一直以来，技术的更迭总是伴随着应用场景的变迁，从最初大型机的集中处理到后来的分布式架构，越来越多的需求趋于离散化和碎片化。如今，大型设备会集中处理大规模的核心计算，而低延迟、快响应的计算需求则会交给“边缘设备”——既可以是PC、手机、电视盒子，也可以是摄像头，甚至是ATM机。未来，当嵌入式芯片的性能不再是瓶颈，这种终端计算的方式势必将更加普遍 。

IDC预计，到2020年全球将有超过500亿的终端与设备联网，超过40%的数据要在网络边缘侧进行分析、处理与存储。如此大的数据量传输到云端，对网络带宽和存储能力都是考验，更不要说通讯过程中的安全风险。以往，前端设备会将采集到的信息传回数据中心，由后者运算处理后发送指令，再由设备执行用户的需求。这样一来，无疑加重了数据中心的负担。

重新定义云管端

既然数据产生在本地，为何不能让设备自己解决问题呢？举个例子，工业机器人对处理任务有着实时性的要求，通过云端传到数据中心可能只是不到1秒的延迟，但要是乘以整个生产线上机器人的数量，显然是一次“大面积延误”。相比之下，边缘计算不仅能够做到快速处理，还可以根据现场情况作出判断，结合软件选取最优的操作。

此外，边缘计算削弱了网络和存储环境的影响。当机器人在矿井下作业时，通讯信号偏弱怎么办？没有了云，物联网设备随即罢工，这显然不是人们想看到的。此时，边缘计算可以利用自身的运算和处理能力迅速作出响应。

架构层面，边缘计算物联网解决方案可分为传感控制层、网络层、敏捷控制器和应用层，其中网络层主要实现融合和互联，它的功能除了网络连接和管理，还包括边缘计算，进行现场处理，同时保障业务在本地实现。可以说，边缘计算重新梳理了“云管端”之间的关系，一方面提升了云资源的使用效率，另一方面也让终端有了更高的话语权。

边缘计算前景可期

从商业逻辑来看，消费者的使用感受才是边缘计算的主导，而不是企业，这不仅需要云服务商转变思路，同时也为中小企业提供了机会。云计算市场的平台化趋势加剧，核心资源和份额都掌握在巨头手中，而未来会有40%的IoT流量在边缘处理，这无疑蕴含着弯道超车的可能。

从长期发展来看，无论是中国制造2025还是工业4.0，物联网都将在其中扮演重要角色；同时，融合AI的软硬件加速普及，将带来更多基于终端的处理需求；再者，5G商业化的脚步正在推进，也会进一步强化边缘计算高带宽、低延迟的能力。

目前，一些云服务商已经推出了边缘智能计算解决方案，将边缘IoT与混合云相结合，允许用户自行定制物联网应用，在本地完成数据处理，并且兼顾了大规模云平台的配置、部署和管理功能。