HBase是一个查询极其快速的非关系型数据库，它在实时读写和实时访问上有着巨大的优势，并且非常灵活。今天小鸟就从HBase的存储结构来向大家揭秘其强大之处。

之前小鸟已经介绍过HBase的系统架构了，没有看过的同学欢迎翻阅之前的文章：大数据Hadoop工具，HBase系统架构简介

下面正式进入今天的主题：HBase的存储结构

先来看下面这幅图：

这是一个HBase表的存储结构模型，其中有4个字段。分别为Rowkey（主键）、Time Stamp（时间戳）、CF（列族）、CF：xx（列）。这看上去是一个数据表，但是对于HBase而言，这只是一行数据。看到这大家可能会比较迷惑，这明明就是数据表嘛，我用了这么多年excel，你可别骗我。

为了方便理解，我们先来举个例子，请看下面这幅图：

这是一个普通的数据表，名为legens。其中有5列数据，分别为id、名字，出生日期，外号和出生地。有些小伙伴看到表里的内容应该会很熟悉，但是这并不是重点。假如，现在有些人不止1个外号了。有些人有2个甚至3个外号，这时如果要将数据存入数据表，则需要修改表结构，修改结果如下：

如果接下来还有别的字段要添加，比如性别等。那么这个表结构还需要修改。因此在统计结构不严谨的数据的时候，普通的关系型存储结构并不好用。那么如果使用HBase的话，如何存这些数据呢？请看下图：

这就代表着一行数据，和普通的数据表类似但又不完全像，接下来小鸟就按照前面的过程来讲解。

首先，rowkey是主键，它决定一行数据。rowkey在生成的时候就会排好序，排序规则按照字典顺序。所谓字典顺序就是ABCD、1234。Rowkey只能存储64k的字节数据，如果太长则影响性能。

Timestamp是时间戳，每插入一次数据都会有一个时间戳，其作用是标识本次加入的数据，起到一个版本的作用，HBase在插入数据的时候默认版本号就是时间戳。这个字段可以自己修改定义，但是一般都采用默认的时间戳。

通常获取数据就是获取时间戳最近的一条数据。假如现在加入一条数据。Cf1:name=劫。那此时如果获取rowkey为1的一行下，cf1为name的数据时，获取到的就是劫而非亚索。

因为此时劫是新加入的，HBase在做数据更新的时候就是利用新数据来覆盖旧数据的。

Cf是列族，全称是Colunm Family。HBase表中的每个列都属于一个列族。列族必须作为表模式事先定义完毕。例如create ‘legens’ ‘cf1’ ‘cf2’ ‘cf3’……。一个列族下的所有数据都存于一个目录下，由几个文件保存。

除此之外，权限控制、存储和调优都是在列族层做处理的，因为表在建模的时候并不会考虑有多少列。

列族一般不轻易修改。

name、born、alias等都是列，列名以列作为前缀。例如cf1:name。一个列族有多个列成员，上述cf1就有name、born、alias1、alias2、alias3。并且列在后续可以按需求增加。加入现在要在cf1中加入height，则直接添加cf1:height=xxx。

确定一个列的某个属性的值需要四个值来确定，分别是rowkey、列族、列名、和timestamp。

最后要说明的是，HBase中存储的数据是没有类型的，全部都是以字节码的形式存储。

以上就是本次HBase存储结构的全部内容了，有任何疑问欢迎私信或者评论，小鸟将第一时间解答。另外开黑也可以的。

大数据是一个通用术语，用来指当前业务领域中存在的各种数据。从医疗机构的数字数据和记录到政府机构的大量文件，人们把这些文件存档供将来参考，技术为我们提供了一个面向服务的架构来分析这些信息。

大数据是永远不可能被归档到在个描述或定义下。关于信息技术的神器之处在于，它始终在不断发展，并且可供愿意接受信息技术的公司使用。另一方面，云计算的发展使得商业企业更容易获得可负担得起的软件包。云计算的使用大大降低了存储公司信息的成本，这也带来了小型企业可以利用的多个应用程序。自互联网诞生以来，随着云计算的不断发展，互联网上广泛的信息爆炸式增长。标准用户和数字营销人员现在可以每天使用社交媒体营销平台来生成大量关于消费者的信息。有时，对于机构和企业来说，管理每天生成和存储的数据量就是一项相当艰巨的任务。例如，每天创建2.5万亿字节的数据，这可能会给云计算带来存储和排序挑战。

这正是大数据用来管理海量数据如何通过云计算存储的地方。总而言之，这两种技术形式提供的解决方案既适应业务分析、也适用于大数据。在这篇文章中，将重点介绍如何使用大数据和云计算来管理政府机构和商业机构日常生成的大量数据。可购性对于那些预算计划比较紧张，但又需要更新技术的企业或机构来说，云技术可能是解决燃眉之需的一大利器。用于管理大数据的成本资源，即使是小公司，也在预算之内，而且在市场上也很容易找到合适的产品。在云计算出现之前，商业机构和政府机构花费大笔资金建立信息技术部门来管理数据，甚至花更多的时间来更新这些IT系统。今天，由于技术的进步，企业可以把他们的大数据托管在异地的服务器上，或者按需支付。敏捷性

替换高清大图

传统的数据存储和管理方法正变得越来越难以管理，因为数据存储和管理非常慢，需要公司花费大量时间从中检索信息。有时，安装和运行服务器可能需要几周甚至几个月的时间。云计算的出现有可能为企业或机构提供所需的全部存储需求。一个基于云计算的公司数据库可以在几分钟内完成安装，并将数据存储在数千个虚拟服务器中，在这些服务器中，只有一台计算机或移动设备和互联网连接的人可以很轻松访问它。

替换高清大图

数据处理海量数据的爆炸式增长带来了管理数据的挑战。例如，社交媒体会产生大量的数据，这对于在推文、帖子、博客或照片等类别中进行处理来说是具有挑战性的。对于大数据，有一些分析平台，比如Apache Hadoop，可以在将非结构化数据存储到云中之前处理这些数据。

那么应该重新考虑您想要支持一个大数据计划。

即使你可以找到大量的云数据存储提供商提供分析和服务于企业客户，早期大数据项目的频繁发生。这个事实导致许多失败，大数据项目，在很多方面，形象被禁药物玷污了什么可以做的大数据分析。

但随着越来越多的大数据成功故事继续滴流出来，开始图像形成。照片显示，大数据分析将真正成为企业成功的关键的数字化改变世界，而且更容易成功如果您的数据和分析发生在云端。

有大量数据需要备份的数据，将会起到巨大的作用在企业的竞争力。什么是不太理解是为什么大数据是更成功的云相比，私有。在本文中，我们要探索这些原因，指出为什么大数据在云终于达到了临界点的企业。

大数据：大项目

大多数企业的IT组织尝试的大数据项目的房子，不是一件容易的事。但是即便有诸多计划和砂粒，因为项目失败的项目仅仅消耗太多的时间和所需技能，那时候，稀缺。甚至在2017年，数据管理员，擅长在大数据平台等hortonworks或/或者/换句话说/不然的话/还是/要不/抑MapR基本上可以写他们自己。许多项目没有完成，因为它们经历显著的“人才流失”为移动平台的大数据人才敬而远之。

了解数据科学家

尽管仍有大量短缺在基础设施方面，将真正的自家大数据的分析项目中被发现的。毕竟，这实际上是企业的真正的、深入的科学数据如此大的规模。它的领导人试图保护那些分析数据的管理与操作侧壳体。实际上，数据科学家的工作经历是配合运营团队--无论是内部员工还是一个云提供者。这样做允许数据科学家更好地调整他们的模型，简化流程，加快挤压所需的时间量的信息从堆积如山的数据。

为什么我们达到了一个引爆点

尽管显然外包带来的好处与喂养大数据平台和数据库，真正的原因是他们的大数据企业移动为公用云就是因为它们中的大多数数据，不久或将驻留。不管你如何细分，移动大量的数据是一项艰巨的壮举。但随着时间的推移，许多企业对于数据迁移有机公司的资讯科技部门开始利用低成本的云存储。

在某种程度上，大数据五年或十年前只是提前了许多。我们不仅有误判的复杂性，开发和实施大数据平台，我们误解了大数据的关键角色。利用云支持大数据基础设施的基础让我们内部的IT部门专注于重要的事情上来说，可以提高分析的能力。

大数据将接收的大换购：

大数据分析的目标是创建一个状态的操作称为情景意识。这是在数据被收集到一定程度，就可以判定动作快速，在某些情况下（在实时。但过去的失败已经导致许多企业对他们的大数据野心。如果你认为今天你可能要重新考虑。特别是如果你已存储数据移动到云。通过后端任务卸载至第三方提供者，在理想情况下，业务数据可以集中使用，形成正确决策对公司的发展方向。多年来，我们一直都在等待。接下来的问题就是，谁会迈出这一步的呢？

被门夹过的核桃还能补脑吗

我们知道他们在撒谎，他们也知道我们知道他们在撒谎，我们也知道其实他们知道我们知道他们在撒谎……

核桃

被玩儿坏了

当我们苦苦等事件的真相和结果，等来的却是硬盘已坏，甚至都不是“临时工”被处理。监控视频乎已经被人为的“玩儿坏了”。估计很多人都会想知道：那些修理硬盘、恢复数据的高手去哪儿了？

监控

监控存储

DVR存储目前最常见的一种存储模式，价格便宜，适合于小规模、分布式的监控场所，在整个视频监控系统的成本大致为15%～30%，我们熟悉的为了节约成本而删数据，硬盘坏了确实是个大新闻。再者，即使技术朝着人工智能的方向继续发展，我们还能相信云存储和大数据吗？

硬盘

云存储和大数据

云存储设备是对外使用的服务型存储设备，在设备内部存在多个云存储节点，需综合应用相关的管理软件实施数据存储与管理功能。如果由社会来负责云端的投入，个人用户只承担一个终端的费用，存储式视频监控本可以大有作为。配合数据量更加丰富、质量大大提升、分析手段的更加先进，可以毫不夸张的说掌握了大数据就是掌握了未来的发展方向和趋势。

终端

人工还智能吗

然而，本可以依据数据+存储+分析+学习+推广的人工智能，如果连硬件的基本可靠性和安全性都得不到保证，轻易地就“脑子瓦塔了”，那就不用谈什么黑科技了。不是“人工智能”，估计是“只能人工”了。什么第一个战胜围棋世界冠军的人工智能程序阿尔法狗AlphaGo、什么成为人类史上首位机器人公民的索菲娅Sophia、什么可以后空翻的两足战士阿特拉斯Atlas都去墙角哭泣吧。

人工智能

随着科技的不断进步，自然界的信息沟通越来越密切，这种交流已经不仅仅局限于人与人之间。信息的传递、处理、反馈等造成数据的急剧膨胀，从而演化为大数据模式。根据麦肯锡全球研究所给出的定义，大数据是一种规模大到在获取、储存、管理、分析方面超出传统数据库软件工具能力范围的数据集合。它具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

而大数据的爆发也催生出了云储存业务，它对海量数据的分析、处理、提取、储存的能力，解决了传统储存模式对大数据有心无力的问题。云时代的到来，让科技行业迸发出新的活力，也因此产生了新的行业模式，尤其是依靠云计算、物联网等技术，将智能生活的蓝图展现在人们眼前。

云储存相较于传统硬件储存来说，第一个优势就是大。用户可以通过购买储存空间，来不断的扩大存量，而且储存资源是整合在一起的，你不在需要面对一堆硬盘，你只需要一个账号。第二个优势是提高效率。云储存对于信息的处理和提取更加智能化，它合理的分配、控制数据，避免储存空间的浪费。第三个优势就是方便，云端存储的数据时效性长久，有需要可以随时提取，只要有终端支持，不必再担心硬盘丢失、破损等问题。

不过在云时代，也存在它的隐忧，潇洒且高危。“云”是一个对于虚拟空间的形容，但追本溯源，它还是要落在地上。云储存是通过服务商提供的应用来获取存储空间，这个空间对于用户来说是看不见的，但对于服务商来说云储存是由多个服务器、存储器构成的集合体，通过应用软件实现实体硬盘向虚拟硬盘的过度。与传统储存模式不同的是，用户即使付费购买空间，拥有的也只是空间的使用权，并不拥有储存信息的实体硬盘。所以在更便捷的储存背后，我们也必须意识到，还有很多问题要面临。

一、数据承载力

云落地在服务器上，对于未来大数据产业进一步的爆发，云是否有足够的数据承载能力呢？ 根据IBM调查研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。万物连接的时代，每一天都会有难以想象的数据产生，或来自我们的日常生活，或来自我们的公共事业。虽然科技在进步，服务器的体积越来越小，而加入到云服务中的企业也越来越多，但当数据量超出我们预想的时候，现有的科技力量是否能承载住呢？

二、云端不统一

我们使用的云依赖于服务商，而现在市场上出现很多云服务的供应商，但基于信息安全和空间封锁，云与云之间还不能实现共享。这使得信息无法更顺畅地传递，产品的不统一性决定了应用的单一性，即使个人储存、提取的效率很高，但是在云端互联的问题上依然有很大的问题。而想要解决这个问题，服务商就不得不解决信息传递量翻倍的情况，这也是个挑战。

三、覆盖问题

想要随时随地的提取、传递、存储信息到云端，还有一个必要条件，就是云的覆盖。万物互联时代，如果云仅仅覆盖在你的头上那是远远不够的，想要做云端的霸主，就必须扩大自己的云覆盖率，做到全球覆盖，所以云市场的竞争必然激烈。

四、安全问题

云的安全问题一直是大家最关心的，将信息储存在云端，就意味着安全问题不由自己掌控，而是由服务商把握，只通过一个账号就能登录并获取想要的资源，那么就难免要面临不法分子的网络攻击。而且安全问题不仅来源于外部，也可能产生自内部。做云储存服务，对服务商的要求也很高，必须保证用户能实时提取、储存，如果出现前段时间亚马逊云服务器中断等类似事件，后果将会是很严重的。

五、云的开发者是否值得信赖？

现在的云市场被各大科技公司、互联网公司所占据，只看国内市场也有华为、阿里巴巴、腾讯、百度等多家在激烈竞争，用户通过选择购买，拥有云产品，将大量生活数据、工作数据保存在里面，但如何保证自己的数据不外流，这些云的开发者们真的可信吗？尤其是私有云市场，云储存对于用户的不透明化，将成为最大的安全隐患，或许在云不断发展的过程中，政府会介入到信息安全保障中来。

六、产业链标准

虽然市面上已经出现了多款云产品供大家挑选，但在云服务背后，还没有形成完整的产业链，云计算本身也并没有做到产业精细化，市场上充斥着大量的同质化严重的产品，重复建设导致资源流失。而在云服务商背后的行业是否已经做好迎接大数据爆发的准备，在技术和标准上能否达到支撑云储存大规模处理数据的能力？

七、未来在哪

大数据的爆发催生云市场的增长，但云未来的路该怎么走呢？或许马云都没有想好，如果单纯的做数据处理，那么不可避免的就会沦为“传统”。像百度一样，曾经的互联网巨头，如今已经快要成为传说了，所以百度去做了人工智能，李彦宏自己都说百度不是互联网公司，是AI企业。那么如今在云上投入巨大的阿里巴巴呢？它有想好未来怎么走，如何把握科技发展的下一个时代转折，而不沦为“传统”吗？

虽然今年的数博会已经落幕一段时间了，但大会上的思想碰撞和论道却还在引发新一轮的讨论。在数字经济成为提振社会发展的强心剂之时，更多的目光开始关注数据背后的安全保障。

在“安全”的需求上，人们关注的不仅仅只是数据安全，而是更深更广意义上的城市安全。应运而生的则是关注城市安防保障的系统平台和应用服务，此次亮相的“天眼”系统就是其中代表，只要简单刷脸，就能快速与亿万个身份信息比对、识别嫌疑分子，为城市编织天罗地网。

如此神奇的系统更需要技术平台的支撑，特别是智能存储、分析平台，让无处不在的摄像头都变为“智能大脑”，保卫每个角落的平安。

杂乱无章的视频数据只能“无用武之地”

在摄像头满天飞的时代，视频大数据、安防大数据已不再受困于“数量”不够，而是“乱”。视频数据不同于其他形式，可以包括图像、音频等非结构数据，也可以提取出文字、特定标志等结构数据，数据形式众多造成数据搜索效率低、交互性差，大数据变成服务器里存储的“死数据”和“冷数据”，让数据共享停留在纸面。

城市安全需要对摄像头捕捉的安防数据和信息实时监测，那么下一个问题就是安防数据的存储安全问题。结合近日爆发的勒索病毒来看，数据安全本身更成为城市安全的基础和底座。

当今城市安全面对各种挑战，数据存储量变为PB级，已不是一般存储设备可以容纳，同时存储时间较长。结合实际建设项目经验，大华股份研发产品经理周文凯解释道，在反恐防暴需求与日俱增时，重点位置监控视频数据存储周期达到90天，普通监控视频存储周期30天。如此大的数据量如何长周期地安全有效存储成为最大制约，一旦发生重要数据丢失或其他关联数据丢失，很多人身财产损失无法追回。养兵千日用兵一时，结果智能的特性在关键时刻却掉链子，让用户不再信任智能分析平台，投入大量经费购买设备后还要依赖人工查看数据、反复核查，“智能”一词反而帮倒忙。

智能云存储保数据平安成为平安城市最稳底座

在城市安防遇到越来越多的考验和挑战时，“天眼系统”之类的“火眼金睛”愈加受到青睐，成为名副其实黑科技也不足为怪。殊不知，这对数据存储平台的挑战更大，“智能”性的体现正是时机。

参加数博会的安防厂商争相比拼，众多解决方案之中，“智能云存储”正是方兴未艾，势头正盛。举例来说，BAT、戴尔、360集团等纷纷瞄准安防云平台，为新时代的城市安防数据存储提供解决之道，直击数据难以搜索、难以交叉分析、存储风险高等痛点，让城市平安多了屏障。

智能云存储并不是全新概念，是集高效存储和智能分析于一体的智能解决方案，存储、分析同时实现。还能为用户提供灵活扩展的升级服务，提供IaaS层对象存储接口、面向行业的流媒体接口、PaaS层数据存储和计算的接口等多个接口，还能让用户内嵌加入其他功能，满足个性化二次开发需求，提升服务能力。

在实际运行中，周文凯结合以上产品特性向我们详细解释了对客户的效率提升和创造价值的过程。

他说道，智能云存储面向视频对象进行生命周期管理，关键视频数据可以长时间保存，解决数据安全存储的问题；存储系容量可从数十TB方便扩展至数十PB，结构化性能也能随集群扩展而线性提升，持续保护客户投资。

案件发生之后可以根据结构化信息进行快速索引定位，提升数据查看效率；智能云存储打造数据平台，系统各层可提供开放API，多维数据实现共享互通，既能满足传统监控场景使用需求，又能支持业务平台进一步开发打造高级应用。

前路道阻且长

正如周文凯介绍的，当今“安全”的概念已不仅仅局限于某个行业，而是关乎城市和社会发展的战略问题。在人口激增、数据进入PB级时代中，安全保障对技术提升提出了更高要求和更多挑战，类似云存储的平台仍需快马加鞭投入更多大量研发资源，把一切数据安全、城市安全的隐患消灭在摇篮之中。

幸运的是，云计算、物联网、人工智能、边缘计算甚至雾计算等前沿技术不断迸发出新奇点，技术正在井喷式爆发，未来会有更多技术利器横空出世，为人类社会的一切“安全”提供意想不到的全方位服务和保障。

大数据将给各行各业带来巨大的价值，例如医疗保健、电商零售等行业。大数据涉及IT和营销部门：它不仅是一个技术问题。同时，大数据将可能提供真实的、可操作的决策信息。虽然目前大数据趋势正在迅猛发展，但很多人并不是完全清楚如何管理数据。尽管存在这种不确定性，不过大家越来越多地达成共识：大数据能够带来价值，企业已经开始投资于基础设施系统来实现大规模存储和数据分析。

在企业蔓延的大数据

对于传统基础设施而言，因为太大而无法被有效地和充分地捕捉、管理、存储和分析的数据集被称为大数据。现有的数据存储系统无法分析大数据，限制了大数据的增长。现在企业非常需要新的存储、网络和计算系统来处理大数据。

大数据将可能帮助所有行业的各种规模的企业保持竞争力，帮助企业削减成本、简化工作流程和生产力，提高产品质量和推出新产品或新的服务。分析其客户数据的企业能够更好地分析其客户在使用什么以及需要什么。

为什么大数据需要可扩展的存储解决方案

存储基础设施投资将提供一个平台，通过这个平台，企业能够从大数据中提取出有价值的信息。从大数据中能得出的对消费者行为、社交媒体、销售数据和其他指标的分析，这将直接关联到商业价值。随着大数据对企业发展带来积极的影响，越来越多的企业将利用大数据，以及寻求适用于大数据的数据存储解决方案。而传统数据存储解决方案(例如网络附加存储NAS或者存储区域网络SAN)无法扩展或者提供处理大数据所需要的灵活性。

云存储用于大数据

这不只是关于为大数据购买更多的存储：数据需求会无限增长，这会导致更大的存储需要。云计算的可扩展和灵活的性质使其成为大数据管理的理想选择。通过基于云计算的存储系统，数据集可以被复制、迁移和保存在世界的任何地方。通过将基础设施放在云供应商处，这简化了扩展和缩小基础设施的工作。块存储特别适合于大数据，因为它是一种独立的存储解决方案，这种方法允许研究人员和分析师非常迅速地访问、分析和管理数据。因为云计算方案，企业不再需要开发、托管和维护自己的基础设施，显著降低了成本。

问题不在于企业是否会利用大数据，而是合何时利用大数据。目前的数据存储基础设施并不适合有大数据管理，而云计算提供了一种简单的具有成本效益的方式，用来处理、存储和管理大数据。很多云计算供应商提供块存储或对象存储，这都是大数据的理想选择。

尽管AI、物联网以及GDPR（一般数据保护条例）持续占据头条，但也不要忘记在大数据的实现性应用方面，云迁移与流分析所产生的划时代影响。

诚然，AI所产生的影响已然无法忽视，其影响所覆盖的范围从地缘政治到市井琐事，甚至还参与了一些举世闻名的事件。此外，物联网在当今社会中日益增长的影响也是不容忽视的，具体包括家庭、医院提供医疗服务的方式、自动驾驶汽车的驱动、工厂的运营以及智能化城市管理等方面。尔后，GDPR将在2018年生效，这将迫使各组织着力解决将涉及隐私与国家主权影响的数据从现有数据库转移到数据湖与云存储的过程中所要面临的问题。

透过表面看本质，我们发现构造性转变已经开始，具体包括企业在云领域的管理方式、流数据分析与数据湖战略等。

目前，已有27.5%的大数据工作负载运行在云端（来源：Ovum ICT Enterprise Insights）

关于未来展望，我们将着眼于数据的管理方式。回顾过去的一年，我们曾表示“大数据——无论其来自于物联网还是更为传统的资源——将会逐步实现在云中完成存储与处理。”去年，我们预计会有35—40%的新生大数据工作负载将在云端完成部署，而到2018年底，新的部署将超过50%。

我们的预测并非不切实际；Ovum针对所有大数据工作负载的最新全球调查研究显示，在此之中的27.5%已经完成了云端部署。另外，根据Ovum的报告，企业云应用很难将大数据拒之门外，而在各式各样的工作负载中，企业云应用所占据的比例在26—30%之间。

由于惯性使然，大多数组织已经不再坚持立足云环境复制与其自有数据中心相关的种种功能特性。此外，大多数组织会选择使用多个家云供应商，这看似是为了取各家之所长。然而，正如以往的类似教训一样，这其实只是自上而下的企业标准政策与部门针对相关政策权衡之后所做出的妥协性决策产物。

因此，如同您所在的组织可能面临SAP的使用成本一样，不同部门可能同样面临着与人力资源相关的日常开销或CRM销售压力，抑或拥有多种尚未与企业遗留方案相融合的ERP系统。在云端，企业电子邮件系统可能通过Office 365实现，而部门IT团队则将使用AWS进行开发与测试; 与此同时，企业营销团队使用的则是Google Analytics。

随着云从运行独立工作负载的目标发展至企业关键型应用，我们预计在2018年初期，大多数公司将开始正式实施多云策略——正如在2017年，我们将云端部署视为大数据的隐患一般——多云也因此将成为2018年亟待解决的问题。也正因为如此，甲骨文方面决定将运行在亚马逊RDS服务上的数据库产品的使用价格进行翻倍; 这也是为何Aurora OLTP数据库目前能够成为亚马逊公司中增长速度最快的服务（在此之前的冠军为Redshift）。

这不仅仅是云供应商对于此类担忧的反应性决策，多云的决策将影响有关平台的选择。当您选择在EC 2上运行一套甲骨文的数据库或Hadoop集群时——若Azure或Google Cloud调整其定价——这同时也成为了一项值得重新审视的抉择。

当您选择在IBM云端运行Aurora、Cosmos DB、谷歌BigQuery、甲骨文Autonomous数据库18c或IBM分析系统时，这不仅意味着需要选择云，还需要选择数据平台。现在，您对于这一选择是否能够让运行一套特定云的数据平台增值的关注度已经远胜于是否选择依赖一家特定的云供应商——这就如同让您再一次面对甲骨文公司或SQL Server平台做出决策。

诚然，这也是亚马逊公司与微软方面正在以几乎免费的方式提供数据库迁移服务的原因——毫无疑问的是这两家公司想要占领您的企业数据库。同样，我们预计Google Cloud、甲骨文与IBM将会在2018年积极以亏损方式抢占数据库迁移服务份额，并且越来越多的企业会在这一领域拼尽全力。

多云战略也将在混合云的管理方面发挥至关重要的作用。正如鲜有组织——无论其规模如何——倾向于依赖单一云供应商一般，也很少有组织（除了初创企业之外）会将全部的工作负载转移至云端。在云计算平台运行分析时，无论是在设计抑或是数据主权的问题上，维护敏感客户记录的透明度将会成为影响云计算平台选择的主要因素。

数据管道改变了实时处理的重心

去年，我们预测“物联网将成为把实时流数据推向前端的应用实例。”今年，谷歌方面的Anadiotis预测，不仅流数据将成为主流，“并且还将逐步实现即时分析。”

流数据分析并非是新鲜术语；在此之前，我们已经投入了大量精力以让其重拾关注。在进行数据存储之前，流数据处理可被用于数据的解析与过滤以及模式或事件的检测。物联网数据的爆炸式增长自然催生了难题——所有数据是否都需要存储以及在哪里完成数据的处理。

随着我们日益增长的技术需求，我们希望能够在数据运行的同时完成更多的工作负载。这不仅解释了用于队列处理的Kafka与分发数据技术的萌生，还表明了数据平台供应商——诸如SAP、 Hortonworks、MapR与 Teradata——正在采取相关行动的原因。 Amazon Kinesis、 Azure Data Factory以及 Google Cloud Dataflow的崛起亦是这类即时需求的直接产物。数据管道能够将实时处理从基础过滤与转换扩展为协调进程，从而支持高级预测分析与机器学习。因此，我们预计数据管道将在2018年成为流式分析的关键性支柱。此外，我们还将在这个领域听到来自于IBM与甲骨文等供应商所带来的更多消息。

云存储已在客观层面扮演数据湖角色

因为数据湖是专为保存那些不适合于其它位置且易丢失的数据而设计，所以当您想到数据湖时，您可能自然就会想到Hadoop。我们已经将数据湖定义为受管理的存储库，并致力于让其成为数据的默认提取点。但是，我们现在发现数据湖的安装启用超过了Hadoop。或者正如Mike Olson在2014年所预言的一般——Hadoop终将消失。

数据湖以联动查询工具作为起点，现已成为每个分析数据库的配套项目。我们已经见证了JSON数据库通过Spark进行扩展，从而实现分析查询。此外，我们还目睹了各Hadoop供应商（例如Cloudera 与 Hortonworks）将其数据管理服务与HDFS分离。所以，现在数据湖即是数据存储的位置所在。

毫无疑问，云供应商享有最后的发言权：在云端，云存储显然已成为数据的默认摄取点。所以，云供应商正在致力于让其云对象存储配备直接查询功能。亚马逊方面现在已可通过S3直接访问配有Athena 的SQL 实际查询，并可作为Redshift Spectrum数据仓库的扩展。Google Cloud早已将其云存储作为BigQuery的默认来源，而Snowflake——第三方云数据仓库——也是如此。

此外，颇为讽刺的是，云存储最初其实专为存储需求而设计。然而，在云对象存储占据了大部分数据的世界里，催生了企业要优化访问需求。所以在2018年，我们预计几乎所有的数据仓库与分析数据库都将对接当下流行的云对象存储方案，具体包括S3、Azure BLOB Storage与Google Cloud Storage等支持目标。

大数据的迅猛发展，数据正在呈指数级增长，各种传感器的剧增，高清晰度的图像和视频都是数据爆炸的原因。面对海量的信息，传统的数据存储技术和数据库处理技术已经不能保证和满足大众对数据存储和处理的需求。幸运的是，云存储技术应势而生，改变了我们的数据存取方式，也进一步改变了我们的生活。

一般说来，现今的云存储是基于云计算进行运行的。云计算的核心技术之一就是虚拟化，把存储、计算、网络资源进行虚拟化，便像OpenStack这样的云计算管理工具来对资源进行软件化的配置。

因此，现在的云存储都是建立在存储虚拟化技术的基础上的。与之相对应的是传统的物理存储技术就没有经过虚拟化这一层。

对于大众来说，云存储对我们生活改变的最直接的感受就是可以将各种个人文件如音频、视频和文字等文件存储到百度云、360云盘等云端账号所提供的虚拟存储空间上。

各个品牌的手机系统和APP也提供了云存储服务，如华为手机的系统服务华为云服务和苹果的iCloud以及网易云音乐的云端音乐存储。

甚至到了与我们生活息息相关的家居方面，云储存技术的运用也开始逐渐渗透。智能家居的发展现正如火如荼，而其发展势必离不开与之相关的数据处理和对云存储技术的运用。

比如vimtag智能家居摄像机和小蚁智能家居摄像机等智能家居产品就采用了云存储技术存储和处理数据。

相信，随着云存储技术的发展，未来世界将会给我们带来更多的惊喜！

现如今，大数据云存储普及程度越来越高，而无疑其信息的私密性也有被泄漏的风险，由此引起的数据安全问题是不容忽视的。那么，人们应该如何才能更好地保护企业数据安全性呢？

谁保管加密密钥?

一般来说，对不同用户的数据，云存储系统都会有特定密钥进行编码。否则数据信息会非常混乱，至于谁来保管密钥，除了能够由服务本身储存之外，也能通过个人用户进行储存。在使用密码登录的时候，服务系统可对密钥进行直接访问，自动解锁数据以便使用。因此用户自己保管密钥比较便捷。

然而自己保管安全性较差，如果普通钥匙让其他人拿着的话，就有被盗用或被滥用的可能，实际上数据拥有者却处于毫不知情的状态。甚至部分服务在实践中会存在一定的安全漏洞，容易导致数据失窃。

让用户保有控制权

有些云服务强制要求用户通过加密功能来上传或下载相应的文件，其实这个步骤的目的就在于提升用户密钥的安全性。然而，想要获得额外的安全性能的话，也需要放弃部分功能，比如云存储文件中的搜索功能应用。

实际上，这样的加密云服务，在特定应用中嵌入的话，有可能带来数据失窃的风险。假如用户不小心丢失了密码，数据也是无法挽回的了。当然，款新移动应用能够让手机照片始终保持加密，拍下的一瞬间，便可即时传输、存储到云端。

自我保护功能

在提升云存储安全性的问题上，在数据上传云端之前，需要加密软件进行加密保护，在编码完成后再将文件上传至云端服务器，这样一来，下次访问文件时便可直接登录，并可进行自行解密的操作。

当然，最好的采用验证加密的方式，这样不仅能够使存储文件加密，还可进一步存储一些附加元数据信息。