在互联网技术大潮中，云计算、大数据、人工智能、5G严守科技界热词榜单。多年前，这些热词还是很多企业的包装色，但是如今商业巨头们已经具体的将其落实在生活中去，并在我们生活、工作中发挥巨大作用。

在2018年，政府、企业不断关注云计算的落地应用，云计算在未来的重要性不可忽视；大数据基本成为各大互联网公司的口头禅；人工智能不仅吸引大批资本关注，更是有制造业拥趸，成为下一个科技赛道；5G俨然成为各大通信巨头的年度词。但是对这些科技热词，我们真的了解吗？

云计算

从云计算出现在科技新闻中，至今云计算火了快十年了。经过多年的市场培育和技术积累，云计算在我们生活中应用广泛，例如我们个人使用的百度云盘、腾讯云盘，企业中广泛应用的云际视界云视频会议，这些都是基于云计算技术。

云计算技术是啥呢？按照市场普遍认可的定义（NIST）：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

云计算价值：当前，云计算更多应用在企业IT中，众多企业IT建设和设计都要围绕云计算展开，依仗网络进行分布式计算，配合软件定义，用软件来接管被硬件一统天下的IT系统，相比传统IT系统，云计算更节约费用，更为环保。云际视界等云视频服务平台，为企业搭建一整套的云服务平台，涉及IaaS、PaaS、SaaS三种服务模式，这不仅为企业节省了维护成本、办公场地，还在资源利用上实现优化。

大数据

大数据就是相当于海量知识汇集分类，产生引导。在电商快速崛起的时代中，大数据在营销、市场管理上被人们熟知，但是大数据真正的价值不仅于此，在公安系统、企业安防等层面，大数据对公共安全的意义重大。

具体来说，企业部门对数据的收集分析，做出有效地市场判断，带来自身企业价值的增长，同时也利于相关服务企业不断的完善服务，甚至是从数据中发掘客户需求，从而开辟新业务。

对于政府部门来说，大数据在公共安全方面的应用具备巨大价值，首先在公安部门的犯罪数据中，具备大量的数据基础，在此基础上，对公共安全防范，社会培训等价值不浅。海量数据中发掘特有规律，这就是大数据真正的核心价值。

人工智能

对于人工智能，大家接触最多的是特斯拉的无人驾驶、科大讯飞的语音识别等新技术在市场中的应用。而人工智能与大数据、云计算和5G关系紧密，由于巨大数据的产生，使得我们关注数据做一些过去只有人能够做的事情。

配合云计算带来的计算资源和计算能力，人工智能依托数据基础，对周遭环境做出一定的程序反应，实现人工智能的落地。

5G不仅仅是手机通信

5G这几天很火，因为众多手机通信厂商都相继宣布他们在5G领域取得的成绩，在通信领域引起一场技术营销风。但是5G网络真正的核心价值，是让用户始终处于高速联网状态下实现信息高速交互。对物联网、自动驾驶、企业通讯等产生时代性推动变革。

5G网络最直观的价值体现在其网络传播速度的快与承载力。5G网络传播速度是4G网络的数倍，它的基本要求并不同于无线网络，根据相关信息显示，5G网速是4G网速的100倍，承载的网络内容也实现了质变提升。

5G网络的主要目标是让终端用户始终处于联网状态，能让信息通过5G在线快速传播和交互，在自动驾驶、物联网、企业通讯办公应用中，具备极大的利用价值。

数据中心是一整套复杂的设施，它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统)，还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”，当下，云计算即将成为信息社会的公共资源，而数据中心则是支撑云计算服务的基础设施，云计算也的确有给信息时代带来翻天覆地变化的本事，所以自从云计算横空出世，一切信息技术都开始围着它转，云计算有如神一样地存在着，下面看看什么是云计算数据中心、云计算数据中心和传统IDC有何区别?

什么是云计算数据中心?

现在可能会有很多人对云计算、数据中心还有大数据等这类技术和名次感到模糊不清，云计算数据中心是一种基于云计算架构的，计算、存储及网络资源松耦合，完全虚拟化各种IT设备、模块化程度较高、自动化程度较高、具备较高绿色节能程度的新型数据中心。

云数据中心的特点首先是高度的虚拟化，这其中包括服务器、存储、网络、应用等虚拟化，使用户可以按需调用各种资源;其次是自动化管理程度，包括对物理服务器、虚拟服务器的管理，对相关业务的自动化流程管理、对客户服务的收费等自动化管理，最后是绿色节能，云计算数据中心在各方面符合绿色节能标准，一般PUE值不超过1.5。

云计算数据中心和传统IDC有何区别?

在设计理念方面，云计算数据中心(或者说新一代数据中心)更加强调与IT系统协同优化，在满足需求的前提下，实现整个数据中心的最高效率和最低成本;而传统数据中心通常片面强调机房的可靠、安全、高标准，但与IT系统相互割裂，成本高昂。

传统的IDC大致可以分为托管型服务和用户自主服务两类模式，一类是服务器由用户自己进行购买，期间对设备的监控和管理工作也由客户自行完成。数据中心主要提供IP接入，带宽接入和电力供应等服务。另一种模式则是数据中心不仅提供管理服务，也向客户提供服务器和存储，客户无需自行购买设备就可以使用数据中心所提供的存储空间和计算环境，但是现在走进云计算时代的IT产业，在数据中心托管方面已经不再需要用户自己提供硬件设备了，反而大大提升了硬件设备的计算能力和IT可扩展性以及可操作性。

(1)云计算和传统IDC在资源集约化速度和规模上的区别

归根到底，云计算是通过资源集约化实现的动态资源调配。传统IDC服务也能实现简单的集约化，但两者在资源整合速度和规模上有着很大区别。传统IDC，只是在硬件服务器的基础进行有限的整合，例如多台虚拟机共享一台实体服务器性能。但这种简单的集约化受限于单台实体服务器的资源规模，远远不如云计算那样跨实体服务器，甚至跨数据中心的大规模有效整合。

更重要的是，传统IDC提供的资源难以承受短时间内的快速再分配。

(2)云计算和传统IDC在平台运行效率上的区别

更加灵活的资源应用方式、更高的技术提升，使云服务商拥有集合优势创新资源利用方式，促进整个平台运作效率提升。并且，和传统IDC服务不同，云计算使用户从硬件设备的管理和运维工作中解脱出来，专注内部业务的开发和创新，由云服务商负责云平台本身的稳定。这种责任分担模式使整个平台的运行效率获得提升。

简单地说，云计算是在传统IDC服务上的延伸和发展。云计算是将多台计算节点连接成一个大型的虚拟资源池来提高计算效率，使资源再分配的效率和规模不受限于单台实体服务器甚至单个IDC数据中心。无论从交付/服务方式、资源分配规模、资源分配速度，还是整个平台的运行效率方面，相比传统IDC服务，云计算均有着极大提升，这种提升将为各行业的企业和开发者创造更高价值。

(3)云计算和传统IDC在服务类型上的区别

常用的传统IDC服务包括实体服务器托管和租用两类。前者是由用户自行购买硬件发往机房托管，期间设备的监控和管理工作均由用户单方独立完成，IDC数据中心提供IP接入、带宽接入、电力供应和网络维护等，后者是由IDC数据中心租用实体设备给客户使用，同时负责环境的稳定，用户无需购买硬件设备。

而云计算提供的服务是从基础设施到业务基础平台再到应用层的连续的整体的全套服务。

IDC数据中心将规模化的硬件服务器整合虚拟到云端，为用户提供的是服务能力和IT效能。用户无需担心任何硬件设备的性能限制问题，可获得具备高扩展性和高可用的计算能力。

(4)云计算和传统IDC在资源分配时滞上的区别

众所周知，由于部署和配置实体硬件的缘故，传统IDC资源的交付通常需要数小时甚至数天，将增加企业承受的时间成本，以及更多的精力消耗，并且难以做到实时、快速的资源再分配，且容易造成资源闲置和浪费。

云计算，则通过更新的技术实现资源的快速再分配，可以在数分钟甚至几十秒内分配资源实现快速可用，并且云端虚拟资源池中庞大的资源规模使海量资源的快速再分配得以承受，并以此有效地规避资源闲置的风险。

(5)云计算和传统IDC收费模式的区别

传统数据中心一般按照月或者年收费，计算的标准就是机柜数量，带宽大小，用电量这些数据，这些数据是粗放型的，统计不够精确，往往造成很多资源的浪费。比如一个客户租下十个机柜，但实际上只用了五个，另外五个可以要日后慢慢上线，但必须要提前支付这十个机柜的费用，让客户多花了不少钱。而云数据中心就不同，甚至可以按照小时或者分钟收费，而客户使用的就是计算、带宽和存储数据，就像家里用的燃气费，只要不开启煤气灶，也不会花费燃气费，燃气表只有在打开燃气灶的时候才开始走，精确度量，云数据中心就是按照这样的模式来收费的，客户用了多少计算和带宽资源，就收多少费用，这个费用可以精确到分钟,为客户节省了开支，这样又有哪些客户能不喜欢呢。

(6)云计算和传统IDC对于光学器件的要求有区别

与传统器件相比，用在数据中心的器件密度要求更高，在同一块板卡上要求可以插上更多的模块。功率需求直线下降为八分之一的水准。对速度的需求也是越来越高，因为在有限的空间，有限的板卡上为了实现更大的数据量，要求模块的速度直线上升，所有的这些要求加在一起，对于器件，要求的集成度越来越高。

传统IDC还能hold住吗?

过去传统的上几台服务器，装个虚拟主机软件就卖空间的玩法，越来越没市场了，稍微大一些的传统IDC也开始升级为vps，但是vps从目前来看，普及程度很一般，而且价格昂贵，客户开发成本高。另一方面，由于备案麻烦导致大批量中小站长转向美国或海外的idc企业，国外老牌的几家idc基本上实现了虚拟化和基础云计算，而且价格极低。

传统小IDC存活将更难，那么必然大量原来属于IDC的客户高速向云计算商转移，而且这几乎是无法阻挡的。国内大一些的idc商除了服务器托管外，其虚拟主机业务也必将受到最严酷的冲击，加上云计算几大厂商都是着名企业，消费者对它们的信任远远高于idc商们。

总结：

接下来，新建的云计算数据中心，随着落地时间的临近，将会吸引更多的企业入住。放眼未来，在互联网行业、传统IT行业已经开始有越来越多的企业投身到数据中心的服务和运营当中去，这其中囊括了很多行业内的龙头企业，也有专家指出，在未来的5到10年内，基于云的数据中心管理和服务模式将会变得更加普遍。

让您学习到的每一节课都有所收获

《Linux就该这么学》是一本由资深运维专家刘遄老师及国内多名红帽架构师（RHCA）基于最新RHEL7系统共同编写的高质量Linux技术自学教程，极其适合用于Linux技术入门教程或讲课辅助教材。荣获双11、双12购物狂欢节IT品类书籍销量冠军，2017年、2018年国内读者增速最快的技术书籍，您可以在京东、当当、亚马逊及天猫搜索书名后购买，亦可加刘遄老师微信交流学习（手指按住下图3秒钟即可自动扫描）~

刘遄老师QQ：5604583 Linux技术交流（新群，火热加群中……） 官方站点：linuxprobe 书籍在线学习（电脑在线阅读效果更佳）：http://linuxprobe/chapter-00.html

全文共3066词，预计阅读时间 ： 13分钟

云计算厂商到底哪家强，各家有各家的说法，今天西秦来跟你聊一聊，各家厂商的云计算技术到底怎么样。我选取了国内知名度比较高的几家厂商，通过弹性计算能力（云计算的核心能力）、数据库能力、存储能力、人工智能（大数据）、CDN业务、域名服务等几个方面来评判，看看哪个才是适合你的云计算厂商。

AWS(中国)

AWS 作为云计算的老大哥，在弹性计算方面，发展其了以EC2为首的计算服务矩阵，提供了10项不同的产品，联合来使用，满足用户对于计算能力的要求。但是产品缺乏场景，无法满足用户的直接需求，需要用户自行构建一些计算的服务。给4.5分。

在数据库方面，AWS提供的数据库类型是相当丰富的，六种常见的SQL数据库（Amazon Aurora、PostgreSQL、MySQL、MariaDB、Oracle 和 Microsoft SQL Server）、特有的DynamoDB、基于Redis和Memcahed的ElastiCache产品，给你以最完美的用户体验。给5分。

在存储方面，AWS的S3存储服务可以说是鼎鼎大名，不少人都听说过或使用过，AWS还推出其块存储和弹性文件存储系统，以及PB级文件存SnowBall。不过本身由于产品类型的限制，对应某些特定场景下的用户需求，无法很好的满足，需要用户进行一定的妥协，给4分。

在安全方面，AWS提供身份认证系统、证书系统、WAF系统、密钥管理系统等多项安全、合规方面的服务，来帮助用户更好的规范化自己的业务，实现更好的业务拓展。给4分

在大数据方面，AWS投入了大量的精力研发了EMR、QuickSight、Lex、Polly等产品，来帮助用户去更好的进行大数据研发和人工智能的研究。给4分

在CDN方面，AWS在全球范围内建设了近70个 CloudFront 节点，足够满足用户出海的需求，可惜的是没有一个国内节点，如果当前业务主力仍在国内，可能并不适合使用 AWS 的 CloudFront。给3.5分。

AWS并没有提供域名注册的服务，不过其提供的DNS服务 Route 53 也属于非常出名的，很多大型企业都在使用该服务，给个及格分（3 分）

Azure(中国)

在云计算的基础能力-弹性计算上，Azure似乎更倾向于由用户自行实现场景化，所提供的计算服务较为基础，只有虚拟机、虚拟机规模集（集群）、应用服务、批处理等6项服务，由用户自身借助虚拟机实现场景化，给4.5分。

在数据库方面，Azure着重其SQL Server产品，围绕SQL Server提供了不少的服务。不过也没有忘记广大用户的需求，提供了MySQL 产品和 Redis缓存，以及其所特有的DocumentDB，给5分。

在存储方面，Azure只提供了一种云存储，而且只能挂载在虚拟机上，相对来说，可以使用的场景就少了一些，给3分。

在安全方面，Azure只提供了秘钥保管库、Active Directory 和 多重身份验证，使用的场景有限，只能给2分。

在大数据方面，Azure只提供了HDInsight、流分析、认知服务、PowerBI这四种服务，在大数据方面的投入太少，给2分。

在CDN方面，Azure在国内投入建设了大概50个节点，在之前的测评中，Azure的可用节点量还是非常多的。使用效果还算给力。不过由于Azure的CDN只能用于自家的虚拟机产品，这一方面还是不如其他家相对开放宽容一些。给2.5分。

由于Azure并没有提供域名服务，所以在这一方面，0分。

阿里云

阿里云在弹性计算投入巨大，拥有包括云服务器、专有网络、容器服务、弹性伸缩、负载均衡等9项业务，涵盖用户的每一种选择。但是其在计算领域更加专注于底层的的计算能力，而不关注顶层的封装。不管是新颖的 ServerLess 还是火热的BaaS技术都未曾涉及，不免有些遗憾，给4.5分。

在数据库方面，阿里云拥有足够的诚意，满足用户的一切需求，不管是普通用户常用的三大SQL数据库（MsSQL、MySQL、PostgreSQL），还是流行的NoSQL（MongoDB、Redis、Memcache），都为用户提供了服务，帮助用户更好的使用这些能力同时，对于大数据需要的海量存储，阿里云也提供了对应的产品（PetaData、HBase以及 OceanBase）。除此之外所提供的数据传输、数据管理的服务也大大的帮助用户更好的进行数据管理，可惜对于企业应用常用的Oracle数据库没有支持。给4分。

在存储方面，阿里云提供了对象存储、文件存储、归档存储、块存储和表格存储等多种存储模式，帮助用户更好的管理数据，给4分。

在安全方面，阿里云以云盾为基础，发展出了14款安全产品，涵盖了WAF、内容过滤、数据加密、ddos防护、数据风控等多项功能，为用户的数据安全保驾护航。给4.5分。

在大数据方面，阿里云以数加为基础，发展了数据应用、数据分析展现、人工智能、大数据基础服务四大板块，14项不同的产品，在众多产品体系中，属于阿里云集中力量发展的项目。给4分

在CDN方面，阿里云官方给出的数字是500+全球节点，之前在进行CDN测评时，测试域名使用的国内节点也有30余个，满足你对带宽的需要，给5分。

在域名服务上，阿里云做的是最好的，其域名业务源自收购的国内的最大的域名供应商万网。不仅提供了基础的域名注册的服务，还针对域名交易的人群，提供了域名交易、域名预定、域名转入等服务，帮助用户更好的管理域名，点赞，给5分。

腾讯云

腾讯云在基础计算能力的提供上，投入不少精力，包括标准的云服务器、GPU云服务器、FPGA云服务器等，在弹性计算上，大量的投入研发和实践，帮助用户更好的使用云计算，给4分。

在数据库方面，腾讯云提供了标准的SQL数据库和其特有的TDSQL，针对高速缓存场景的Redis和Memcached、标准的NoSQL数据MongoDB以及一些适合于大数据的数据库，如HBase、分布式数据库DCDB。不过丰富的产品缺没有配套的应用，腾讯云没有针对用户提供数据迁移的服务，会导致用户在使用时的体验不佳。给3分。

在存储方面，腾讯云的技术研发略显吃力。只提供了标准的对象存储和云硬盘服务，对于一些不同场景下的需求来说，还是显得不足。给3分。

在安全方面，腾讯云依托大禹网络安全和天御业务安全防护，提供了不少场景化的安全服务。相比之下，腾讯云的产品更加倾向场景化为用户提供服务。给3.5分。

在大数据方面，腾讯云发展出来了大数据基础服务、数据应用和AI三大体系，提供了丰富的技术产品，对于用户来说，也是可以更好的去借助云计算的资源来实现自己的需要。给4分

在CDN方面，腾讯云依托腾讯本身的业务，提供了全国500多个加速节点，来帮助用户去提升用户体验。不过也可能是由于节点过多，导致腾讯云的CDN的每次变更，都会有较长的时间才能生效。给4分

在域名方面，腾讯云只提供了基础的域名注册服务，只能算个及格。给3分。

百度云

百度云在计算上提供了多样化的计算能力，除了提供基础的IAAS的云服务器，还提供了专属服务器、物理服务器和GPU服务器。特别是其一直以来的发展的BAE应用引擎，增添了一些亮点。不过本身计算产品的种类较少，也确实是其问题。给4分。

百度云在数据库的建设上，不如其他家用心，只提供了标准的MySQL、SQL Server、Memcache、Redis和NoSQL 数据库 MolaDB。只能算的上及格，给3分。

在存储方面，百度云如同腾讯云，只提供了对象存储和云磁盘，只能够给一个及格分，3分。

在安全方面，百度云可以说是诸多云计算厂商中提供的最差的了。只提供了标准的安全服务和DDos防护服务，也只能够给3分及格分。

在大数据和人工智能方面，百度投入了大量的人力物力进行研发，提供了多种不同的大数据产品和人工智能产品，包括MapReduce、批量计算、OLAP引擎、机器学习等。做的是非常不错的。给4.5分。

在CDN方面，百度没有说明到底提供了多少个几点，但是根据其节点分布图，除了海南和西藏，都能够保证每个省份至少一个加速节点。给3分。

百度云提供了域名注册的基础服务，没有提供其他服务，只能算个及格。给3分。

结语

各家云计算厂商都有自己的优势业务，AWS的数据库、Azure的弹性计算、腾讯云的场景化、百度云的人工智能、阿里云的安全。但是相比之下，AWS作为云计算老大哥，领跑云计算技术竞赛。阿里云则更均衡，全面开发自身潜力。全面展开云计算能力。

同样，我们也看到太多的不足。来自海外的Aws和Azure虽然技术强劲，但是同时也出现了一些体验不好的部分，无法给用户以一站式的体验，对于产品本身的规划、产品的质量，应当再做考量。

云计算不同于现在的互联网创业，往往是轻资产，重人员。云计算打的是基础设施的仗，如果想要做好云计算，就要有大笔的资金投入，来去提升自家产品的体验，如果没有良好的输血能力，可能会倒在胜利的黎明前。

最后，给一些想要做云计算创业的人一些建议，如果你想要做云计算的创业，关注小众用户，做个性化的云计算服务，或许能够让你从诸多大厂的围追堵截中走出来。

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

【IT168 评论】云计算时代，各大厂数据库架构设计经历了哪些改变?在SACC大会第二天下午的数据库架构设计的前世今生(上)专场，来自京东云、阿里巴巴、58速运、去哪儿网、京东的技术一线专家分享了各自在云计算时代下的数据库架构设计实践，遇到过哪些问题?如何解决?如何保证数据库的高可用和高可靠等等一揽子技术干货!

京东云数据库技术负责人张成远：云时代的数据库演变之路

数据库战国时代，往往每家企业使用的数据库都不止一种。面对市场上众多SQL、NoSQL以及NewSQL类数据库，我们该如何选择?京东云张成远表示，首先要从需求出发，梳理基本生命周期管理需求、运行期生存类需求以及随着数据量增大之后的高阶需求。

云计算时代的到来，意味着DBA手工执行的时代已经过去了，DBA可一键自动创建，实现分钟级搭建主/从秒级库表管理。对于众多DBA关注的高可用、高可靠主/从秒级库表管理方案设计，张成远认为，应该从业务需求出发，了解业务可忍受的延迟和数据丢失极限，京东云目前将数据存于云存储，由于云存储是三副本的，这种方式可以尽可能保证数据不丢。

对于访问量过大的情况，数据库是非常脆弱的，DBA可以层层过滤掉从链路打到数据库上的请求。一般DBA采取的方案是读写分离或一主多从，张成远认为，如果对数据质量要求不高，可以采用读写分离。否则，不建议使用读写分离方案。

58速运CTO沈剑：58速运数据库降压优化实践

一个喜欢写文章的技术人，这是很多人对沈剑的印象。不单单是文笔过硬，沈剑的技术能力也十分强。作为58速运的CTO，沈剑对DBA进行了很多思考：DBA的定位应该是什么?DBA的职责又是什么呢?

在很多公司内部，DBA和研发之间的关系都非常微妙。DBA往往是执行研发提交过来的工单，而渐渐沦为了工单执行工具。沈剑表示，业务DBA应该从专业的角度带给业务价值。从专业的角度，帮助研发做好早期设计;了解被执行工单的业务背景，来龙去脉，做好把关;结合业务进行优化，给出优化建议。

随着近些年业务体量的增大，很多数据库都面临着优化问题。DBA应该学会找主要矛盾，针对性优化。性能优化方面，MySQL分析工具还是很多的，比如可用于分析慢查询的pt-query-digest;调优过程中可以把慢SQL时间设为0，从slowlog中获取所有SQL的相关信息，对性能的影响在10%以内;同时，DBA可以获取总体分析结果，分组排序的分析结果，单Query ID的分析结果。

京东商城中间件技术部负责人丁俊：京东分布式KEY-VALUE存储设计与挑战

目前，很多企业在数据库架构设计上还面临着诸多挑战，比如故障检测与恢复、在线扩容、高可用、升级等，丁俊对这些问题逐一进行了解答。

在故障检测与恢复方面，京东目前的解决方案是非持久化存储—JIMDB和持久化存储— FBASE。JIMDB兼容REDIS协议，在线弹性伸缩的，数据全部保存在内存的K-V存储系统;FBASE支持多协议，支持范围查找的持久化K-V存储系统。JIMDB读写性能要求高，性能要求优先于数据可靠性;FBASE对数据可靠性要求高，数据量大，数据冷热分布明显。

在线扩容上面，要想平滑扩容，丁俊提出需要提前把将要变更的拓扑信息下发给客户端，客户端捕捉到特定异常后使用临时拓扑，扩容完成后临时拓扑变更为正式拓扑。扩容过程中，需要注意数据迁移最小单位为槽，单shard需要控制大小，避免迁移数据多时间长。

高可用方面，依然是异地灾备的方式，主要涉及一些副本的部署要求。升级方面，主要步骤为内存中的数据要做迁移;按照shard滚动升级;新版本的容器创建在同一台宿主机上;迁移完成后客户端捕捉到数据已迁移的异常，会使用新的拓扑。

除了京东分布式KEY-VALUE存储的具体设计和问题，丁俊也给出了对未来的功能规划，比如支持redis数据结构，支持二级索引以及事务等。

去哪儿网数据库架构师黄勇：Qunar网数据库架构的发展

去哪儿网数据库架构设计的前半生基本上可以总结为：解决问题——遇到问题——解决问题——遇到问题.......黄勇表示，早期的去哪儿网数据库也是“小作坊模式”，从单机房内的MySQL逐渐演变为现在的跨机房QMHA架构，同时可保证安全性和高可用。这一路，去哪儿网试用了不少架构体系设计模式，遇到问题就解决问题，对架构不断进行调整。

自2015年以来，去哪儿网一直在应用QMHA架构，QMHA架构主要有四大技术特点：GTID，GTID易于维护和切换，主从节点间可知数据差异;Sentineld，分布式哨兵，减少误切换和网络分区，raft算法，自动切换;Semi-Sync，提高数据节点一致性的同时提高集群安全性和可用性，多线程复制，且可以跨机房和网段部署;Zookeeper，全局namespace，通知客户端更新配置。

目前，去哪儿网的DBA操作平台中的SQL审核部分使用的自研技术已经开源，广大DBA可以尝试搜索试用。

阿里数据库架构师吕建枢：阿里巴巴数据库计算存储分离架构与实践

数据库容器化，当前面临的问题是什么?作为淘宝的运营商，阿里巴巴的数据库架构必须经得起双十一等大促带来的挑战，吕建枢表示，阿里巴巴的数据库容器化曾经面临着一些调度问题和成本问题，比如机型配比问题—CPU，内存以及存储之间的选择，如何应对大促又不至于提高日常运营成本等。

吕建枢表示，阿里主要从计算存储分离、分布式存储优化、数据库设计、数据库离在线混布等几方面介绍了数据库容器化设计的每一步以及遇到的问题。当前面的计算存储分离完成后，离在线混布成为可能;阿里巴巴目前所有的数据库都已完成容器化，预计今年完成离在线混布(DB隔离策略，时延敏感)，未来的数据库将是纯用户+RDMA+SPDK的结构。

面对云计算、海量数据、高流量并发等挑战，数据库架构设计需要不断迭代升级。高并发和高可用似乎是数据库架构设计一贯的基本要求，这些互联网大厂遇到的问题是否与你类似?这些解决方案是否打开了你的脑洞呢?未来的数据库架构设计又会是什么样子呢?

▲更多信息尽在IT168现场报道专题http://sacc.it168/topic2017/

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

如今，越来越多的组织正在将他们的下一代数据库体系结构转移到解决方案而不是服务器上，并且接受开源数据库技术的价值。

2017年对于数据库技术市场来说是关键的一年，在此期间经历了几个大规模的模式转变，并且没有迹象表明很快就会停止。企业正在逐步摆脱传统的单一数据库架构，数十年来，这些数据库架构经过多代的应用，以换取更优化的、灵活的、自我管理的云数据平台战略。

随着对规模、安全性、性能、高可用性，以及可能最重要的成本和操作优化的需求不断增加，人们可以确定为下一代数据库架构的“2.0版本”提供动力的三个重要驱动因素：

(1)客户正变得以云计算为中心。(2)客户越来越依赖平台即服务的数据库解决方案。(3)客户正在采用开源数据库引擎。

想要验证企业自己的IT数据库战略是否与数据库市场的总体发展方向保持一致?企业所要做的就是确保自己采用这些原则。以下更详细地探讨它们的含义。

以云计算为中心的数据库时代

早在2014年，当重新调整微软公司的整个软件和服务战略时，首席执行官Satya Nadella提出了“移动优先，云计算优先”的口号。Nadella一直在表达微软在移动，云服务和解决方案领域所付出的努力，而整个企业市场似乎都热衷于接受类似的优先事项。

例如，根据麦肯锡公司的主题为“IT即服务云”和“企业云基础架构调查”，云计算作为工作负载主要环境的企业采用率预计将从2015年的10%上升到2018年的51%。麦肯锡公司还指出，企业可能会选择超大规模的云解决方案提供商提供的服务，例如亚马逊、谷歌、微软。

即使是非常传统的公司，他们投资拥有数十年的数据中心业务经验的大型IT组织，都会发现需要接受以云计算为中心的IT战略的优势。

但是，仅仅打着“云计算”旗号让企业采用是不够的，甚至可能会让人混淆不清。企业是否计划将现有服务器从本地数据中心提升或转移到云端，或者更进一步，开始为企业的数据库采用原生云计算解决方案?

虽然“提升和转移”(IaaS)策略可以帮助减少企业的IT管理开销，并大幅提高运营的灵活性和可用性，但是对于许多“云优先”组织来说，这只是浅尝辄止，并没有完全深入地采用云解决方案和服务。

从思考服务器到思考服务

根据调研机构Gartner公司的“2017年PaaS关键趋势”调查报告，企业客户正在采用平台即服务(PaaS)来实施越来越多的战略举措，越来越多的客户认为PaaS将成为平台交付的主要形式。

其原因很简单：PaaS数据库技术是自我管理和自我操作的。这些解决方案大大降低了维护数据库体系结构的运营开销，使企业可以将IT人员(尤其是数据库管理员)的时间和精力投入到以应用程序为中心的活动中，从而推动业务成功，而不是保护过于复杂的数据库基础架构。

数据库软件和云计算供应商正将大量的研发力量投入到PaaS数据库解决方案中，这正成为云计算领域厂商(亚马逊、微软、谷歌以及Oracle))最重要的差异化因素之一。

早在2014年，亚马逊公司就宣布推出一款完全可管理的关系数据库引擎Aurora，它将高端商业数据库的速度和可用性与开源数据库的简单性和成本效益相结合。此外，也许更重要的是，Aurora是AWS公司的原生PaaS数据库解决方案。自推出以来，Aurora得到了很多应用和思想共享。在亚马逊2017年度re:Invent展会期间，亚马逊公司将其云数据库产品进一步推向市场，并宣布Aurora Serverless是一个完全可管理的“抽象”数据库，而在这个数据库中，用户需要为所使用的数据库资源付费。

很显然，亚马逊公司在云解决方案中的创新和颠覆，PaaS数据库产品在整个行业范围内掀起了浪潮。Oracle公司是传统高端企业关系数据库软件市场的领导者之一，也是一家在研发方面投入了数十年时间研发创建全球最强大、最优化的可配置和可调的关系数据库之一的公司，该公司在OpenWorld2017年度大会推出自己的“自我驱动”数据库产品。Oracle公司首席技术官Larry Ellison描述了自治数据库云的愿景的一部分，Oracle公司关注自驱动、自扩展、自修复数据库解决方案，试图消除与调整、修补、更新和维护Oracle数据库相关的人力成本。

不仅仅亚马逊和Oracle公司推出了数据库产品，微软公司也推出了Azure SQL DB，这是一个完全托管的关系型云数据库服务，并尝试自动调整数据库以改进性能和保护。Azure SQL DB是微软公司的PaaS产品，结合了微软云平台SQL Server和Azure的高端性能和功能。

开源数据库引擎的兴起

商业数据库引擎(Oracle，SQL Server和DB2等)在它们所提供的功能和性能的广度上是至高无上的。事实上，这是其许可价格高的传统理由。但是，开源数据库管理系统已经成熟，成为专有商业数据库引擎极其可行的替代方案。特别是近年来，随着PostgreSQL和MySQL的进步。对于许多使用情况来说，这些开源数据库可能会与商业数据库市场的行业巨头的产品正面交锋。

对于那些一直关注数据库行业状况的业界人士来说，采用开源数据库引擎的热潮不应该让人吃惊。Gartner公司的一个主题为“2015年开源RDBMs状况”的报告早在2015年就预测开放源代码的数据库将被用户广泛接受：“到2018年，70%以上的新的内部应用程序将在OSDBMS上开发，现有商用RDBMS实例中的50%将被转换为正在进行中。”

更重要的是，如果用户将开源数据库部署到云中，那么开源关系数据库的最大缺点也许就是它们缺乏某些高端功能(与其专有的数据相比)。

例如，Oracle公司和微软公司都提供了直接构建到其数据库产品中的异步消息传递/排队机制。Oracle公司称之为高级队列，微软公司称之为服务代理。PostgreSQL或MySQL本身不提供类似的功能。在开始使用开源数据库技术之前，企业需要思考这个潜在的问题。

采用云计算

通过利用主要云平台提供的功能，并将这些功能作为开源数据库架构的一部分进行集成，企业可以更轻松地实现与商业数据库的功能对等。

例如，如果企业使用Amazon Aurora MySQL，则还可以使用亚马逊简单队列服务(它是用于微服务和分布式系统的完全托管的消息队列)和Amazon Lambda(允许用户运行无代理程序代码)作为替代方法的组合针对Oracle AQ和SQL Server Service Broker。使用Amazon SQS + Lambda，用户可以直接从Amazon Aurora MySQL对消息进行排队，就好像数据库具有内置队列服务一样。

同样，如果用户需要定期执行复杂的数据转换，则在微软Azure中运行MySQL数据库将允许用户使用Azure数据工厂，从而通过云端PaaS解决方案减少源数据库引擎中的缺失功能。这些云服务以及许多其他云服务可以与PaaS开源数据库引擎集成，并作为完整解决方案体系结构的一部分。

总而言之，现代关系型数据库的整个概念正在从单一的体系结构转向数量庞大而功能强大的数据库服务器，这些数据库服务器内置了大量的功能，以敏捷的PaaS和利用云平台作为服务的开源模型解决方案和技术。

这是一个明确的范式转变，可能会为今后十年的数据库技术发展奠定基础。

【IT168 评论】“跨界”是现在很火的一个词，它是指从某一属性的事物进入另一属性的运作，其不只在演艺圈掀起了一阵热潮，同时也在科技圈也带起了一阵狂潮。今天，我们就来看看科技圈第一热潮——云计算公司是如何“跨界”数据库服务的。

现在看来，云计算公司“跨界”数据库并不是什么新鲜事儿。“云计算的下一个竞争战场是数据库”几乎成为了云计算公司的共识，目前云计算公司提供的数据库服务产品大多有这么几类，自研数据库、托管数据库服务、数据迁移服务、数据仓库、缓存服务等等。

　AWS

如今在云服务市场上，AWS的市占排名牢牢盘踞在一位，根据亚马逊刚刚公布的最新财报数据显示，AWS云服务实现43%同比涨幅，2017年全年营收达到了174亿美元。作为云计算领域的领头羊，我们看到AWS在“跨界”数据库领域的时候也尽显大哥风范，更多的选择了自研。

在AWS官网上，我们可以看到其在数据库一栏列出的产品包括Amazon Aurora、Amazon RDS、Amazon DynamoDB、Amazon ElastiCache、Amazon Redshift、Amazon Neptune和AWS Database Migration Service，基本可以满足用户对于数据库服务的各种需求。

Amazon Aurora 是AWS专为云打造且兼容 MySQL 和 PostgreSQL 的关系数据库，其既具有商用数据库的性能和可用性，又具有开源数据库的简单性和成本效益，最高速度可达标准 MySQL 数据库的五倍、标准 PostgreSQL 数据库的三倍。

Amazon Relational Database Service (Amazon RDS)提供了六种常用的数据库引擎，包括 Amazon Aurora、PostgreSQL、MySQL、MariaDB、Oracle 和 Microsoft SQL Server。

Amazon DynamoDB 是一项快速灵活的 NoSQL 数据库服务，适合所有需要一致性且延迟低于 10 毫秒的任意规模的应用程序，是完全托管的云数据库，支持文档和键值存储模型。

Amazon Neptune 是一项快速、可靠且完全托管的图形数据库服务，其核心是专门构建的高性能图形数据库引擎，支持常见的图形模型 Property Graph 和 W3C RDF 及其关联的查询语言 Apache TinkerPop Gremlin 和 SPARQL。

Microsoft Azure

几周前，微软刚刚举办了Azure在华商用四周年的媒体沟通会，微软大中华区副总裁兼市场营销及运营总经理康容4年来Azure为中国11万客户的数字化转型提供了支持;有1400家合作伙伴与微软一起共同打造中国云生态。

根据微软Azure官网显示，其在数据库产品一栏列出的包括Azure SQL Database、Azure Database for MySQL、Azure Database for PostgreSQL、SQL 数据仓库、SQL Server Stretch Database、Azure Cosmos DB、表存储、Redis 缓存、数据工厂。

Azure Cosmos DB 是以全球分布和横向缩放为核心全新构建的，通过透明地缩放和复制数据，在任意数量的 Azure 区域提供统包全球分布。Azure Cosmos DB 提供对 NoSQL 选择的本机支持，还提供多种明确定义的一致性模型，保证多宿主功能的高可用性以及在世界上任意位置都能实现低延迟。

谷歌云

谷歌云在国内并没有像AWS、微软Azure一样惹人注目，关注度较低。但是在Gartner发布的报告中，谷歌云以3.95%的市场份额占据着公有云市场的第三把交椅。但是遗憾的是，谷歌云一直没有在中国落地。

谷歌母公司Alphabet2017年度营收超1000亿美元，谷歌云的营收只占到了4%，很多人因此而认为“云计算在谷歌战略中并不重要”。其实不然，谷歌云产品目前已覆盖计算、存储和数据库、网络、大数据、物联网、机器学习、身份验证与安全、管理工具、开发者工具等九大方面。

在谷歌云官网列出的数据库服务产品中，我们可以看出其对关系型数据库和NoSQL数据库都做了相关支持。

Cloud Spanner 是专为云端打造的一款分布在全球且高度一致的企业级数据库服务，融合了关系型数据库结构与非关系型横向扩展的优势，在跨行、跨区域、跨洲业务方面实现了高性能和一致性。

▲Cloud Spanner：融关系型数据库与非关系型数据库的精华于一体