分布式与云计算深刻地影响着搜索引擎的发展。与其说是云计算影响了搜索引擎，不如说是搜索引擎的发展产生了云计算的概念。Google正是由于在云计算领域的领先，才能多年在搜索领域保持霸主的地位。本节以Google的架构为例，看一下云计算是如何应用在爬虫之中的。

Google的三大核心技术构成了实现云计算服务的基础：GFS(Google文件系统)、MapReduce(分布式计算系统)和 BigTable(分布式存储系统)。

GFS(Google文件系统)位于这三项技术的最底层，负责许多服务器、机器数据的存储工作，它将一个“大体积数据(通常在百兆甚至千兆级别)分隔成固定大小的数据块放到两到三个服务器上。这样做的目的是当一个服务器发生故障时，可以将数据迅速地通过另外一个服务器恢复过来。在存储层面，机器故障的处理由Google文件系统来完成。

MapReduce (分布式计算系统)是Google开发的编程工具，用于1TB数据的大规模数据集并行运算。这项技术的意义在于，实现跨越大量数据节点分割任务，使得某项任务可以被同时分拆在多台机器上执行。例如把一项搜索任务拆分成一两百个小的子任务，经过并行处理后，将运算结果在后台合并，最后把最终结果返回到客户端。

BigTable(分布式存储系统)作为 Google 的一种针对半结构化数据进行分布存储与访问的接口或服务，它是建立在GFS和MapReduce之上的结构化分布式存储系统，可以帮助Google最大限度地利用已有的数据存储能力和计算能力，在提供服务时降低运行成本。

书名：自己动手写网络爬虫

作者：罗刚, 王振东

出 版 社：清华大学出版社

定价：￥43.00

我们知道云计算主要有三种服务模式，IaaS、PaaS和SaaS，其中最底层最基础的就是IaaS。企业级私有云领域，目前IaaS领域的老大就是VMWare公司；在开源领域，最流行的IaaS框架则是OpenStack框架。

正是因为开源，才让我们可以更深入地了解云计算IaaS的运作机制。通过对OpenStack的架构的介绍，说明OpenStack是如何实现IaaS服务的。

OpenStack的起源

在云计算领域，目前Amazon占据了绝对领先的市场地位。Amazon的CEO贝佐斯靠着强硬的行政命令要求开发人员按照SOA理念来进行开发，要求所有程序模块必须要用服务接口把数据和功能开放出来。所有程序模块间的通信，必须通过这些接口进行。

可以说SOA的设计思想，构成了今天AWS云平台的技术实现基础，同样这种设计思想也被OpenStack所效仿。AWS虽好，但毕竟是商用的，随着云计算的发展，开源云平台解决方案的需求越来越强烈。

2010年7月，RackSpace和美国国家航空航天局合作合作，分别贡献出RackSpace云文件平台代码和NASANebula平台代码，OpenStack由此诞生。

AWS分层架构

OpenStack的架构

作为Amazon的追随者，OpenStack在技术架构上也与AWS有很多相似之处。OpenStack也是由几个独立的核心功能组件所构成。

分别是计算（Compute）、对象存储（ObjectStorage）、认证（Identity）、用户界面（Dashboard）、块存储（BlockStorage）、网络（Network）和镜像服务（ImageService）：

Nova：计算管理，云计算IaaS的核心，类似于Amazon的EC2（ElasticComputeCloud）。为用户提供虚拟机的管理，比如创建虚拟机或对虚拟机做热迁移。Swift：对象存储，负责对文件进行存储和检索，也包括镜像文件。Keystone：为用户提供身份验证以及OpenStack服务的授权。Horizon：为用户提供一个模块化的控制面板，基于django框架实现。Cinder：块存储服务，为虚拟机提供虚拟卷。Neutron：为虚拟机提供网络连接，允许用户创建自己的虚拟网络并连接各种网络设备。Glance：负责镜像管理，为虚拟机提供镜像。

关于每个组件的具体职责，可以参见前文《云计算IaaS管理平台的基本功能有哪些？》

OpenStack的应用

国际公有云方面，AWS、AZure都采用了自己的技术来搭建云计算平台。在国内公有云市场中，阿里云、腾讯云也都是用自有技术来搭建各自的云计算平台，没有直接利用OpenStack。

虽然在公有云市场，应用OpenStack的商业案例还不算多，但在私有云市场，基于OpenStack的项目非常多，远远多于其他的开源云计算框架,如CloudStack、Eucalyptus和OpenNebula等。

与互联网公司不同，华为倒是非常积极地推进OpenStack技术，和中国三大电信运营商们一并都是OpenStack基金会的黄金会员（GoldenMember），而且为国内外多家电信运营商都部署了基于OpenStack的公有云系统。

目前OpenStack的黄金会员主要包括传统IT企业，如Intel、NEC、Dell、VMWare等，也包括通信设备商，如华为、Ericsson、Cisco、JuniperNetworks等，也包括最新加入的国内三大运营商。相信虽然OpenStack的参与者越来越多，生态越来越完善，应用项目也会越来越多。

除交易、支付场景外，支撑起阿里“超级工程”其实包括以下但不限于客服、云计算、库存、搜索、推荐、广告、物流等。因图片经压缩后上传较模糊，需要完整高清原图的可关注后私信“阿里”。

目录：

一、基础设施新技术

二、新零售技术创新

三、菜鸟

四、支付

五、机器智能“新物种”战队

六、云计算

七、安全

八、完整大图如下：

一、基础设施新技术

二、新零售技术创新

三、菜鸟

四、支付

无、机器智能“新物种”战队

六、云计算

七、安全

已完结专题（点击名称可查看专题总结）：

【mysql优化专题】【多线程/池专题】

更新中专题（关注后查看每篇精品文章）：

【dubbo专题】【dubbo源码专题】

【JVM专题】【HTTP协议专题】

【设计模式专题】【高并发专题】

【架构技术专题】【netty专题】

【数据结构专题】【redis专题

在企业云计算平台（以下简称云平台）的建设过程中，IaaS平台(基础设施即服务，Infrastructure as a Service)是IaaS和Paas建设的前提和基础，其规划设计和具体实施是至关重要的。

那么，当企业进行IaaS平台建设时，如何去有效评估既有的IT基础设施架构？基于实际评估结果，如何设定IaaS平台建设的各个渐进阶段？对这些渐进阶段又如何去进行客观评估？这些问题，企业用户和相关的云计算服务提供商必须面对并作出契合实际的准确回答。

IaaS平台规划：务实和细节

目前，云计算的主流公司都有各自的云平台参考模型，这些模型的底层原理和相关组件大同小异，对云平台的框架性结构进行了规划和定义。研究这些参考模型，对理解云平台的各组件固然是大有裨益的，但是，在企业的云平台建设中，需要解决的关键问题不仅仅是整体结构的规划和定义，更为重要和现实的问题是进行具体而微的细节设计。

作为云平台基础的IaaS平台建设，其路线图规划绝不是大而化之的务虚工作，而是建立在全面掌握实际情况基础上的核心设计工作，可以说“处处需务实、步步要落实”。这些工作包括：对现有IT基础设施的“云化”程度进行评估，在此基础上，对构建IaaS平台所需的具体模块进行技术细节规划，进而设定建设相应模块的先后次序，最终，完成具备完善云计算服务能力的IaaS平台。

Iaas平台成熟度模型和CCRA

在业界具有相当知名度的Iaas平台成熟度模型和CCRA（Cloud Computing Reference Architecture，云计算参考框架），是建立在云计算领域的实际服务经验之上的云平台建设标准。这些经验包括：为企业用户提供云计算平台咨询服务、主导云平台规划设计工作、主持云平台的具体技术实施工作。正因为来源于实践，IaaS平台成熟度模型和CCRA才具有极其重要的现实意义，才能被被广泛地应用于IaaS平台构建的实践活动中。

事实上，业界公认，IaaS平台成熟度模型是衡量企业IaaS建设水平的标尺，而CCRA则定义了用于具体实现IaaS平台的Adoption Pattern（即“采用模式”，可理解为用于具体实现的架构、模式和方法。实际上，CCRA还定义了PaaS平台和SaaS平台等其他5类Adoption Pattern，但本文只讨论IaaS平台相关内容），是对企业IaaS整体架构进行设计时的基础框架，是规划IaaS建设路线图时所依据的纲领，而且，从服务的角度看，也是IaaS平台建成后能为企业提供的一个整体服务目录。

下面两图是IaaS平台成熟度模型的5个等级与CCRA IaaS平台采用模式的6个渐进建设阶段之间的对应关系。为了方便读者阅读，提供了两个版本的图，第一个图适用于在手机等移动终端查看，第二个图适合于在PC端查看。

上图中，右边是CCRA IaaS采用模式的6个渐进式建设阶段，是IaaS的规划设计，是基础架构；左边是IaaS平台成熟度模型所有5个级别的成熟度，是对规划设计的成熟度评估，是技术标尺。

在纵向层次，从下往上的方向上，云计算能力在不断增长，右边的6个渐进式建设阶段是企业建设IaaS平台的必由历程，从低级阶段向高级阶段进化，而左边的IaaS成熟度模型则用于衡量企业IaaS建设的成熟度，也是从底层次逐渐往高层次演进；

在两者相互对应的层次关系上：

（1）在大体层次上，CCRA IaaS采用模式0～4级的建设阶段对应于IaaS成熟度模型1～4级的成熟度。也就是说，对CCRA IaaS采用模式0～4级的建设阶段，如果以IaaS成熟度模型去衡量，成熟度在1～4级别之间（具体的IaaS平台的单个建设阶段所对应的成熟度，如图中所示）。在纵向上，这两者都属于企业内部的云化数据中心的建设范畴。

（2）CCRA IaaS采用模式第5级的建设阶段对应于IaaS成熟度模型第5级成熟度。也就是说，对CCRA IaaS采用模式第5级的建设阶段，如果以IaaS成熟度模型去衡量，成熟度为第5级。在纵向上，这两者都已经超越了企业内部云化数据中心的范畴，站在了云服务提供商的高度。

实践证明，基于这两个重要的标尺和框架，逐步地、分阶段地推进IaaS平台的建设是扎实的、可行的，其渐进式建设过程是目标明确的，也是和缓的，这使得企业的IT基础设施在极低的风险下得以平稳提升至IaaS平台水平。

砌墙与Iaas平台建设的类比

其实，这两项标准和框架的配合，正如手工砌墙的过程。在砌墙之前，设计人员要先到实地勘测，根据以往的墙体设计经验（相当于CCRA的Adoption Pattern），结合实际勘测所得情况，进行墙体的各项规格参数设计，完成设计图纸后，工人再按图纸去砌墙。在砌墙的过程中，要用拉水平线和放置铅直线等方式保证质量，还要用建筑业的各项既定标准去衡量墙的质量（相当于用Iaas平台成熟度模型去衡量企业的IaaS建设水平），一旦出现问题就及时修正和整改，就这样，“一边砌墙，一边衡量”，直到墙体完工并通过验收。

如上所述，IaaS平台的建设对应于砌墙，IaaS平台成熟度模型相当于水平线、铅直线和各项建筑业标准，CCRA的IaaS Adoption Pattern类似于由以往所积累的墙体设计经验而形成的通用设计模式和方法，而具体的企业IaaS规划设计则类比于墙的各项具体规格参数和设计图纸。

具体来说，就是在构建云平台的时候，结合企业的实际情况，将Iaas平台成熟度模型用于衡量IaaS现状和具体建设成效，将CCRA的IaaS Adoption Pattern用于具体的IaaS平台框架设计和阶段性建设目标的设定。也就是说，在企业进行云平台建设时，先采用Iaas平台成熟度模型去衡量企业的IT基础设施现状，基于具体的衡量和评估结果，依据CCRA的IaaS Adoption Pattern所对应的IaaS平台基础框架，规划企业的IaaS平台建设路线图。此后，当IaaS建设推进到一定阶段时，再用Iaas平台成熟度模型去衡量建设的具体成效，根据客观的衡量和评估结果，进行总结和归纳，并依据CCRA对下一阶段的建设内容和目标进行修正。随后，继续推行IaaS建设，同样遵循上述过程，如此循环往复，直到IaaS平台实现了预先规划的建设目标，当然，用于作出这一判断的技术标尺也正是Iaas平台成熟度模型。

至此，本文对Iaas平台成熟度模型和CCRA的基础知识进行了简要的介绍。企业IaaS平台的规划设计人员必须在思想上充分地认识到，正确理解并熟练运用IaaS平台建设的技术标尺和基础框架，就可以成功地分析企业的IT基础设施建设现状，进而有效地为企业构建出务实的IaaS平台。

《企业云计算IaaS平台的技术标尺和基础框架》系列文章的下一篇，将重点对Iaas平台成熟度模型和CCRA的各层次内容分别进行较为详尽的分析和梳理。

这两年又是云计算，又是物联网，这会儿又来人工智能，科班出身的小编表示脑细胞根本不够用，果然码农是个吃青春饭的职业，还是静静的做一个吃瓜群众的好。

云计算，“云”的概念最初是由Google工程师克里斯托夫.比希利亚提出的，出发点是为了推广Google的计算资源。

按照考卷里名词解释的要求来说，那就是：

云计算是为用户提供无限计算资源的商业服务，是能够自我管理计算资源的系统平台，是应用服务按需定制、易于扩展的软件架构。

云计算里有5个关键技术，分别是虚拟化技术、对象存储、云管理平台、云桌面和云安全。

今天我们先来讲讲什么是虚拟化技术。虚拟化技术包含服务器虚拟化、网络虚拟化和存储虚拟化。今天我们先讲服务器虚拟化。

在传统架构里，应用是在OS层上面的，而OS是架在物理硬件上的，如下图：

这种架构呢，在实际应用中发现并不很好，下面几个问题挺困扰的：

物理硬件的性能没有充分发挥。

升级物理硬件的时候，必须把应用停掉。

物理硬件发生故障，应用不得不停。

OS出问题了，应用还要停。

这么多问题，就算码农受得了，老板受得了，产品经理也受不了啊，这个必须要有解决方案。

于是在一群码农的折腾下，虚拟架构出来了。

在物理硬件和OS之间，运用了虚拟化技术，使单一的物理硬件可以对应多个OS，充分利用了硬件性能。

还有个好处就是，其中一个OS挂了，最多只影响OS里自己的应用，不会影响到用同一物理硬件资源的其他应用。

通过虚拟化架构，运维人员还能方便的部署应用和扩展物理硬件，不会影响正在运行的应用。

总结一下就是：

虚拟化的目的是逻辑表示资源，摆脱物理的约束。

实现方法：在系统中加入一个虚拟化层，虚拟化层将下层资源封装，抽象成另一种形式的资源，提供给上层使用。

虚拟化可以将一份资源抽象成多份，也可以将多份资源抽象成一份。

本质是物理硬件和操作系统分开，提供更高的资源利用率和灵活性。

在今天的改变与未来的发展预测中表明，有越来越多的企业开始主动拥抱“云”，用云计算提升自身的IT服务能力和运营效率。云计算要求基础设施具有良好的弹性、扩展性、自动化、数据移动、多租户、空间效率和对虚拟化的支持。应当高度贴合网络未来更高层次的发展趋势，随需而动的运维理念。

那么具体而言，应着重从高端服务器、高密度低成本服务器、海量存储设备和高性能计算设备等基础设施领域提高云计算数据中心的数据处理能力。那么，云计算环境下的数据中心基础设施各部分的架构应该是什么样的呢?我们来看这两点的分析：

1，云计算机房架构

为满足云计算服务弹性的需要，云计算的机房一般都将采用标准化、模块化的机房设计架构。模块化机房包括集装箱模块化机房和楼宇模块化机房。为减轻了建设方在机房选址方面的压力，帮助建设方将原来半年的建设周期缩短到两个月，而能耗仅为传统机房的50%,可适应沙漠炎热干旱地区和极地严寒地区的极端恶劣环境。楼宇模块化机房采用冷热风道隔离、精确送风、室外冷源等领先制冷技术，可适用于大中型数据中心的积木化建设和扩展。

2，云计算数据中心总体架构

云计算架构分为服务和管理两大部分。在服务方面，主要以提供用户基于云的各种服务为主，共包含3个层次：平台即服务PaaS、基础设施即服务IaaS、软件即服务SaaS.在管理方面，主要以云的管理层为主，它的功能是确保整个云计算中心能够安全、稳定地运行，并且能够被有效管理。着力于提高网络数据处理和存储能力，致力于低碳高效的利用基础资源。

一、云计算介绍

任何一个在互联网上提供其服务的公司都可以叫做云计算公司。其实云计算分几层的，分别是Infrastructure（基础设施）-as-a-Service，Platform（平台）-as-a-Service，Software（软件）-as-a-Service。基础设施在最下端，平台在中间，软件在顶端。别的一些“软”的层可以在这些层上面添加。

云计算架构示例1

云计算架构示例2

云计算架构示例3

二、云计算服务模式

1、IaaS: Infrastructure-as-a-Service（基础设施即服务）

基础架构，或称基础设施（Infrastructure）是云的基础。它由服务器、网络设备、存储磁盘等物理资产组成。在使用IaaS时，用户并不实际控制底层基础架构，而是控制操作系统、存储和部署应用程序，还在有限的程度上控制网络组件的选择。

通过IaaS这种模式，用户可以从供应商那里获得他所需要的计算或者存储等资源来装载相关的应用，并只需为其所租用的那部分资源进行付费，而同时这些基础设施繁琐的管理工作则交给IaaS供应商来负责。

我们从阿里云上购买的云主机就是属于此类了。

2、PaaS: Platform-as-a-Service（平台即服务）

平台即服务（Platform as a Service，PaaS）提供对操作系统和相关服务的访问。它让用户能够使用提供商支持的编程语言和工具把应用程序部署到云中。用户不必管理或控制底层基础架构，而是控制部署的应用程序并在一定程度上控制应用程序驻留环境的配置。PaaS的提供者包括Google App Engine、Windows Azure、Force、Heroku等。小企业软件工作室是非常适合使用PaaS的企业。通过使用云平台，可以创建世界级的产品，而不需要负担内部生产的开销。

3、SaaS: Software-as-a-Service（软件即服务）

软件即服务（SaaS）为商用软件提供基于网络的访问。您有可能已经使用过SaaS，即使您当时并不知道。SaaS的示例太多了，例如Netflix、Photoshop、Acrobat、Intuit QuickBooks Online、Gmail、Google Docs、Office Web Apps、Zoho、WebQQ、新浪微盘等等。可能不太明显的SaaS实现包括移动应用程序市场中的相当一部分。

简单的说，就是做好软件，用户基于互联网来使用就可以了，并且是可以按需购买使用。

4、DaaS：Data-as-a-service（数据即服务）

DaaS是Data-as-a-service（数据即服务），是继 IaaS、PaaS、SaaS之后又一个新的服务概念。

数据即服务(Data-as-a-Service，DaaS)通过资源的集中化管理，为提升IT效率以及系统性能指明了方向。因此DaaS在过去的几年中得到了许多CIO的青睐，它包含的主要技术有数据虚拟化、数据集成、SOA、BPM以及PaaS等。

5、CaaS：Communications-as-a-Service（通讯即服务）

CaaS是Communications-as-a-Service缩写，意思是通讯即服务(也可称为协作即服务)。CaaS是将传统电信的能力如消息、语音、视频、会议、通信协同等封装成API(Application Programming Interface，应用软件编程接口)或者SDK(Software Development Kit，软件开发工具包)通过互联网对外开放，提供给第三方（企业、SME、垂直行业、CP/SP以及个人开发者等等）使用，将电信能力真正作为服务对外提供。

6、MaaS：Machine as a Service（物联网即服务）

MaaS(Machine as a Service)物联网即服务，这个概念伴随着物联网产生，物联网常见的两种业务形式就是MAI与MaaS，因此MaaS属于物联网业务形式的一种。

7、XaaS：X as a service（一切都是服务）

一切皆服务（XaaS）是一个统称，代表 “X as a service”、“anything as a service”或“everything as a service” 。这一缩写指越来越多地通过互联网提供的服务，而不仅仅指本地或现场服务。云计算的本质就是XaaS。

以上六种服务都是XaaS。

三、总结

everything as a service

以前我们使用软件可以说都是一个拷贝(everything is a copy)，在云计算时代，我想只能说所有软件可能都是“everything as a service”。

云计算是一种能够通过网络以便利的、按需付费的方式获取IT资源（包括网络、服务器（虚机、容器）、存储、平台、应用和服务等）并提高其可用性的模式，这些资源来自一个共享的、可配置的资源池，并能够以最省力和无人干预的方式获取和释放。

云计算技术与服务架构

SaaS是一种新型软件发布模式，应用软件安装在 厂商或者服务供应商那里，用户通过网络使用。Salesforce、NetSuite、Google Apps、微软Office365是典型案例。

软件开发者可以在PaaS之上直接开发新的应用，不需要购买和部署服务器和OS、数据库和中间件软件而直接部署代码即可。

运行客户自己的应用。Salesforce的Force、Google AppEngine和微软 Azure都是PaaS模式的典型代表。

IaaS（Infrastructure as a Service，基础架构即服务）通过互联网提供数据中心、基础架构硬件和软件资源。典型

IaaS的代表产品是亚马逊的AWS（Elastic Compute Cloud）、Google的CloudEngine。

云计算基础设施服务

基础设施：机房和带宽

硬件：服务器、存储、数据中心网络

软件：操作系统、虚拟化软件等

基础架构管理：抽象、池化、服务/实例/接口

云计算应用开发和执行环境

将云计算应用开发和执行环境以PaaS形式提供给外部开发者。

基于云计算基础架构提供各种OS和运行环境（数据库、开发语言运行环境、文件系统），支持多开发语言库为开发人员提供云计算应用开发工具（开发环境插件、本地仿真环境等）

基于多租户架构为开发者开发的应用提供执行环境

应用的监控和管理根据应用负载提供良好的资源伸缩性，同时保证应用的可靠性等

云计算应用软件

各类利用云计算基础架构或之上的应用执行环境平台开发的应用，以SaaS的形式提供给外部用户。

利用了云计算基础架构和多租户架构的执行环境，因此可以保证应用具有良好的可伸缩性以及多租户共享。

提供商将这些云计算应用按多租户方式提供给客户，典型的如CRM、企业邮件、办公文档、企业协同系统等

云计算技术体系