云计算往往被誉为企业和企业技术的未来。 像其他一样，云计算有其自身的利弊。 本文讨论了使用云的优点和缺点，并简要介绍了各种开源云计算技术。

　　云计算是用于描述在互联网上发生的一类新的基于网络计算的术语。 这些平台通过提供非常简单的图形界面，隐藏了用户和应用程序的基础架构的复杂性和细节。

　　云对用户和应用程序是透明的，它们可以以多种方式构建。 一般来说，它们建立在PC服务器集群上，并结合内部应用程序和系统软件。

　　云计算使依赖于系统基础设施的公司和应用程序保持基础设施更少，相反，使用云基础设施作为“基础”;因此，这些公司可以节省资金和运营投资。

　　客户可以将他们的数据和应用程序放在云上，而不是放在他们自己的桌面pc或他们自己的服务器上。此外，他们还可以使用云中的服务器来进行处理、数据处理等。

　　云计算的优势

　　降低计算机成本：由于应用程序在云端运行，一台台式机不需要传统桌面软件所需的处理能力或硬盘空间。

　　改进的性能：云计算系统中的计算机启动并运行速度更快，因为它们将更少的程序和进程加载到内存中。

　　降低软件成本：您无需购买昂贵的软件应用程序，而可以免费获得大部分所需的软件。

　　即时软件更新：当应用程序基于Web时，会自动更新。也就是说，当您访问基于Web的应用程序时，您将获得最新版本。

　　改进的文档格式的兼容性：你不需要担心兼容的文件在您的计算机上创建其他用户?应用程序或操作系统。

　　无限存储容量：云计算几乎无限存储。

　　提高数据可靠性：如果您的个人计算机崩溃，您的所有数据在云中都是安全的，仍然可以访问。

　　更轻松的团队合作：多个用户可以轻松协作文档和项目。

　　设备独立性：您不再需要连接到单个计算机或网络。

　　尽管云的所有优点，存储的数据可能不安全。 由于您的所有数据都存储在云端，所以重要的问题是：云的安全性如何？ 未经授权的用户可以访问您的机密数据吗？

　　当组织选择在公共云上存储数据或主机应用程序时，它将失去对承载其信息的服务器进行物理访问的能力。 因此，敏感和机密数据面临外部和内部人员的攻击风险。

　　采取措施提高云的安全性

　　云服务提供商必须确保正确的数据隔离

　　为了节省资源，云服务提供商通常在同一台服务器上存储多个客户端数据。因此，有一个用户的私人数据可以被其他用户（甚至是竞争对手）查看的机会。为了处理这种敏感的情况，云服务提供商应确保正确的数据隔离和逻辑存储隔离。

　　加密数据

　　企业必须选择一个云端存储提供商，支持对数据进行加密和休息。 Amazon Web Services（AWS）通过SSL连接从Simple Storage Service（S3）移动数据，并使用AES-256加密来保护数据。此外，企业可以选择可用的第三方加密工具，如Viivo，Sookasa或Cloudfogger。

　　数据中心必须经常监控

　　根据最近的一份报告，内部攻击是云计算的第三大威胁。因此，云服务提供商必须确保对具有物理访问数据中心服务器的员工进行彻底的后台检查。另外，必须经常监视数据中心的可疑活动。

　　应该减少虚拟化的使用

　　虚拟化改变了操作系统和底层硬件之间的关系 - 无论是计算，存储，甚至网络。虚拟化在实施云基础设施方面的广泛使用为公共云服务的客户带来了独特的安全隐患。据说，即使在管理员的工作站中，虚拟化软件的管理软件也可能导致整个数据中心下降或重新配置为攻击者的喜好。

　　开源云计算技术

　　本节简要讨论了几种开源云计算技术。

　　OpenStack

　　OpenStack包括一套用于构建和管理公共和私有云云计算平台的软件工具。它是企业和开发人员最重要的开源技术之一。 OpenStack被视为基础架构即服务（IaaS）。它提供基础设施，使用户可以轻松地添加新的实例，其他云组件可以运行。基础架构然后运行一个平台，开发人员可以在其上创建交付给最终用户的软件应用程序。 OpenStack服务于不断增加的IT环境数量，作为公共，私人和托管基础架构的基础。组织特别使用OpenStack构建自己的私有云。例如，德意志电信（Business Marketplace）使用OpenStack构建其云平台。

　　如果要使用OpenStack，首先使用tryStack，这样可以让您在沙箱环境中测试应用程序。这将使您了解OpenStack的工作原理以及它是否适合您的解决方案。

　　Cloud Foundry

　　在不断增长的平台即服务（PaaS）市场中，Cloud Foundry处于领先地位。 该项目由EMC / VMware分拆的Pivotal初始化。 Cloud Foundry主要用Ruby和Go编写。 部署到Cloud Foundry的应用程序通过服务访问外部资源。 在PaaS环境中，所有外部依赖关系，如数据库，消息系统和文件系统都是服务。 当应用程序被推送到Cloud Foundry时，也可以指定它应该使用的服务。 根据应用语言，服务的自动配置是可能的; 例如，需要MySQL数据库的Java应用程序在Cloud Foundry上选择MySQL服务，如果它是当前空间中唯一定义的。

　　KVM

　　KVM（基于内核的虚拟机）是OpenStack或openQRM等基础设施解决方案的首选管理程序，在开源社区中享有良好声誉。 它是一个完整的虚拟化解决方案，适用于包含虚拟化扩展的x86硬件上的Linux。 它包含一个可加载的内核模块kvm.ko，它提供了核心虚拟化基础设施和一个特定处理器的模块kvm-intel.ko或kvm-amd.ko。 使用KVM，可以使用运行未修改的Linux或Windows映像的多个虚拟机。 每个虚拟机都有专用的虚拟化硬件 - 网卡，磁盘，图形适配器等。

　　Docker

　　Docker是构建，运输和运行分布式应用程序的开放平台。 它为程序员，开发团队和运营工程师提供了他们需要利用现代应用程序的分布式和网络化特性所需的常用工具箱。 在开发dotCloud Platform-as-a-Service时，集装箱技术正在成为一种副产品，目前正在经历强劲的动力，得到了Google，Amazon Web Services和Microsoft等大型企业的支持。 Docker可以在多个Linux服务器上实现捆绑在容器中的应用程序的松耦合移动，从而提高应用程序的可移植性。 乍看之下，Docker看起来像一个纯粹的开发工具。 然而，从IT决策者的角度来看，它绝对是优化现代应用程序部署的战略工具。 Docker有助于确保应用程序的可移植性，增加可用性并降低总体风险。

　　Apache Mesos

　　Mesos成为Apache软件基金会的顶级项目。 Mesos内核在每个机器上运行，并提供应用程序（例如，Hadoop，Spark，Kafka，弹性搜索等），用于跨整个数据中心和云环境的资源管理和调度。 这是在加利福尼亚大学伯克利分校设计的，有助于彼此孤立地运行应用程序。 同时，这些应用程序是动态地分布在群集中的几个节点上。 Mesos可以与OpenStack和Docker一起使用。 热门用户是Twitter和Airbnb。

　　Deltacloud

　　Deltacloud是Red Hat 2014年开始的一个开源项目。 它现在是一个Apache孵化器项目。 Deltacloud提取云之间的差异，并将云客户端的应用程序编程接口（API）映射到多个流行云的API中。 因此，Deltacloud是一种支持和管理异构云虚拟化基础设施的方法。 它允许从一个通用管理界面管理任何经过认证的虚拟化环境。 并且通过使不同的虚拟机能够从一个虚拟化容量实时传输或迁移到另一个虚拟机来实现。 如果企业已经在使用IBM Tivoli或HP OpenView，则可以集成Deltacloud。

　　OpenNebula

　　OpenNebula是一个云计算的开源工具包。它允许你创建和管理私有云KVM、Xen、VMware ESX，以及通过deltacloud适配器与亚马逊EC2和其他供应商的混合云。远程公共云提供商可能是一个商业云服务提供商如Amazon，或者它可能是一个伙伴的私有云运行不同的OpenNebula实例。

　　更多阅读：

　　双11活动震撼来袭，你准备好剁手了？！

　　课课家软件设计师视频教程

　　课课家2017软考网络规划设计师-考前冲刺重、难点视频课程

【云服务器】小鸟云服务器，纯SSD架构，行业领先的硬件计算能力，只需几分钟，便可轻松云端获取和启用，实现您的计算需求。可弹性扩展资源用量的同时，还能为您节约计算成本，简化IT运维工作，让您更专注于核心业务的创新。

云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。云计算最初主要包括了两类含义：一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。

云计算、大数据和物联网

随着大数据概念的提出，云计算中的分布式计算技术开始更多地被列入大数据技术，而人们提到云计算时，更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模(如Iaas、PaaS、SaaS)。

从云计算和大数据概念的诞生到现在，二者之间的关系非常微妙，既密不可分，又千差万别。因此，我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外，物联网也是和云计算、大数据相伴相生的技术。

云计算、大数据和物联网三者已经彼此渗透、相互融合，在很多应用场合都可以同时看到三者的身影，在未来，三者会继续相互促进、相互影响，更好地服务于社会生产和生活的各个领域。

下面总结一下三者的联系与区别：

1. 大数据、云计算和物联网的区别

大数据侧重于海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活;云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价提供给用户;物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。

2. 大数据、云计算和物联网的联系

从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式和数据存储和管理系统(包括分布式文件系统和分布式数据库系统)提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力，没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。

物联网的传感器源源不断产生的大量数据，构成了大数据的重要来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。

云计算、大数据和物联网，三者会继续相互促进、相互影响，更好地服务于社会生产和生活的各个领域。

(图片来源于：思科)

导读

昨天，John 给大家介绍了“云制造”，云计算是其中的关键。然而，谈到雾计算，对于大多数人仍是一个陌生的新概念。即使有些朋友理解了云计算，对于雾计算，仍然还是“云里雾里”。今天，我希望通过深入介绍雾计算的概念，理清雾计算和云计算、边缘计算、移动云计算、移动边缘计算等技术模型之间的区别和联系，再次拉近我们和“雾计算”之间的距离。

“从云到雾”的开始

雾计算（Fog Computing），这个概念由思科首创。简单点说，拓展了云计算（Cloud Computing）的概念，相对于云来说，它离产生数据的地方更近，数据、数据相关的处理和应用程序都集中于网络边缘的设备中，而不是几乎全部保存在云端。通俗一点讲：“雾计算”的名字源自“雾是比云更贴近地面（数据产生的地方）”。

物联网设备和传感器，高度分布在网络的边缘，同时又具有实时性和延时敏感的需求。然而，云数据中心在分布上是集中化的，通常难以应对四处分布的数十亿物联网设备和传感器的数据存储和处理的需求。所以，网络阻塞、高延时、低服务质量等现象就会出现。

雾计算，是一种分布式的计算模型，作为云数据中心和物联网（IoT）设备/传感器之间的中间层，它提供了计算、网络和存储设备，让基于云的服务可以离物联网设备和传感器更近。雾计算的概念的引入，也是为了应对传统云计算在物联网应用时所面临的挑战。

雾计算的构成和优势

通常来说，雾计算环境由传统的网络组件例如：路由器、开关、机顶盒、代理服务器、基站等构成，可以安装在离物联网终端设备和传感器较近的地方。这些组件可以提供不同的计算、存储、网络功能，支持服务应用的执行。所以，雾计算依靠这些组件，可以创建分布于不同地方的云服务。

此外，雾计算促进了位置感知、移动性支持、实时交互、可扩展性和可互操作性。所以，雾计算处理更加高效，能够考虑到服务延时、功耗、网络流量、资本和运营开支、内容发布等等因素。在这个意义上，雾计算相对于单纯使用云计算而言，更好的满足了物联网的应用需求。

和其他几种计算模式的联系和区别

雾计算和现有的几种计算模式概念上有点相近，所以接下来重点介绍一下这几个计算模式，通过这些更加深入的理解雾计算概念及其在物联网中的地位。

首先，我们自然先从云计算谈起。

由于云计算的出现，计算技术进入了一个新时代。许多计算服务提供商例如谷歌、亚马逊、微软、IBM等等，将这种计算模式作为一种工具。他们通过基础架构即服务 (IaaS)、平台即服务(PaaS)、软件即服务 (SaaS)，同时处理企业和教育相关的问题。然而，大多数的云数据中心是集中化的，离终端的设备和用户较远。所以，实时性要求高的计算服务，需要远端的云数据中心的反馈，通常这样会引起长距离往返延时、网络拥塞、服务质量下降等问题。

为了解决这一问题，一种新的概念产生了，这就是“边缘计算”。

边缘计算的初衷是为了将计算能力带向离数据源更近的地方。更准确一点说，边缘计算让数据在边缘网络处处理。边缘网络基本上由终端设备（例如移动手机、智能物品等等）、边缘设备（例如边界路由器、机顶盒、网桥、基站、无线接入点等等）、边缘服务器等构成。这些组件可以具有必要的性能，支持边缘计算。作为一种本地化的计算模式，边缘计算提供了对于计算服务需求更快的响应速度，通常情况下不将大量的原始数据发回核心网。然而，总体来说，边缘计算不需要会主动协助 IaaS,、PaaS、 SaaS和其他云服务，更多地专注于终端设备端。

综合“边缘”计算和“云”计算的概念，又会新引入几种计算模式，其中包括移动边缘计算（MEC）和移动云计算（MCC），作为云计算和边缘计算的扩充。

作为，边缘-中央计算模式，MEC已经在研究领域早有名声。MEC 被认为蜂窝基站模型的现代化演变的关键因素。它让边缘服务器和蜂窝基站相结合，可以和远程云数据中心连接或者断开。MEC 配合终端移动设备，支持网络中2或3级分层应用部署。另外，MEC旨在为用户带来自适应和更快初始化的蜂窝网络服务，提高网络效率。最近，MEC的一项显著应用就是支持5G通信。更加长远地说，它旨在灵活访问无线电网络信息，进行内容发布和应用部署。

MCC是计算领域另外一项趋势。由于智能移动设备的不断增多，如今的最终用户更喜欢在手持移动设备上运行相关服务，而不再是在传统的电脑上。然而，大多数的智能移动设备都受到能量、存储和计算资源的限制。所以在关键场景中，在移动设备以外的地方运行加强的应用，比在本地执行这些应用要更加的灵活。MCC提供必要的计算资源，支撑这些靠近终端用户的移动应用程序在远程执行。通常这些轻量级的云服务器，被称为（cloudlet）“小云片”，它处于边缘网络中。“小云片”和移动设备以及数据中心一起，为丰富的应用程序，搭建了三层应用部署平台。总体来说，MCC结合云计算、移动计算和无线应用通信技术，为移动用户提高服务质量，为网络运营商和云服务提供者，提供新业务机会。

回到雾计算，

类似MEC和MCC，雾计算也可以进行边缘计算。然而，除了边缘网络，雾计算也可以拓展到核心网络。更准确一点说，边缘和核心网络（例如核心路由器、区域服务器、广域网路开关等等）的组件都可以作为雾计算基础设施。相应地，多层应用程序部署和服务，需要通过雾计算能够轻易地观测数量巨大的物联网设备和传感器。另外，相对于“小云片”蜂窝网络边缘服务器来说，位于边缘网络的雾计算组件，离物联网终端设备和传感器更近。物联网设备和传感器分布密度很高，需要对于服务请求实时响应，所以要在物联网传设备和传感器附近，存储和处理物联网数据。服务延时对于实时物联网应用来说，需要尽可能最小化。和边缘计算不同的是，雾计算可以将基于云的服务例如IaaS、PaaS,、SaaS等等，拓展到网络边缘。

综合上述几个计算模式，雾计算相对于其他计算模型来说，是适应物联网结构的最佳选择。

参考资料

【1】Redowan Mahmud, Rajkumar Buyya. Fog Computing: A Taxonomy, Survey and Future Directions. arXiv:1611.05539

(文中相关图片来源自本篇论文)

云计算（英语：Cloud Computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源，它意味着计算能力也可作为一种商品通过互联网进行流通。

Wiki定义：云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。原文：Cloud computing is a style of computing in which dynamically scalable and offer virtualized resources are provided as a service over the Internet.美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。“云计算”概念被大量运用到生产环境中，国内的“阿里云”与云谷公司的XenSystem，以及在国外已经非常成熟的Intel 和IBM，各种“云计算”的应服务范围正日渐扩大，影响力也无可估量。原文：Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction.

云计算常与网格计算、效用计算、自主计算相混淆。网格计算：分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机，常用来执行一些大型任务；效用计算：IT资源的一种打包和计费方式，比如按照计算、存储分别计量费用，像传统的电力等公共设施一样；自主计算：具有自我管理功能的计算机系统。事实上，许多云计算部署依赖于计算机集群（但与网格的组成、体系结构、目的、工作方式大相径庭），也吸收了自主计算和效用计算的特点。

当今的科技领域，新事物和新概念层出不穷，诸如云计算、边缘计算和雾计算等。众多的概念已经让人混淆不清，何谈技术的发展与应用。今天，笔者将为你介绍边缘计算和云计算，以及二者到底有何区别。

到2017年，全球物联网设备已经达到84亿台，物联网正在快速走进我们的生活和工作。事实上，物联网也是云的一部分。目前，用户面临的一个关键挑战是，你怎样才能从众多的设备中获得已经处理过的数据。

根据思科公司的预测，到2020年，云流量将增长4倍，从2015年每年的3.9ZB增长到2020年的每年14.1ZB。最终，通过物联网的快速发展，我们可以让云计算获得更完美的进步。毕竟，物联网是产生有意义的数据处理装置，而云计算则是关于从中央计算和存储中利用数据。两者的增长很容易变得不可管理。

那么，我们能做什么？这个答案有时被称为“边缘计算”。我们已经知道，边缘计算将大部分的数据处理推送到网络的边缘，靠近数据源。那么这就是划分边缘和集中式系统之间的处理问题，这意味着一个公有云，比如AWS、谷歌云以及微软Azure。

这听上去像一个客户端/服务器架构，也涉及到在客户端和服务器上做什么。从物联网和任何高度分布式应用，你基本上已经有了一个客户端/网络边缘/服务器架构，或者你的设备无法进行自己的处理，则可以使用网络边缘/服务器架构。

它的目标是快速地处理接近设备的数据，如行动。有几百个使用情况，反应时间是物联网系统的关键价值，同时一致性的将数据发送回集中式的云防止该值发生。

你可能仍然会使用云进行处理，当时间不敏感或设备不需要，例如来自都对所有设备的数据进行大数据分析。

另外一个方面是：边缘计算和云计算是两个截然不同的事情，其中一个不会取代另一个。但目前太多的文章混淆了IT专业人士，提出边缘计算将取代云计算，这就相当于说PC会取代数据中心。

实际上，创建专门的基于边缘计算的应用程序是非常有意义的，例如将数据处理放在传感器中以快速处理对报警响应的应用程序。但是，你不会将库存控制数据和应用程序置于边缘——将所有计算机移动到边缘将导致分布式，不安全和无法管理的混乱。

目前，所有公有云提供商都具有包含或将边缘计算的物联网战略和技术栈。边缘计算和云计算可以在一起工作，但边缘计算是用于特殊需求的专用系统。云计算是一种更通用的平台，也可以在旧的客户端/服务器模型中与专用系统配合使用。

什么是云计算呢?

　　其实云端(cloud)就代表了互联网(Internet)，通过网络的计算能力，取代使用你原本安装在自己电脑上的软件，或者是取代原本你把资料存在自己硬盘的动作，你转而通过网络来进行各种工作，并存放档案资料在网络，也就是庞大的虚拟空间上。我们通过所使用的网络服务，把资料存放在网络上的服务器中，并借由浏览器浏览这些服务的网页，使用上面的界面进行各种计算和工作。

　　在云计算中，服务器并不会管你电脑的计算能量有多强。有的同事在办公室用PC连上Google Docs，在家则是用Apple MacBook，同时还有很多其他的服务可以通过你的手机或iPhone与Android平台手机上的应用软件来完成。

　　你可以在任何一台电脑上登入使用云端服务，而一个朋友或同事也可以登入并和你一起在一样的文件上工作。Google Docs只是能够协同操作的一种办公室型态云计算服务。有些服务甚至还可以让人在全球不同的地点登入服务并同时在一样的文件上工作。

　　云计算也许听起来很棒，但是它还是有一些隐忧的，也是你在使用时必须要考虑的地方。正如同开放源代码阵营名人Richard Stallman指出的，你的资料是在第三方厂商的手上，而且是在你控制以外的。

　　最有可能遇到的问题是安全性，鲜少有公司会想窃取你的资料并做出无耻的网站设计，但最好还是研究一下各种网站和网络服务，找一些可信赖的专家推荐的。　　

　　幸运的是，一点点常识和一些简单的正确电脑操作练习可以将这类安全性失误的影响降至最低，避免将你的机密资料放在云端上，如果你真的放了，例如利用网上银行时，避免在网咖、学校或图书馆内的公用电脑上进行，也别太随便给出自己真正的联络资料，避免每个帐号都使用同一个密码，就算只更改一个字母也好。

　　云计算第二个主要问题是可能暂时故障导致你无法使用某项服务，你可能把资料放在某个网站上而这个网站却因服务器故障导致某一段时间无法进入，Twitter就因偶发性挂点而恶名昭彰，每次它的网站挂掉时就会出现“掉落的鲸鱼”图案， 更糟的是，你有可能因此而遗失全部的资料。

　　最糟、最糟的情况是，当你想搜索自己在云端上的资料时却发现“情空中万里无云”，如果你想野餐这当然是好事，但如果是这个为你保管资料的公司突然关门大吉，可就大事不妙了。

　　如果你还没有备份自己的资料，你真的应该开始备份了。如果你不信邪，用iTunes就好了，但如果你信邪而且开始备份这些资料，就一直备份下去吧...想想要把全部的CD都跑过一次要花上多少时间(如果你还保有它们的话)，更别提那些你借来的CD或是已经购买的MP3。

　　想像一下明早你醒来时发现它们全部不见了，至少你还有音乐可以听，但如果遗失的是你的生日或婚礼或在瑞典穿着日本浴衣驾驶拖拉机的照片，那可能反而是件好事。

对于到底什么是云计算，至少可以找到100种解释。目前广为接受的是中国云计算专家咨询委员会副主任、秘书长刘鹏教授给出的定义：“云计算是通过网络提供可伸缩的廉价的分布式计算能力。”

　　从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

　　云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。

　　这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来，并通过专门软件实现自动管理，无需人为参与。用户可以动态申请部分资源，支持各种应用程序的运转，无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池，这与早在2002年就提出的网格计算池(Computing Pool)的概念非常相似。网格计算池将计算和存储资源虚拟成为一个可以任意组合分配的集合，池的规模可以动态扩展，分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率，提升平台的服务质量。

　　之所以称为“云”，是因为它在某些方面具有现实中云的特征：云一般都较大;云的规模可以动态伸缩，它的边界是模糊的;云在空中飘忽不定，无法也无需确定它的具体位置，但它确实存在于某处。之所以称为“云”，还因为云计算的鼻祖之一Amazon公司将大家曾经称为网格计算的东西，取了一个新名称“弹性计算云”(Elastic Computing Cloud)，并取得了商业上的成功。　　

这里描述的云的建立过程和结构，只是一种比较普通和容易理解的形式。由于技术的不同、实现方式的不同，各家云的实现方式和结构会有很大的不同。但是，一些基本的概念是相同的，其共同的核心要点包括：

　　一定要有资源池。把分散的计算资源集中到大的资源池里，以方便统一管理和分配。例如前面讲的D所管理的资源池。

　　按需分配、自助服务。用户实际消耗多少资源，就被分配多少资源;用户对自己得到的资源能够自助管理。例如前面讲的“机房”。

　　灵活的资源变化。随便撤掉一台硬件的电脑，其上面的信息和活动会自动转移到别处去;随便增加一台电脑，其资源会随时添加到资源池里去。所有这些增减，用户根本意识不到。例如前面讲的“配载调配和平衡”。

　　一定要有记账系统。用户消耗了多少资源，如何给这些资源计费，系统有详尽的信息采集和报告，以便对用户收费(即使是免费，也得有详细的记账)。例如前面提到用户输入信用卡，就是以记账为前提。

　　在组建云的技术上，说到底，就是用软件产品(如前面提到的C和D，并通过监控程序)来管理、组织、和分配经过抽象或虚拟的硬件计算资源。除了个别企业用自己的技术建设、和服务外，现在常见的云技术提供者主要有：VMware、微软、Citrix、和OpenStack等。前两者是完全的商业产品;Citrix公司在监控程序上采用的是开源的Xen;OpenStack则完全是开源免费的，它的监控程序主要采用开源的KVM和Xen，也可以是其它的开源软件。

　　按照服务的对象和范围，云可以分为三类：

　　私有云：建一个云，如果只是为了单位(企业或机构)自己使用，就是私有云。就前面提到的“机房”而言，每个“机房”只是为本单位的不同部门、或不同用途而设立的。

　　公众云：如果云的服务对象是社会上的客户，就是公众云。前面提到的“机房”可以是任何社会上的企业、单位、或个人。Amazon公司的AWS是现在世界上最大的公众云。其它公众云提供商还有Google、Salesforce、苹果的iCloud等等。

　　混合云：如果一个云，既是为单位自己使用，也对外开放资源服务，就是混合云。有时，把两个或多个私有云的联合，也叫混合云。　　“云计算”的五大特点

大规模、分布式“云”一般具有相当的规模，一些知名的云供应商如Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。而依靠这些分布式的服务器所构建起来的“云”能够为使用者提供前所未有的计算能力。

虚拟化云计算都会采用虚拟化技术，用户并不需要关注具体的硬件实体，只需要选择一家云服务提供商，注册一个账号，登陆到它们的云控制台，去购买和配置你需要的服务（比如 云服务器，云存储，CDN等等），再为你的应用做一些简单的配置之后，你就可以让你的应用对外服务了，这比传统的在企业的数据中心去部署一套应用要简单方便得多。而且你可以随时随地通过你的PC或移动设备来控制你的资源，这就好像是云服务商为每一个用户都提供了一个IDC(Internet Data Center)一样。

高可用性和扩展性那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。基于云服务的应用可以持续对外提供服务（7*24小时），另外“云”的规模可以动态伸缩，来满足应用和用户规模增长的需要。

按需服务，更加经济用户可以根据自己的需要来购买服务，甚至可以按使用量来进行精确计费。这能大大节省IT成本，而资源的整体利用率也将得到明显的改善。

安全网络安全已经成为所有企业或个人创业者必须面对的问题，企业的IT团队或个人很难应对那些来自网络的恶意攻击，而使用云服务则可以借助更专业的安全团队来有效降低安全风险。　　

文章来源：链闻ChainNews

撰文：Dani Grant，UNION SQUARE VENTURES 分析师

编译：詹涓

自 1990 年代以来，人们一直试图建立分布式计算网络；1996 年，因特网梅森素数大搜索计划 GIMPS 使用分布式计算搜索素数，1999 年，Seti@Home 利用志愿者的计算能力搜寻地外生命。

25 年后的今天，拼图上最后的几个小碎片似乎已经就位。

加密货币一个令我们始终雀跃不已的应用是分布式计算。

在加密货币出现之前，如果有陌生人用闲置的服务器运行了一个机器学习程序，我是没法用自己的笔记本电脑转给对方一点钱聊表谢意的。加密货币最终使我们能够进行机器对机器的支付，以补偿运行任务的参与节点。

加密货币使机器对机器的支付成为可能，而这使得贡献 CPU 的参与者能获得补偿。机器学习、三维仿真和生物计算等领域对计算资源的需求越来越大。

我们一直在关注分布式计算项目，并希望分享不同的项目如何处理连接到网络的计算机数量不断增加的问题，以及如何将任务从它们运行的计算节点中隔离开来的解决方案。

以下是我们的初步发现，分享给大家，供指正。

发展网络的方法

梅特卡夫定律 Metcalfe’s law 适用于计算网络：网络上的机器越多，机器在需要时接受新任务的可能性就越大。

发展计算网络非常困难，在空间越来越拥挤的情况下尤其如此。我得澄清一下，问题不在于人们已经安装了什么，不希望再安装些什么，而是一个项目想要取得突破，自然会面临许多噪音。

以下是我们看到的四种有趣的方法：

方法1：让任何人都能轻松地加入网络。一个例子是 KingsDS pre-beta。想要加入，只要访问浏览器中的 URL 并让选项卡在后台运行即可。

方法2：帮助其他应用程序因共享用户的资源而获得补偿。其中一个例子是 FREEDcoin pre-beta。他们为游戏开发者提供一套软件开发工具包 SDK。当玩家启动运行 FREEDcoin SDK 的游戏时，他们有机会通过贡献自己的 CPU 来换取游戏中的奖励。这会带来三赢的局面：FREEDcoin 可以吸引高性能的游戏 PC 加入其网络，游戏开发者可以在不显示广告的情况下将游戏货币化，而玩家也有机会获得虚拟奖励。

方法3：构建客户机，以使每个节点都可以提交和完成任务。比如 Golem beta 可以在客户端提交任务并进行计算，这意味着他们的每个最终用户都可以简简单单地成为计算节点。这有助于他们在网络的两端均衡成长。

方法4：最后一种方法是为其他计算项目提供计算资源。一个例子是 SONM beta，这是一个试图帮助其他计算网络快速扩展的项目。有了SONM 的开放市场，机器可以通过标准化的格式显示它们可提供多少 RAM、CPU 和 GPU。然后，任何使用 SONM 的项目都可以在整个 SONM 网络中搜索拥有可用资源的机器。

将任务与主机相隔离的方法

一个挑战是确保任务不能读取或修改主机的内存，反之亦然。如果多个任务同时在一台机器上运行，那么它们之间彼此隔离也很重要。

保持数据私密性是一个艰巨的挑战；尽管 SONM 是在 Docker 容器中运行所有任务，但它们也需要运行节点的合作伙伴签署保密协议。大多数项目都依靠像 Docker 这样的现有容器运行时来满足这一需求。这完全说得通——有了现成的轮子后，谁还想再重新发明一个？

不过，在这个领域，有两个项目正在做一些独特的事情，值得单独拎出来说。

Enigma pre-beta 正在设计他们所谓的「秘密合约」——这些是计算节点，很像智能合约，但是因为每一块数据被拆散分配到在同一个计算任务上工作的多个节点，单个节点无法读取任何数据。他们使用 1980 年代开发的一种称为「多方计算 MPC」的加密方法来实现该想法。Enigma 正在搭建自己的链来进行存储和计算。

Keep pre-beta 是另一个采用类似方法的项目。他们还使用多方计算来分割加密数据以执行计算，而计算节点不能读取任何输入的数据。通过 Keep，私有数据在集群中进行存储和计算，输出数据则被发布在区块链上。

最后的想法：窄用例Vs. 宽用例

对于分布式计算项目，可以采用两种手段：构建一个通用的计算工具，它既可以接受任何工作负载，也可只接受少量范围的任务。

Union Square Ventures 所投的大多数公司都是从专心做一件事开始的，专注做一件事使它们得以成长，并围绕着这一件事构建起一个网络和平台。比如我们投资的 Cloudflare、Stash、Carta 等，都是这种情况。

我认为同样的模式对计算网络也很有效：从一个狭窄的用例开始，例如训练机器学习模型、渲染 3D 图形和蛋白质折叠灯，这将帮助项目快速运作，并随着时间的推移扩展到其他计算领域。

我们的一位合伙人 Albert Wenger 曾经以微信的增长来说明这个理论：微信是从聊天开始，聊天应用取得成功，使他们能够扩展其网络，这样就可以构建像支付、电子商务和游戏这类应用程序，现在微信发展成为一个集成式的应用工具。

有人要问，从什么用例开始起步最恰当？

似乎有两条路径：一条是从训练机器学习任务开始，因为机器学习是增加计算资源需求的驱动因素之一。另一条路径则是从像 3D 渲染或学术/科学计算这种用例开始，在这方面不存在保护私有数据的开销。

总体而言，这个领域尚处在早期，但前景令人兴奋。计算供应商之间出现更大的竞争不仅会压低价格并推动创新，而且可能会出现一种新的应用，比如 VR 和自动驾驶汽车，这种应用只有在分布式计算距离终端设备的速度比 us-west-2 区域还要快几百毫秒时，才有可能实现。

以上是我在 6 月份我写的一些总结，概述了我们所看到的计算项目类型。仅仅过去两个月时间，在这个领域里又出现了诸多快速发展，以下是我继续分享的一些观察。

隔离网络vs 开放协议

分布式计算有两种方式。在其中一种模型中，有一个占主导地位的分布式计算协议，它创建了一个共享的计算机网络，任何人都可以在此基础上构建接口和客户机。就像 Heroku 和 EC2 一样：它们都运行在 AWS 服务器上，但是它们提供的接口有着截然不同的体验，可以满足不同的用户。

而在另一种模型中，有一些占主导地位的计算项目，每个项目都有其自己的计算机网络。

这两种模式都允许共存的项目，服务于不同的受众，但其中一种，项目是位于相同共享资源池之上的客户，而另一种，它们都运行各自独立的网络。这两种模式有共存的可能性，但我认为考虑到网络效应，共存实际上并不可行。只要有机会，项目就可能会选择接入现有的计算机网络，而不是构建自己的计算机网络，因为与从头开始相比，在起初就能访问更多的 CPU 可以为客户提供更好的服务质量。

我们看到二者都有尝试的用例。SONM 是一个试图构建共享资源层的项目。此外则是由 Distributed Compute Labs 构建的「分布式计算协议」DCP。大多数其他项目目前都在构建自己的网络，不过有了开放协议，没有什么能阻止任何人为这些项目构建替代接口。我们可能会看到有些项目在开始时是其自身的系统，然后有机地发展成为在它们现在共享的资源层之上的客户之一。我对共享计算层的可能性以及试图构建它的团队和项目感到非常兴奋。

代币的问题

我们一直在考虑的一个问题是，开发人员将使用哪些代币，最终用户又将使用哪些代币。也就是说：如果用户与在分布式计算网络上运行代码的 DApp 进行交互，那么用户向 DApp 支付的费用，是否与 DApp 支付计算服务的费用相当？

现在，计算服务中的占主流的答案是否定的。Akash、Render、Perlin、Enigma 和 SONM 是一些拥有自己交易代币的计算项目。这与 IPFS/Filecoin 的模式相同，用户可能会以任何面向消费者的主要货币 目前看来是 ETH 或 BTC 向 DApp 付费，而 DApp 则在背后换取它们提供服务所需的代币。

另一方面，Hypernet 和 Truebit 是两个有双代币模型的计算项目。

在 Truebit 中，购买者可以用 ETH 为服务付费，而 Truebit TRU 代币仅用于协议特定的下注和争议解决功能。这与我们今年在 The Graph 和 Augur 等基础设施项目中看到的模式相匹配，这些项目使用主流消费货币进行交易，而它们自己的代币仅用于治理、下注和争端解决。

我预计，未来将有更多的项目转移为双代币模型，因为它允许随着网络的增长而增加治理的价格，但不会增加使用其服务的价格。

EC2 模型vs. Lambda 模型

在现有的 web2 世界中，存在两种主要类型的计算服务：在 EC2 模型中，开发人员得到的是一个运行和托管服务的环境，在 Lambda 模型中，开发人员编写可根据需要调用的函数。

分布式计算项目也可以分为两类：一类以 lambda 或 Cloudflare Workers 为代表，用户编写脚本，项目在参与计算机上运行。另一种方法是 EC2 ，也就是「别人的计算机」：用户与网络上的某人匹配，并可以在对方的计算机上运行容器。

注意，Lambda 方法还不完全是 Lambda 在类 Lambda 分布式网络中的机器，不会存储所有曾经推送给它们的函数，并根据需要调用它们。相反，这些网络用来离线运行和异步脚本，以用于科学计算或绘制图形等用例。我预计，随着延迟的问题得到改善，它们会变得更像是无服务器计算。

生态系统同时需要这两种模型：托管 DApp 前端需要持久的主机，而运行一次性计算更适合在类似于服务器的平台上作业。

在托管平台上运作的两个项目是 Akash 和 DADI。从终端用户的角度来看，Akash 实际上很像传统的计算服务，开发人员在 Kubernetes 集群中 Akash 部署的机器上管理容器，这些容器可以在 Akash 网络上的机器之间进行联合。Akash 是由 Greg Osuri 创立的，他也是 Federated Kubernetes 的贡献者，这一点并非巧合。如果你想试试 Akash，他们最近刚推出了一个测试网。

在无服务器平台上运作的两个项目是 Ankr 和 DCP。

如何利用硬件设备

对于基于加密货币的分布式计算网络来说，分布式无服务器计算项目的独特之处在于，它们可以在陌生人的手机和笔记本电脑上运行代码，因为除了一次运行一个小脚本之外，它们不需要持久占用计算环境。

这里的理念是，这些项目可以联合所有未使用的终端用户 CPU，形成一个巨大的超级计算机，而且费用比目前云计算市场上的价格更便宜。

关于定价，我多说两句：目前主流的看法是，分布式网络将更便宜，因为它们不必为物理空间付费，并且硬件资本支出成本已经算进去了。然而，正如风险投资机构 Placeholder 的研究员 Mario Laul 向我指出的那样，云计算定价已经趋近谷底，如果分布式服务出现并削弱主要参与者，那么云服务供应商可能会把价格压到刚刚维持成本，以便保持竞争力。

目前一些项目能够通过将终端用户设备上的可用 CPU 集合起来，提供高性能计算环境，我对这些项目非常感兴趣。

在终端用户的设备上运行代码有三大挑战。第一个，是说服足够多的人参与。前文已经有过讨论。

第二个挑战是，终端用户设备的性能相对较低。为了解决这个问题，我们看到一些项目正在以并行化方式构建，以便同时在多台机器上同时运行代码。Ankr 让用户将其代码打包成块，并分别提交给网络，再由作业调度程序，将其分配给不同的机器。DCP 以在「Web Workers」 中执行的 JavaScript 对象的形式，自动将应用程序的子任务分配到各个机器上。此外，DCP 还有一点同样很聪明：它使用 WebGL 访问终端用户设备的图像处理器，从而进一步提升效率。

第三个挑战是终端用户的设备不是可信硬件。自从我们在 6 月发表该文的上半部分以来，在利用 SGX 方面已经有了很大的进展 SGX 是英特尔芯片中内置的可信硬件环境。

此后，Enigma 发布了一个利用 SGX 进行计算的测试网，Golem 发布了 Graphene-ng 以帮助开发人员编写支持 SGX 的代码，Oasis Labs 则通过 从 a16z 等机构募集了 4,500 万美元，用于构建支持 SGX 的分布式计算平台。

三大笔记本电脑制造商：惠普、联想和戴尔都支持 SGX。MacBook 有了支持 SGX 的芯片，但 BIOS 还没有配置完成，还不能让操作系统支持该功能。等到有一天苹果也加入 SGX 阵营，全球四大笔记本电脑品牌都将内置支持 SGX 的计算。

我自己一直在为 SGX 摇旗呐喊，因为它在消费类笔记本电脑上相当安全并且容易实现。

除了 SGX，分布式计算协议可验证计算的另一种方式是通过解决争议。Truebit 就是一个带有争议解决协议的计算项目，他们称之为「验证游戏」。验证者使用 TRU 代币来挑战计算结果。

在 Truebit 的争议解决机制中，在运行程序的每一个时间步，「解决者」的状态都会被计算哈希值——实际上，任何给定的指令都可能无法在以太坊的 gas 上限内执行，因此 TrueBit 将每条指令分解为 16 个子步骤。然后，验证程序查询哈希状态，以找到出错的指令，...

云计算革新了我们运行应用与存储的方式，但是现在投入使用的大部分SaaS产品依靠的是少量的分布式服务器。

如果将云平台变成分布式，或者使用一种奖励提供者与用户计算能力的分布式计算结构，会如何？自主分布式系统与区块链云计算平台SONM正是实现了这一点，SONM利用雾计算取代了云计算。

2017年底，SONM成功获得4200万美金（约合2亿8千万人民币），同年12月，SONM推出了MVP Testnet测试网络。因此，在今年夏天推出第一款商业版之前，SONM就已经获得了开发者使用SONM雾计算服务测试版提供的反馈与建议。

简单来讲，SONM的作用就是允许用户将个人设备连接到一个虚拟空间，并创造出一个分布式平台，在这个平台上消费者与供应者能够租赁与购买计算能力，价格也会在平台上显示。从平台取得资源后，消费者就能够用来渲染视频，托管应用与网站，进行科学计算，管理数据存储，或者使用机器学习技术。

而计算能力的提供者（供应者），在卖出计算资源后能得到消费者支付的SNM “Token”（通证）。SONM雾计算平台也是完全分布式的，也就是说完全透明，不被任何人所有，SONM还号称这个平台比集中式平台费用要低。

SONM联合创始人Aleksei Antonov在采访中表示：“区块链为我们提供了更可信的交易平台，资源的查阅方式也很安全，这一款平台在分配资源费昂面有着很大优势。利用智能合约（为用户和供应者提供自动交易），两个陌生人也能达成安全交易。智能合约相当于一个公正的仲裁者，在SONM平台上自动管理计算资源的交易。”

Antonov还表示：“消费者与供应者在测试版平台上已经完成了约400笔交易，发布了1万2千次出售请求。”

他还补充道：“继今年6月30日推出的第一版SONM平台后，下一版将会加强Iaas的功能，并推出针对平台消费者的新功能。接着，我们还计划结合软件，为Kubernetes的容器化应用程序提供自动部署，扩展和管理服务。”

参考：VentureBeat

云计算（cloud computing），分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。

最简单的云计算技术在网络服务中已经随处可见，例如搜寻引擎、网络信箱等，使用者只要输入简单指令即能得到大量信息。

未来如手机、GPS等行动装置都可以透过云计算技术，发展出更多的应用服务。

进一步的云计算不仅只做资料搜寻、分析的功能，未来如分析DNA结构、基因图谱定序、解析癌症细胞等，都可以透过这项技术轻易达成。

稍早之前的大规模分布式计算技术即为“云计算”的概念起源。

云计算基本原理

　　云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

　　　这可是一种革命性的举措，打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

　　云计算的蓝图已经呼之欲出：在未来，只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。从这个角度而言，最终用户才是云计算的真正拥有者。

　　云计算的应用包含这样的一种思想，把力量联合起来，给其中的每一个成员使用。

云计算时代

　　目前，PC依然是我们日常工作生活中的核心工具——我们用PC处理文档、存储资料，通过电子邮件或U盘与他人分享信息。如果PC硬盘坏了，我们会因为资料丢失而束手无策。

　　而在“云计算”时代，“云”会替我们做存储和计算的工作。“云”就是计算机群，每一群包括了几十万台、甚至上百万台计算机。“云”的好处还在于，其中的计算机可以随时更新，保证“云”长生不老。Google就有好几个这样的“云”，其他IT巨头，如微软、雅虎、亚马逊（Amazon）也有或正在建设这样的“云”。

　　届时，我们只需要一台能上网的电脑，不需关心存储或计算发生在哪朵“云”上，但一旦有需要，我们可以在任何地点用任何设备，如电脑、手机等，快速地计算和找到这些资料。我们再也不用担心资料丢失。

　　在3月17日的新闻发布会上，施密特做了一个形象的比喻。他说，“云计算”就仿佛银行的自动取款机（ATM），我们出门再也不用随身携带大量现钞，可以根据需要随时取用。

　　Google的工程师谷雪梅则认为，PC时代好比每个人要用电，都得自己购买发电机；而“云计算”时代，每个人不必拥有发电机，直接从大型发电厂买电就好。

　　“云计算”其实并不是一个新概念。据谷雪梅介绍，“云计算”之前，还有“网格计算”（Grid Computing）等等，理念都是关于计算机如何协同发挥作用。十多年前，她还在读研究生时，就知道这些概念，但问题是，这些概念从来没有很好地得到实现。

　　在谷雪梅加入Google以后，她发现这一类概念已经得到了实践。Google的技术，可以让几十万台计算机一起发挥作用，组成强大的数据中心。Google中国CEO李开复此前接受《财经》记者专访时说，Google真正的竞争力就在于有这些“云”，他们让Google有了无与伦比的存储和计算全球数据的能力。

　　Google在创立之初，并没有刻意地去追求“云计算”和“网格计算”等概念。但作为一家搜索引擎，Google在客观上需要拥有这些“云”。实际上，雅虎的搜索同样用到了“云计算”。

云计算是一种新兴的共享基础架构的方法，它可以将巨大的系统池连接在一起以提供各种IT服务。很多因素推动了对这类环境的需求，其中包括连接设备、实时数据流、 SOA 的采用以及搜索、开放协作、社会网络和移动商务等这样的 Web 2.0 应用的急剧增长。另外，数字元器件性能的提升也使IT环境的规模大幅度提高，从而进一步加强了对一个由统一的云进行管理的需求。

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。