中企动力 > 商学院 > 分布式计算与云计算
  • ?

    分布式云计算来了

    小虾米

    展开

    第286期

    分布式云计算来了

    文 | 徐鹏 责任编辑 | 张齐

    审核 | 姜校春 策划 | 刘克丽

    分布式计算架构是云计算的基石,让计算中心成千上万服务器的计算资源最大化,也让云计算成为未来物联网的计算中心。而当数以亿级的边缘计算设备开始大规模接入云计算时,标志着分布式云计算时代正式到来。

    物联网让云离散化

    物联网的核心在于物与物、人与物的强关联,而多数时候的彼此联系会发生在本地。也就是说,计算、存储、分析等需求响应通常在距离物理位置较近的地方完成,而不是传输到千里之外的数据中心。这种就近处理的方式耗时更短,而且足以应付本地业务交互的轻量化需求,让云计算的分布式计算体系从单纯的计算中心内蔓延到真实世界的每个角落,也就是云计算的离散化。

    一直以来,技术的更迭总是伴随着应用场景的变迁,从最初大型机的集中处理到后来的分布式架构,越来越多的需求趋于离散化和碎片化。如今,大型设备会集中处理大规模的核心计算,而低延迟、快响应的计算需求则会交给“边缘设备”——既可以是PC、手机、电视盒子,也可以是摄像头,甚至是ATM机。未来,当嵌入式芯片的性能不再是瓶颈,这种终端计算的方式势必将更加普遍 。

    IDC预计,到2020年全球将有超过500亿的终端与设备联网,超过40%的数据要在网络边缘侧进行分析、处理与存储。如此大的数据量传输到云端,对网络带宽和存储能力都是考验,更不要说通讯过程中的安全风险。以往,前端设备会将采集到的信息传回数据中心,由后者运算处理后发送指令,再由设备执行用户的需求。这样一来,无疑加重了数据中心的负担。

    重新定义云管端

    既然数据产生在本地,为何不能让设备自己解决问题呢?举个例子,工业机器人对处理任务有着实时性的要求,通过云端传到数据中心可能只是不到1秒的延迟,但要是乘以整个生产线上机器人的数量,显然是一次“大面积延误”。相比之下,边缘计算不仅能够做到快速处理,还可以根据现场情况作出判断,结合软件选取最优的操作。

    此外,边缘计算削弱了网络和存储环境的影响。当机器人在矿井下作业时,通讯信号偏弱怎么办?没有了云,物联网设备随即罢工,这显然不是人们想看到的。此时,边缘计算可以利用自身的运算和处理能力迅速作出响应。

    架构层面,边缘计算物联网解决方案可分为传感控制层、网络层、敏捷控制器和应用层,其中网络层主要实现融合和互联,它的功能除了网络连接和管理,还包括边缘计算,进行现场处理,同时保障业务在本地实现。可以说,边缘计算重新梳理了“云管端”之间的关系,一方面提升了云资源的使用效率,另一方面也让终端有了更高的话语权。

    边缘计算前景可期

    从商业逻辑来看,消费者的使用感受才是边缘计算的主导,而不是企业,这不仅需要云服务商转变思路,同时也为中小企业提供了机会。云计算市场的平台化趋势加剧,核心资源和份额都掌握在巨头手中,而未来会有40%的IoT流量在边缘处理,这无疑蕴含着弯道超车的可能。

    从长期发展来看,无论是中国制造2025还是工业4.0,物联网都将在其中扮演重要角色;同时,融合AI的软硬件加速普及,将带来更多基于终端的处理需求;再者,5G商业化的脚步正在推进,也会进一步强化边缘计算高带宽、低延迟的能力。

    目前,一些云服务商已经推出了边缘智能计算解决方案,将边缘IoT与混合云相结合,允许用户自行定制物联网应用,在本地完成数据处理,并且兼顾了大规模云平台的配置、部署和管理功能。

  • ?

    深入理解雾计算:与云计算、边缘计算等技术的关系

    樱花

    展开

    (图片来源于:思科)

    导读

    昨天,John 给大家介绍了“云制造”,云计算是其中的关键。然而,谈到雾计算,对于大多数人仍是一个陌生的新概念。即使有些朋友理解了云计算,对于雾计算,仍然还是“云里雾里”。今天,我希望通过深入介绍雾计算的概念,理清雾计算和云计算、边缘计算、移动云计算、移动边缘计算等技术模型之间的区别和联系,再次拉近我们和“雾计算”之间的距离。

    “从云到雾”的开始

    雾计算(Fog Computing),这个概念由思科首创。简单点说,拓展了云计算(Cloud Computing)的概念,相对于云来说,它离产生数据的地方更近,数据、数据相关的处理和应用程序都集中于网络边缘的设备中,而不是几乎全部保存在云端。通俗一点讲:“雾计算”的名字源自“雾是比云更贴近地面(数据产生的地方)”。

    物联网设备和传感器,高度分布在网络的边缘,同时又具有实时性和延时敏感的需求。然而,云数据中心在分布上是集中化的,通常难以应对四处分布的数十亿物联网设备和传感器的数据存储和处理的需求。所以,网络阻塞、高延时、低服务质量等现象就会出现。

    雾计算,是一种分布式的计算模型,作为云数据中心和物联网(IoT)设备/传感器之间的中间层,它提供了计算、网络和存储设备,让基于云的服务可以离物联网设备和传感器更近。雾计算的概念的引入,也是为了应对传统云计算在物联网应用时所面临的挑战。

    雾计算的构成和优势

    通常来说,雾计算环境由传统的网络组件例如:路由器、开关、机顶盒、代理服务器、基站等构成,可以安装在离物联网终端设备和传感器较近的地方。这些组件可以提供不同的计算、存储、网络功能,支持服务应用的执行。所以,雾计算依靠这些组件,可以创建分布于不同地方的云服务。

    此外,雾计算促进了位置感知、移动性支持、实时交互、可扩展性和可互操作性。所以,雾计算处理更加高效,能够考虑到服务延时、功耗、网络流量、资本和运营开支、内容发布等等因素。在这个意义上,雾计算相对于单纯使用云计算而言,更好的满足了物联网的应用需求。

    和其他几种计算模式的联系和区别

    雾计算和现有的几种计算模式概念上有点相近,所以接下来重点介绍一下这几个计算模式,通过这些更加深入的理解雾计算概念及其在物联网中的地位。

    首先,我们自然先从云计算谈起。

    由于云计算的出现,计算技术进入了一个新时代。许多计算服务提供商例如谷歌、亚马逊、微软、IBM等等,将这种计算模式作为一种工具。他们通过基础架构即服务 (IaaS)、平台即服务(PaaS)、软件即服务 (SaaS),同时处理企业和教育相关的问题。然而,大多数的云数据中心是集中化的,离终端的设备和用户较远。所以,实时性要求高的计算服务,需要远端的云数据中心的反馈,通常这样会引起长距离往返延时、网络拥塞、服务质量下降等问题。

    为了解决这一问题,一种新的概念产生了,这就是“边缘计算”。

    边缘计算的初衷是为了将计算能力带向离数据源更近的地方。更准确一点说,边缘计算让数据在边缘网络处处理。边缘网络基本上由终端设备(例如移动手机、智能物品等等)、边缘设备(例如边界路由器、机顶盒、网桥、基站、无线接入点等等)、边缘服务器等构成。这些组件可以具有必要的性能,支持边缘计算。作为一种本地化的计算模式,边缘计算提供了对于计算服务需求更快的响应速度,通常情况下不将大量的原始数据发回核心网。然而,总体来说,边缘计算不需要会主动协助 IaaS,、PaaS、 SaaS和其他云服务,更多地专注于终端设备端。

    综合“边缘”计算和“云”计算的概念,又会新引入几种计算模式,其中包括移动边缘计算(MEC)和移动云计算(MCC),作为云计算和边缘计算的扩充。

    作为,边缘-中央计算模式,MEC已经在研究领域早有名声。MEC 被认为蜂窝基站模型的现代化演变的关键因素。它让边缘服务器和蜂窝基站相结合,可以和远程云数据中心连接或者断开。MEC 配合终端移动设备,支持网络中2或3级分层应用部署。另外,MEC旨在为用户带来自适应和更快初始化的蜂窝网络服务,提高网络效率。最近,MEC的一项显著应用就是支持5G通信。更加长远地说,它旨在灵活访问无线电网络信息,进行内容发布和应用部署。

    MCC是计算领域另外一项趋势。由于智能移动设备的不断增多,如今的最终用户更喜欢在手持移动设备上运行相关服务,而不再是在传统的电脑上。然而,大多数的智能移动设备都受到能量、存储和计算资源的限制。所以在关键场景中,在移动设备以外的地方运行加强的应用,比在本地执行这些应用要更加的灵活。MCC提供必要的计算资源,支撑这些靠近终端用户的移动应用程序在远程执行。通常这些轻量级的云服务器,被称为(cloudlet)“小云片”,它处于边缘网络中。“小云片”和移动设备以及数据中心一起,为丰富的应用程序,搭建了三层应用部署平台。总体来说,MCC结合云计算、移动计算和无线应用通信技术,为移动用户提高服务质量,为网络运营商和云服务提供者,提供新业务机会。

    回到雾计算,

    类似MEC和MCC,雾计算也可以进行边缘计算。然而,除了边缘网络,雾计算也可以拓展到核心网络。更准确一点说,边缘和核心网络(例如核心路由器、区域服务器、广域网路开关等等)的组件都可以作为雾计算基础设施。相应地,多层应用程序部署和服务,需要通过雾计算能够轻易地观测数量巨大的物联网设备和传感器。另外,相对于“小云片”蜂窝网络边缘服务器来说,位于边缘网络的雾计算组件,离物联网终端设备和传感器更近。物联网设备和传感器分布密度很高,需要对于服务请求实时响应,所以要在物联网传设备和传感器附近,存储和处理物联网数据。服务延时对于实时物联网应用来说,需要尽可能最小化。和边缘计算不同的是,雾计算可以将基于云的服务例如IaaS、PaaS,、SaaS等等,拓展到网络边缘。

    综合上述几个计算模式,雾计算相对于其他计算模型来说,是适应物联网结构的最佳选择。

    参考资料

    【1】Redowan Mahmud, Rajkumar Buyya. Fog Computing: A Taxonomy, Survey and Future Directions. arXiv:1611.05539

    (文中相关图片来源自本篇论文)

  • ?

    大家可能都不了解云计算这个东西吧!

    恋恋1983

    展开

    云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。

    到底什么是云计算, 现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

    云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。云计算是分布式计算、并行计算、效用计算,网络存储、虚拟化、负载均衡、热备份冗余等传统计算机和网络技术发展融合的产物。

    云计算常与网格计算、效用计算、自主计算相混淆。

    网格计算:分布式计算的一种,由一群松散耦合的计算机组成的一个超级虚拟计算机,常用来执行一些大型任务;

    效用计算:IT资源的一种打包和计费方式,比如按照计算、存储分别计量费用,像传统的电力等公共设施一样;

    自主计算:具有自我管理功能的计算机系统。

    云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

    云计算特点如下:超大规模 虚拟化 高可靠性 通用性 高可扩展性 按需服务 极其廉价 潜在的危险性

    云计算主要经历了四个阶段才发展到现在这样比较成熟的水平,这四个阶段依次是电厂模式、效用计算、网格计算和云计算。

    云计算环境下,软件技术、架构将发生显著变化。首先,所开发的软件必须与云相适应,能够与虚拟化为核心的云平台有机结合,适应运算能力、存储能力的动态变化;二是要能够满足大量用户的使用,包括数据存储结构、处理能力;三是要互联网化,基于互联网提供软件的应用;四是安全性要求更高,可以抗攻击,并能保护私有信息,五是可工作于移动终端、手机、网络计算机等各种环境。

    “物联网就是物物相连的互联网”。这有两层意思:第一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;第二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。

    云安全(Cloud Security)是一个从“云计算”演变而来的新名词。云安全的策略构想是:使用者越多,每个使用者就越安全,因为如此庞大的用户群,足以覆盖互联网的每个角落,只要某个网站被挂马或某个新木马病毒出现,就会立刻被截获。

    “云安全”通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,推送到Server端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。

  • ?

    边缘计算和云计算这么火 但是二者有何区别?

    背影落

    展开

    当今的科技领域,新事物和新概念层出不穷,诸如云计算、边缘计算和雾计算等。众多的概念已经让人混淆不清,何谈技术的发展与应用。今天,笔者将为你介绍边缘计算和云计算,以及二者到底有何区别。

    到2017年,全球物联网设备已经达到84亿台,物联网正在快速走进我们的生活和工作。事实上,物联网也是云的一部分。目前,用户面临的一个关键挑战是,你怎样才能从众多的设备中获得已经处理过的数据。

    根据思科公司的预测,到2020年,云流量将增长4倍,从2015年每年的3.9ZB增长到2020年的每年14.1ZB。最终,通过物联网的快速发展,我们可以让云计算获得更完美的进步。毕竟,物联网是产生有意义的数据处理装置,而云计算则是关于从中央计算和存储中利用数据。两者的增长很容易变得不可管理。

    那么,我们能做什么?这个答案有时被称为“边缘计算”。我们已经知道,边缘计算将大部分的数据处理推送到网络的边缘,靠近数据源。那么这就是划分边缘和集中式系统之间的处理问题,这意味着一个公有云,比如AWS、谷歌云以及微软Azure。

    这听上去像一个客户端/服务器架构,也涉及到在客户端和服务器上做什么。从物联网和任何高度分布式应用,你基本上已经有了一个客户端/网络边缘/服务器架构,或者你的设备无法进行自己的处理,则可以使用网络边缘/服务器架构。

    它的目标是快速地处理接近设备的数据,如行动。有几百个使用情况,反应时间是物联网系统的关键价值,同时一致性的将数据发送回集中式的云防止该值发生。

    你可能仍然会使用云进行处理,当时间不敏感或设备不需要,例如来自都对所有设备的数据进行大数据分析。

    另外一个方面是:边缘计算和云计算是两个截然不同的事情,其中一个不会取代另一个。但目前太多的文章混淆了IT专业人士,提出边缘计算将取代云计算,这就相当于说PC会取代数据中心。

    实际上,创建专门的基于边缘计算的应用程序是非常有意义的,例如将数据处理放在传感器中以快速处理对报警响应的应用程序。但是,你不会将库存控制数据和应用程序置于边缘——将所有计算机移动到边缘将导致分布式,不安全和无法管理的混乱。

    目前,所有公有云提供商都具有包含或将边缘计算的物联网战略和技术栈。边缘计算和云计算可以在一起工作,但边缘计算是用于特殊需求的专用系统。云计算是一种更通用的平台,也可以在旧的客户端/服务器模型中与专用系统配合使用。

  • ?

    一文读懂分布式计算现状与未来

    冬亦

    展开

    文章来源:链闻ChainNews

    撰文:Dani Grant,UNION SQUARE VENTURES 分析师

    编译:詹涓

    自 1990 年代以来,人们一直试图建立分布式计算网络;1996 年,因特网梅森素数大搜索计划 GIMPS 使用分布式计算搜索素数,1999 年,Seti@Home 利用志愿者的计算能力搜寻地外生命。

    25 年后的今天,拼图上最后的几个小碎片似乎已经就位。

    加密货币一个令我们始终雀跃不已的应用是分布式计算。

    在加密货币出现之前,如果有陌生人用闲置的服务器运行了一个机器学习程序,我是没法用自己的笔记本电脑转给对方一点钱聊表谢意的。加密货币最终使我们能够进行机器对机器的支付,以补偿运行任务的参与节点。

    加密货币使机器对机器的支付成为可能,而这使得贡献 CPU 的参与者能获得补偿。机器学习、三维仿真和生物计算等领域对计算资源的需求越来越大。

    我们一直在关注分布式计算项目,并希望分享不同的项目如何处理连接到网络的计算机数量不断增加的问题,以及如何将任务从它们运行的计算节点中隔离开来的解决方案。

    以下是我们的初步发现,分享给大家,供指正。

    发展网络的方法

    梅特卡夫定律 Metcalfe’s law 适用于计算网络:网络上的机器越多,机器在需要时接受新任务的可能性就越大。

    发展计算网络非常困难,在空间越来越拥挤的情况下尤其如此。我得澄清一下,问题不在于人们已经安装了什么,不希望再安装些什么,而是一个项目想要取得突破,自然会面临许多噪音。

    以下是我们看到的四种有趣的方法:

    方法1:让任何人都能轻松地加入网络。一个例子是 KingsDS pre-beta。想要加入,只要访问浏览器中的 URL 并让选项卡在后台运行即可。

    方法2:帮助其他应用程序因共享用户的资源而获得补偿。其中一个例子是 FREEDcoin pre-beta。他们为游戏开发者提供一套软件开发工具包 SDK。当玩家启动运行 FREEDcoin SDK 的游戏时,他们有机会通过贡献自己的 CPU 来换取游戏中的奖励。这会带来三赢的局面:FREEDcoin 可以吸引高性能的游戏 PC 加入其网络,游戏开发者可以在不显示广告的情况下将游戏货币化,而玩家也有机会获得虚拟奖励。

    方法3:构建客户机,以使每个节点都可以提交和完成任务。比如 Golem beta 可以在客户端提交任务并进行计算,这意味着他们的每个最终用户都可以简简单单地成为计算节点。这有助于他们在网络的两端均衡成长。

    方法4:最后一种方法是为其他计算项目提供计算资源。一个例子是 SONM beta,这是一个试图帮助其他计算网络快速扩展的项目。有了SONM 的开放市场,机器可以通过标准化的格式显示它们可提供多少 RAM、CPU 和 GPU。然后,任何使用 SONM 的项目都可以在整个 SONM 网络中搜索拥有可用资源的机器。

    将任务与主机相隔离的方法

    一个挑战是确保任务不能读取或修改主机的内存,反之亦然。如果多个任务同时在一台机器上运行,那么它们之间彼此隔离也很重要。

    保持数据私密性是一个艰巨的挑战;尽管 SONM 是在 Docker 容器中运行所有任务,但它们也需要运行节点的合作伙伴签署保密协议。大多数项目都依靠像 Docker 这样的现有容器运行时来满足这一需求。这完全说得通——有了现成的轮子后,谁还想再重新发明一个?

    不过,在这个领域,有两个项目正在做一些独特的事情,值得单独拎出来说。

    Enigma pre-beta 正在设计他们所谓的「秘密合约」——这些是计算节点,很像智能合约,但是因为每一块数据被拆散分配到在同一个计算任务上工作的多个节点,单个节点无法读取任何数据。他们使用 1980 年代开发的一种称为「多方计算 MPC」的加密方法来实现该想法。Enigma 正在搭建自己的链来进行存储和计算。

    Keep pre-beta 是另一个采用类似方法的项目。他们还使用多方计算来分割加密数据以执行计算,而计算节点不能读取任何输入的数据。通过 Keep,私有数据在集群中进行存储和计算,输出数据则被发布在区块链上。

    最后的想法:窄用例Vs. 宽用例

    对于分布式计算项目,可以采用两种手段:构建一个通用的计算工具,它既可以接受任何工作负载,也可只接受少量范围的任务。

    Union Square Ventures 所投的大多数公司都是从专心做一件事开始的,专注做一件事使它们得以成长,并围绕着这一件事构建起一个网络和平台。比如我们投资的 Cloudflare、Stash、Carta 等,都是这种情况。

    我认为同样的模式对计算网络也很有效:从一个狭窄的用例开始,例如训练机器学习模型、渲染 3D 图形和蛋白质折叠灯,这将帮助项目快速运作,并随着时间的推移扩展到其他计算领域。

    我们的一位合伙人 Albert Wenger 曾经以微信的增长来说明这个理论:微信是从聊天开始,聊天应用取得成功,使他们能够扩展其网络,这样就可以构建像支付、电子商务和游戏这类应用程序,现在微信发展成为一个集成式的应用工具。

    有人要问,从什么用例开始起步最恰当?

    似乎有两条路径:一条是从训练机器学习任务开始,因为机器学习是增加计算资源需求的驱动因素之一。另一条路径则是从像 3D 渲染或学术/科学计算这种用例开始,在这方面不存在保护私有数据的开销。

    总体而言,这个领域尚处在早期,但前景令人兴奋。计算供应商之间出现更大的竞争不仅会压低价格并推动创新,而且可能会出现一种新的应用,比如 VR 和自动驾驶汽车,这种应用只有在分布式计算距离终端设备的速度比 us-west-2 区域还要快几百毫秒时,才有可能实现。

    以上是我在 6 月份我写的一些总结,概述了我们所看到的计算项目类型。仅仅过去两个月时间,在这个领域里又出现了诸多快速发展,以下是我继续分享的一些观察。

    隔离网络vs 开放协议

    分布式计算有两种方式。在其中一种模型中,有一个占主导地位的分布式计算协议,它创建了一个共享的计算机网络,任何人都可以在此基础上构建接口和客户机。就像 Heroku 和 EC2 一样:它们都运行在 AWS 服务器上,但是它们提供的接口有着截然不同的体验,可以满足不同的用户。

    而在另一种模型中,有一些占主导地位的计算项目,每个项目都有其自己的计算机网络。

    这两种模式都允许共存的项目,服务于不同的受众,但其中一种,项目是位于相同共享资源池之上的客户,而另一种,它们都运行各自独立的网络。这两种模式有共存的可能性,但我认为考虑到网络效应,共存实际上并不可行。只要有机会,项目就可能会选择接入现有的计算机网络,而不是构建自己的计算机网络,因为与从头开始相比,在起初就能访问更多的 CPU 可以为客户提供更好的服务质量。

    我们看到二者都有尝试的用例。SONM 是一个试图构建共享资源层的项目。此外则是由 Distributed Compute Labs 构建的「分布式计算协议」DCP。大多数其他项目目前都在构建自己的网络,不过有了开放协议,没有什么能阻止任何人为这些项目构建替代接口。我们可能会看到有些项目在开始时是其自身的系统,然后有机地发展成为在它们现在共享的资源层之上的客户之一。我对共享计算层的可能性以及试图构建它的团队和项目感到非常兴奋。

    代币的问题

    我们一直在考虑的一个问题是,开发人员将使用哪些代币,最终用户又将使用哪些代币。也就是说:如果用户与在分布式计算网络上运行代码的 DApp 进行交互,那么用户向 DApp 支付的费用,是否与 DApp 支付计算服务的费用相当?

    现在,计算服务中的占主流的答案是否定的。Akash、Render、Perlin、Enigma 和 SONM 是一些拥有自己交易代币的计算项目。这与 IPFS/Filecoin 的模式相同,用户可能会以任何面向消费者的主要货币 目前看来是 ETH 或 BTC 向 DApp 付费,而 DApp 则在背后换取它们提供服务所需的代币。

    另一方面,Hypernet 和 Truebit 是两个有双代币模型的计算项目。

    在 Truebit 中,购买者可以用 ETH 为服务付费,而 Truebit TRU 代币仅用于协议特定的下注和争议解决功能。这与我们今年在 The Graph 和 Augur 等基础设施项目中看到的模式相匹配,这些项目使用主流消费货币进行交易,而它们自己的代币仅用于治理、下注和争端解决。

    我预计,未来将有更多的项目转移为双代币模型,因为它允许随着网络的增长而增加治理的价格,但不会增加使用其服务的价格。

    EC2 模型vs. Lambda 模型

    在现有的 web2 世界中,存在两种主要类型的计算服务:在 EC2 模型中,开发人员得到的是一个运行和托管服务的环境,在 Lambda 模型中,开发人员编写可根据需要调用的函数。

    分布式计算项目也可以分为两类:一类以 lambda 或 Cloudflare Workers 为代表,用户编写脚本,项目在参与计算机上运行。另一种方法是 EC2 ,也就是「别人的计算机」:用户与网络上的某人匹配,并可以在对方的计算机上运行容器。

    注意,Lambda 方法还不完全是 Lambda 在类 Lambda 分布式网络中的机器,不会存储所有曾经推送给它们的函数,并根据需要调用它们。相反,这些网络用来离线运行和异步脚本,以用于科学计算或绘制图形等用例。我预计,随着延迟的问题得到改善,它们会变得更像是无服务器计算。

    生态系统同时需要这两种模型:托管 DApp 前端需要持久的主机,而运行一次性计算更适合在类似于服务器的平台上作业。

    在托管平台上运作的两个项目是 Akash 和 DADI。从终端用户的角度来看,Akash 实际上很像传统的计算服务,开发人员在 Kubernetes 集群中 Akash 部署的机器上管理容器,这些容器可以在 Akash 网络上的机器之间进行联合。Akash 是由 Greg Osuri 创立的,他也是 Federated Kubernetes 的贡献者,这一点并非巧合。如果你想试试 Akash,他们最近刚推出了一个测试网。

    在无服务器平台上运作的两个项目是 Ankr 和 DCP。

    如何利用硬件设备

    对于基于加密货币的分布式计算网络来说,分布式无服务器计算项目的独特之处在于,它们可以在陌生人的手机和笔记本电脑上运行代码,因为除了一次运行一个小脚本之外,它们不需要持久占用计算环境。

    这里的理念是,这些项目可以联合所有未使用的终端用户 CPU,形成一个巨大的超级计算机,而且费用比目前云计算市场上的价格更便宜。

    关于定价,我多说两句:目前主流的看法是,分布式网络将更便宜,因为它们不必为物理空间付费,并且硬件资本支出成本已经算进去了。然而,正如风险投资机构 Placeholder 的研究员 Mario Laul 向我指出的那样,云计算定价已经趋近谷底,如果分布式服务出现并削弱主要参与者,那么云服务供应商可能会把价格压到刚刚维持成本,以便保持竞争力。

    目前一些项目能够通过将终端用户设备上的可用 CPU 集合起来,提供高性能计算环境,我对这些项目非常感兴趣。

    在终端用户的设备上运行代码有三大挑战。第一个,是说服足够多的人参与。前文已经有过讨论。

    第二个挑战是,终端用户设备的性能相对较低。为了解决这个问题,我们看到一些项目正在以并行化方式构建,以便同时在多台机器上同时运行代码。Ankr 让用户将其代码打包成块,并分别提交给网络,再由作业调度程序,将其分配给不同的机器。DCP 以在「Web Workers」 中执行的 JavaScript 对象的形式,自动将应用程序的子任务分配到各个机器上。此外,DCP 还有一点同样很聪明:它使用 WebGL 访问终端用户设备的图像处理器,从而进一步提升效率。

    第三个挑战是终端用户的设备不是可信硬件。自从我们在 6 月发表该文的上半部分以来,在利用 SGX 方面已经有了很大的进展 SGX 是英特尔芯片中内置的可信硬件环境。

    此后,Enigma 发布了一个利用 SGX 进行计算的测试网,Golem 发布了 Graphene-ng 以帮助开发人员编写支持 SGX 的代码,Oasis Labs 则通过 从 a16z 等机构募集了 4,500 万美元,用于构建支持 SGX 的分布式计算平台。

    三大笔记本电脑制造商:惠普、联想和戴尔都支持 SGX。MacBook 有了支持 SGX 的芯片,但 BIOS 还没有配置完成,还不能让操作系统支持该功能。等到有一天苹果也加入 SGX 阵营,全球四大笔记本电脑品牌都将内置支持 SGX 的计算。

    我自己一直在为 SGX 摇旗呐喊,因为它在消费类笔记本电脑上相当安全并且容易实现。

    除了 SGX,分布式计算协议可验证计算的另一种方式是通过解决争议。Truebit 就是一个带有争议解决协议的计算项目,他们称之为「验证游戏」。验证者使用 TRU 代币来挑战计算结果。

    在 Truebit 的争议解决机制中,在运行程序的每一个时间步,「解决者」的状态都会被计算哈希值——实际上,任何给定的指令都可能无法在以太坊的 gas 上限内执行,因此 TrueBit 将每条指令分解为 16 个子步骤。然后,验证程序查询哈希状态,以找到出错的指令,...

  • ?

    云计算、大数据和物联网三者之间有哪些区别和联系?

    柳之云

    展开

    【云服务器】小鸟云服务器,纯SSD架构,行业领先的硬件计算能力,只需几分钟,便可轻松云端获取和启用,实现您的计算需求。可弹性扩展资源用量的同时,还能为您节约计算成本,简化IT运维工作,让您更专注于核心业务的创新。

    云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。云计算最初主要包括了两类含义:一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。

    云计算、大数据和物联网

    随着大数据概念的提出,云计算中的分布式计算技术开始更多地被列入大数据技术,而人们提到云计算时,更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模(如Iaas、PaaS、SaaS)。

    从云计算和大数据概念的诞生到现在,二者之间的关系非常微妙,既密不可分,又千差万别。因此,我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外,物联网也是和云计算、大数据相伴相生的技术。

    云计算、大数据和物联网三者已经彼此渗透、相互融合,在很多应用场合都可以同时看到三者的身影,在未来,三者会继续相互促进、相互影响,更好地服务于社会生产和生活的各个领域。

    下面总结一下三者的联系与区别:

    1. 大数据、云计算和物联网的区别

    大数据侧重于海量数据的存储、处理与分析,从海量数据中发现价值,服务于生产和生活;云计算本质上旨在整合和优化各种IT资源,并通过网络以服务的方式廉价提供给用户;物联网的发展目标是实现物物相连,应用创新是物联网发展的核心。

    2. 大数据、云计算和物联网的联系

    从整体上看,大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算,大数据分析的很多技术都来自于云计算,云计算的分布式和数据存储和管理系统(包括分布式文件系统和分布式数据库系统)提供了海量数据的存储和管理能力,分布式并行处理框架MapReduce提供了海量数据分析能力,没有这些云计算技术作为支撑,大数据分析就无从谈起。反之,大数据为云计算提供了“用武之地”,没有大数据这个“练兵场”,云计算技术再先进,也不能发挥它的应用价值。

    物联网的传感器源源不断产生的大量数据,构成了大数据的重要来源,没有物联网的飞速发展,就不会带来数据产生方式的变革,即由人工产生阶段向自动产生阶段,大数据时代也不会这么快就到来。同时,物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。

    云计算、大数据和物联网,三者会继续相互促进、相互影响,更好地服务于社会生产和生活的各个领域。

  • ?

    什么是云计算的概念和原理

    瞿半双

    展开

    云计算(cloud computing),分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务。

    最简单的云计算技术在网络服务中已经随处可见,例如搜寻引擎、网络信箱等,使用者只要输入简单指令即能得到大量信息。

    未来如手机、GPS等行动装置都可以透过云计算技术,发展出更多的应用服务。

    进一步的云计算不仅只做资料搜寻、分析的功能,未来如分析DNA结构、基因图谱定序、解析癌症细胞等,都可以透过这项技术轻易达成。

    稍早之前的大规模分布式计算技术即为“云计算”的概念起源。

    云计算基本原理

      云计算的基本原理是,通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

       这可是一种革命性的举措,打个比方,这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

      云计算的蓝图已经呼之欲出:在未来,只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。从这个角度而言,最终用户才是云计算的真正拥有者。

      云计算的应用包含这样的一种思想,把力量联合起来,给其中的每一个成员使用。

    云计算时代

      目前,PC依然是我们日常工作生活中的核心工具——我们用PC处理文档、存储资料,通过电子邮件或U盘与他人分享信息。如果PC硬盘坏了,我们会因为资料丢失而束手无策。

      而在“云计算”时代,“云”会替我们做存储和计算的工作。“云”就是计算机群,每一群包括了几十万台、甚至上百万台计算机。“云”的好处还在于,其中的计算机可以随时更新,保证“云”长生不老。Google就有好几个这样的“云”,其他IT巨头,如微软、雅虎、亚马逊(Amazon)也有或正在建设这样的“云”。

      届时,我们只需要一台能上网的电脑,不需关心存储或计算发生在哪朵“云”上,但一旦有需要,我们可以在任何地点用任何设备,如电脑、手机等,快速地计算和找到这些资料。我们再也不用担心资料丢失。

      在3月17日的新闻发布会上,施密特做了一个形象的比喻。他说,“云计算”就仿佛银行的自动取款机(ATM),我们出门再也不用随身携带大量现钞,可以根据需要随时取用。

      Google的工程师谷雪梅则认为,PC时代好比每个人要用电,都得自己购买发电机;而“云计算”时代,每个人不必拥有发电机,直接从大型发电厂买电就好。

      “云计算”其实并不是一个新概念。据谷雪梅介绍,“云计算”之前,还有“网格计算”(Grid Computing)等等,理念都是关于计算机如何协同发挥作用。十多年前,她还在读研究生时,就知道这些概念,但问题是,这些概念从来没有很好地得到实现。

      在谷雪梅加入Google以后,她发现这一类概念已经得到了实践。Google的技术,可以让几十万台计算机一起发挥作用,组成强大的数据中心。Google中国CEO李开复此前接受《财经》记者专访时说,Google真正的竞争力就在于有这些“云”,他们让Google有了无与伦比的存储和计算全球数据的能力。

      Google在创立之初,并没有刻意地去追求“云计算”和“网格计算”等概念。但作为一家搜索引擎,Google在客观上需要拥有这些“云”。实际上,雅虎的搜索同样用到了“云计算”。

    云计算是一种新兴的共享基础架构的方法,它可以将巨大的系统池连接在一起以提供各种IT服务。很多因素推动了对这类环境的需求,其中包括连接设备、实时数据流、 SOA 的采用以及搜索、开放协作、社会网络和移动商务等这样的 Web 2.0 应用的急剧增长。另外,数字元器件性能的提升也使IT环境的规模大幅度提高,从而进一步加强了对一个由统一的云进行管理的需求。

  • ?

    必须知道的,云计算五大特征!

    唐问枫

    展开

    什么是云计算呢?

      其实云端(cloud)就代表了互联网(Internet),通过网络的计算能力,取代使用你原本安装在自己电脑上的软件,或者是取代原本你把资料存在自己硬盘的动作,你转而通过网络来进行各种工作,并存放档案资料在网络,也就是庞大的虚拟空间上。我们通过所使用的网络服务,把资料存放在网络上的服务器中,并借由浏览器浏览这些服务的网页,使用上面的界面进行各种计算和工作。

      在云计算中,服务器并不会管你电脑的计算能量有多强。有的同事在办公室用PC连上Google Docs,在家则是用Apple MacBook,同时还有很多其他的服务可以通过你的手机或iPhone与Android平台手机上的应用软件来完成。

      你可以在任何一台电脑上登入使用云端服务,而一个朋友或同事也可以登入并和你一起在一样的文件上工作。Google Docs只是能够协同操作的一种办公室型态云计算服务。有些服务甚至还可以让人在全球不同的地点登入服务并同时在一样的文件上工作。

      云计算也许听起来很棒,但是它还是有一些隐忧的,也是你在使用时必须要考虑的地方。正如同开放源代码阵营名人Richard Stallman指出的,你的资料是在第三方厂商的手上,而且是在你控制以外的。

      最有可能遇到的问题是安全性,鲜少有公司会想窃取你的资料并做出无耻的网站设计,但最好还是研究一下各种网站和网络服务,找一些可信赖的专家推荐的。  

      幸运的是,一点点常识和一些简单的正确电脑操作练习可以将这类安全性失误的影响降至最低,避免将你的机密资料放在云端上,如果你真的放了,例如利用网上银行时,避免在网咖、学校或图书馆内的公用电脑上进行,也别太随便给出自己真正的联络资料,避免每个帐号都使用同一个密码,就算只更改一个字母也好。

      云计算第二个主要问题是可能暂时故障导致你无法使用某项服务,你可能把资料放在某个网站上而这个网站却因服务器故障导致某一段时间无法进入,Twitter就因偶发性挂点而恶名昭彰,每次它的网站挂掉时就会出现“掉落的鲸鱼”图案, 更糟的是,你有可能因此而遗失全部的资料。

      最糟、最糟的情况是,当你想搜索自己在云端上的资料时却发现“情空中万里无云”,如果你想野餐这当然是好事,但如果是这个为你保管资料的公司突然关门大吉,可就大事不妙了。

      如果你还没有备份自己的资料,你真的应该开始备份了。如果你不信邪,用iTunes就好了,但如果你信邪而且开始备份这些资料,就一直备份下去吧...想想要把全部的CD都跑过一次要花上多少时间(如果你还保有它们的话),更别提那些你借来的CD或是已经购买的MP3。

      想像一下明早你醒来时发现它们全部不见了,至少你还有音乐可以听,但如果遗失的是你的生日或婚礼或在瑞典穿着日本浴衣驾驶拖拉机的照片,那可能反而是件好事。

    对于到底什么是云计算,至少可以找到100种解释。目前广为接受的是中国云计算专家咨询委员会副主任、秘书长刘鹏教授给出的定义:“云计算是通过网络提供可伸缩的廉价的分布式计算能力。”

      从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

      云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算力、存储空间和信息服务。

      这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源,通常是一些大型服务器集群,包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来,并通过专门软件实现自动管理,无需人为参与。用户可以动态申请部分资源,支持各种应用程序的运转,无需为繁琐的细节而烦恼,能够更加专注于自己的业务,有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池,这与早在2002年就提出的网格计算池(Computing Pool)的概念非常相似。网格计算池将计算和存储资源虚拟成为一个可以任意组合分配的集合,池的规模可以动态扩展,分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率,提升平台的服务质量。

      之所以称为“云”,是因为它在某些方面具有现实中云的特征:云一般都较大;云的规模可以动态伸缩,它的边界是模糊的;云在空中飘忽不定,无法也无需确定它的具体位置,但它确实存在于某处。之所以称为“云”,还因为云计算的鼻祖之一Amazon公司将大家曾经称为网格计算的东西,取了一个新名称“弹性计算云”(Elastic Computing Cloud),并取得了商业上的成功。  

    这里描述的云的建立过程和结构,只是一种比较普通和容易理解的形式。由于技术的不同、实现方式的不同,各家云的实现方式和结构会有很大的不同。但是,一些基本的概念是相同的,其共同的核心要点包括:

      一定要有资源池。把分散的计算资源集中到大的资源池里,以方便统一管理和分配。例如前面讲的D所管理的资源池。

      按需分配、自助服务。用户实际消耗多少资源,就被分配多少资源;用户对自己得到的资源能够自助管理。例如前面讲的“机房”。

      灵活的资源变化。随便撤掉一台硬件的电脑,其上面的信息和活动会自动转移到别处去;随便增加一台电脑,其资源会随时添加到资源池里去。所有这些增减,用户根本意识不到。例如前面讲的“配载调配和平衡”。

      一定要有记账系统。用户消耗了多少资源,如何给这些资源计费,系统有详尽的信息采集和报告,以便对用户收费(即使是免费,也得有详细的记账)。例如前面提到用户输入信用卡,就是以记账为前提。

      在组建云的技术上,说到底,就是用软件产品(如前面提到的C和D,并通过监控程序)来管理、组织、和分配经过抽象或虚拟的硬件计算资源。除了个别企业用自己的技术建设、和服务外,现在常见的云技术提供者主要有:VMware、微软、Citrix、和OpenStack等。前两者是完全的商业产品;Citrix公司在监控程序上采用的是开源的Xen;OpenStack则完全是开源免费的,它的监控程序主要采用开源的KVM和Xen,也可以是其它的开源软件。

      按照服务的对象和范围,云可以分为三类:

      私有云:建一个云,如果只是为了单位(企业或机构)自己使用,就是私有云。就前面提到的“机房”而言,每个“机房”只是为本单位的不同部门、或不同用途而设立的。

      公众云:如果云的服务对象是社会上的客户,就是公众云。前面提到的“机房”可以是任何社会上的企业、单位、或个人。Amazon公司的AWS是现在世界上最大的公众云。其它公众云提供商还有Google、Salesforce、苹果的iCloud等等。

      混合云:如果一个云,既是为单位自己使用,也对外开放资源服务,就是混合云。有时,把两个或多个私有云的联合,也叫混合云。  “云计算”的五大特点

    大规模、分布式“云”一般具有相当的规模,一些知名的云供应商如Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。而依靠这些分布式的服务器所构建起来的“云”能够为使用者提供前所未有的计算能力。

    虚拟化云计算都会采用虚拟化技术,用户并不需要关注具体的硬件实体,只需要选择一家云服务提供商,注册一个账号,登陆到它们的云控制台,去购买和配置你需要的服务(比如 云服务器,云存储,CDN等等),再为你的应用做一些简单的配置之后,你就可以让你的应用对外服务了,这比传统的在企业的数据中心去部署一套应用要简单方便得多。而且你可以随时随地通过你的PC或移动设备来控制你的资源,这就好像是云服务商为每一个用户都提供了一个IDC(Internet Data Center)一样。

    高可用性和扩展性那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。基于云服务的应用可以持续对外提供服务(7*24小时),另外“云”的规模可以动态伸缩,来满足应用和用户规模增长的需要。

    按需服务,更加经济用户可以根据自己的需要来购买服务,甚至可以按使用量来进行精确计费。这能大大节省IT成本,而资源的整体利用率也将得到明显的改善。

    安全网络安全已经成为所有企业或个人创业者必须面对的问题,企业的IT团队或个人很难应对那些来自网络的恶意攻击,而使用云服务则可以借助更专业的安全团队来有效降低安全风险。  

  • ?

    SONM用基于区块链的分布式雾计算,代替传统云计算

    充斥

    展开

    云计算革新了我们运行应用与存储的方式,但是现在投入使用的大部分SaaS产品依靠的是少量的分布式服务器。

    如果将云平台变成分布式,或者使用一种奖励提供者与用户计算能力的分布式计算结构,会如何?自主分布式系统与区块链云计算平台SONM正是实现了这一点,SONM利用雾计算取代了云计算。

    2017年底,SONM成功获得4200万美金(约合2亿8千万人民币),同年12月,SONM推出了MVP Testnet测试网络。因此,在今年夏天推出第一款商业版之前,SONM就已经获得了开发者使用SONM雾计算服务测试版提供的反馈与建议。

    简单来讲,SONM的作用就是允许用户将个人设备连接到一个虚拟空间,并创造出一个分布式平台,在这个平台上消费者与供应者能够租赁与购买计算能力,价格也会在平台上显示。从平台取得资源后,消费者就能够用来渲染视频,托管应用与网站,进行科学计算,管理数据存储,或者使用机器学习技术。

    而计算能力的提供者(供应者),在卖出计算资源后能得到消费者支付的SNM “Token”(通证)。SONM雾计算平台也是完全分布式的,也就是说完全透明,不被任何人所有,SONM还号称这个平台比集中式平台费用要低。

    SONM联合创始人Aleksei Antonov在采访中表示:“区块链为我们提供了更可信的交易平台,资源的查阅方式也很安全,这一款平台在分配资源费昂面有着很大优势。利用智能合约(为用户和供应者提供自动交易),两个陌生人也能达成安全交易。智能合约相当于一个公正的仲裁者,在SONM平台上自动管理计算资源的交易。”

    Antonov还表示:“消费者与供应者在测试版平台上已经完成了约400笔交易,发布了1万2千次出售请求。”

    他还补充道:“继今年6月30日推出的第一版SONM平台后,下一版将会加强Iaas的功能,并推出针对平台消费者的新功能。接着,我们还计划结合软件,为Kubernetes的容器化应用程序提供自动部署,扩展和管理服务。”

    参考:VentureBeat

分布式计算与云计算

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP