- ?
什么是云计算?云计算是什么?
武士
展开
到底什么是云(云计算)?
有很多关于云的介绍。然而,大都是用比喻的形式来介绍云的属性。比较有名的比喻是餐馆、自来水和电网。但是,云毕竟不是餐馆、或电网等,如果只有这些比喻,仍然不清楚到底什么是云。
本文试图不用任何比喻,直接从普通的PC电脑入手,逐步递进,来介绍云的构成。你只需要具有初中文化,并对CPU、内存、硬盘等计算资源有些基本的概念,就可以了。
一、传统的电脑
当你启动一台个人电脑(PC机)时,电脑所做的事,就是把硬盘上的操作系统(OS,本文以微软的Windows 10为例,但也可以是Unix、Linux等等)的一些基本的控制程序调入到电脑的内存中去。一旦这个过程完成,这台电脑就完全由Windows 控制了。你所谓的电脑,其实就是你在上面工作的Windows。
对Windows而言,它所赖以运行的,只有电脑的处理器(CPU)、内存、和存储设备(硬盘)这三个要素(或者说三项资源)。电脑还有机箱,但那只是起着封装、固定、再加供电的作用;电脑还有主板,但那只是起着电脑内各主要部件通信连接的作用。当然,你可能还需要网络连接, 但那只是一项外在资源,不是Windows本身所必需的。作为PC机,你还需要键盘和显示器等外部设备来直接在机器上工作。如果是服务器,则不需要键盘和显示器,一切都可以是远程登录访问。
所以,一台电脑实质上就是在CPU、内存、和硬盘上运行的Windows。当打开Windows 的任务管理器,你就会发现,CPU和内存大部分是闲置的。特别是CPU,其利用率通常不到10%。Windows在硬盘占有的空间一般就是几个GB。 也就是说,一个Windows独占了电脑的全部资源,而大部分资源又都是闲置的。
那么,有没有这种可能:不让一个Windows单独控制一台机器,而是在一台机器上安装多个操作系统,并且让它们同时地运行?
答案是有,最好的方案就是做虚拟化
二、虚拟化
当安装一台电脑的时候,你不再是安装普通的Windows,而是安装一个资源调度程序,也叫“监控程序” (Hypervisor)。这个监控程序很小。取决于哪个厂家的产品,小的只有100多兆字节, 大的也只有几个G的字节。 监控程序安装完成之后,会得到一个工作界面,你通过这个界面设置一个网络连接(IP地址)。这个界面很简单,多数情况下你可以通过浏览器从别的机器上访问这个界面。
前面说了,一个Windows机器,实质上就是一个由CPU、内存、和硬盘组成的一个组合体。通过监控程序的界面,你可以建立多个组合体。每个这种组合体,就是一台仿真的电脑。当监控程序创建一个仿真的电脑时,它实际上只是创建了两个文件:一个是关于这个组合体的配置信息(被分配了多少CPU、多大内存、多大的硬盘);另外一个文件,这个仿真电脑的“硬盘”,这个仿真的“硬盘”实际上就是一个封装的文件(在有些情况下,也可以是几个文件)。
当你点击“开机”来启动这个仿真的电脑的时候,监控程序开始实际为它分配CPU和内存、并且启动它。当然,这“台”仿真的电脑在第一次启动的时候,是没有安装任何操作系统的“裸机”,那个封装的文件也是空的,这时你可以进行正常的系统安装(比如 安装Windows)。
对Windows而言,它不知道真假,它反正能够得到所需要的CPU、内存、和硬盘就可以正常运行了,一切都和真的机器一样。对监控程序而言,这个 Windows不是直接和硬件打交道的,一切资源都需要监控程序来调度和分配,所以这“台”Windows机器(组合体)就是一台虚拟的机器,简称VM。
这种通过监控程序把硬件的机器、同操作系统分开的过程,就是虚拟化。
当监控程序创建一个VM时,它就给VM配置资源的大小,比如2个2.5GHz的CPU、8GB内存、和200GB硬盘。这样,这个VM(Windows)就以为自己拥有了双核的12.5GHz CPU、8GB内存、和200GB 硬盘。但这只是Windows所能使用资源的上限。Windows在实际运行中并不需要消耗那么多,监控程序只是给它按需分配实际消耗的资源,比如 0.1GHz CPU、0.5GB 内存、和20GB 硬盘。表现在实际的硬件消耗上,这20GB的存储量,就是实际硬盘上的那个20GB大小的封装文件。
一台电脑,可以通过监控程序创建几个、几十个、甚至上百个VMs。比如,一台拥有16GB内存的PC机,你可以创建10个VMs,给每个VM分配4GB内存。看似总共分配出了40GB的内存,但PC机的实际内存只有16GB。
通过虚拟化,一个单台的硬件机器可以同时运行多个虚拟的机器(VMs);更重要的是,虽然一个虚拟的Windows的系统盘(C盘)上有成千上万个系统文件,但它表现在硬件的存储设备(硬盘)上,只是一个或几个打包的大文件。当你把这一个或几个大文件移到别的地方,整个VM就移走了。
三、配载调配和平衡
如果虚拟化的不只是一台机器,而是A、B两台,并且两台机器都共享一个大的存储设备(硬盘阵列、或硬盘库),那会怎样?
前面说了,一个VM就是一个(或几个)大文件。如果这个大文件放在共享的存储设备上,A、B两台机器上的监控程序都能看到这个VM。那么,这个VM既可以在A机器上运行、也可以在B机器上运行。所谓在哪台机器上运行,就是通过那台机器上的监控程序,把Windows 启动到其分配的虚拟内存就是了。
假设VM1到VM10 等10个VMs在A上运行,VM11到VM20 等10个VMs在B上运行。现在要对A进行关机维护,那么它上面的10个VMs就可以在线移动到B上,而且所有10个Windows都保持不间断,用户根本意识不到变化,因为所移动的东西,只不过是内存中的数据而已。
这个移动不是由A、或B指挥的,而是由装在另外一个C机器上的专门的数据中心管理软件指挥的。
这个数据中心管理服务器C, 可以监控A和B的运行状态,一旦出现资源紧张,它可以自动触发在线迁移,把一个或多个VM移到对方的机器上运行。当然,这里需要一个事先设定的阈值标准。
如果是创建新的VM, C可以自动决定把新的VM放在哪台机器上。
这里只是假设A、B两台机器。实际上,C可以管理几十、几百、上千台机器。共享的存储设备也不止一套,可以是多套(VMs也可以在不同的存储设备间移动,只是移动的时间较长而已)。
C通过各机器上的监控程序,间接管理所有的资源。
至此,云的雏形出现了,但还不是云。因为,所有的这些管理和控制,都还是数据中心自己的职责。用户还无法对所需要的资源进行自主管理。
四、云的最后形成
数据中心服务器C可以不止一个,可以有多个。它们创建和管理的一些VMs也许可以供外界的用户访问(比如网站),但用户无法直接管理VMs,更无法管理C提供的服务、或资源。
1. 资源池:
现在,再加一个更上层的服务器D ,由它来管理一个或多个C,这个D,就是云服务器了:
C把各自管理的资源提交给D,比如,一个或几个C总共向D提供了5000GHz CPU、3TB 内存、3PB 存储空间。D再把所有资源组成一个大池子,叫做“资源池”。
这个池子的大小是可以动态变化的。当C控制的资源增加了、升级了,C可以动态向这个池子贡献资源,这个庞大的资源池也就随之增长得更大。
2. 二次虚拟:
为了便于分配和管理,D把庞大的资源池划分成多个子集(小组),这每个子集就相当一个虚拟的数据中心(或叫“计算中心”)。
D再从各个“计算中心”里提取计算资源,创建一个个用户环境。每个用户环境就相当于一个“机房”,这个“机房”包括CPU、内存、存储等资源。
D同时还给用户提供登陆访问的接口。用户通常用浏览器来登录这个接口。
作为用户,当你用浏览器连接到D提供的访问界面,就可以建立一个账户,并且输入你的信用卡号。这时,云服务器D就可以根据你的要求,提供所需要的“机房”。
这个“机房”的大小,完全根据用户的需求而定,比如可以包括50GHz CPU、100GB 内存、和2TB 硬盘。这些“机房”的资源,都是由云服务器D从它的那些虚拟的“计算中心”里抓给你的。
通过层层抽象和虚拟,在每个“机房”里,你看不到、也不用去关心每个计算资源实际来自哪里。
3. 用户的自主管理:
当你作为用户拥有了一个“机房”,你就可以随意干你所需要的的事:
建立多台虚拟的机器(VMs)。云商在你的机房里已经提供了很多现成的VM模板,有各种Windows、有各种Linux、等等,你可以随意拷贝过来、定制自己的配置、启动,就可以了。当然,你也可以自己从初始安装。
4. 连接到网络:
在本文开头提到, 网络也是计算资源。在谈及单个VM的时候可以暂不谈网络,但是在连接VM的时候就需要了。云在给你提供一个“机房”的时候,它已经就按需求给你提供了虚拟的交换机、路由器、IP地址池等等。这些网络资源,同样也是由数据中心服务器C提供给云服务器D的;C则是从所管理的各个监控程序得到;各监控程序管理着实际的硬件网卡。
从用户的角度,各个“机房”是完全独立的,彼此是不可见的。你在自己的“机房”里干任何事都干扰不了别人的“机房”,别的“机房”也干扰不了你。
这就是云。下面还要介绍一些分类。
这里再回溯一下这个云“机房”的来源:
“机房”<-- 云服务器D管理的虚拟的“计算中心”<-- 数据中心服务器C提供给D的资源池 <-- C 动态管理A、B两台(或多台)机器所连接的计算资源 <-- A、B两台(或多台)电脑通过监控程序的虚拟化 <-- PC机
在实际配置中,PC机一般为企业级的服务器所取代,比如联想的System X 服务器。但这些服务器和PC机没有本质区别,性能和可靠性不同而已。
五、云的种类
这里描述的云的建立过程和结构,只是一种比较普通和容易理解的形式。由于技术的不同、实现方式的不同,各家云的实现方式和结构会有很大的不同。但是,一些基本的概念是相同的,其共同的核心要点包括:
一定要有资源池。把分散的计算资源集中到大的资源池里,以方便统一管理和分配。例如前面讲的D所管理的资源池。
按需分配、自助服务。用户实际消耗多少资源,就被分配多少资源;用户对自己得到的资源能够自助管理。例如前面讲的“机房”。
灵活的资源变化。随便撤掉一台硬件的电脑,其上面的信息和活动会自动转移到别处去;随便增加一台电脑,其资源会随时添加到资源池里去。所有这些增减,用户根本意识不到。例如前面讲的“配载调配和平衡”。
一定要有记账系统。用户消耗了多少资源,如何给这些资源计费,系统有详尽的信息采集和报告,以便对用户收费(即使是免费,也得有详细的记账)。例如前面提到用户输入信用卡,就是以记账为前提。
在组建云的技术上,说到底,就是用软件产品(如前面提到的C和D,并通过监控程序)来管理、组织、和分配经过抽象或虚拟的硬件计算资源。除了个别企业用自己的技术建设、和服务外,现在常见的云技术提供者主要有:VMware、微软、Citrix、和OpenStack等。前两者是完全的商业产品;Citrix公司在监控程序上采用的是开源的Xen;OpenStack则完全是开源免费的,它的监控程序主要采用开源的KVM和Xen,也可以是其它的开源软件。
按照服务的对象和范围,云可以分为三类:
私有云:建一个云,如果只是为了单位(企业或机构)自己使用,就是私有云。就前面提到的“机房”而言,每个“机房”只是为本单位的不同部门、或不同用途而设立的。
公众云(公有云):如果云的服务对象是社会上的客户,就是公众云。前面提到的“机房”可以是任何社会上的企业、单位、或个人。Amazon公司的AWS是现在世界上最大的公众云。其它公众云提供商还有微软Azure、阿里云、腾讯云、华为云等等。
混合云:如果一个云,既是为单位自己使用,也对外开放资源服务,就是混合云。有时,把两个或多个私有云的联合,也叫混合云。
按照服务的模式,云又分为如下几类:
基础设施即服务(IaaS):作为一个用户,如果得到了前面的“机房”,那你就拥有了信息系统的基础设施,你可以安装多个服务器,你可以配置自己的网络。由于这个基础设施完全是云所提供的服务,所以叫“基础设施即服务”。
平台即服务(PaaS):你不一定需要“机房”里的所有服务,比如说你只需要“机房”里的一个服务器作为公司软件开发的平台,那么,你得到的这个平台也是以服务的形式出现的。
软件即服务(SaaS):你甚至都不需要管理一整个服务器,你不关心什么服务器、也不关心服务器是怎么工作的,你只需要一种软件的功能。比如,你只想管理公司的客户信息(CRM),你就从云商那里得到完备的CRM软件功能。所以,软件也是服务。
其它(XaaS):很多人使用iCloud,实际上就用iTunes在“机房”里开了一个用户帐号,这个账号给你提供5GB的免费存储空间,如果还需要更大一点,你就需要输入信用卡号了。这是“存储即服务”。你还可以...
- ?
云计算存储产品详解
陆荧
展开
云上存储产品主要有对象存储,块存储,网络文件系统(NAS),还有最赚钱的CDN,我们将针对这些主流产品,讲讲他们产品特点,有云上存储时候知道如何选型,当然我们是技术型作者也会简单讲讲实现思路,出于信息安全,不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统,我们也捎带说说存储祖师爷DFS。
Linux IO STACK
云计算本质就是单机计算能力的无限扩展,我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs,调度算法,块设备层,最终落盘:
(1)其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品
(2)VFS还有一个fuse文件系统,可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口,就可访问后端存储
(3)在设备层,通过扩展ISCSI网络协议,衍生出了块存储
存储产品架构流派
分层或平层:
如hbase,底层基于hdfs文件系统,hbase不用考虑replication,专注于自身领域问题 特点:大大降低开发成本,稳定性依赖底层存储,底层不稳定,上层遭殃。
竖井:
自己做replication,自己做副本recover,自己做写时recover master-slave体系架构
两层索引体系,解决lots of small file
第一层,master维护一个路由表,通过fileurl找到对应slave location(ip+port)
第二层,slave单机索引体系,找到具体的location,读出raw data DFS
特点:丰富类posix语意,特点Append-only存储,不支持pwrite
可能存在问题:
(1)Pb级别存储方案,非EB级别。 原因namenode集中式server,内存&qps瓶颈,bat体量公司需运维上百个集群
(2)默认三副本,成本高
(3)强一致写,慢节点问题
演进:
GFS2拆分了namenode,拆分成目录树,blockservice,外加ferdaration,但namespace集中式server缺陷依旧,同时切分image是要停服,水平扩展不是那么友好。
对象存储:
元数据管理
Blobstorage: blobid->[raw data]Metastore,aws s3又称为keymap,本质上是个kv系统。存储内容file_url->[blobid list]
I/O 路径
(1)httpserver收到muti-part form,收到固定大小raw data,切成K份等长条带
(2)条带做EC,生成(N-K)份编码块,共得到N份shard。现在的问题变成了这N份数据存哪
(3)客户端的代理继续向blobstorage申请一个全局的id,这个id代表了了后端实际node的地址,以及这个node管理的实际物理卷,我们的每个分片数据均等的存在这些物理卷上。
(4)分发写N份数据,满足安全副本数即可返回写成功,写失败的可延时EC方式修复
(5)httpserver将文件file及对应的分片列表以KV形式写入metastore。
特点:
基于http协议 ws服务,接口简单,put/get,延时高。 EB级别存储方案,适合云上产品形态。深度目录树变成两层目录结构(bucket+object)。
缺点:
posix语意接口太少,不提供append语意(其实是通过覆盖写提供),更别说随机写。
iscsi模型
与后端交互的的部分在内核实现,后端target解析iscsi协议并将请求映射到后端分布式存储
特点:
(1)绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统,而大多数主流文件系统的块大小是4KB,文件最小操作粒度是块,因此绝大多数的IO请求是4KB对齐的。
(2)强一致. 块设备必须提供强一致,即写返回后,能够读到写进去的数据。
(3)支持随机写,延时要低用户基于虚拟块设备构建文件系统(ext4),对于文件编辑操作很频繁,所以需要支持随机写。比NAS/Fuse类产品性能好,只hack块设备读写,上层dentry lookup还是走原来的IO path,没有像NAS/FUSE dentry的lookup发起多次rpc问题
(4)产品层面需要预先购买容量,扩容需要重新挂载,跟NAS比容易浪费空间
实现模型:
云盘逻辑卷按block切分,为了便于recover,按1G切分,第一层路由由blockManager管理,按volumeid+offset 映射到逻辑block,逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件(falloc,防止写过程中空间不够),称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上,很容易实现pwrite。当然也可以基于裸盘,在os看来是一个大文件,分割成不同的1G文件
IO路径:
块设备上层会有文件系统,经过io调度算法,合并io操作,isici协议发出的IO请求的都是对扇区LBA的操作,所以可以简单抽象成对于卷id加上偏移的操作,我们简单讲讲EBS(Elastic Block Store)层IO路径
(1)网络发出来的IO请求是针对volume+offerset操作,假定是个写请求
(2)通过blockManager查找到逻辑block
(3)在内存中找到block对应的物理地址(ip+port),block的replicationGroup
(4)使用业界通用复制链方式如raft协议向replicationGroup发送io请求,raft帮我们解决写时失败tuncate问题
(5)单节点接到IO请求,把LBA换算成真实的文件偏移,pwrite写下去
优化
a、可想而知,这种存储模型下,后端node会有大量的随机写,吞吐肯定不高,有很大的优化空间 可以通过类似LSM引擎方式,将随机写变成顺序写,读者可深入思考,本文不详细探讨了。
b、虚拟磁盘可以切条掉,相当于raid盘思路,单块盘的IO变成多多块盘,增大吞吐。
NAS
用户通过mount目录访问共享文件,mount点挂在的是一个NFS协议的文件系统,会通过tcp访问到NFS server。NFS server是一个代理,通过libcfs最终会访问到我们后端的存储系统。
后端存储系统
DS包含管理inode的metastore和datastore,metastore
我们充分吸取业界DFS缺点,解决Namenode集中式server瓶颈,充分考虑bigtable的各种优点。Metastore可基于分布式数据库(newsql),回想一下bigtable,一个用户的文件散落在多个tabletserver上,允许用户跨tabletserver rename操作,所以需要分布式事务完成上述保证,出于对DFS改进,我们把目录树持久化模仿linux fs dentry管理,映射规则如下两张表,dentry表和inode表,dentry表描述目录树,inode表描述文件block列表及atime,mtime,uid,gid等源信息,一般来讲硬链够用,该场景下dentry可以多份,共同指向一个inode。 dentry通过外健关联到inode表
比如lookup 子节点
SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID
datastore
特点:要求提供随机写,所以跟块存储EBS设计思路是一样的,大文件切块,按块组织,dataserver上有真实的物理block文件,提供pwrite操作。
特点
弹性容量,不限容量,多机挂载并行读写,IO线性增长,支持随机写比块存储优势在于用多少花多少,不需要提前申请容量,真弹性
缺点
vfs层 dentry lookup每个层级目录会发起rpc,延时高。
总结
- ?
中国云计算现状-4.盈利篇
三剑客
展开
前言
这是本系列的第四篇文章,之前已发布了 成本篇 、 产品篇 和 采购篇 三篇文章。
成本篇说明厂商要做云计算要花多少钱,产品篇说明云计算有哪些服务是做什么用的,采购篇说明云厂商如何和甲方采购决策人打交道;本篇是盈利篇,直指云厂商的核心利益——如何挣钱。
本文的目标读者是云计算行业的投资者、运营人员、营销人员和爱好者,也可作为采购方反向评估厂商利润率的参考文档,毕竟钱都不赚的乙方总是不踏实的。
公开谈这类内容需要脱敏,我提及的推导过程和详细数字都以公网公开报价为准,不会涉及现在和过去工作单位的经营状况;因为只用常识推导不涉及具体技术,也给业内同行留足了用自身技术继续解释的空间。
正文
云计算产品繁多,IaaS层云产品是按资源池付费要先看超卖比再看市场价,PaaS服务是按量付费直接看成本和市场价的区别。
第一. IaaS云资源的超卖。
做云计算成本预估首先要考虑到资源超卖,但超卖是一门学问,超卖不同资源的后果完全不同。IaaS层从硬件开销角度看只有四类资源:CPU、内存、硬盘和带宽,每种资源的超卖策略和影响都不同。
首先说CPU可以放心超售,只有极个别高算力用户会受CPU超售的影响,就算过度超售也不会宕机。但是CPU资源默认就很充足,用不尽的资源没必要过分超售。
内存超卖天生就是个无解的话题,超卖内存会带来的巨大性能开销,只要国内想长期正规运营的厂商,只要不是最低配的个人机型,都没人敢动超卖内存的主意。
云硬盘超卖一般说的是类似Ceph+SSD的网络块存储,本地盘既没油水又没必要超卖。网络块存储有共享IOPS的优势,可以“延迟分配”给客户硬盘,即客户买个600G的云硬盘只用了1G,则实际上只占有用了1.1G的磁盘空间,等驱动要写入新空间时再扩大到1.2、1.3G。这样做的初始超卖比非常高,但后续会越来越接近真实售卖容量,而且客户只删除数据不会回收硬盘空间;这种超卖的风险是直接锁死存储引发计算群集宕机,所以云硬盘超卖比要靠运营人员艺高人胆大。
公网带宽的超卖风险和IDC运维差不多,带宽越小的客户超卖潜力越大,假设客户买5M带宽日常能用1M就不错了,但客户买10G带宽很可能会用够9.5G。
第二. 云计算资源的成本和售价分析。
我们先拿云主机和RDS进行成本和售价分析,看他们默认亏不亏。我们选16G内存的典型配置(备注1),云主机4C16G配置是每月¥550,RDS选16G内存机型是每月¥1800。Mysql RDS默认做了主从双实例内存占用翻倍,而且还有其他内存开销,所以实际成本和云主机差不多。
一台主流配置(备注2)的服务器硬件造价不超过5.5万元,每月机柜成本约为400元,按照3-4年硬件折旧周期,服务器和机柜成本每月成本在1500-1800之间。假设该服务器虚拟出8台16G内存的虚拟机,按媒体价每月产生的收入是4400元,从账面来看云计算资源即使不做任何超卖都有充足利润。
但是规模最大的阿里云至今未实现收支平衡,其他云厂商也没有说盈利的;这里既有人员、市场等其他成本,但一个重要原因是云计算行业有个叫“资源闲置”的吞金怪兽。在前几篇中我们就提到过,大批量采购硬件的过程中就有资源浪费,而客户可以按需申请虚机也要预留大量资源,而损失最大的场景来自大客户突然流失带来资源闲置。
中小型云厂商客户关系固定较少出现资源闲置的,甚至说中小厂商会最早实现盈利;如果按照项目制建设和扩容私有云平台,那会有固定客户来负担整个维保周期的费用。大型公有云平台反而拉不下面子,心虚嘴硬的大喊来去自由按需付费,但正如我在第三篇采购篇所说的,按需付费的代价就是或者所有客户分担空置资源的开销,或者客户想买资源的时候售罄。
AWS的竞价实例从一定程度上缓解了此类问题,但大部分用户业务不能用竞价实例,而且友商跟进后竞价实例价格会继续跳水。很多云平台看资源实在是闲置可惜,一般就做促销拉过来小客户,然后友商的资源又该空置起来了。
第三. 云存储资源的成本和售价分析。
云存储资源分为两种,IaaS层的云硬盘和PaaS层的对象存储。
典型的云硬盘我们选600G 中高速云盘,价格是每月180元,四年折旧客户总支出是8600元。但三副本SSD的硬件成本得有10000(备注3),云硬盘资源就是靠着延迟分配空间来保证赚钱的,延迟分配还能降低资源闲置风险。但是遇到大硬盘快速写满的客户,云平台不仅亏钱还要承担群集超卖后崩溃的风险,这类客户该引导到对象存储。
对象存储是个PaaS服务,其不存在超卖但也要预留资源保证始终可写入。各家技术有高低,我们按照理想化场景来算,磁盘的成本占整个群集成本的一半(备注4)已知一块4T盘的价格是1000元,如果按照3年折旧给客户做单点三副本群集,每T每月成本是元64(备注5),当前公开售价120元是不亏的;但如果做多地容灾三副本就抗不住成本了,必须得用多机房纠删码技术。
第四,网络的成本和售价分析。
网络成本首先要说IP地址,因为IP地址是一次性买断的资源,云计算厂商没有后续投入,IP占用收费就是在逐步收回购买IP段的投资。
到带宽部分,一般5M以下小带宽售价是25元/M/月,5M-200M带宽售价是80元,200M以上走定制订单不公开报价;业内均价来看,代播静态BGP的成本是100元左右,动态真BGP的成本是300元以上;厂商成本到客户售价之间的价格鸿沟靠的就是带宽超卖来填平的。笔者亲眼观测几个IDC做的小群集里,小带宽用户的带宽超卖比超过了70倍,5-200M带宽超卖比能到3-5倍,而每个大于200M的带宽订单的价格都是秘密。
第五,其他涉及成本利润的问题。
本文算利润时不关注包年甚至包三年的预售折扣,因为虚拟化的硬件也在降价和升级,而且提前一次性缴费有额外金融收益,长周期客户的维护成本也会降低,最终实际利润率和客户按月付费差不多。国内云平台即使关机也要按照开机收取CPU内存费用,那是因为“理论上”(备注6)客户关机了也保留内存准备再次启动,如果客户很在意云平台的关机持有成本,完全可以将主机制作镜像后删除。国外厂商不保证下次系统肯定有内存可以开机,甚至IP都会开机时更换,所以不是国内厂商太贪婪,而是国外厂商的承诺更经济。精算自建CDN的成本和利润的文章已经有很多了,我这里只提一下融合CDN的核心竞争力。融合CDN看似毫无科技含量的二道贩子,融合采购的成本也比自建节点更高。但融合CDN没有节点带宽空置成本,即融合CDN没必要为短时间的带宽峰值做几十G的带宽扩容,也不会因为扩容带宽不合算而降低服务质量。融合云计算看似能像融合CDN一样降低资源池空置率,但云主机和云容器没那么好搬,我们只能等到 Serverless 成为行业事实标准以后才能玩像融合CDN一样的融合云计算。正如第三篇采购篇说的,一个云厂商就是半个IT业,企业IT咨询服务是未来行业的营收突破点。当前云计算客户还是价格敏感型,而且客户还自有IT技术人才,导致云厂商不敢报出来四千一人日的价格。但是随着高增值客户的增加,以及客户技术团队将精力彻底转向业务逻辑,企业服务会成为比资源贩售更重要的利润组成部分。总有一些云平台异想天开,想通过插手用户运营和用户数据的方式实现盈利,我认为这是想多了,那么多IDC和CDN有谁成功控制过自己的客户?云计算市场一开场就是激烈竞争,云平台根本没控制客户的议价权,黑产偷到的数据也没法写到财报里。
第六. 如何面对各类客户
在云计算厂商来看,客户可以分为小客户、性价比优先的客户和服务优先的客户,看完下文大家会觉得卖云计算和卖IDC的方式一样。
首先看小客户,大都是初始创业团队或者个人站长,这类客户就像买散U共享带宽的IDC用户一样带宽超卖比极高,但云平台的压力主要是单价低、压榨硬件极限、服务成本过大,云平台一年辛辛苦苦赚20块钱,客户发个投诉微博就全毁了。
大公司如果用toC的霸王条款欺压小客户,会是自毁形象影响打其他大单,而且蛮横客服会误伤大中型客户,大公司如果把每个小客户都做高标准支持,成本根本扛不住,而且会遇到各种碰瓷专业户。这类客户还是留给运营成本更低的小IDC云吧,他们的运营成本和策略更灵活。
各大云平台不用为了小客户的成长潜力而强拉到自己平台,乙方自认为养大了甲方是白痴的自作多情;企业间的生意永远只是生意,小客户规模变大会更有议价能力去挑选供应商。吸引小客户不如影响小客户,做好中立的云培训和宣讲维持圈内的高大上形象,放出顺手的免费工具包实帮朋友们解决问题,结下单纯的善缘比被客户边用边骂能走到更远。
性价比优先的大客户其实挺好相处的,对方就是想找个物美价廉的供应商,云平台该学学自己的服务器供应商,他们怎么能做到超低利润运行的?如果讲不清产品性价比是营销线的责任;如果产品性价比确实不够那就让技术团队改进;如果友商烧钱赚客户,那友情提示一下客户不要签强捆绑的合同;如果客户一定要极限低价,那客户必须用法务合同承诺不让云平台承担资源空置等风险,不签合同的时候云平台连条内存都不会买。
服务优先的大客户会善意保证云平台的利润,云平台必须以稳定服务、承担责任、工作减压、技术引导、帮忙捧场等方式回报客户。这类客户也并不都是国企,很多互联网企业也不在意云计算成本占总成本的5%还是7%,能提供稳定的服务总好过烧钱促销的时候业务宕机。
目前以此为卖点的云平台很少,因为每个客户都要精耕细作,中小型云平台因为法务、沟通、决策的成本较低,才能通过无限服务的方式留住客户,但中小型云平台需要费力招揽能无限服务的人才。大型云平台敢拍板又能拍板的精英还是太少了,最终优质客户的竞争又变回了售前和方案人才的竞争。
附录,中国云计算现状系列汇总:
第一篇成本篇,原创链接,小黑羊首发链接。
第二篇产品篇,原创链接,小黑羊首发链接。
第三篇采购篇,原创连接,小黑羊首发链接。
下期预告:
下一篇会是厂商篇,小编终于要赤膊上阵聊聊各个玩家的优缺点了,考验小编节操眼界的机会到了!
------------------------------------
为保证阅读流畅性,我将大量推导信息引到了文末,有详细数据推倒热情的读者可用看备注。
备注1:云主机不要选择最低配的1C1G的机型,那个机型的超卖比就不是给企业用户用的;RDS因为能连带吸引云主机等消费,多个厂商对低配RDS有费用补贴,其价格不中立。
备注2:正文说的5.5万元的物理服务器的参考配置是: 2*12cpu+256G内存 4*800G SSD+2*4T SATA +2*万兆网卡模块+附属网络设备。5.5万的服务器加上每月400元的机柜成本,3年折旧每月成本是55000/36+400=1927,四年折旧成本是55000/48+400=1545。
备注3:中高速云盘的硬件基础一般是三副本中档SSD加上网络,标记容量800G的硬盘实际可用也就600G。一块中档 800G SSD硬盘价格不超过3000,三副本SSD加上其他硬件成本得有10000以上。
备注4:技术理想环境下,整个存储群集80%的硬件成本在存储节点,整个存储节点70%的硬件成本在磁盘,10%的硬盘空间要预留等待新写入,0.8*0.7*0.9=0.504,即磁盘的成本占整个群集成本的一半。
备注5:一个磁盘有10%-20%的空间要预留做维护用,4T只能算3.2T可用空间;单盘功耗7瓦加上其他设备功耗,单盘可以按每月20块机架费来算。如果按照3年折旧给客户做三副本群集,每T每月成本是(1000*3+20*36)*2/3.2/36=64元 ,详解是 (1000*3 三倍磁盘价格 + 20*36 3年机柜费)*2 磁盘开销占总群集成本50%/33.2T可用空间/36 客户分期36个月付款。用三副本做对象存储是最初阶最浪费硬盘的技术方法,现在各平台都已经逐步过渡到纠删码了。
备注6:理论上客户关机了云平台也保留内存准备再次启动,这是守规矩厂商的做法。实际操作过程中不排除有云平台冒险“盗卖”关机者的内存;也不排除有些小型云平台想“盗卖”但技术不够,因为有些技术实现会带来的连锁反应会很好玩。
- ?
1分钟知识锦囊 | 云计算是怎么回事?是不是只有大公司才用得上它?
从阳
展开
1分钟知识锦囊是36氪的日更问答新栏目,旨在每天以一分钟为限,快问快答一个重要的商业问题。今天我们解答的是云计算的问题。如果你对近期的商业世界还有什么疑问,欢迎给我们留言,锦囊负责找高手为你解答。
今日锦囊答主:
陈晓杰 Kyligence 高级产品经理
数字化时代的计算能力,与工业化时代的电力一样,成为企业和社会发展的基本动力来源。云计算可以理解为一种新型的计算能力交付方式,它通过网络让计算能力和服务像电力一样方便的交付给企业和个人,而不再需要像以前一样通过实物来交付,如服务器、网络设备和相关软件等。
云计算中心就像是超级发电厂,源源不断的为企业和个人提供各种计算服务。它由超大规模的计算机集群组成,运行中会产生大量的电力消耗并散发巨大热量,而有些地方具备天然气候优势,温度低电费便宜,土地不贵还有税收优惠,所以大家会看到很多云端数据中心会建设在一些我们不常听到的地方,比如亚马逊和微软大数据中心在宁夏中卫,中国移动和华为的分别在甘肃兰州新区和庆阳。
云计算是规模经济和共享经济理念下的产物,它通过集中建设超大型数据中心,大幅降低系统的单位运维成本,而且其按需使用的特性,使得多租户在不同时段共享同一计算资源成为了可能,进一步降低成本。对用户来说,只需要一根网线,就可以使用无穷尽的计算资源,当然前提是只要付得起账单。云计算标志着我们进入了一个新时代,计算能力就像水电煤这样的基础设施服务一样,每一个企业和个人都可以方便的获取和使用。
在生活中,我们每天都在接触着大量基于云计算的各种服务,享受着它带来的各种便利。有些是直接的,比如前端时间吵得沸沸扬扬的iCloud转由云上贵州运营事件(注:云上贵州是一家位于贵州省贵阳市的公司,全名为云上贵州大数据产业发展有限公司),iCloud就是一项云服务,我们用它来存储备份iphone的数据;有些是间接的,比如我们用淘宝和美团,细心的朋友会注意到app的启动页面下面有一行小字“由**云提供计算服务”。
- ?
云计算学习路线,云计算是什么意思?
Tian
展开
云计算大火,如果你到现在还不知道云计算是什么意思,那你可就太low了!学习云计算扎实的掌握一门语言最重要,如果你想搞linux的话,当然是越深越好,如果将来想找云计算相关的岗位,笔试面试和其他的没啥区别,没人会问你云计算啥啥的,基础最重要,刚开始要专而不要广。
云计算是一种基于互联网的计算方式,要实现云计算则需要一整套的技术架构去实施,包括网络、服务器、存储、虚拟化等等。云计算目前分为公有云和私有云。两者的区别只是提供的服务的对象不同,一个是企业内部使用,一个则是面向公众。目前企业中的私有云都是通过虚拟化来实现的,建议你可以了解一下虚拟化行业的前景和发展。
学习虚拟化需要的基础:
操作系统,懂得Windows操作系统(Windows Server 2008、Windows Server 2003、Windows 7、Windows XP)的安装和基本操作、懂得AD域角色的安装和管理、懂得组策略的配置和管理。
数据库的安装和使用(SQL Server)。
存储的基础知识(磁盘性能、RAID、IOPS、文件系统、FC SAN、iSCSI、NAS等)、光纤交换机的使用、使用Open-E管理存储。
网络的基础知识(IP地址规划、VLAN、Trunk、STP、Etherchannel)。
IBM的创立者托马斯·沃森曾表示,全世界只需要5台电脑就足够了。比尔·盖茨则在一次演讲中称,个人用户的内存只需640K足矣。李开复打了一个很形象的比喻:钱庄。早先人们只是把钱放在枕头底下,后来有了钱庄,很安全,不过兑现起来比较麻烦。现在发展到银行可以到任何一个网点取钱,甚至用ATM,或者国外的渠道。就像用电不需要家家装备发电机,直接从电力公司购买一样。云计算就是这样一种变革——由谷歌、IBM这样的专业网络公司来搭建计算机存储、运算中心,用户用一根网线借助浏览器就可以很方便的访问,把“云”做为资料存储以及应用服务的中心。
狭义的云计算是指IT基础设施的交付和使用模式,指在网络中,以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式,指依靠网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务。
- ?
中科院云计算中心参编的又一项国家标准正式获批发布
凯特
展开
【海通社6月21日电】近日,国家市场监督管理总局和国家标准委发布(2018年第9号)标准公告显示,由中国科学院云计算中心(下称,云计算中心)参与编制的《信息技术 云计算 云服务级别协议基本要求》(GB/T 36325.2-2018)正式发布,于2019年1月1日开始实施。
2018年第9号中国国家标准公告据了解,云计算中心是该标准的主要起草单位,并为该标准给出了云服务级别协议的构成要素,明确了云服务级别协议的管理要求,并提供了云服务级别协议中的常用指标。这一标准的发布实施可以为云服务提供者和云服务客户建立云服务级别协议提供指导,为客户对提供者交付的云服务进行考评提供参考依据。
云计算中心作为广东省和中科院战略合作重大项目,汇聚了中科院计算所、遥感所、电子所、自动化所、软件所、声学所、网络信息中心等相关单位在云计算领域的技术、人才、设备和网络等核心科技创新资源,形成中科院在云计算技术领域的研发、创新与运营基地。 作为国内首家自主知识产权的云计算平台的运营商,中科院云计算中心拥有国内首个自主产权的云计算平台,自主研发的G-Cloud云操作系统获2011年工信部安全可控云计算典型示范项目,技术处于国内领先地位,并且得到了广泛的实际应用。
云计算中心一直秉承以创新驱动、标准引领为核心,积极参与云计算标准化工作,以标准为手段,将科技成果转化为生产力。遵循“立足东莞、辐射广东、服务全国、面向世界”的发展方针,通过产业前沿技术创新、集成创新和成果转移转化,建设成为我国云计算产业技术源头创新基地、新产业育成基地和高层次创新创业人才培养基地。
- ?
聊聊云计算:弹性IP是怎么回事?
EG
展开
导语
在利用公有云服务部署我们的应用时,为了访问到我们的服务器,我们需要为我们的服务部署公网IP。公有云服务商除了可以为服务器提供固定的公网IP,也可以提供弹性IP。这篇文章,我们来弄清楚弹性IP是怎么回事。
弹性IP的技术基础:NAT
我们都知道搭建外网服务器的时候,需要给服务器分配一个外网可以访问的IP地址。那么弹性IP是什么呢?
在说明什么是弹性IP以前,我们先简单讲一下互联网的一个基础技术:网络地址转换(NAT: Network Address Translation)。网络地址转换技术,或者叫NAT技术,可以说是实现弹性IP的基础。
NAT技术最早提出是在1994年,主要解决一些专用网络的主机,与互联网主机之间通信的问题。专用网络的主机只有本地IP地址,没有互联网(公网)的IP地址。需要通过NAT技术来实现专用网主机的IP地址转换,转换成一个公网IP地址,然后就可以通信了。
解决办法就是在专用网连接到互联网的路由器上安装NAT软件,目前一般的路由器都支持NAT功能。
装有NAT软件的路由器叫做NAT路由器,它至少有一个有效的公网IP地址。所有使用本地地址的主机在和外界通信时,都要在NAT路由器上将其本地IP地址转换成公网IP地址。
NAT技术将专用网的内网地址转换为以太网地址
根据手里公网IP资源的多少,有不同的NAT方案可以选择。
静态NAT:本地地址与公网地址之间一对一映射,即一台主机对应一个固定的公网IP。如果NAT路由器具有足够多的公网IP地址,那它有机会为每个专用网络的主机分配一个固定的公网IP,可以使用静态NAT。这种NAT方案用得很少。
动态NAT:需要一个地址池为内部用户提供公有IP地址,对于同时试图访问外网的每位用户,都从池子里分配一个公网IP地址,但每次分配的IP地址是不固定的。如果专用网络不是所有的主机都要同时访问外网,那么可以采用这种方案。以少量的公网IP,为大量的内网主机提供外网访问。
NAT重载:使用传输层端口号来标识本地主机,即端口地址转换(PAT:Port Address Translation),也称为端口映射。一般情况下,公网IP资源都很稀缺,可能只有一个公网IP,却有很多个本地IP要使用,那么可以使用端口映射方案。NAT路由器用不同的端口号映射到不同的本地IP地址和端口号上。
弹性公网IP
弹性公网IP是一种NAT IP。它实际位于云服务提供商的公网网关上,通过NAT方式映射到了被绑定的云主机实例的私网网卡上。因此,绑定了弹性公网IP的云主机可以直接使用这个IP进行公网通信,但是在它的私网网卡上并不能看到这个IP地址。
用户访问的永远是弹性IP地址,但不一定是同一个云主机
阿里云、腾讯云等云服务商都有提供弹性IP的服务。
阿里云的弹性公网IP(EIP: Elastic IP Address),是可以独立购买和持有的公网IP地址资源,能动态绑定到不同的ECS实例上,绑定和解绑时无需停机。
腾讯云的弹性公网IP可以分配给CVM实例,或者是黑石物理服务器。黑石弹性公网IP只能绑定黑石服务器和黑石私有网络的NAT网关,与云服务器的弹性公网IP不能共用。
使用弹性公网IP有什么好处?
对于云服务商来说,当然是帮助他们节约了公网IP资源。那么对于开发者来说,使用弹性IP有什么好处呢?
有的时候我们会根据项目运营的需要更换主机,比如换配置更高的主机。那么每次换云主机都会更换我们服务的IP地址,这样就需要我们重新做一次地址解析,把我们的域名解析到新的IP地址上。
如果我们使用了弹性IP,在更换主机以后,只需要把我们申请的弹性IP分配到新的主机上,就可以了,不需要在域名服务商那里重新解析域名。对于服务的稳定性,有一定的好处。
随着云计算业务的不断发展,云服务商手里的公网IP资源不够用的时候,有可能以后会强制所有的主机都使用公网IP。
- ?
infoCH云计算成为IP地址分配联盟成员(CNNIC)
李赛君
展开
“ infoCH 云计算于 2017 年 12 月通过了严格审核,正式成为 CNNIC IP 地址分配联盟的成员。 ”
2017 年 11 月,中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版( IPv6 )规模部署行动计划》。
计划中指出,中国将会用 5 到 10 年时间,形成下一代互联网自主技术体系和产业生态,建成全球最大规模的 IPv6 商业应用网络。
infoCH 云计算致力于提供优质稳定的云计算网络服务,此次成为 CNNIC IP 地址分配联盟的成员,不仅降低了客户使用 IP 的资源成本,也为自身云计算网络服务增加了更多可能性,更是贴合了国家关于 IPv6 的战略目标。
2018 年, infoCH 产品将全面支持 IPv6 。
预计到 2018 年底, IT 及通信行业支持 IPv6 的领域将包括:
域名托管服务企业
顶级域运营机构
域名注册服务机构的域名服务器
互联网数据中心 IDC
内容分发网络 CDN
云服务平台
互联网骨干网
骨干网网间互联体系
城域网和接入网
广电骨干网
LTE 网络及业务
新增网络设备
固定网络终端
移动终端
「让互联网业务更加纯粹」
云计算地址
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并