- ?
从零开始了解Docker
亚伦
展开
【域名注册】小鸟云域名注册拥有超高的解析响应速度,30ms内访问到服务器,强大的域名自助管理平台,域名转入/转出自如,修改信息简单方便,同时提供免费域名隐私保护服务,防止注册人信息被盗号导致的骚扰和诈骗。
Docker 自开源以来受到了各大公司的广泛关注,或许现在互联网公司的运维体系不承载在 Docker(或 Pouch 等)之上都不好意思说自己的互联网公司。
本文会简单介绍下 Docker 的基础概念,入门级使用方式和一些使用 Docker 能大大提升效率的场景。
原理
对 Docker 最简单并且带有一定错误的认知就是 “Docker 是一种性能非常好的虚拟机”。
正如上面所说,这是有一定错误的说法。Docker 相比于传统虚拟机的技术来说先进了不少,具体表现在 Docker 不是在宿主机上虚拟出一套硬件后再虚拟出一个操作系统,而是让 Docker 容器里面的进程直接运行在宿主机上(Docker 会做文件、网络等的隔离),这样一来 Docker 会 “体积更轻、跑的更快、同宿主机下可创建的个数更多”。
Docker 中有三个核心概念:Image、Container、Repository。
Image: 有领“好人卡”倾向的广大程序猿一定对 镜像 的概念不会陌生。但和 Windows 的那种 ISO 镜像相比,Docker 中的镜像是分层的,可复用的,而非简单的一堆文件迭在一起(类似于一个压缩包的源码和一个 Git 仓库的区别)。
Container:容器的存在离不开镜像的支持,他是镜像运行时的一个载体(类似于实例和类的关系)。依托 Docker 的虚拟化技术,给容器创建了独立的端口、进程、文件等“空间”,Container 就是一个与宿机隔离 “容器”。容器可宿主机之间可以进行 port、volumes、network 等的通信。
Repository: Docker 的仓库和 Git 的仓库比较相似,拥有仓库名、tag。在本地构建完镜像之后,即可通过仓库进行镜像的分发。常用的 Docker hub 有 https://hub.docker/等。
相关命令
1. 安装
Docker 的安装是非常便捷的,在 macOS、ubuntu 等下面都有一键式安装工具或者脚本。更多可以参考 Docker 官方教程。
安装后 Terminal 中敲下 docker,有使用说明出来的话大多情况下说明已经安装成功了。
2. 寻找基础镜像
DockerHub 等网站都提供了众多镜像,一般情况下我们都会从它那找个镜像作为基础镜像,然后再进行我们的后续操作。
这里我们以 Ubuntu 基础镜像为例,配置一个 node 环境。
因为 “链路太长” 的原因,国内访问 Docker Hub 可能会比较慢,可以使用国内众多厂商提供的镜像加速器
3. 拉取基础镜像
利用 docker pull 命令即可从相关 hub 网站上拉取镜像到本地。同时在拉的过程中就能看到是按照多个 “层” 去拉镜像的。
> docker pull ubuntu:18.04
18.04: Pulling from library/ubuntu
c448d9b1e62f: Pull complete
0277fe36251d: Pull complete
6591defe1cd9: Pull complete
2c321da2a3ae: Pull complete
08d8a7c0ac3c: Pull complete
Digest: sha256:2152a8e6c0d13634c14aef08b6cc74cbc0ad10e4293e53d2118550a52f3064d1
Status: Downloaded newer image for ubuntu:18.04
执行 docker images 即可看到本地所有的镜像。
> docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
ubuntu 18.04 58c12a55082a 44 hours ago
4. 创建一个 Docker 容器
docker create 命令通过镜像去创建一个容器,同时吐出容器 ID。
> docker create --name ubuntuContainer ubuntu:18.04
0da83bc6515ea1df100c32cccaddc070199b72263663437b8fe424aadccf4778
用 docker start 即可运行改容器。
> docker start ubuntuContainer
用 docker ps 即可查看运行中的 container。
> docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9298a27262da ubuntu:18.04 "/bin/bash" 4 minutes ago Up Abou
用 docker exec 即可进入该 container。
> docker exec -it 9298
root@9298a27262da:/# ls
bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var
root@9298a27262da:/# exit
用 docker run 可以一步到位创建并运行一个容器,然后进入该容器。
> docker run -it --name runUbuntuContainer ubuntu:18.04 /bin/bash
root@57cdd61d4383:/# ls
bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var
root@57cdd61d4383:/#
docker ps 可以查到已经成功运行了 runUbuntuContainer
> docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
57cdd61d4383 ubuntu:18.04 "/bin/bash" 9 seconds ago Up 8 seconds runUbuntuContainer
9298a27262da ubuntu:18.04 "/bin/bash" 9 minutes ago Up 6
5. 在容器里安装 Node 环境
进入容器之后一切操作和普通环境一致,我们安装个简单的 node 环境。
> apt-get update
> apt-get install wget
> wget -qO- https://raw.githubusercontent/creationix/nvm/v0.33.8/install.sh | bash
安装完之后可能当前 session 读不到 nvm 命令,可以 exit 之后再进入中终端环境
> nvm install 8.0.0
> node -v
6. commit 容器,创建新镜像
和 Ghost 装 Windows 一样,很多时候,我们期望能定制自己的镜像,在里面安装一些基础环境(比如上文中的 node),然后制作出自己要的基础镜像。这个时候 docker commit 就派上用场了。
> docker commit --author "rccoder" --message "curl+node" 9298 rccoder/myworkspace:v1
sha256:68e83119eefa0bfdc8e523ab4d16c8cf76770dbb08bad1e32af1c872735e6f71
通过 docker images 就能看到新制作的 rccoder/myworkspace 就躺在这里了
>docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
rccoder/myworkspace v1 e0d73563fae8 20 seconds ago 196MB
接着,试一下我们新创建的镜像?
> docker run -it --name newWorkSpace rccoder/myworkspace:v1 /bin/bash
root@9109f6985735:/# node -v
8.0.0
看起来没问题。
7. push 镜像到 docker hub
镜像制作好了,怎么共享出去让别人使用呢?这里以 push 到 docker hub 为例。
第一步是先去 docker hub 注册一个账号,然后在终端上登录账号,进行 push。
> docker login
> docker push rccoder/myworkspace:v1
The push refers to repository [docker.io/rccoder/myworkspace]
c0913fec0e19: Pushing [=> ] 2.783MB/116.7MB
bb1eed35aacf: Mounted from library/ubuntu
5fc1dce434ba: Mounted from library/ubuntu
c4f90a44515b: Mounted from library/ubuntu
a792400561d8: Mounted from library/ubuntu
6a4e481d02df: Waiting
8. 是时候使用 Dockerfile 了
用 Docker 进行持续集成?相比在了解 Docker 之前肯定听过这个事情,那就意外着需要从某个地方拷贝代码,然后执行(对,听上去有点 travis-ci 的那种感觉)。
是时候该 Dockerfile 出场了!
Dockerfile 是一个由一堆命令+参数构成的脚本,使用 docker build 即可执行脚本构建镜像,自动的去做一些事(同类似于travis-ci 中的 .travis.yml)。
Dockerfile 的格式统统为:
# Comment
INSTRUCTION arguments
必须以 FROM BASE_IMAGE 开头指定基础镜像。
更详细的规范与说明请参考 Dockerfile reference。这里我们以基于上面的 rccoder/myworkspace:v1 作为基础镜像,然后在根目录创建 a 目录为例。
Dockerfile 如下:
FROM rccoder/myworkspace:v1
RUN mkdir a
然后执行:
> docker build -t newfiledocker:v1 .
Sending build context to Docker daemon 3.584kB
Step 1/2 : FROM rccoder/myworkspace:v1
--->68e83119eefa
Step 2/2 : RUN mkdir a
---> Running in 1127aff5fbd3
Removing intermediate container 1127aff5fbd3
--->25a8a5418af0
Successfully built 25a8a5418af0
Successfully tagged newfiledocker:v1
新建基于 newfiledocker 的容器并在终端中打开,发现里面已经有 a 文件夹了。
> docker docker run -it newfiledocker:v1 /bin/bash
root@e3bd8ca19ffc:/# ls
a bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv
借助 Dockerfile 的能力,Docker 留下了无限的可能。
能做什么
说了这么一堆,那实际生产环境中 Docker 能做什么呢?常用的可能有下面这些(欢迎在评论中补充)
1. 多环境的部署切换
业务开发中往往需要区分开发环境与线上环境,利用 Docker 能原封不动的将开发环境中的 代码与环境原封不动无污染的 迁移到线上环境,配合一定的自动化流程即可实现自动的发布。
2. 前端云构建
因为 node_modules 的蛋疼问题,同一个仓库下不同人开发往往会遇到不同的人使用不同的 包版本 且自己根本不知道与别人不一样,最终导致发布之后产生线上问题。利用 Docker 可以在云端新建容器,远程无污染、低成本构建代码,实现不同人用的一定是同一个版本。
3. 复杂环境一键配置
某些场景下可能会配一些超级复杂的环境(比如:大一同学配 Java 环境),这个时候可以利用 Docker 对环境配置做封装,直接生成镜像,让大家低成本使用。
4. 持续集成单元测试
类似于 travis-ci 这种
5. 同应用多版本隔离、文件隔离
比如这个项目依赖 node 6,那个项目依赖 node 8(只是举例子,硬盘够大的话还是建议通过 nodeinstall 解决);同一台服务器上跑了 100 个 wordpress 程序(可以用 Docker 建立隔离开,防止互相污染)。
6. 省钱
嗯,低成本安全超售。
- ?
第十届中国云计算大会召开 智慧计算赋能实体经济
安吉莉亚
展开
7月24日,第十届中国云计算大会全体会议在北京国家会议中心举行,中国工程院院士、浪潮集团首席科学家王恩东受邀出席大会,并做题为“智慧计算赋能实体经济”的主题演讲。他指出,云计算改变了世界经济的格局,以云计算为核心的技术创新,将继续推动商业模式创新、经济转型以及政府治理能力的升级,推动人类社会加速迈向智慧时代。
中国工程院院士、浪潮集团首席科学家王恩东做主题演讲
云计算发展的3个“三年”
这是中国第十届中国云计算大会,也是云计算变革的第十年。本届大会的主题是“聚力云上生态 赋能数字经济”为主题,参会嘉宾包括两院院士、业界专家、国内外学者以及IT产业各类的企业高层,会议主题涉及云计算回顾与展望、面向人机物融合的区块链软件技术研究、人工智能驱动下的群智数据采集技术初探、工业物联网、数字化转型等诸多前沿和热点话题。
王恩东称,这十年全球云计算产业可分为“三年探索”、“三年实践”和“三年繁荣”,过去十年,全球公有云市场规模增长了5.4倍,中国云计算市场增长了十几倍,而且中国企业上云比例仅40%,发展潜力还非常大。
云计算的发展对于社会经济各个领域产生了深刻影响,IT技术和跨学科创新、商业模式转变都是建立在云计算基础上的。
王恩东表示,在IT技术创新方面,云计算大数据提供了数据汇聚平台和处理能力,为人工智能提供了计算力支持和应用场景,推动了通信能力的全面云化,也促进了物联网和互联网的深度融合,是新一代IT技术发展的基础平台。
云计算引发了IT技术的全面创新,IT技术创新引发了全球产业格局的深刻调整。以服务器产业为例,云服务在过去的10年中,从零开始成为主流产品形态,成为全球市场增长的主要动力,浪潮抓住这一产业机遇,获得云服务器份额第一,并进入全球服务器市场份额的前三。
此外,云计算引发的创新和变革,也远远超出了IT领域,经济、金融、社会学等领域进一步精准量化。例如在生物研究等领域通过与云、大数据相结合,不断出现新的突破。浪潮研发成功的基因解析一体机,可以在9个小时完成一个人的基因解析,效率提升3.4倍,成本降低80%,进一步降低了基因解析全民化的普及难度。
下一个热点是工业互联网
云计算的发展对于社会经济的影响更为显著,最明显的则是创业的简化。根据网易&IT桔子的统计数据,中国互联网创业公司累计超过62000家,抖音在半年内用户数量破亿,拼多多不到3年用户超过3.44亿。没有云计算的支持,这些创业公司不可能在这么短时间内搭建支撑数亿用户的业务平台。
影响更为深远的,则是云计算在传统经济领域的渗透。在云计算推动下,数据资源得以在各个行业之间快速流转和共享,让大规模社会化协同成为可能,从而促进第三产业商业模式的升级,例如互联网金融、互联网物流、餐饮外卖等都是建立在云计算技术上的新商业模式。
王恩东指出,当前的互联网新经济是新一代信息技术与消费、流通等领域相结合的结果,接下来会走向工业生产领域,引发新的工业革命,带动工业生产模式的升级,人类走过了蒸汽机时代、电力时代和传统信息化时代,未来是工业互联网的时代,突出的特点是智能化、网络化、数字化。根据YOLE的调查数据,未来20年,工业互联网将影响全球经济的46%,工业互联网给中国GDP带来3万亿美元的增量,这是一个远远超过消费互联网的产业发展机会。
浪潮服务器的智能生产基地就是广泛采用了云计算、大数据、物联网等创新IT技术,采用了600多个RFID、2000多个传感器以及自动叉车等其他330多套智能设备,这些智能设备的控制系统与ERP、MES、WMS等6大核心智能信息系统统一整合,实现了排产、仓储、制造、运输”全流程的智能化。在生产过程中有30多个数据采集环节、120个数据采集点,其中大部分数据,可以被订单用户直接查看。客户全流程参与大规模定制过程,这种全自动的协同创新生产模式,保证用更少的时间满足更多样化的云计算和大数据定制化产品的动态需求,并且订单交付周期从15天缩短至5-7天。
智慧时代最大的挑战是计算力
云计算、人工智能、大数据等新一代信息技术在高速发展的同时,也在不断融合,这些IT技术的不断应用普及,将推动人类社会从传统信息时代迈向智慧时代,伴随着这一转变,人类演将从传统计算时代迈向智慧计算时代。
王恩东表示,智慧计算以云计算为基础平台,大数据为认知方法,人工智能为优化工具,能够实现了从“数据-信息-知识”的联动处理,能够交互学习、自我进化。智慧计算发展最大的挑战是计算力不足、数据利用水平低以及算法的应用鸿沟,其中计算力不足是最大的挑战,未来92%的计算任务都将由后台的云计算完成,包括全球最大云计算运营商Google都曾表示,计算力是业务发展的最大的制约。
解决当前的挑战,发展智慧计算,关键是要建立开放融合的技术生态,融合已经是IT基础架构不可阻逆的趋势,全球Super 7 互联网公司都在采用融合架构,TOP 10 电信运营商采用了网络虚拟化技术,计算、网络、存储在融合,IT和CT在融合,IT和OT也在融合。
随着产业和技术的融合,原有的产业和技术生态被重构,王恩东表示,重构的过程就是智慧时代产业生态的形成过程,新生态应该是开放融合的,智慧生态各层次应用独立发展,层次之间依托标准接口协同合作,开放的生态才是有活力的生态。政府应该加强监管和标准化建设,成立“云监会”,防止垄断和不正当竞争,推进整个产业生态良性有序发展。
王恩东表示,由于云计算技术的推动,我们的发展应当是一个加速度的发展。要满足这种快速发展,软件要敏捷开发,硬件要能够快速地融合最新的技术应用,缩短研发的链条,我们的制造、供应链条也要进一步的加速。
王恩东最后表示,世界正处于以信息产业为主导的经济发展时期,把握数字化、网络化、智能化融合发展的契机,就可以培育出中国经济发展的新动能,带动社会经济全局性的转变。
(经济日报 记者:杨国民 责编:胡达闻)
- ?
安全从零开始
凡白
展开
大数据、云计算、物联网、人工智能等新一代信息技术的应用,给我们带来便利的同时,也带来了新的网络威胁。今年,影响全球的网络安全事件此起彼伏,这些事件告诉我们,感知安全威胁变得越来越困难,我们必须回到安全的本源和原点思考,让安全从零开始,重新审视网络安全的思想、方法、技术和体系。我从三个层面谈谈对网络安全的思考:行业危机、产业巨变和创新爆炸。
一、行业危机
近年来,全球网络攻击事件不断,每次事件被攻击的机构用的都是安全公司提供的产品和技术。这说明我们的安全市场出了问题。
2017年5月12日,“永恒之蓝”勒索病毒席卷全球,波及到了150多个国家。短短一天内,英国医疗系统、美国快递公司、俄罗斯内政部、西班牙电信公司,以及中国的部分政府部门和加油站等公共服务机构都被攻陷,超过10万家企业和公共组织被感染。但令人欣慰的是,全球数十亿个人电脑却躲过了这场灾难,很少有中招被勒索的。
企业和政府机构的防护能力比个人用户更强大,但却大规模中招,这说明我们的防护技术失灵了。
今年8月,同样的勒索蠕虫的变种入侵了台积电,几小时内三大基地的生产线全数停产。受病毒攻击影响,台积电三季度可能损失1.7亿美元营收。
台积电的内部生产线采用的是隔离网,很多人认为只要网络不与互联网连接就能避免攻击,但事实证明隔离网也不再是避风港。
前两年的乌克兰断电事件也是典型例证,电力系统是高度隔离的网络,但在2015年12月和2016年12月,乌克兰电力系统两次遭到攻击,都导致乌克兰包括首都地区大规模停电。
这一系列攻击事件告诉我们,隔离网也失灵了。
现在普遍认为,“永恒之蓝”勒索病毒来源于美国国家安全局(NSA)被泄漏的网络武器库。2016年8月,黑客组织“影子经纪人”声称攻破了NSA的系统,获取了他们的网络武器库,勒索病毒“永恒之蓝”就在公布的第四批黑客工具中。
不只是NSA遭到过黑客攻击,美国中央情报局(CIA)也未幸免。2017年3月,维基解密发布了近9000份美国CIA的机密文件。这些机密文件显示,CIA网络情报中心拥有超过5000名员工,设计了超过1000个黑客工具。利用这些工具可秘密侵入手机、电脑、智能电视等众多智能设备。
这两起事件告诉我们,最强安全部门的防护也失灵了。
企业防护系统、隔离网、最强安全部门的防护都失灵了,安全行业面临空前危机。防不住的原因一般有两个:要么是技术退步失传,要么是技术陈旧落伍,答案显然是后者。
为什么技术会落伍?我认为,是信息化系统架构的巨变,导致了技术落伍。
从20世纪80年代个人电脑发明和普及,到20世纪90年代互联网技术成熟,再到2000年互联网应用普及,再到2015年大数据和云计算的技术成熟普及,企业网络从专网,到专网与互联网并行,再到今天专网与互联网融合,网络安全问题已经从传统IT时代的网络安全过渡到互联网时代的网络安全问题,网络安全企业没有跟上这个时代发展的步伐。
在这样的形势下,网络被彻底打开,传统边界属性改变,传统的IT安全架构已经跟不上时代发展,我们需要探索全新的安全解决方案。
二、产业巨变
新时代,安全产业将成为风口行业,这是我根据风口行业的特征做出的判断。风口行业有四个显著特征:高动能、强风力、长周期和巨头诞生。
以互联网行业为例,用户数量连年增长、需求爆炸。根据中国互联网络信息中心(CNNIC)最新发布的报告,截至今年6月,中国网民从2000年的2250万增长到8亿,18年间增长36倍,互联网普及率从1.78%增长到了57.7%,增长32倍,它是互联网风口的高动能;互联网也一直是资本热捧的行业,中国互联网协会、工信部信息中心联合发布的2017年中国互联网企业100强中,55%为上市公司,其中4家企业位列全球互联网公司市值前10强,每个人都能感受到互联网风口强大的风力。
在互联网持续高增长15年之后,在大众创业、万众创新的驱动下,互联网+创新不断,资本还在源源不断地涌入,表现了互联网风口的长周期;当然,诞生了阿里、腾讯这样几万亿市值的行业巨头更是有目共睹。
同样的逻辑,安全行业也具备高动能、强风力,可预计一定会是长周期和巨头诞生。
先谈高动能。首先是国家安全的推动,没有网络安全,就没有国家安全,网络空间已经成为了大国角力的新战场;其次是在第四次工业革命的推动下,工业生产的个性化定制、网络化协同、产品与服务的网联智能,都把网络安全推到风口浪尖,以往买东西只衡量性价比,以后买东西要安全第一;还有产业强制性法规的推动,比如欧盟的《通用数据保护法案》(GDPR),我国的《网络安全法》等法律法规的实施。
更重要的是,我们正处于从消费互联网向产业互联网和万物互联时代转变的时期,终端从PC和手机变成了万事万物,数量从几十亿变成几千亿。更多的连接点意味着攻击面扩大,安全风险加剧,安全防护需求爆炸。
再看下强风力。Gartner的一份最新预测报告显示,2017年全球网络安全产业规模达到989.86亿美元,较2016年增长7.9%。
安全牛统计了排名前200家独立的安全公司和大型IT企业的安全业务部。结果显示,2017年网络安全市场的增速是30%。他们预测,到2022年中国网络安全市场规模将超过1000亿元人民币。
企业不断提高网络安全在IT支出中的占比是市场扩大的推手:全球平均为3.7%,美国是4.8%,中国是1.1%,我们和美国相差4倍。其实,我国重要的企业、国家关键基础设施的网络安全投资占比远远高于这个比例,达到10%以上。
如果未来网络安全在IT支出中的占比进一步提升,年增长率保持在30%左右,每三年市场就会翻一番,那么十五年后就是32倍,按照现在350亿的基数,未来就是近万亿的市场。
这是第四次工业革命带给我们的机遇。每一次工业革命爆发之后,都带来了长周期的高速增长。第一次工业革命是蒸汽机的发明,机器替代了手工,风力持续了80年;第二次工业革命是电力的发明,小型自动化的机器替代了大型机器,风口同样持续了80年;第三次工业革命是计算机的发明,自动化代替了电气化,风力持续了60年。现在第四次工业革命刚刚起步,可以判断风口行业至少将保持几十年的高速增长。
在这个万亿级市场里,一定会出现巨头公司。现在我们和全球排名前列的网络安全公司差距并不大,谁能抓住第四次工业革命的机会,谁就能成为行业巨头。
三、创新爆炸
抓住第四次工业革命的机会,我们需要用创新的方法。我总结了安全大脑+“四新”,用安全大脑打造新战力、新战具、新战法和新战术。
第一,提升新战力,用数据驱动安全大脑,用安全大脑驱动安全构建多级网络安全监测平台,形成新体系。早在2015年,我们就创新推出了“数据驱动安全”的技术理念,以攻防技术研究为基础,利用大数据技术和威胁情报构建以检测和响应为核心的积极防御能力。
现在用安全大脑驱动安全会更准确。杂乱无章的数据,并不能自动地识别安全事件,我在前几年尝试使用规则引擎来进行计算。比如2014年导致CEO辞职的塔吉特百货网络被入侵事件,攻击者先是通过控制塔吉特合作厂商的机器,窃取证书访问塔吉特的Web应用,利用其漏洞控制了Web应用服务器,再以此服务器为立足点,访问网络内的活动目录,收集机器信息,在服务器内存中得到了管理账号的访问令牌,从而控制了活动目录的服务器。
到这一步,攻击者已经基本控制了塔吉特的网络,他们通过访问网络中的数据库服务器,窃取了7000万用户数据,还在所连接的POS机器上植入恶意代码,收集到4000万银行卡信息。在整个攻击活动的环节中,对于异常的活动目录和用户数据库访问,我们通常有基于统计和日常基线的规则来发现可能的攻击。
规则就像单位的制度、国家的法律,不管多复杂,都是可枚举的、有限的,所以经常有人钻制度和法律的空子。在传统社会被钻空子,有危害但可以承受,补救方法就是完善制度和法律。欧美国家还用陪审团制度来弥补规则不足,用人的大脑主观判断有罪与否。
安全大脑就像陪审团的法律大脑,它是通过常识知识训练过的思维来判断合理、不合理,合法、不合法。安全大脑第一个功能是收集大数据,包括主动采集和传感器自动上传,并把它存储在安全大数据中心;安全大脑的第二个功能是学习,通过以往曾出现的漏洞和网络攻击实例,用机器学习的方法,训练出数学模型,用于大数据中心的深度分析;安全大脑的第三个功能是发号施令,把感知到的异常流量和捕获的攻击威胁,变成快速响应的指令,能更有效应对未来不断变化、日益增长的安全威胁。
第二,研究新战具,以数据安全为主要场景,依托安全大脑,发展第三代“查行为”的网络安全新技术。在社会信息化三十多年的发展过程中,出现了网络攻击的三次浪潮,也随之诞生了三代网络安全核心技术。
1985年-2000年,网络攻击主要以磁盘介质感染的计算机病毒为主,木马病毒数量有限,传播缓慢。当时应对这些病毒的方式,是通过查杀引擎逐一扫描电脑硬盘上的文件,实时与特征库比对,与病毒特征匹配上了就杀掉,否则就放过。这就是俗称的“黑名单”机制,我称其为“查黑”的第一代网络安全技术。这类技术只能管已知的病毒,并且查杀是滞后的。
2001年以后,随着互联网的快速发展,开始大规模出现蠕虫病毒。蠕虫病毒破坏性比普通病毒要高得多,短短时间内就能蔓延至整个网络。2006年,流氓软件爆发,更把木马数量进一步推高,每天新增样本数量从1万个上涨到峰值时期的近1000万个。
传统安全公司再也无力及时分析每日上千万个样本,导致病毒库无法及时更新;另外,病毒的传播速度变得极快,传统杀毒软件滞后几天甚至几周才能杀掉病毒,变得毫无作用了。在这样的背景下,360创新发明了第二代“查白”的网络安全技术,首次把搜索引擎、云技术、人工智能等互联网技术应用于安全领域,建立了全球最大的白名单文件数据库,只要这个文件不在白名单中,它就很可能是新的木马病毒。从“非黑即白”变成“非白即黑”,效果是很显著的。
2015年前后,APT攻击成为主流,出现了大量“白利用”攻击手段,利用已知或未知的系统漏洞,把恶意程序注入到系统白文件中,操纵系统文件对系统进行攻击,让安全软件看上去是一个系统文件的正常操作,好比我们守着安检门,但黑客跟随有免检证的人走了VIP通道,安全技术再次进入颠覆期。
所以,我们又创新提出了用依托安全大脑“查行为”的第三代网络安全技术,白名单只能作为参考依据,而不再是无原则的信任清单。通过尽可能全地收集大数据,安全大脑对每个样本ID、IP、流量进行计算,判断行为是否合法,把可疑行为找出来告警,行为分析至关重要。
第三,锤炼新战法,围绕“人是安全的尺度”,形成人+安全大脑协同运营的新方法。首先,网络安全的最主要来源是人,FBI和CSI等机构联合做的一项安全调查报告显示,超过85%的网络安全威胁来自于内部。
其次,网络安全的本质是人与人之间的攻防对抗,再聪明的机器、再强大的安全大脑也不能取代人。我们几年之前就组建了机器智能攻防团队,目前在国际比赛上已经处于领先水平,但还是不能与高手专家比。因为网络安全是逆向思维,而机器智能是“经验主义”。
再次,及时告警、快速响应是网络安全核心问题,需采用“人+安全大脑”的方法,人起到关键性作用。现在我们面对的是APT等高级攻击,攻击的目标可能是毁掉一个基础设施,哪怕是只漏掉万分之一,损失都是不可承受的。争取100%的检出率和零漏报率,单纯靠手工作业是办不到的,只能借助人工智能,借助安全大脑。
第四,磨炼新战术,我们把安全能力分为三种:高位能力、中位能力和低位能力。安全大脑是高位能力,安全管理中心是中位能力,软硬件安全设备是低位能力。“三位能力”立体联动是网络攻击的克星。今年大会的主题是“安全从0开始”,0意味着“零信任”策略,就是默认不相信任何人、任何设备,哪怕曾经有过授权。回顾以往的安全事件,被攻击、被渗透的设备几乎无一例外都是我们授权的可信设备,我们需要建立新的安全体系。
“三位能力”的划分源于著名的滑动标尺模型,包含架构安全、被动防御、积极防御、威胁情报和进攻反制五个阶段,我喜欢叫它“五段论”。
架构安全是在系统规划、建设和维护的过程中应该充分考虑安全要素,从而构建一个安全要素齐全的基础架构。
被动防御是建立在架构安全基础上的,目的是假设攻击者存在的前提下,保护系统的安全。添加到架构安全上的系统,可以起到阻止或限制已知安全漏洞被利用等作用。
积极防御是分析人员对防御网络内的威胁进行监控、响应、获取经验和应用行动的过程。在这个阶段,人的参与是重点。
情报是帮助防御者了解攻击者的行动、能力及战术等信息,以便更好...
- ?
如何从零开始构建深度学习项目?这里有一份详细的教程
费涫
展开
在学习了有关深度学习的理论课程之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。
本文由六大部分组成,涵盖深度学习 ( DL ) 项目的整个过程。我们将使用一个自动漫画着色项目来说明深度学习的设计、程序调试和参数调整过程。
本文主题为「如何启动一个深度学习项目?」,分为以下六个部分:
第一部分:启动一个深度学习项目第二部分:创建一个深度学习数据集第三部分:设计深度模型第四部分:可视化深度网络模型及度量指标第五部分:深度学习网络中的调试第六部分:改善深度学习模型性能及网络调参
第一部分:启动一个深度学习项目
应该选择什么样的项目?
很多人工智能项目其实并没有那么严肃,做起来还很有趣。2017 年初,我着手启动了一个为日本漫画上色的项目,并作为我对生成对抗网络 ( GAN ) 研究的一部分。这个问题很难解决,但却很吸引人,尤其是对于我这种不会画画的人来说!在寻找项目时,不要局限于增量性改进,去做一款适销对路的产品,或者创建一种学习速度更快、质量更高的新模型。
调试深度网络(DN)非常棘手
训练深度学习模型需要数百万次的迭代,因此查找 bug 的过程非常艰难,而且容易崩坏。因此我们要从简单的地方着手,循序渐进,例如模型的优化(如正则化)始终可以在代码调试完成后进行。此外,我们还需要经常可视化预测结果和模型度量标准,并且我们首先需要令模型跑起来,这样就有一个可以后退的基线。我们最好不要陷在一个很大的模型,并尝试将所有的模块都弄好。
度量和学习
宏伟的项目计划可能带惨烈的失败。多数个人项目的第一个版本会持续两到四个月,这个时间非常短暂,因为研究、调试和实验都需要花费大量的时间。一般我们安排这些复杂的实验,使其通宵运行,到第二天清晨时,我们希望得到足够的信息来采取下一步行动。在早期阶段,这些实验不应超过 12 小时,这是一条良好的经验法则。为了做到这一点,我们将漫画上色项目范围缩小到单个动画人物的上色。此外,我们需要设计很多测试,因此借助它们分析模型在实验中的不足之处。一般这些测试不要计划得太远,我们需要快速度量、学习,并为下一步设计提供足够的反馈。
研究与产品
当我们在 2017 年春季开始讨论漫画上色项目时,Kevin Frans 有一个 Deepcolor 项目,用 GAN 为漫画添加色彩提示。
在确定目标时,你会花很大力气来确保项目完成后仍然具有意义。GAN 模型相当复杂,2017 年初还没达到嵌入产品所需的质量水准。然而,如果你把应用范围缩小到产品可以巧妙处理的程度,你就可以把质量提高到商用水准。为此,无论着手启动何种 DL 项目,都要把握好模型泛化、容量和准确性之间的平衡。
成本
必须使用 GPU 来训练实际模型。它比 CPU 快 20 到 100 倍。价格最低的亚马逊 GPU p2.xlarge 站点实例要价 7.5 美元/天,而 8 核 GPU 的价格则高达 75 美元/天。在我们的漫画上色项目中,一些实验花费的时间就超过两天,因此平均每周花费至少需要 150 美元。至于更快的 AWS 实例,花费可能高达 1500 美元/周。我们可以购买独立计算机,而不是使用云计算。2018 年 2 月,搭载 Nvidia GeForce GTX 1080 Ti 的台式机售价约为 2200 美元。在训练精调的 VGG 模型时,它比 P2 实例大约要快 5 倍。
时间线
我们将开发分为四个阶段,最后三个阶段在多次迭代中进行。
项目研究模型设计实现及调试实验及调参
项目研究
我们会先对现有产品进行研究,以探索它们的弱点。许多 GAN 类型的解决方案使用空间颜色提示,图案有点不清晰,有时还会出现颜色混杂。我们为自己的项目设定了两个月的时间框架,其中有两个优先事项:生成不带提示的颜色及提高颜色保真度。我们的目标是:
在单个动画角色上为灰度漫画着色,且不使用空间颜色提示。
站在巨人的肩膀上
接下来,我们需要了解相关的研究和开源项目,许多人在开始实践之前至少要看几十篇论文和项目。例如,当我们深入研究 GAN 时,发现有十几个新的 GAN 模型: DRAGAN、cGAN、LSGAN 等,阅读研究论文可能会很痛苦,但非常有意义。
深度学习 ( DL ) 代码简练,但很难排查缺陷,且很多研究论文常常遗漏了实现细节。许多项目始于开源实现,解决的问题也很相似,因此我们可以多多搜索开源项目。因此我们在 GitHub 上查看了不同 GAN 变体的代码实现,并对它们进行若干次测试。
第二部分:创建一个深度学习数据集
深度学习项目的成功取决于数据集的质量。在本文的第 2 部分中,我们将探讨创建优质训练数据集的核心问题。
公开及学术数据集
对于研究项目,可以搜索已建立的公开数据集。这些数据集可以提供更整齐的样本和基线模型性能。如果你有多个可用的公开数据集,请选择与你的问题最相关且质量最好的样本。
自定义数据集
对于实际问题,我们需要来自问题领域的样本。首先尝试查找公共数据集。关于创建高质量自定义数据集的研究还有所欠缺。如果没有可用的资料,请搜寻你可以抓取数据的位置。该位置通常有很多参考,但数据质量通常较低,还需要投入大量精力进行整理。在抓取样本之前,要专门抽出时间评估所有选项并选择最相关的选项。
高质量数据集应该包括以下特征:
类别均衡数据充足数据和标记中有高质量信息数据和标记错误非常小与你的问题相关
不要一次爬取所有数据。我们经常借助标签和分类来抓取网站样本,从而获取与我们的问题相关的数据。最好的爬取方法是在你的模型中训练、测试少量样本,并根据得到的经验教训改善抓取方法。
清理你抓取的数据非常重要,否则,即使最好的模型设计也达不到与人类水平相当的表现。Danbooru 和 Safebooru 是两个非常受欢迎的动漫人物来源,但是一些深入学习的应用程序偏爱 Getchu,以获得更高质量的绘图。我们可以使用一组标签从 Safebooru 下载图像,并直观地检查样本并运行测试来分析错误(表现不佳的样本)。
模型训练和视觉评估都提供了进一步的信息来细化我们的标签选择。随着迭代的继续,我们将学到更多,并逐渐进行样本积累。我们还需要使用分类器进一步过滤与问题无关的样本,如清除所有人物过小的图像等。与学术数据集相比,小型项目收集的样本很少,在适当情况下可以应用迁移学习。
下面的左图由 PaintsChainer 提供,右图由最终的模型上色:
我们决定用一些训练样本来对算法进行测试。结果并没有给人惊喜,应用的颜色较少,样式也不正确。
由于对模型进行了一段时间的训练,我们知道什么样的绘图表现欠佳。正如预期的那样,结构错综复杂的绘图更难上色。
这说明好好选择样本非常重要。作为一款产品,PaintsChainer 专注于它们擅长的线条类型,这点非常明智。这次我使用了从互联网上挑选的干净线条艺术,结果再次给人惊喜。
这里有一些经验教训:数据没有好坏之分,只是有些数据不能满足你的需求。此外,随着样本类别的增加,训练和保持输出质量会变得更加困难,删除不相关的数据可以得到一个更好的模型。
在开发早期,我们认识到一些绘图有太多错综复杂的结构。在不显著增加模型容量的情况下,这些绘图在训练中产生的价值很小,因此最好不要使用,否则只会影响训练效率。
重点回顾
尽可能使用公共数据集;寻找可以获取高质量、多样化样本的最佳网站;分析错误并过滤掉与实际问题无关的样本;迭代地创建你的样本;平衡每个类别的样本数;训练之前先整理样本;收集足够的样本。如果样本不够,应用迁移学习。
第三部分:深度学习设计
第三部分介绍了一些高层次的深度学习策略,接下来我们将详细介绍最常见的设计选择,这可能需要一些基本的 DL 背景。
简单灵活
设计初始要简单、小巧。在学习阶段,人们脑海中会充斥大量很酷的观念。我们倾向于一次性把所有细节都编码进来。但这是不现实的,最开始就想要超越顶尖的结果并不实际。从较少网络层和自定义开始设计,后面再做一些必要的超参数精调方案。这些都需要查证损失函数一直在降低,不要一开始就在较大的模型上浪费时间。
在简短的 Debug 之后,我们的模型经过 5000 次迭代产生了简单的结果。但至少该模型所上的颜色开始限制在固定区域内,且肤色也有些显露出来。
在模型是否开始上色上,以上结果给了我们有价值的反馈。所以不要从大模型开始,不然你会花费大量时间 Debug 和训练模型。
优先性以及增量设计
首先为了创造简单的设计,我们需要选出优先项。把复杂问题分解成小问题,一步一步解决。做深度学习的正确策略是快速的执行学到的东西。在跳到使用无暗示(no hints)模型之前,我们先使用带有空间颜色暗示的模型。不要一步跳到「无暗示」模型设计,例如我们首先去掉暗示中的空间信息,颜色质量会急剧下降,所以我们转变优先性,在做下一步前先精炼我们的模型。在设计模型的过程中,我们会遇到许多惊喜。相比于做个要不断改变的长期计划,还不如以优先性驱动的计划。使用更短、更小的设计迭代,从而保证项目可管理性。
避免随机改进
首先分析自己模型的弱点,而不是随意地改进,例如用双向 LSTM 或者 PReLU。我们需要根据可视化模型误差(表现极差的场景)以及性能参数来确定模型问题。随意做改进反而适得其反,会成比例的增加训练成本,而回报极小。
限制
我们把限制应用到网络设计,从而保证训练更高效。建立深度学习并不是简单的把网络层堆在一起。增加好的限制(constraints)能使得学习更为有效,或者更智能。例如,应用注意机制,能让网络知道注意哪里,在变分自编码器中,我们训练隐藏因子使其服从正态分布。在设计中,我们应用去噪方法通过归零除去空间颜色暗示的大量分数。啼笑皆非的是,这使得模型能更好地学习、泛化。
设计细节
文章接下来的部分,将讨论深度学习项目中会遇到的一些常见的设计选择。
深度学习软件框架
自谷歌 2015 年 11 月发布 TensorFlow 以来,短短 6 个月就成为了最流行的深度学习框架。虽然短期看起来难有竞争对手,但一年后 Facebook 就发布了 PyTorch,且极大的受研究社区的关注。到 2018 年,已经有大量的深度学习平台可供选择,包括 TensorFlow、PyTorch、Caffe、Caffe2、MXNet、CNTK 等。
一些研究员之所以转向 PyTorch 有一主要因素:PyTorch 设计上注重端用户(end-user),API 简单且直观。错误信息可以直观地理解,API 文档也非常完整。PyTorch 中的特征,例如预训练模型、数据预处理、载入常用数据集都非常受欢迎。
TensorFlow 也非常棒,但目前为止它还是采用自下而上的方式,使其变得极为复杂。TensorFlow 的 API 很冗长,Debug 也不一样,它大概有十几种建立深度网络的 API 模型。
截止到 2018 年 2 月,TensorFlow 依然独占鳌头。开发者社区依然是是最大的。这是非常重要的因素。如果你想要用多个机器训练模型,或者把推理引擎部署到移动手机上,TensorFlow 是唯一的选择。然而,如果其他平台变得更加专注端用户,我们可以预见将会有更多从小项目转向中级项目。
随着 TensorFlow 的发展,有很多 API 可供选择来建立深度网络。最高层的 API 是提供隐式积分的评估器,而 TensorBoard 提供了性能评估。最低层的 API 非常冗长,在许多模块中都有。现在,它用封装器 API 合并到了 tf.layers、tf.metrics 和 tf.losses 模块,从而更容易地建立深度网络层。
对想要更直观 API 的研究者来说,还有 Keras、TFLearn、TF-Slim 等可以选择,这些都可直接在 TensorFlow 上使用。我建议是选择带有所需要的预训练模型与工具(来下载数据集)的框架,此外在学术界,用 Keras API 做原型设计相当流行。
迁移学习
不要做重复的工作。许多深度学习软件平台都有 VGG19、ResNet、Inception v3 这样的预训练模型。从头开始训练非常耗费时间。就像 2014 年 VGG 论文中所说的,「VGG 模型是用 4 块英伟达 Titan Black GPU 训练的,根据架构训练单个网络需要 2-3 周的时间。」
许多预训练模型可用于解决深度学习难题。例如,我们使用预训练 VGG 模型提取图像特征,并将这些特征反馈到 LSTM 模型来生成描述。许多预训练模型都用 ImageNet 数据集训练,如果你的目标数据和 ImageNet 差别不大,我们将固定大部分模型参数,只重新训练最后几个完全连接的层。否则,我们就要使用训练数据集对整个网络进行端到端的重训练。但是在这两种情况下,由于模型已经过预训练,再训练所需的迭代将大大减少。由于训练时间较短,即使训练数据集不够大,也可以避免过拟合。这种迁移学习在各个学科都很有效,例如用预先训练好的英语模型训练汉语模型。
然而,这种迁移学习仅适用于需要复杂模型来提取特征的问题。在我们的项目中,我们的示例与 ImageNet 不同,我们需要对...
- ?
从零开始设计一个操作系统有多难?安卓:不难,只是缺一个生态
花想容
展开
苹果遇到了麻烦!
Kantar Worldpanel送出的最新数据显示,因为iOS在中国的市场份额已经到历史最低点,市占率已经从之前的22.1%,狂降至13.2%(下滑了8.9%)。作为对比,Android系统则从原来的77.1%市占率飙升至86.4%,至于Windows嘛,只有可怜的0.2%。
果粉一片哀嚎,而小编心里也是如此。但小编难受的是,安卓在国内如此风光,主要是因为华为、小米、OV等国产手机集体发力,狠狠的冲击了iPhone的市场。实际上是国产机遇到了更大的麻烦。是啊,国内没有自主的流行手机操作系统,更没有全部自主的手机操作系统,不管是华为、中兴、酷派、联想等传统手机厂商,还是新兴的魅族、小米、OPPO、VIVO、一加、锤子等新品牌手机,国内的手机厂商清一色都是用安卓系统。万物基于安卓,基于linux。其实,很多网友都很想知道:从零开始设计一个完全自主的操作系统有多难?
实际上,做一个手机操作系统不是特别难,除了主流 的Android和iOS外,还有好多不太出名的操作系统,比如SailfishOS、WP、Symbian、Yun os、Plam和Linux等等。但是做一个成功的系统并不仅仅是开发出来那么简单,后续还有很多问题。
开发操作系统的难处就在于生态。我们可以写一个操作系统,但是不可能把所有硬件驱动、应用软件都写了。这些都需要有人去一步步完善积累。其中,最大难处就是应用的开发,像主流的安卓、iOS都有数不清的应用。若是没有适配的软件应用可以用,就会没有人用,然后就不会有厂家去支持,没有厂家支持的系统连个打印功能也做不出来。所以,现在有的新开发出来的系统并不是软件匹配系统,而是让系统兼容软件。后续还有更新,修复bug等很多问题。显而易见的,抛开生态不谈的操作系统等于白谈。
无论是开发PC操作系统,还是移动操作系统,这都是相当大的一个工程。一套高水准的操作系统,就是一个社会的缩影,它要兼顾万般需求、兼容各类客户,它的稳定性、多功能性、兼容性、可扩展性这些看似矛盾的要求必须提现在一套软件内。所以,可以想象开发一个操作系统需要多少时间,人力和物力?因此,如果你不是一个实力超级强大的公司,或者国家,根本不要指望独立开发操作系统。当然,一些自己企业用的微型的小操作系统除外!
还有就是技术成本的问题了。
如果是说要从头开始研发内核的话,首先要有一群精通计算机集成电路的技术人员来为内核设计底层交互,然后是通用可扩展接口,在这之后就是开发核心功能,还要为上述功能开发开放的API,供应用层的程序来调用。再然后是基本应用程序。看似几句简单话,但这一系列工程涉及到多少核心技术?还有就是技术专利的门槛。操作系统从诞生到现在,多少核心技术都掌握在别人手里?想要自主研发,很难绕过这些技术,就只能出钱买专利了,但也不一定能买得到。
从零开始设计一个操作系统有多难?小编个人感觉很难。这也就是,为什么前段时间SailfishOS授权中国手机厂商开发中国自己的手机系统时,他们要为操作系统的生态系统研发建设投资2.5亿美元之巨了。当然了,如果一切顺利,预计在6个月之内,中国将拥有基于SailfishOS的操作系统。这是值得高兴和期待的。
中国总有一天会有自己的智能操作系统,小编是始终相信的。是的,国内手机芯片行业的虚弱是业内难言的痛,而手机操作系统领域的苍白也是国人羞愧的耻辱。但,国内更一直迎难而上。现在的国产手机已经有自己的处理器,如果再有自己的手机操作系统,那么就可以摆脱很多限制,能够做的更好了。
来源:线上采集
环球科技视界 | 挖掘云计算、物联网、Ai等科技前沿的革命探索和深度报道
- ?
刚撇下云计算的他,又做回了老本行,胡晓明会再次成功吗?
wwwxcomcn
展开
最近,在阿里巴巴的内部,又有了一次重大的变动,这个变动与蚂蚁金服有关。相信大家都知道,在整个阿里的大家庭里,蚂蚁金服是占有着非常重要的角色的,甚至可以说是如今阿里的生命线所在了。这一次,是该子集团的组织出现了重大的升级,甚至连总裁都换掉了,而新换上来的那位,关心互联网的人肯定是非常熟悉的,他就是胡晓明。
提到这个人,就不得不说到阿里云了,因为就在不久之前,这个人还是它的掌门人呢。他在这个部门有很久,正是在他的带领之下,原本还没有什么规模的云业务,连续出现好几个季度的高增长,一跃而成为全球市场的前三甲。这种成绩即便是在业内,也是难以想象的。当初,没有多少人看好他们的这个业务,甚至认为它会竞争不过国内的同类型对手,比如腾讯或者新浪的云计算。但是几年过去了,胡晓明用事实证明了他的能力。
目前在国内,阿里的云业务已经是拔得头筹了,以前和它规模相当的腾讯云,早就不知道被它给甩到什么地方去了。事实上,在胡晓明看来,阿里的云业务,其竞争对手不在国内,而是在国际市场上。从一开始,他就是抱着去国际上竞争的目标来领导这项业务的。自2015年开始,这个业务开始出现疯狂地扩张,在短短一年多的时间内,就让国际上的大佬们感受到了压力。等到16年年底的时候,根据数据显示,他们的这项云业务,已经成为长国际市场的第三名了,能够与其匹敌的,也就是微软以及亚马逊这两个行业内的巨头了。
有了阿里云作为支撑,阿里在一些相关的领域也是搞得风生水起,比如他们每年举办的那个云栖大会,原本就只是一个规模很小的地方网站站长的集会。因为阿里的云业务不断地扩张,最终这个大会从杭州一地推向了全国,现在已经变成了一个全国性的创业者大会了。当然了,它的举办地址仍然还是之前的那个云栖小镇。从这个大会的发展壮大,就可以看出胡晓明在这方面为集团做出的贡献是有多么地大了。
这一次,他进入了蚂蚁金服,相信也一定会取得同样的贡献的。事实上,这种预期也是很有依据的。虽然他在云业务上创下了很大的成绩,但其实他最早在集团内部,并不是搞云计算的,还是搞金融的。他最早提出的阿里金融,其实就是现在很热门的“互联网+”金融的一种初始形态。所以说,这一块,可以说是胡晓明的老本行了。不仅如此,在进入阿里之前,他还曾经在建行以及光大银行等金融机构做过很多年。在那些地方工作的时候,他积累了很多关于融资以及信用等方面的知识和经验,这些东西,对于如今的蚂蚁金服,是非常重要的。有着如此丰富经验的他,是否会带领蚂蚁金服,步入一个新的台阶呢?
- ?
当AI遇上云计算,AI即服务是神还是妖?
King
展开
【云监控】小鸟云云监控是一项针对云服务资源和互联网应用进行监控的服务。云监控服务可用于收集获取云服务器资源的监控指标,探测互联网服务可用性,以及针对指标设置警报。云监控服务能够监控云服务器CPU、内存、磁盘、网络等资源,同时提供对这些指标的告警服务。借助报警服务,您可以及时做出反应,保证应用程序顺畅运行!
随着前沿技术不断地发展以及云计算服务的普及,各种“即服务”如雨后春笋一般纷纷出现在了市场之中,这其中便有AI即服务(AIaaS),那么这个AI即服务又是什么样子的?它是神还是妖?
为了在不断的竞争中保持优势与领先地位,愈发多的企业正在寻求那些可以将AI集成到自身应有中的产品。在这之中,可能一种简单又流行的方式便是去使用那些基于云的AI产品与服务(AIaaS)。 根据IDC的研究资料,截止到2021年,全球企业对认知和AI系统的支出将保持50.1%的年复合增长率,这说明,企业对这些技术的总支出将从2017年的120亿美元增加到2021年的576亿美元。
这些支出中的很大一部分将有望用于那些基于云的AI服务。2018年,RightScale的云研究报告指出,企业格外关注于AI中的机器学习技术。当被问询未来计划使用哪种类型的公有云服务时,绝大多数的受访者选择了机器学习,尽管只有12%的受访者表示他们正在使用这些服务,但46%的受访者表示他们正在测试或计划部署机器学习服务。
很显然,企业对AIaaS产生了兴趣与需求,而云供应商也开始对此作出了积极地回应。
AIaaS的种类
要回答AlaaS是什么样子的这个问题就要从它的种类说起,实际上,由于“人工智能(AI)”本身就是涵盖了多种技术的广义术语,因此AIaaS的类型也有很多。一般来讲,AI技术的核心就是去创造出一种可以与人类大脑功能相媲美的机器。比如,AI中就包括可以查看和识别图片中物体的计算机视觉技术,使系统能够进行人类会话模拟的自然语言处理技术以及允许机器在没有被明确编程的情况下进行自动学习的机器学习技术。
在AlaaS中,上述的AI技术中的一个或多个均可以由供应商包装成独立的云服务产品。目前,市场上主流的AIaaS产品一般可以分为以下几类:
机器人与数字助理
对于很多人来说,当听到“人工智能”这一词语时,他们首先想到的可能就是如苹果Siri、微软Cortana或亚马逊Alexa这样的数字助理。这些工具可以通过自然语言处理技术与用户进行对话,而且许多工具还具有机器学习功能以不断提升他们的能力。在日常工作事务中,很多企业希望能够为其产品与网站添加类似的功能以实现更好的服务与提升客户体验。据IDC统计,2017年AI用例中,支出最高的一项便是自动化客户服务代理。不过,企业从头开始去创建一个自己的机器人似乎是一件不可能完成的工作。因而,作为备选方案,供应商们打造出了一种机器人平台及服务(Bot Platforms as a Service)的产品。企业可以利用自身的数据对机器人进行培训,然后将它们用以进行简单问题回答的服务,从而将员工解放出来去处理那些更复杂的客户服务任务。
认知计算API
应用程序编程接口(API)可以让开发人员通过较为容易的方式将技术或服务集成到自身应用或产品中。市场中,领导级的云供应商们均提供各式各样的API,以便让开发人员能够将特定类型的AI增添到他们的应用程序中。比如,照片共享应用的开发人员可以使用面部识别API为自身应用提供个人识别功能。借助于API, 开发人员无需从零开始去编写那些面部识别的代码,甚至无需去彻底了解这些代码的工作原理。典型的API用例包括计算机视觉、计算机语音、自然语言处理、搜索、知识映射、翻译和情感探测等。
机器学习框架
这种工具允许开发人员创建可随时间推移而改进的应用程序。一般来讲,开发人员或数据科学家会利用机器学习框架去构建模型,然后利用现有的数据对模型进行训练。 机器学习框架在大数据分析应用中尤为常见,不过它们也可用于许多其他类型的应用程序。比起自建型的机器学习模型,这种可通过云进行访问的框架应用起来更加便捷也更加实惠。
托管式机器学习服务
企业会时常面临想要给自身应用添加机器学习功能而又缺乏必要相关经验与知识的情况。而托管式机器学习服务则可以帮助他们去进行相应的工作,这种服务通过模板、预建模型和拖放式开发工具以简化和加快机器学习框架的应用过程。
AIaaS的“圣杯”就是创建一种可以作为云服务提供的通用性AI。这种通用性的AI是一种能够以与人类相同方式进行思考与沟通的计算机系统。不过大多数专家认为,人们离实现这种通用性的AI还为时尚早。
AIaaS的优点
那些大型企业一般倾向于去对自己的AI项目与研究进行投资。但是,更多的企业会选择AIaaS,这自然是出于对AlaaS优点的考量。一般来讲AlaaS的优点包括:
低成本
AIaaS可以让企业省去那些昂贵的设施开支,这些服务可以让企业只需在需要时对特定硬件进行短期付费使用。在云计算中,大多数的AI工作任务被认为是“突发性”的,也就是说,他们依赖于那些能够在短时提供大量计算能力的服务。AIaaS只会针对用户去收取那些他们进行硬件使用时的费用,这大大降低了他们的成本。
可扩展性
与其他的云服务一样,AIaaS本身也具有较高的可扩展性。企业可以从一个试点项目开始,然后随着需求的提升,快速扩展他们AIaaS服务的规模。
可用性
一些优秀的AI工具可用于开源项目的许可,不过虽然这些工具价格低廉,但它们不总是那么容易使用。而云AI服务通常能够让开发人员进行更方便的AI访问,而无需他们本身是否是该领域的专家。
AIaaS的缺点
常言道,金无足赤人无完人,AIaaS也不可能尽善尽美,它也具有缺点。其中两个最大的缺点也与其他云服务相同,即安全性和合规性。
许多AI应用,特别是那些结合机器学习功能的应用会依赖于大量的数据。当对这些数据进行云端存储或迁移时,企业需要确保这些应用足够的安全措施,比如数据加密功能。
同时,在某些情况下,合规性可能将成为企业应用AIaaS的阻碍,因为一些国家与地区的法律会限制企业进行云端敏感数据的存储,还有一些法规也会限定数据存储的位置。在这些情况下,AIaaS可能会在一些用例中失效。
AlaaS的另一个潜在缺点是它自身可能会比较复杂。企业将耗费大量的时间与精力用于培训或聘用具有AI和云计算技能的员工。不过,一些企业对此也表示乐观,他们认为这个问题可以被克服,而且AIaaS还会带来长期的回报。
- ?
科技巨头大战云计算,他已经占得先机
万傥
展开
谷歌又双叒叕要回归中国市场了。
按理说,这种每半年一次的传闻本没什么好关心的,但这次因人民日报发声,事情显得似乎有点不同。
来源:网络截图
“欢迎谷歌回归中国大陆,但是必须遵守当地法律。”
半官方的表态,引得市场猜想连篇,百度的股价应声下跌7.73%,李厂长吓得立即表示要“再赢一次”。
坦白说,谷歌就算真要回归国内市场,肯定也不是冲着搜索来的。
8年前退出时虽然有意气之争,但更多的是水土不服,份额和服务一直做不过百度。
8年前都做不好的事情,有什么理由相信8年后能从零开始和对手竞争?
谷歌很可能另有所图。
当今的互联网巨头,几乎都在做公有云。
公有云是谁都不敢忽视的基础设施,不仅是运算力,更在于附着于其上的管理系统、应用软件。
在未来,公有云的作用就是今天的电、气、自来水,不可或缺。
为什么亚马逊的盈利常年蛰伏谷底,而股价却如穿云之箭,市场在乎的关键,不是云业务带来的盈利改善,而是这种包揽互联网基础设施的巨大想象力。
美国一半的网站可都是建立在亚马逊的aws上,连白宫都指责它垄断。
同为互联网巨头的谷歌,虽然云业务也做的有声有色,增速很快,但是全球市场份额仅占比2.8%,落后于亚马逊、微软和阿里。
亚马逊、微软都早已进入中国市场,阿里更不用多说。
数据来源:IDC
中国市场的体量和增长速度摆在那里,你说谷歌能不急吗?
君临看来,云计算才是谷歌重新回归的重头戏。
1
这场重头戏蕴藏的投资机会很多,而建设公有云首先要面对的,就是硬件投入。
其实,无论是谷歌,还是亚马逊、微软等,这些巨头涉及的都是云计算中最基础、最底层的IAAS(基础设施即服务)。
简而言之,就是“要致富,先修路。”
搞基础设施建设无非两条路:要么买,要么租。
买即自己掏钱堆机房,建数据中心。
这几年一些中西部地区受益于土地、水电的低廉价格,引进了不少互联网巨头们的云计算“基建”投资。
租即是和传统的IDC公司或者移动、电信等运营商合作。
IDC即互联网数据中心,就是提供服务器租赁的,比如在美国上市的万国数据等。他们手里有大量的机房资源,可以通过重新配置、技术升级来提供云服务。
但是不论买还是租,上游的供应商们都是最开心的,毕竟无论是谁建机房,都要找他们买设备。
图片来源:君临研究院
所以啊,在巨头们云业务动辄50%~70%的增长率拉动下,一些上游服务器供应商的日子相当惬意。
比如我们之前介绍过的中科曙光,还有今天的研究标的——浪潮信息(000977)。
作为国产服务器的开创者,浪潮完整的吃下了大数据和云计算带来的市场红利。
17年营收直接翻倍不说,X86服务器出货量跃居到了全球第三,国内第一。高计算性能AI服务器更是几乎垄断了国内市场。
近几年的营收增速也非常可观,如下图:
数据来源:大视野
业绩靓丽,一方面是因为行业大势确实相当火热,2017年全球服务器市场几乎增长了20%。
但如果只看到行业复苏的历史行程,而忽略公司努力,显然是不客观的。
短短几年前,无论是戴尔、联想还是惠普,销售额排名还都在浪潮之前。
那浪潮何以后来居上?
作为一家制造业企业,不同于贸工技的联想和以销售见长的戴尔,浪潮对研发是很舍得投入的,常年研发占营收比重在5%以上。
对技术研发的坚持,是浪潮崛起的首功。
研发投入结出的硕果,就是高端服务器销售占比很高,从2路到4路、8路服务器,市场份额直线上升,8路高端市场占比更是接近50%。
正因如此,17年Q1浪潮的出货量虽然不及戴尔,但是销售额却领先了将近20%。
其次,是浪潮独特的JDM,即定制开发模式,为浪潮赢得了很多对产品有个性化要求的客户。
当然,还是要感谢竞争对手掉链子,联想举步维艰,惠普拆分变革。
与之相比,浪潮单纯了不少,面朝黄土背朝天,老老实实耕耘自己的一亩三分地,目前看来,是这届服务器厂商里最有朝气的。
在x86市场占有率稳步提升的同时,技术创新也没停。
16年底,浪潮发布了新一代的关键应用型主机——天梭M13,把我国大型机的制造水平提高到了和美日一样的世界顶级水平。
上一代的K1已经拿了国家科学技术进步一等奖,M13会怎样?
数据来源:网络
浪潮固然文武艺学得好,用的精,但还远远不值得投资。
何出此言?
因为服务器的采购需求是阶段性的,云计算发展再蓬勃,需求总是有限的。
回看前文浪潮的营收增长统计数据,首要特征就是波动大,业绩跟着客户的采购周期起伏不定。
巨大的经营不确定性,这是企业的麻烦,也是投资者的麻烦。
况且在国外厂商式微的情况下,华为也盯上了服务器市场的蛋糕。
其技术积淀自不用多说,但它最大的优势还不在此,而在于价格。
华为狼性定价打法,曾逼死过多少友商。
2016年水利部一个1160w的服务器招标项目,投标到最后由华为实质性中标。
中标价竟只有仅仅600多万,气的浪潮一口气把水利部信息中心和供应商都投诉了,投诉完不解气还跟财政部继续投诉。
国内公有云双强:阿里云、腾讯云,一个天天变相搞云计算双11,一个搞一分钱中标政务云,可以看出,整个云计算产业链,从上游到下游都在疯狂的“降价抢客户,抢数据”。
谁也不是傻子,对客户慷慨大方,对供应商肯定要压价。
上下游都是狂打价格战,导致浪潮在营收飞速扩张的同时却不怎么盈利,利润率连年下降。
浪潮近五年的毛利率和净利率指标,几乎是直线下降。
数据来源:大视野
调研时公司董秘也强调利润率短期难以回升,目前还处于牺牲盈利抢占市场的阶段。
对云计算带来的营收扩张,我们还要理性看待。
2
百云争流,竞争惨烈,问浪潮未来,谁主沉浮?
两个字:转型。
实际上,浪潮早就不是一个单纯的服务器供应商了。
虽然从财报里看,服务器及部件几乎就是所有营收,但其实相关的业务已经布局的有声有色。
数据来源:choice
我们援引浪潮董事长孙丕恕在两会上接受采访所言,“互联网+”分为三个方面:
第一类互联网+消费,这个已经被互联网巨头们瓜分殆尽;
第二类是互联网+政务,即政府端业务,落地就是我们熟知的智慧城市、政务云等;
第三类是互联网+企业,这个就是现在被热炒的工业互联网。
第一类空间最大,但是强敌环伺,巨头林立。
第二类第三类,目前还在发力基础建设,而且没有互联网企业竞争,现在讲究自主可控,核心的政务平台怕是不放心给有外资大股东的BAT。
不说玄乎的商业基因问题,就说对政府业务模式和需求的了解程度,互联网企业就难以和浪潮这种奉行定制模式,和企业政府打了三十年交道的厂商竞争。
跟B端打了那么多年交道,浪潮早就成精了。
不然为何阿里云能制霸国内的公有云市场,却连大本营浙江的政务云也没挤进去。
浪潮早在2011年就提出了行业云的概念,把云服务上升到了战略高度。
2013年,就为济南市政府承建了全国首个政务云平台。
2015年,浪潮宣布将投资100亿元,建设全国7个核心云计算数据中心、50个地市云计算中心,完成全国云中心布局。
时至今日,已初见成效,目前浪潮已经在北京、上海、济南、重庆、昆明等地建立了核心云计算中心及34个地市云计算中心。
业务覆盖方面,全国有140余个省、市政府政务云平台是浪潮建立的。
高光时刻在2016年11月2日,浪潮建设的重庆市政务云平台正是揭牌投入运营。
浪潮董事长孙丕恕和重庆市市长黄奇帆的合照 | 来源:网络
重庆是直辖市,面积广阔人口众多,我国GDP排名前五的经济重地,其示范效应显著。
目前,根据项目招投标的信息汇总,西南地区除了成都被中科曙光占据,其余重镇的政务云皆是浪潮把关。
其实政府的选择不多,全国性的IT设备厂商就那么几个:浪潮、华为、新华三、曙光。
电信等运营商也是有力竞争者,但政务云现在还在基础建设阶段,数据中心的建设肯定是离不开设备商的,即便运营商拿下了订单,还是得求助于设备商。
而曙光是做高性能计算机的,新华三是紫光和惠普合资,主要的玩家其实就是浪潮和华为。
在政务云中,浪潮又先知先觉,发力早,优势明显,2015年-2018年,根据赛迪顾问测算,2015-2017年,浪潮的政务云市场占有率连续排在第一。
在云计算市场的竞争中,浪潮没有和巨头们在公有云市场硬碰硬,而是选择了垂直市场——政务云。
小的云计算厂商避开公有云正面战场,挺进行业云,开辟游击战场,这是务实的战略,扬长避短。
跟巨头比资金实力,那必然是个“冒进”的烂主意。
3
临渊慕鱼,不如退而结网。
公有云的市场虽大,但那明显不是我的菜,我浪潮为何要遵循你们定的规矩、在你们的场子上,被你们牵着鼻子走。
顺着游击战思路,浪潮拿下了政务云,接着又打起了另一个垂直市场——工业互联网的主意。
我们之前介绍过这个领域的用友网络,其实浪潮做的也不错。
今年3月份的两会上,浪潮董事长孙丕恕的提案就是打造工业互联网,加快发展数字经济,核心是建议国家发展5-10家工业互联网运营商。
紧接着6月份,工信部就印发了《工业互联网发展行动计划》。
这个角度看,浪潮高层对工业互联网的把握是很到位的。
和用友一样,浪潮的工业互联网平台已经落地开花,2017年底,浪潮就紧随阿里和腾讯发布了自己的工业互联网平台——M81。
目前如山东能源、中储粮等大型企业都是其客户。
数据来源:网络
而且作为制造业企业,浪潮搭平台不是蹭热点的,它自己就在用。浪潮济南的工厂里有600多个RFID,2000多个传感器,柔性化生产交付,效率提升了30%。
浪潮的这个生产工厂是工信部《2017年智能制造试点示范项目名单》里98个典型案例之一,在业内影响很大。
鞋子合不合适只有脚知道。
浪潮长期服务企业客户,自己本身也在电子制造业,对工业生产的中流程、细节的把控是其搭建工业互联网平台的最大优势。
从行业的一些组织搭建也能看出来。今年3月成立的山东省工业互联网产业联盟,浪潮是牵头人、理事长单位。
4月份广东发布的工业互联网战略合作协议中,一共有七个合作伙伴,分别是阿里、腾讯、三大电信运营商、华为和浪潮。
工业互联网的大幕才徐徐拉开,不管是用友的精智平台还是浪潮M81平台,目前都很难找到或通过运营数据来分析。
但是从行业大势来看,毫无疑问,浪潮已经把握住了先机,成为了头部竞争者。
相信有全国140个云计算中心的数据支持和作为制造业企业积累的长期经验,浪潮的工业互联网平台可以走的更远。
4
据雷锋网报道,谷歌在中国的云服务合作伙伴已经缩小为三家:浪潮、腾讯和某家国企。
浪潮,比腾讯更会服务B端,比国企体制更灵活,武能做硬件,文能做软件。
在云计算的时代大潮里,谷歌看上浪潮,并不是没有原因的。
计算不止,浪潮不息。
读到这里,也许你会想,“这家公司我能投吗”?
这不是一个拍拍脑袋就能轻易做出的决定,因为除了基本面的机会分析,还需要对财务风险、业绩确定性、业务竞争格局等进行更深入的考察。
更多信息可关注“君临”获取。
作者:君临团队.
更多成长股分析、行业解读尽在“中国新一代投资研究服务机构”——君临
- ?
申元庆:云计算速度每18个月增加一倍 市场空间巨大
必相依
展开
新华网北京4月26日电(记者常志鹏)京东云事业部总裁申元庆日前在京东云新产品发布会上说,云计算速度每18个月增加一倍,云计算的市场空间巨大。
作为云计算的后来者——京东云日前在北京以科普活动形式发布了容器服务等15款云产品。这15款云产品涵盖弹性计算、网络、云数据库与缓存、存储、云安全、专有云等多方面的云服务。这是京东在组建京东云事业部几个月之后,首次以产品的形式亮相。
京东云事业部总裁申元庆说,京东云虽然起步比其他云厂商稍晚,但从超级电商可以成就超级云平台服务商的角度讲,早已经有先例。因为云服务商与电商有着相同基因,都是批发转零售的服务模式,京东云依托超级电商的积淀,拥有大批量的物理设备,把这些资源虚拟化,通过分布式的方式可以给云计算用户使用。另外,对超级电商来讲,因为零售业的成功带动了金融、科技、物流、保险等服务,这些行业的经验和技术积累可以带动京东云的服务向深水区发展,即超级电商做超级云服务商,成功概率比较高。在京东云商业化以来,引入了企业级别的储存,电子邮箱或者大数据及政务教育等合作伙伴。所以电商京东进入云服务领域,是水到渠成的事。
申元庆认为,做云服务的企业“技术要足够强,口袋要足够深”。而京东刚好具备这些优势。技术上,京东开展云计算不用从零开始,京东云事业部目前集中了大量的高技术人才,技术方面在国内处于领先地位。在品牌升级之前,已经发布了许多新服务。现在正处于京东云版本升级之际,正以“周”甚至“天”为单位推出新服务。
在资金上,申元庆说做云平台服务是一个重资本行业,拿国内来说,启动云平台,起码要二十万台服务器。按每四年换一次计算,平均每一年都要换掉五万台服务器,即使低价采购,每台6万元人民币,一年采购服务器需要30亿元。这仅仅是成本的三分之一,另外是三分之一的电费,三分之一的带宽费。这些需求加在一起一年就近百亿。申元庆表示,在云化万千的时代,京东云将通过前瞻和创新的云计算服务客户。
版权声明:如涉及版权问题,请作者持权属证明与本网联系
来源:新华网
- ?
还是马云厉害,一文看完中国云计算的十年发展历程
玫瑰
展开
全是大佬,一文看完中国云计算的十年发展历程
有云的地方,就有江湖。
有江湖的地方,就免不了战乱纷争。
盘古开天地前,宇宙混沌一片。
云计算在国内诞生之际也是如此。没有先例,没有规矩。
一切都从零开始。
1
初生
2006年,亚马逊CEO贝索斯在EmTech上发表了关于云存储和云计算的概念演讲,并向世界宣布了亚马逊将投资和创立云计算AWS的伟大计划。
但当时国内正处于互联网发展的初期阶段,并不了解云计算。当时有传言说,国内真正懂云计算的人,可能最多不超过10个。
2008年,中国互联网发展迎来了高峰。
网购的蓬勃,尽管让淘宝、支付宝用户激增,但这也导致阿里身陷数据处理囹圄。因为此前国内从未处理过如此庞大的数据。
前段时间朋友圈刷屏的文章《阿里云的这群疯子》,对阿里那段捉襟见肘的历程,描绘的淋漓尽致:
“每天早上八点到九点半之间,阿里服务器的使用率都会飙升到 98%,离爆棚就差两个百分点。”
很显然,此前依靠传统IOE架构的阿里巴巴,当时的“脑力”已经不够用了。
I(IBM,服务器提供商,他们提供的服务器俗称“小型机”)
O(Oracle,数据库提供商,他们的软件是著名的“甲骨文商业数据库”)
E(EMC,存储设备提供商,他们提供的是“集中式存储”)
处理大规模数据,需要用到云计算架构,同时调动数以万计的服务器进行处理。这一方案现在看来司空见惯,但当时云计算在国内远不像现在这么广为人知。
那时的云计算对阿里来说,仿佛是一个遥不可及的梦想,实现起来异常艰难。
为了实现飞天梦,马云从微软挖来了王坚。
阿里云这个名字,也第一次被提出。
说来,阿里云的建立,多少有点赶鸭子上架的意味。
如果传统IOE架构足够便宜、好用,阿里巴巴是很难做到壮士断腕,主动求变,去第一个吃螃蟹的。
鲁迅先生曾称赞:“第一个吃螃蟹的人是很令人佩服的,不是勇士谁敢去吃它呢?”
可并不是所有勇士都能成为发现新大陆的哥伦布,更多的勇士殒命大海,连名字都没留下。
2008~2009年的那段时间,阿里人对云计算的执念并不被外人看好。腾讯、百度基本没在云计算业务上发力。
2
质疑
不可否认,除了马云,BAT另外两位掌门人——马化腾和李彦宏,在当时对云计算的态度,都有些“不屑一顾”。
当然,他们有不屑一顾的本钱。
腾讯在2007年底就收获了第7亿名用户,网络广告收入保持着80%以上的高速增长。2008年,腾讯代理发行的DNF(地下城与勇士)网游火遍中国。
这款游戏的火爆一直持续到现在。腾讯2017年财报显示,个人电脑客户端游戏收入同比增长13%至128亿元。难以想象在10年之后的今天,DNF仍是这一数字增长的主要功臣。
也就是说,长期以来,社交、游戏、广告才一直是腾讯的营收重点。以至于腾讯云在上线后的很长一段时间里,只能隐藏于“其他”细项,跟着别的业务在财报中披露。
同样,当时的百度亦是如此。
2008年,百度的网络营销收入达到了31.945亿元,同比增长83.5%。搜索推广、广告投放等业务,从很早开始就为百度带来大量收入。
直到如今,这些业务仍是百度的重中之重。
在王坚埋头带领手下苦哈哈攻坚云计算的同时,坐拥优质营收入口的腾讯和百度,都不看好云计算。
并且,Pony和Robin并不隐藏对云计算不屑的态度。
想必我们都记得,在2010年3月中国IT领袖峰会上,BAT大佬针对云计算的第一次“华山论剑”。
率先亮剑的是李彦宏。他说:
“云计算这个东西,不客气一点讲,它是新瓶装旧酒,没有新东西。早期的时候,15年前(1995年)大家讲客户端跟服务器这个关系,再往后大家讲基于互联网web界面的服务,现在讲云计算。实际上,本质上都是一样。”
接着,马化腾也发表了点评:
“云计算这个话题比较技术性,它是一个比较超前的概念。如果说未来各种综合性业务软件,都不需本地局域网服务器处理,而是由公共网络设施完成,这的确是有想象空间的。可能你过几百年、一千年后,到‘阿凡达’时代,那确实有可能。但现在还是过于早了。”
要知道,李彦宏和马化腾都是技术出身,对云计算的见解按说应该非常深刻。可偏偏不懂技术的马云却力挺云计算:
“我的理解,云计算最后是一种分享,数据的处理、存储并分享的机制。我们自己公司对云计算是充满信心和希望。我们不是觉得这又找到一个新的矿产,阿里巴巴拥有大量消费数据、支付宝交易数据,我们觉得这些数据对我们有用,对社会更有用。”
很多人说马云“善于画饼”。可在那个时间点,马云敢说这句话,心中还是有底气的。
3
萌发
2008~2009这一年,阿里云的飞天系统可以说是“数据传输问题、计算稳定性问题、处理速度问题一样都不少”。各种错误和bug形式翻新,层出不穷。
连阿里员工都吐槽:明明可以坐高铁,却偏偏要骑自行车去上海。
据当时参与飞天计划的早期员工回忆,阿里的程序员们都是“眼睛干干的,有种想哭的心情”。他们的经典吐槽大概是这样:人家的是云计算,我们家的是“人肉云计算”;人家的是“分布式计算”,我们家的是“分步试计算”.....
可谁都没能想到,就是这种问题层出不穷,连自己亲爹妈都不看好的孩子,竟然在2010年春节过后的一次版本更新后,稳定的超乎寻常。
空气一下安静了。
就像修炼绝世武功一样,以前在身体里乱冲乱撞的气息,一下变顺畅了。阿里云终于找到了打通奇经八脉的法门。
阿里云的成功,开始引起其他公司的注意。很多大公司看到阿里云的先例,就此研究自己的云计算技术。
2010年,巨头华为正式公布云计算战略。
华为掌门任正非表示:“要让全世界所有的人,像用电一样享用信息的应用与服务。”
只不过,华为的进军有点“雷声大雨点小”的感觉。媒体批评华为云“发布但不发力”。
据《财经》报道,很多华为专家认为,华为IT与云计算产品线想做大,就必须有自己的公有云,只不过是由于“在乎运营商的感受”,迟迟未能动手。
任正非出席2010年底的华为云计算发布会时表示,华为做云计算和传统IT企业不同,一定要抱紧电信运营商,否则就是死路一条。
徐直军后来在2013年时也说过,华为将严格限定自己的业务边界,不做云计算的运营商,不与合作伙伴发生竞争关系。
这种捉襟见肘的姿态,让华为云在市场中一度畏首畏尾,导致其在2010~2017年的这段时间内,市场存在感很低,几乎从未在主流公有云调研报告中进入过前五。
BAT外,除了华为,一些初创云厂商开始诞生。
2012年3月,江湖人称“白帽黑客”的季昕华创办UCloud。
这位中国黑客界的高手,曾是任正非、马化腾的重要下属,马云湖畔大学的学生,接受过柳传志的投资。
季昕华很早就看到了云计算的价值。
但是,大公司内部孵化的云计算项目,永远不缺少资源注入。例如阿里巴巴能为阿里云投资60亿元,华为组建2000人的Cloud BU事业部,而创业型云计算厂商只能单打独斗。
没有阿里、腾讯、华为这样的靠山支撑,UCloud早期融资异常艰难。彼时,几乎所有投资人都劝季昕华换个方向。
可季昕华认为,当前云计算对传统IT代替率不足2%,市场需求还未被真正挖掘。未来云计算的前景一定光明的,难点是如何熬过行业的初级阶段。
为了不让UCloud胎死腹中,季昕华决定卖房,把售房款400万元拿来支撑着UCloud一步步前行。
还好,创业路不是孤独的。当时的云计算创业者,不止季昕华一人。
就在UCloud创立一个月后,2012年4月,三位拥有IBM工作经历的黄允松、林源和甘泉,共同创办了青云QingCloud。取意“青云直上、平步青云”。
自此,中国云计算市场开始萌发。
4
动荡
虽然2012年前后,阿里云的系统趋于稳定,中国也诞生了不少云计算厂商。可面对大规模调动算力这件事,厂商们仍然束手无策。
飞天系统是稳定了,但整个阿里云体系还是乱的。面对5K难题,阿里云又研究了两年,都没能突破这个瓶颈。
三年时间,阿里云却仅走了万里长征的一小步,这不免让阿里云人心飘摇。一时流言四起。很多人直言不讳,骂王坚是骗子。
有些人受不了,走了。有些人,虽然没走,但也成了流言制造者。
面对流言,马云站出来了。
饼是他画的。那这张饼是继续摊下去,还是关火撤灶,都要由他来决定。
此刻的马云犹豫吗?肯定犹豫。可云计算这是是要做吗?一定要做。
“我每年给阿里云投10个亿,投个十年,做不出来再说。”
2012年的年会,马云说:“我没有想过公司内部对阿里云有那么大的意见,我真没想到。但是你们都扛过来了,这是我深以为傲的。如果你们能抗得过内部人骂,抗得过那么多人指责,我们还有什么扛不过未来五年的发展?”
此后,阿里人再次聚起心气,终于顺利在2013年6月突破5K测试,让大规模计算成为可能。
也正是在那个时间点,所有人都意识到,云时代真的来了。此时再不追随大势,就真的要落后了。
5
并起
第一个选择跟进的大厂是腾讯。
2013年9月,就在阿里云宣布突破5K测试的三个月后,腾讯云宣布正式面向全社会开放。
虽然马化腾当年嘴上说不看好云计算,但私底下却在2010年时就立项研究云计算。面对阿里这个竞争对手,马化腾从未真正掉以轻心。
两个月后的2013年11月,卖房创业的季昕华终于得到了资本认可,UCloud获得DCM、贝塔斯曼投资的1000万美元的A融资。
随后,云计算在中国算是彻底爆发。
2013年12月,迅达云获得数千万人民币A轮融资。
2014年1月,青云QingCloud获得B轮2000万美元融资。
2014年8月,七牛云获得C轮数千万人民币融资。
……
一时间,群雄并起,中国云市场走向繁荣。
发展并未停止,并且远不止此。
随着小米业务的蓬勃发展,2014年11月,雷军决定All in金山云,并承诺在未来3~5年间向云业务投入10亿美元。
虽然金山云跟进的晚,可架不住金山云有大量的业务数据和真金白银。
依靠上线初期,小米为金山云提供了超过70%的收入,再加上雷军的背书价值,金山云迅速拉拢了大量客户。
关于金山云的发展,雷军曾经表示:
“我们必须要全面进攻,不要防守,今天的互联网行业是守不住的,只能往前冲。要想不被巨头挤掉,就是比狠,敢烧钱才能活下去,不敢就不要做,云服务比视频服务更惨烈,如果没有10亿美元的准备和决心,是活不了的。”
就像当年小米冲进手机市场一样,后发的金山云也正在全力追赶老大哥们的步伐。
6
首战
群雄并起就会引发市场争夺,市场争夺的结果,就必然会引发厂商大战。
在云计算市场这个江湖,只有成为老大,才有资格定规矩,才可能拉拢更多的客户。
2015~2016这两年间,中国云计算江湖发生了第一次正面战争。这场大战的主角,正是老对手阿里云和腾讯云。
在这场你追我赶的战役中,几乎一家发布动态,另一家便会迅速跟进。这两座中国互联网的大山,都希望在中国云计算的草莽阶段,就先坐稳江湖老大地位。
第一次对决:12306 VS 滴滴
2015年1月15日,12306网站将车票查询业务放到阿里云计算平台上。阿里云承担了12306系统中75%的流量,以往抢票期间系统瘫痪的情况大为改观。马云甚至让阿里云顶尖程序员队伍入驻了12306。
3天后的1月18日,腾讯云2015年渠道伙伴大会召开。大会宣布2015年腾讯云将聚焦于互联网服务领域,并且在游戏、视频、移动应用深耕细作。同时,滴滴成为腾讯云的代表性客户。
第二次对决:60亿 VS 100亿
7月29日,阿里巴巴战略投资阿里云60亿人民币,宣布与AWS展开竞争。
9月,腾讯云高调跟进,宣布“未来5年投入100亿发展腾讯云、追赶阿里云”。
第三次对决:双十一 VS 营收增长100%
11月,阿里云支撑了“双十一”912亿元的交易额,每秒交易创建峰值达14万笔。
一个月后的2016年初,腾讯发布财报表示,2015年腾讯云营收增长100%。
第四次对决:预测娱乐节目冠军 VS 马化腾亲自站台
2016年4月,阿里云的人工智能ET(当时叫小Ai)基于神经网络、社会计算、情绪感知等原理,成功预测娱乐节目“我是歌手”冠军,被各大媒体争相报道,刷爆微博、朋友圈。
3个月后,在2016年7月的“云+未来”峰会上,马化腾亲自为腾讯云站台,表示未来战略将升级为探索云上生态,实现全面开放。同时对外公布阿里云最近两个季度增速175%和130%,而腾讯云Q3增速已超过200%。
你砍我一刀,我回你一剑。
当然,仗不是白打的,钱也不是白花的。
虽然这场争夺战耗资巨大,可却帮助阿里云和腾讯云实现了快速增长,逐渐拉开了与其他初创厂商的差距。
7
加速
第一次云大战之后,大众开始了解云计算,企业们也不再畏惧业务上云了。
不夸张的说,这一战,直接...
云计算从零开始
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并