- ?
AI Studio | 提供免费云计算资源,深度学习也能零门槛
马克
展开
随着 AI 技术的发展,人类社会正处于火热的智能化革命之中,AI 能力已经渗透到各行各业,在语音、图像以及 NLP 领域,已获得了突破性的进展和效果。
而谁能在技术革命浪潮中快速地武装自己,谁就能掌握未来的机遇。 AI Studio 正属于那一类帮助中小企业,开发者实现 AI 能力的武器库之一。
对于大型互联网企业,形成 AI 能力只要投钱投人就行了,但是对于中小企业单独构建 AI 能力将耗费巨大的精力: 招兵买马、设备采购、 模型开发、系统维护,于是大量的云计算及建模平台如雨后春笋般发展起来,但收费模式对中小企业仍是一种负担。
为了让每一位开发者都能平等便捷地获取 AI 能力,百度 AI 最 新推出了 AI Studio 一站式开发平台 : 一个囊括了 AI 教程、代码环境、算法算力、数据集,并提供免费的在线云计算的一体化编程环境。
用户就不必纠结于复杂的环境配置和繁琐的扩展包搜寻,只要有电脑、网络以及一颗走进深度学习的心,点击 “阅读原文” 或进入 AI Studio 官网(aistudio.baidu), 就可以在 AI Studio 开展深度学习之旅。
俗话说,授人以鱼不如授人以渔。
在 AI Studio 的生态中, 鱼 就是诸如基于语音技术、图像技术、视频技术、知识图谱及 NLP 技术等形成的人工智能产品服务;而 渔 就是 AI Studio 一类的能够帮助个人开发者和中小企业的开发属于自己的产品服务,运用 AI Studio 开发者可以实现自定义的 AI 建模能力而无需考虑硬件成本、运维成本、人力成本。
相比在其他云平台上耗资购买计算资源和存储空间跑模型来说,AI Studio 提供全套免费服务(包括计算资源、空间资源、项目托管、视频教程等)。 AI Studio 从教学、应用、工程上全面推进了 AI 民主化的进程,极大地降低了 AI 技术跨入门槛。
功能简介
AI Studio 强化了工程项目的概念,一大亮点就是 AI 学习项目版块,包括大量真实场景的工程项目(图像识别、情感分析、个性化推荐等)。
AI Studio 特性
AI Studio 主要功能有项目类的项目大厅、创建项目、样例项目、共享项目等四大部分, 有数据科学比赛、各种经典数据集和自定义数据集,有详尽的机器学习和深度学习的教程及视频公开课等。
AI Studio 主要功能
菜单栏 ┇ 项目大厅: 作为 AI Studio 的主页,集成百度积累的经典 AI 学习项目、自我的项目管理及共享项目列表。 ┇ 数据集: 包括 MNIST,IMDB,CIFAR10,PennTreebank,MovieLens 等一些经典的公开数据集;也包括一些开放的百度数据(中文短文本语料,信息抽取数据);同时,用户也可以上传自定义数据进行模型开发。 ┇ 比赛: AI Studio 提供云端训练平台,为参与者提供相对平衡的武器库,能够更公平的进行竞赛。
AI Studio 比赛页面
创建项目
AI Studio 创建项目页面
教程&资讯 PaddlePaddle 不仅有机器学习、深度学习的视频公开课和教程文档(进入https://github/PaddlePaddle/Paddle获取),还包含了大量的各个方向的深度学习实例,比如图像分类、词向量、个性化推荐、情感分析、语义角色标注以及机器翻译等。 ┇ 样例工程: 提供的机器学习经典应用场景及历届比赛的 notebook,可以把各个项目 fork 到自己的项目下进行开发学习。
┇ 共享项目: 可提供项目共享功能供大家互相学习。 ┇ 我的项目: 即开发者自己的项目列表。 实战建模
AI Studio 以项目为核心,创建项目的同时可以自定义上传数据,也可以选取平台已有数据集;目前,环境仅支持 Python2.7,算法库包括 sklearn 和 PaddlePaddle。不需要费心在开发环境上,能够安心构造模型。AI Studio 各项目之间独立分配资源,可以同时调试多个项目模型。
AI Studio开发页面
百度 AI 战略
在百度 AI 开发者大会( BaiduCreate 2018 )上,百度发布的 AI 产品从自动驾驶巴士“阿波龙”到百度自主研发的云端 AI 芯片“昆仑”,再到两大 AI 生态平台 DuerOS3.0、Apollo3.0,都显示出百度在 AI 的布局已经从稚嫩走向成熟,以多兵种合成集团军的面貌展示在世界人工智能的舞台。
百度 AI 形成了以行业应用为牵引,AI 技术产品服务为动力,AI 基础平台服务为核心的生态闭环。 在这场智能化革命中,不但酝酿已久,而且已经结出了不少果实。
AI Studio 是一个基于 PaddlePaddle 的集成了大量数据集、经典样例项目及比赛项目的云计算建模平台,也是一个机器学习、深度学习的交流社区。
AI Studio 最大限度地解放了数据科学家需要环境配置的烦恼,在云端集成计算资源、项目管理、代码管理、比赛等多种功能,形成一站式兼顾学习和工作的建模平台。而且 AI Studio 提供计算资源、空间资源、视频公开课全部免费开放。
本文来自百度AI,创业家系授权发布,略经编辑修改,版权归作者所有,内容仅代表作者独立观点。
- ?
企业老板一定要知道的云计算价值
沈函
展开
云计算能为企业带来什么?
目前云计算是新新事物,新新事物风险和机遇并存。
云计算最有价值的理念之一是资源整合,物尽其用,之二是服务型盈利模式。以直白的方式来说,云计算就是整合资源以方式提供服务,它主要在三个层面体现技术和服务。
一个是硬件基础设施层面,让硬件资源即以方式提供服务;(客户要硬件环境资源,登录资源池自己定制、然后交钱、最后获取资源,用多少付多少钱;付费对象是:应用开发者,企业IT管理者,应用平台供应商等。);一个是应用平台层面,让应用平台以即方式提供服务;(供应商提高软件平台,平台可以开发、部署、管理、监控应用,提供开放类APP商店; 付费对象是:应用开发者。)一个是应用方式层面,让应用即方式提供服务;(应用开放商,把应用部署在应用平台,用户可以去使用这些应用,即方式享受服务和付费; 付费对象是:终端消费者。)即方式服务。
像水电一样,从你开始使用到你结束使用进行度量,你登录应用入口就可以直接使用应用,甚至不用在你本地安装应用,就像打开水龙头就可以用水一样,然后付费。
云计算的优势
1、云计算降低了技术开发成本
大多数中小企业并没有庞大的IT预算开支,处理技术采购方面问题的精力也相当有限。我们需要将有限的资金用到真正需要的方面。这也中小企业的共同点。使用云计算服务,如icloud,比购买一般的物理硬件要便宜得多,那么中小企业就可以摆脱很多不必要的开支。
事实上,在icloud拥有的5GB的免费存储空间已经足够的存储相当一部分中小企业的工作文件备份了,这可以给他们带来巨大的成本效益益。
云计算到底可以为企业节 省多少钱呢?这是一个很难被量化的问题,但我可以大胆地猜测企业局部IT设备备,可以以每年数百甚至数千的数量增长。而使用云服务,这部分开支就节省了。
2、数据可以在任何地方被访问
“云”带给了更大的灵活性和移动性,使用云,可以让企业在一台机器上开始工作并且在另外一台机器上完成它。而这一切不受空间限制。并且,企业可以将数据访问扩展到多种设备 --台式机、笔记本电脑、平板电脑。
再举个简单的例子,使用Google Doc,企业可以随时、随地访问、编辑、删除工作文件。并且,通过发送电子邮件进行实时协作也可以大量节省编辑文件的时间。
3、灵活扩展IT需求
当你购买硬件和软件,你需要支付固定的费用,在这些软、硬件损坏之前你必需一直使用它。但,使用云服务,企业可以拥有更灵活的选择,企业可以在任何时间并且花费很少的前提下,停止使用你现在所不需要的东西。
4、云计算使企业经营变得更加轻松
在小企业中,你可能身兼数职,而大规模的IT部署需要一位管理员时刻保持在最佳状态。云服务可以在管理方面为企业提供高效计划。如,业务协作服务,可以轻易的判断它在IT方面是不是专家,从而帮助我节省更多的钱。
5、统一平台
中小企业中,可能运行多个设备。如,桌面是Mac的,笔记本电脑是戴尔公司出产的,和一个iPad平板电脑。在云服务平台中应用和硬件平台不直接关联,从而消除了同一程序的多个版本的软件需要。
- ?
将你的Web应用免费部署到云端
Miao
展开
Introduction
将web应用部署到网上,需要两个条件,域名和虚拟主机。而现在流行的云计算平台就可以免费为我们提供这个服务,而且管理简单,无需担心硬件、补丁或备份,并可轻松实现可扩展性。如果你用的开发语言是java和python,很幸运,Google app engine(简称GAE,谷歌的云计算平台)和Sina app engine(简称SAE,新浪的云计算平台)都可以很容易满足你,另外GAE还支持GO语言,SAE支持PHP。下面详细介绍一下如何使用两个云平台部署应用。以Python开发为例。
GAE
目前GAE免费账号允许你创建10个应用(注意,创建应用后不可删除),每一个应用提供1GB的容量,、每月500万次PV,超过部分要收费。月流量是60GB(传出带宽是1GB/天,传入带宽1GB/天)。
开发文档:
https://developers.google/appengine/
步骤:
1.首先你需要有Google账号。
2.打开Google App Engine主页,在页面右边输入你的账号密码,点“sign in”按钮登录后点“Create an Application”按钮可创建一个应用。创建应用时候需要输入手机号码用于接收验证码,记得手机号码前面加上+86。
3.成功创建应用后通过xxx.appspot可以访问你的应用。xxx是你应用的名字。
部署本地开发环境:
1.安装Python开发环境。目前GAE支持Python 2.5和2.7,推荐使用2.5。
2.从https://developers.google/appengine/downloads下载安装App Engine SDK。用于本地开发调试和上传部署你的应用到GAE。
3.安装完后会在桌面出现一个Google App Engine Launcher,这就是GAE的本地调试和部署工具,设置一下Google App Engine Launcher的python路径:Edit-Preferences-Python Path项。Google App Engine Launcher界面如下:
另外还可以通过eclipse的pydev插件使用python sdk。
详细使用过程可参考:http://iteye/topic/554757/
SAE
新浪提供的云服务。免费用户可以创建10个应用,应用可删除。有限免费使用服务。怎样有限免费使用呢?SAE部署的应用会消耗云豆,而你有多少云豆你的应用就可以用得多久。详细的云豆消耗计算方式可以参考SAE主页上的介绍。你刚开始申请一个GAE账号,会免费得到500云豆。通过实名认证后可以得到2000云豆(2500云豆大概可以供一个普通应用的半年消耗)。而通过普通开发者认证后每月会有1000云豆送,相当于你可以长期免费使用GAE服务了。而开发者认证的级别越高,每月得到的云豆自然越多。SAE通过SVN部署应用,使用比较方便,不过本地开发环境使用起来又点麻烦。
开发文档:
SAE主页:http://sae.sina/
Python API:http://python.sinaapp/doc/index.html
步骤:
1.首先在SAE首页申请一个GAE账号,非微博账号。
2.下载安装SVN工具。
3.创建应用。创建应用后可以通过xxx.sinaapp访问你的应用。xxx是你创建的应用。当然还可以绑定你自己的域名。
3.通过svn在本地checkout。创建本地开发目录。SVN根目录下只允许存在以正整数命名的目录,不允许有文件存在, 这些目录为应用的版本目录,每个版本目录下才可以放应用对应版本的代码。编写完代码commit就可以完成部署。
部署本地开发环境:
1.安装Python开发环境,SAE只支持2.7.3
2.在GitHub上Clone安装文件到本地。GitHub地址:https://github/SAEPython/saepythondevguide
3.在本地GitHub的saepythondevguide有三个文件夹
dev_server 本地开发调试服务器
docs帮助文档
examples 使用示例
4. 在dev_server下运行以下命令安装dev_server
[plain] view plain copy
pythong setup.py install
5. 进入应用的本地开发目录,也就是index.wsgi和config.yaml所在的目录。运行如下的命令启动测试server:
[plain] view plain copy
dev_server.py MySQL config not found: app.py Start development server on http://localhost:8080/
访问 http://localhost:8080 端口就可以访问你的应用了。
详细请参考SAE的主页上的介绍。
总结
通过简单使用过GAE和SAE部署应用,觉得google的文档比sina的要好要详细,本地开发环境使用起来很方便。不过GAE被禁了,我们访问不了GAE的应用,要翻墙才能使用。数据访问方面google用的是非关系型的一个数据库。sina用的是Mysql。如果你的应用是供全球使用。不用考虑,当然是GAE更加适合你。但是对于我们,SAE最符合国情。希望两个云平台能给大家带来方便。
- ?
必须知道的,云计算五大特征!
管不可
展开
什么是云计算呢?
其实云端(cloud)就代表了互联网(Internet),通过网络的计算能力,取代使用你原本安装在自己电脑上的软件,或者是取代原本你把资料存在自己硬盘的动作,你转而通过网络来进行各种工作,并存放档案资料在网络,也就是庞大的虚拟空间上。我们通过所使用的网络服务,把资料存放在网络上的服务器中,并借由浏览器浏览这些服务的网页,使用上面的界面进行各种计算和工作。
在云计算中,服务器并不会管你电脑的计算能量有多强。有的同事在办公室用PC连上Google Docs,在家则是用Apple MacBook,同时还有很多其他的服务可以通过你的手机或iPhone与Android平台手机上的应用软件来完成。
你可以在任何一台电脑上登入使用云端服务,而一个朋友或同事也可以登入并和你一起在一样的文件上工作。Google Docs只是能够协同操作的一种办公室型态云计算服务。有些服务甚至还可以让人在全球不同的地点登入服务并同时在一样的文件上工作。
云计算也许听起来很棒,但是它还是有一些隐忧的,也是你在使用时必须要考虑的地方。正如同开放源代码阵营名人Richard Stallman指出的,你的资料是在第三方厂商的手上,而且是在你控制以外的。
最有可能遇到的问题是安全性,鲜少有公司会想窃取你的资料并做出无耻的网站设计,但最好还是研究一下各种网站和网络服务,找一些可信赖的专家推荐的。
幸运的是,一点点常识和一些简单的正确电脑操作练习可以将这类安全性失误的影响降至最低,避免将你的机密资料放在云端上,如果你真的放了,例如利用网上银行时,避免在网咖、学校或图书馆内的公用电脑上进行,也别太随便给出自己真正的联络资料,避免每个帐号都使用同一个密码,就算只更改一个字母也好。
云计算第二个主要问题是可能暂时故障导致你无法使用某项服务,你可能把资料放在某个网站上而这个网站却因服务器故障导致某一段时间无法进入,Twitter就因偶发性挂点而恶名昭彰,每次它的网站挂掉时就会出现“掉落的鲸鱼”图案, 更糟的是,你有可能因此而遗失全部的资料。
最糟、最糟的情况是,当你想搜索自己在云端上的资料时却发现“情空中万里无云”,如果你想野餐这当然是好事,但如果是这个为你保管资料的公司突然关门大吉,可就大事不妙了。
如果你还没有备份自己的资料,你真的应该开始备份了。如果你不信邪,用iTunes就好了,但如果你信邪而且开始备份这些资料,就一直备份下去吧...想想要把全部的CD都跑过一次要花上多少时间(如果你还保有它们的话),更别提那些你借来的CD或是已经购买的MP3。
想像一下明早你醒来时发现它们全部不见了,至少你还有音乐可以听,但如果遗失的是你的生日或婚礼或在瑞典穿着日本浴衣驾驶拖拉机的照片,那可能反而是件好事。
对于到底什么是云计算,至少可以找到100种解释。目前广为接受的是中国云计算专家咨询委员会副主任、秘书长刘鹏教授给出的定义:“云计算是通过网络提供可伸缩的廉价的分布式计算能力。”
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算力、存储空间和信息服务。
这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源,通常是一些大型服务器集群,包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来,并通过专门软件实现自动管理,无需人为参与。用户可以动态申请部分资源,支持各种应用程序的运转,无需为繁琐的细节而烦恼,能够更加专注于自己的业务,有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池,这与早在2002年就提出的网格计算池(Computing Pool)的概念非常相似。网格计算池将计算和存储资源虚拟成为一个可以任意组合分配的集合,池的规模可以动态扩展,分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率,提升平台的服务质量。
之所以称为“云”,是因为它在某些方面具有现实中云的特征:云一般都较大;云的规模可以动态伸缩,它的边界是模糊的;云在空中飘忽不定,无法也无需确定它的具体位置,但它确实存在于某处。之所以称为“云”,还因为云计算的鼻祖之一Amazon公司将大家曾经称为网格计算的东西,取了一个新名称“弹性计算云”(Elastic Computing Cloud),并取得了商业上的成功。
这里描述的云的建立过程和结构,只是一种比较普通和容易理解的形式。由于技术的不同、实现方式的不同,各家云的实现方式和结构会有很大的不同。但是,一些基本的概念是相同的,其共同的核心要点包括:
一定要有资源池。把分散的计算资源集中到大的资源池里,以方便统一管理和分配。例如前面讲的D所管理的资源池。
按需分配、自助服务。用户实际消耗多少资源,就被分配多少资源;用户对自己得到的资源能够自助管理。例如前面讲的“机房”。
灵活的资源变化。随便撤掉一台硬件的电脑,其上面的信息和活动会自动转移到别处去;随便增加一台电脑,其资源会随时添加到资源池里去。所有这些增减,用户根本意识不到。例如前面讲的“配载调配和平衡”。
一定要有记账系统。用户消耗了多少资源,如何给这些资源计费,系统有详尽的信息采集和报告,以便对用户收费(即使是免费,也得有详细的记账)。例如前面提到用户输入信用卡,就是以记账为前提。
在组建云的技术上,说到底,就是用软件产品(如前面提到的C和D,并通过监控程序)来管理、组织、和分配经过抽象或虚拟的硬件计算资源。除了个别企业用自己的技术建设、和服务外,现在常见的云技术提供者主要有:VMware、微软、Citrix、和OpenStack等。前两者是完全的商业产品;Citrix公司在监控程序上采用的是开源的Xen;OpenStack则完全是开源免费的,它的监控程序主要采用开源的KVM和Xen,也可以是其它的开源软件。
按照服务的对象和范围,云可以分为三类:
私有云:建一个云,如果只是为了单位(企业或机构)自己使用,就是私有云。就前面提到的“机房”而言,每个“机房”只是为本单位的不同部门、或不同用途而设立的。
公众云:如果云的服务对象是社会上的客户,就是公众云。前面提到的“机房”可以是任何社会上的企业、单位、或个人。Amazon公司的AWS是现在世界上最大的公众云。其它公众云提供商还有Google、Salesforce、苹果的iCloud等等。
混合云:如果一个云,既是为单位自己使用,也对外开放资源服务,就是混合云。有时,把两个或多个私有云的联合,也叫混合云。 “云计算”的五大特点
大规模、分布式“云”一般具有相当的规模,一些知名的云供应商如Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。而依靠这些分布式的服务器所构建起来的“云”能够为使用者提供前所未有的计算能力。
虚拟化云计算都会采用虚拟化技术,用户并不需要关注具体的硬件实体,只需要选择一家云服务提供商,注册一个账号,登陆到它们的云控制台,去购买和配置你需要的服务(比如 云服务器,云存储,CDN等等),再为你的应用做一些简单的配置之后,你就可以让你的应用对外服务了,这比传统的在企业的数据中心去部署一套应用要简单方便得多。而且你可以随时随地通过你的PC或移动设备来控制你的资源,这就好像是云服务商为每一个用户都提供了一个IDC(Internet Data Center)一样。
高可用性和扩展性那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。基于云服务的应用可以持续对外提供服务(7*24小时),另外“云”的规模可以动态伸缩,来满足应用和用户规模增长的需要。
按需服务,更加经济用户可以根据自己的需要来购买服务,甚至可以按使用量来进行精确计费。这能大大节省IT成本,而资源的整体利用率也将得到明显的改善。
安全网络安全已经成为所有企业或个人创业者必须面对的问题,企业的IT团队或个人很难应对那些来自网络的恶意攻击,而使用云服务则可以借助更专业的安全团队来有效降低安全风险。
- ?
什么是云?3分钟带你走进云计算世界
郜涵雁
展开
最近有朋友问我:“为啥你写的东西我都看不懂,也不是我平时用的。”我不禁哑口无言,原因是不知道怎样用最简单的话告诉他我在写什么。的确,企业级的内容多是为解决企业应用问题,所以,笔者想用最简单的话来解释企业级的内容,比如,云计算。
云计算是什么(图片来自:diginomica)
什么是云计算?
成天到晚都在说云,到底啥是云计算哩?在维基百科中,云计算是可配置计算机资源和更高级别服务的共享池,可以通过最少的管理工作快速配置(一般是用互联网);在百度百科中,云计算是基于互联网的相关服务的增加、使用和交付模式……非专业人士很难理解,基本看完一句话就溜了。
其实,云计算你可以理解为资源共享池。举个例子就是,我有很多东西,家里放不下了,放到一个特定的地方存着,随时提取,别人碰不了,保质保量。
“东西”一般是指数据、软件、服务等,而“特定的地方”就是云。
云是如何部署的?
说到这里不得不说一下云计算的服务和交付方式,就是大家常见的IaaS、PaaS、SaaS。到底这三个“aaS”是啥,笔者带你一探究竟。
IaaS其实是“Infrastructure as a service”的英文缩写,翻译过来是“基础设施作为服务”,为了方便使用就成为了“IaaS”。IaaS就是用户通过购买/租用云虚拟服务器来使用云服务的交付方式,现阶段的企业用户使用较少。
PaaS“Platform as a Service”即平台就是服务。云计算公司把应用服务的运行和开发环境作为服务提供给用户,用户可以在这个平台上开发自己的云。国内像阿里、华为、腾讯等公司都会提供这样的服务。
SaaS“Soft as a Service”即软件作为服务,云服务开发商通常将软件定位在云上,用户通过购买软件来使用云的一种交互方式。我们经常用到的钉钉、今目标等企业软件就是SaaS的一种表现形式。
私有云、公有云、混合云如何定义?
私有云从字面意思上了解就是私有的云,用户自己开发或者是云计算公司为用户单独使用而开发的云就是私有云。私有云的开发成本很高,需具备一定的硬件和软件基础,但是安全性方面是三云中最高的。
公有云一般指大家都能用的云,一般来说会收取用户相对较少的费用或者免费使用。我们日常生活中,最常用的百度云盘、微信云等都是公有云,当然三大通讯运营商所使用的云也是公有云。方便是公有云最大的特点,安全性是公有云的不足。
混合云融合公有云和私有云,是未来云计算市场的发展趋势。企业客户既希望于将数据放在私有云上保持独立性和安全性,又希望借助公有云的平台实现资源的共享。混合云匹配私有云和公有云,既保证了安全也达到了节省成本,提高效率的目的,目前已经应用在医疗领域。
结语
这篇文章作为云计算的简单科普类文章,希望大家作为初学者,对于“云”不再那么陌生,也为未来的云时代做好准备。
- ?
我们为何要使用云计算?
白乘风
展开
在很多人还不了解云计算的时候,云计算就这么悄无声息的火起来了,我们最常见的就是阿里云与腾讯云,而在这个科技时代,云计算到底为什么这么火呢?它火的原因又有什么呢?
举例来说,我们日常的邮箱服务,不论是在PC、苹果电脑还是智能手机上都能享受得到,而在过去这些邮件内容都是在Outlook这样的本地客户端存储的。这就好比是在原有的银行体系下设计了支付宝这么一个杀手锏,因为不论你的钱是存在哪家银行、哪个国家,都可以一样在线上消费,再也不用取款-消费-找零这样处处受制于现金。
"第一,云计算保证用户可以随时随地访问和处理信息,并且可以方便地与人共享信息":在过去分享文件只能通过U盘拷贝,而且到了别人的电脑上还未必可以打开。想要处理信息的话,用户一定要电脑在手边,现在在任何终端都可以完成,而且在线应用软件分享数据功能比个人电脑强得多。这就好比支付宝的存在让我们从此免去了去银行取钱的过程,想要借钱给别人只需要在线转账即可。而且即使在海外消费,也可以直接按实时汇率把美元折合成人民币扣费。
"第二,云计算保证用户可以使用大量在云端的计算资源,而无需自己购入设备,压低了用户成本,且用户不用担心数据丢失、病毒入侵等麻烦":这一点不难理解,如果还要类比的话,我们把钱存在银行就免去了过去自己选购保险柜的过程和费用,而且把钱放在银行也方便保管,不必承担失窃的风险,反倒是那些藏在自家土炕里的钱全部发霉腐坏了。
- ?
云计算:为何使用第三方服务的时候可以“免登录”
兰杜拉斯
展开
“云计算”(Clound Computing)最早可以认为从“网格计算”(Grid Computing)演化而来,因此继承了“网格计算”时代很多重要的特性。其中,最为重要的特征之一就是“单一登录”(Single-Sign-On, SSO),即:你只要在一处服务完成了登录和认证,那再使用其他服务就无需在进行认证。
SSO在网格计算之前就已经被提出了,用于解决SOA时代的服务共享问题。到了网格时代,共享计算能力变得越来越迫切(当时网格主要被用于国家超算中心,用于处理天气预报/地质勘探等大型计算任务),把时间都浪费在人工参与的登录和认证就变得越来越不划算。但是,从另一个方面,允许计算任务免认证登录也会引发安全隐患:非法job会影响到合法job运行,比如通过资源抢占,通过恶意的攻击等等。为了保证资源的合理使用和故障隔离,就诞生了Isolation技术(cgroup/container, virtual machine, virtual host等等),也成为了后续“云计算”中一个重要的技术分支——资源托管。
既然Isolation保证了互不冲突,那剩下的就是如何让用户无感知情况下对用户的合法身份进行认证和授权(Authentication & Authorization,AA)。最简单的方式,当然是中央认证方式(在线实时认证,Online AA),即:所有人的身份信息都交由中心的认证节点CA来统一认证并授予资源使用的权限。但这样有一个问题:就是CA容易成为单点,当用户量很大的情况下CA也难以承受压力。在线实时认证最大好处是中央可以实时管理用户信息,在身份信息更新、注销等方面可以做得很高效;缺点就是支持的规模小,容易成为单点和被攻击。为了解决这个问题,网格时代提出了基于X509证书的离线认证方式:用户的身份通过高度加密的X509证书来唯一标识,同时通过代理方式允许用户授权其他人在有限时间和范围内使用授权人的部分权限。这个体系后来就是著名的工业标准RFC3820/3821,也是现今银行界普遍使用的方式(U盾,你用过吧)。这就是通常所说的离线认证方式(Offline AA),其证书认证过程无需和中央的CA进行交互;而直接信任CA所颁发的有效证书。它好比我们的身份证,因为所有的地方都相信公安局,所以合法身份证就代表了公安局的授权。这样,服务对用户的认证就可以完全线下one-on-one进行,大大提高了整个系统的可扩展性。当然,缺点也是明显的:例如某人的身份证已经被吊销了,但在买火车票的时候,由于信息没有同步及时,火车站其实还不知道购买者已经非法了会依然将票卖出去。
工业标准RFC3820/3821定义的协议是完备的,但实现起来也是复杂的。在网格时代,他们可以用于公网的安全体系建设,但在实际工业应用中,尤其在公司内部很多资源共享都是限制在公司内部,因此很多公司对此进行了折中。如腾讯的TAAS系统,采用了基于X509证书的认证方式,但未像RFC里面所提及的那样才有代理证书来实现离线认证。当证书认证整个后,生成了一个类似于kerbros的ticket,然后在通讯过程中传递这个加密过的ticket来帮助鉴别用户。通过这样的方式,可以允许用户在进行首次登录腾讯产品后,即可无登录地使用腾讯其他产品和服务。百度内部的Giano系统在此基础上做加强,为了兼容现有的Linux系统,并让遗留的应用程序也能接收这样的认证和授权机制,采用了类似于XOS-SSH(XOS-SSH: A Lightweight User-Centric Tool to Support Remote Execution in Virtual Organizations)类似的方法:在Linux内核标准模块Pluggin Authentication Model(PAM)增加一个认证模块(以so方式)并配置/etc/pam.conf来实现认证的优先级。这种方式可以很容易将操作系统内部传统的服务对接上新的认证机制,如sshd,sudo等等命令。
当然,PAM方式也有一个潜在的安全风险,就是其中有一台机器如果是非法机器,在pam.conf的认证模块前安装一个截取用户tocken的so,在明文传递过程中可能就被截获用户的用户名和密码。例如,早些时候的某互联网公司的SSO认证实际采用明文传输,在通过PAM framework的时候通过实现安装在其认证体系之前的空壳认证so模块即可获得用户的token,然后以此转发登录并获取远程机器的登录权限。
欢迎关注百家号:影子工程师
- ?
云计算到底怎么用?
韦百川
展开
云计算最近的热闹不少。
8月5日,一家创业公司“前沿数控”发文,称其在腾讯云上数据全部丢失。之后腾讯云对此回应称,该事故是因所在物理硬盘固件版本bug导致的静默错误且运维人员存在不规范操作所导致,并表示了道歉与赔偿。
至此,在一年多的时间里,微软、AWS、阿里云、腾讯云等主要云计算服务商相继出现问题,这也让外界产生疑惑:云计算怎么了?
近些年,企业上云已成趋势,而云一旦出问题,很可能影响颇大;然而就像天底下没有不生病的人一样,云计算也自然也不可能百分之百完全不出问题。这次的腾讯云事件,刚好可以用来聊聊这个话题,让我们透视云计算平台与企业如何应对可能存在的问题。
没有绝对不出问题的云计算
但我们或许可以借此讨论这样一个问题:云计算平台不出错的理想情况,到底是否可能?
答案当然是否定的,任何云计算平台都有发生事故的可能。云计算本身是一种本地存储与运算的替代方案,所以本地计算可能出现的软硬件问题,也将映射到云计算体系中。
当然,随着云计算技术的不断进步以及产业服务能力增强,今天我们看到云计算应对风险的技术解决能力、容灾能力、应急冗余能力都在提高。
但同时也应该看到,云计算的另一面,是体系复杂化、碎片化的业务需求,更加复杂的云计算应用体系以及云计算+AI、云计算+IoT等新业务种类,导致出现风险的场景更多。比如去年英国一个移动应用企业发生了数据崩溃,原因在于企业员工违规收取了邮件,最终导致云存储数据被大规模劫持。
不过从另外一个角度来看,云厂商提供给用户的真正有价值的服务并不是一个一定不会出问题的服务,而是让企业可以低成本快速的搭建一个服务冗余、一定容灾的架构的能力。从腾讯云的案例中我们可以看到,云计算的问题可能很复杂,而平台的处理能力是解决问题的第一方案。
出现了问题,云计算平台如何应对?
让我们回顾一下腾讯云这次事件中,数据丢失到底因何发生:
根据腾讯云方面的技术复盘,该故障缘起于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致云盘的三副本安全机制失效,并最终导致客户数据完整性受损。具体原因是,是因为运维人员在收到仓库空间使用率过高警告后,准备发起搬迁扩容。在搬迁国产中,为了加快速度,手动关闭了迁移过程中的数据校验。而在搬迁完成后,运维人员将出事故云盘访问切至新仓库,同时为了释放空间,对原仓库中的源数据发起了回收操作,之后发现部分云盘出现IO异常。
本次事故起源自因磁盘静默错误导致的单副本数据错误,再由于数据迁移过程中的不规范操作,导致异常数据扩散至三副本,进而导致客户数据完整性受损。
腾讯云已经正式道歉,并从技术角度坦诚了相关问题的存在。
由于云计算事故的问题,往往来自复合型问题、细节问题。而往往平台讳莫如深,甚至想要撇清责任,是导致事件复杂化的直接原因。而腾讯云此次的坦诚方案,在业界还是收获了一定的肯定
而通过腾讯云的事件,我们可以看到真正能够有效降低云计算故障的方法,是在出事前进行干预。比如说:
1、搭建应急预案,不断更新容灾技术与容灾机制,可以在出现问题时快速、低成本搭建应急架构。这是云计算平台应对可能事故的核心,而容灾机制与技术的双重保障,也是云服务品牌的核心竞争力。
2、规范化管理流程,尤其涉及数据问题时的人工操作流量。腾讯云事件中可以看出,人为不规范操作是造成很多重大损失的起因。而严格的流程化和去人工可能是较好的解决方案。
保障数据,企业用户也需配合
云计算平台自然也不是万能的。对于用户来说,选择合理的服务体系、积极做好兀余和备份工作,是进一步降低风险的举措。
另一方面,云计算服务中还有一项功能,叫做云盘快照。也就是企业可以定期来复制备份自己的数据,作为应对可能性事故的备案。而恰好腾讯云还是少数定期提供免费快照功能的云平台,为避免企业数据丢失,还是应该积极使用类似备份功能,保证自身数据的安全存放。
同时,对于核心数据来说,本地存放与云存储兼顾,是公认的更良性策略。
目前,出于市场业务细分化的需要,所有云计算平台都在提供更细节化、碎片化的服务选项。但很多时候企业并不能为了节约成本而购买单一服务,而是需要设置符合自身发展需求的云计算策略,并做好重要数据本地备份。
毕竟,狡兔三窟总归不是错误。
合理用云,前提是正确认识云
综上所述,我们可以发现,为了解决类似问题,需要云计算平台、企业客户,包括行业监管、法规定制等方向的共同努力。我们可以从以下几个方面,看到未来化解类似矛盾的可能:
1、技术层面,更加简便优质的容灾备份服务显然是主流。而在今天快速迭代的云计算体系中,通过技术保障进一步加强企业数据保障并不是奢望。而更加扎实的平台管理能力,和快速调查事故原因的能力与执行规则,也是平台企业未来需要提供的用户价值。
2、权责分明的服务关系。类似案件中,平台故障当然是主因。但企业事故也可能最终导致数据危险。
因此,平台方向企业方提供明确的风险提示,并建议做好关键数据备份;企业方购买符合自身发展需求,较为合理的云计算业务体系,都是避免最终矛盾的解决方案。另外很多云计算业务,其实都来自企业应用层面的问题,那么责权如何进一步划分,也是应该解决的问题。
平台与用户双方,能够达成策略性预见,给予对方足够的尊重,并一切有规可循,才是类似问题的最终解决办法。
一棍子打死云计算,或者把云计算捧杀到万能的地步,事实上都是毫无益处的。
云计算免费使用
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并