中企动力 > 商学院 > 云计算与大数据区别
  • ?

    大数据与云计算分析

    泪流干

    展开

    大数据:藏在啤酒和尿布背后的秘密; 云计算:物联网的隐形大脑

    我们提到物联网,就不得不把它与现在非常火热的另一个概念联系起来,那就是“大数据”。

    大数据是怎么一回事呢?有一个为人津津乐道经典案例,就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起,但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来,美国的妇女通常在家照顾孩子,所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布,而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

    在这个案例里面,丈夫的行为被预测出来,其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒,爱喝酒的丈夫可能也会去买,但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走,而想不到去买啤酒。因而,大数据就此产生了经济价值。当然,这背后基本是一个零和游戏,这家超市的啤酒销售得多了,别家超市卖得就少了。

    腾讯的QQ我们都用过,它能够把我们久未联系的老同找出来,推荐给我们去联系,但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们,还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名,从而让更多人知道最近大家的关注点在哪里。

    显然,这些数据或多或少已经开始影响我们的生活。而在未来,万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语,开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据,仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强,加上能够互动的设备增多,那么这些数据就变成了健康服务,甚至能提前预防疾病发生。

    反过来,大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如,我们的智能家居的学习功能,可以看做是对用户一段时间的行为数据的收集,然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

    前面讲了大数据,那么还有另一个大数据的亲兄弟不得不讲,那就是云计算。从成本和实际效果来考虑,其实很多物联网设备并不需要太多的计算能力,只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了,多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

    那么,这些数据谁谁在处理呢,他们又是怎么处理的呢,这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法,是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

    举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算,你在QQ提供的界面里面访问对方的电脑,使用对方的软件。云计算大概也可以看做这么种方式,不过对方的电脑变成了处理能力超强的云计算中心,而处理方式更加复杂一些。

    云计算给我们带来了全新的解决思路。由于通讯技术的不断发展,我们的计算不一定要在本地进行。比如,在远程操作的例子,哪怕你的电脑没有安装一个程序,你仍然能够获得这个程序的使用结果。而我们平时收发邮件,这些邮件存储在我们的邮箱里,而不是在我们的电脑上,这其实可以视作早期的云服务。这种理念,简单概括起来就是“网络即电脑”。只要有网络,我们就能获得更高的运算能力。

    目前云计算还处于基础阶段,现在的云计算被分为三层:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。基础设施可以看做是我们的电脑主机,其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统,类似于windos,是开发和运行程序的基础。软件服务我们就明白多了,微信、游戏客户端、美图秀秀这样的都是软件。

    借助云计算,企业的管理成本将降低。由于云计算的作用,一些企业不用浪费金钱和精力建立自己的数据处理中心,而将自己的一些数据和企业管理软件放在公共的云服务器上;而另一些企业对于数据的安全性和专业性等要求较高,于是自建云服务器,于是有了公有云、私有云、的概念之别;有一些私有云并不能满足企业的运算需求,向公有云服务器寻求支持,于是就有了混合云的提法。

    同时,云计算中心能够根据实际需求来安排服务器的运算,让整个计算中心保持高效的运作,避免了运算资源的浪费。除此之外,云计算的好处在于按使用付费。这就是说,你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念,即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实,而在未来,个人用户也将慢慢感受到这种全新方式给生活带来的改变。

    讲了这么多云计算,那么云计算和物联网是是怎么结合起来的呢?前面我们已经提到,我们的物联网设备只需要能够联网,云计算就能够通过网络为我们的设备提供数据处理能力。其次,大数据的运用对物联网来说十分重要,而云计算和大数据分析就像一枚硬币的两面密不可分。

    比如智能家居系统,其一部分运算其实就是依托云服务器,因为我们的家里面的数据处理中心(电脑或手机)没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些,我们前面提到云计算还是打通各种物联网标准的有效手段,两个采用不同技术标准的设备也具有了互相交换数据的可能,简单说来,就像你在网上和一个外国人聊天,哪怕你不懂他的语言,只要通过相应的翻译软件,就能够理解对方的意思了。

  • ?

    云计算、大数据和物联网三者之间有哪些区别和联系?

    从阳

    展开

    【云服务器】小鸟云服务器,纯SSD架构,行业领先的硬件计算能力,只需几分钟,便可轻松云端获取和启用,实现您的计算需求。可弹性扩展资源用量的同时,还能为您节约计算成本,简化IT运维工作,让您更专注于核心业务的创新。

    云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。云计算最初主要包括了两类含义:一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。

    云计算、大数据和物联网

    随着大数据概念的提出,云计算中的分布式计算技术开始更多地被列入大数据技术,而人们提到云计算时,更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模(如Iaas、PaaS、SaaS)。

    从云计算和大数据概念的诞生到现在,二者之间的关系非常微妙,既密不可分,又千差万别。因此,我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外,物联网也是和云计算、大数据相伴相生的技术。

    云计算、大数据和物联网三者已经彼此渗透、相互融合,在很多应用场合都可以同时看到三者的身影,在未来,三者会继续相互促进、相互影响,更好地服务于社会生产和生活的各个领域。

    下面总结一下三者的联系与区别:

    1. 大数据、云计算和物联网的区别

    大数据侧重于海量数据的存储、处理与分析,从海量数据中发现价值,服务于生产和生活;云计算本质上旨在整合和优化各种IT资源,并通过网络以服务的方式廉价提供给用户;物联网的发展目标是实现物物相连,应用创新是物联网发展的核心。

    2. 大数据、云计算和物联网的联系

    从整体上看,大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算,大数据分析的很多技术都来自于云计算,云计算的分布式和数据存储和管理系统(包括分布式文件系统和分布式数据库系统)提供了海量数据的存储和管理能力,分布式并行处理框架MapReduce提供了海量数据分析能力,没有这些云计算技术作为支撑,大数据分析就无从谈起。反之,大数据为云计算提供了“用武之地”,没有大数据这个“练兵场”,云计算技术再先进,也不能发挥它的应用价值。

    物联网的传感器源源不断产生的大量数据,构成了大数据的重要来源,没有物联网的飞速发展,就不会带来数据产生方式的变革,即由人工产生阶段向自动产生阶段,大数据时代也不会这么快就到来。同时,物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。

    云计算、大数据和物联网,三者会继续相互促进、相互影响,更好地服务于社会生产和生活的各个领域。

  • ?

    解读大数据、云计算和人工智能三者间的关系

    安定

    展开

    大数据产业正在用一个超乎我们想象的速度蓬勃发展,在上个月贵阳的数博会上,让全世界感受到了大数据的巨大魅力。借助大数据的风口,云计算和人工智能也同时走进我们的视野,他们三者之间有着不可分割相互影响的关联。

    大数据的概念

    大数据,或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。

    大数据时代已经来临,它将在众多领域掀起变革的巨浪。但我们要冷静的看到,大数据的核心在于为客户挖掘数据中蕴藏的价值,而不是软硬件的堆砌。因此,针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信,在国家的统筹规划与支持下,通过各地方政府因地制宜制定大数据产业发展策略,通过国内外IT龙头企业以及众多创新企业的积极参与,大数据产业未来发展前景十分广阔。进充分利用大数据的价值。

    云计算的概念

    云计算是基于互联网的相关服务的增加、使用和交付模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。

    人工智能的概念

    人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,主要包括计算机实现智能的原理、制造类似于人脑智能的计算机,使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科,其范围已远远超出了计算机科学的范畴,人工智能与思维科学的关系是实践和理论的关系,人工智能是处于思维科学的技术应用层次,是它的一个应用分支。从思维观点看,人工智能不仅限于逻辑思维,要考虑形象思维、灵感思维才能促进人工智能的突破性的发展,数学常被认为是多种学科的基础科学,数学也进入语言、思维领域,人工智能学科也必须借用数学工具,数学不仅在标准逻辑、模糊数学等范围发挥作用,数学进入人工智能学科,它们将互相促进而更快地发展。

    大数据、云计算、人工智能三者间的关系

    物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。因此,应用创新是物联网发展的核心,以用户体验为核心的创新是物联网发展的灵魂。

    云计算相当于人的大脑,是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

    大数据相当于人的大脑从小学到大学记忆和存储的海量知识,这些知识只有通过消化,吸收、再造才能创造出更大的价值。

    人工智能打个比喻为一个人吸收了人类大量的知识(数据),不断的深度学习、进化成为一方高人。人工智能离不开大数据,更是基于云计算平台完成深度学习进化。

    简单总结:通过物联网产生、收集海量的数据存储于云平台,再通过大数据分析,甚至更高形式的人工智能为人类的生产活动,生活所需提供更好的服务。这必将是第四次工业革命进化的方向。

    云计算与大数据

    从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

    人工智能与大数据

    如果我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿,某一领域专业的海量的深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大,而奶粉的质量则决定了婴儿后续的智力发育水平。

    与以前的众多数据分析技术相比,人工智能技术立足于神经网络,同时发展出多层神经网络,从而可以进行深度机器学习。与以外传统的算法相比,这一算法并无多余的假设前提(比如线性建模需要假设数据之间的线性关系),而是完全利用输入的数据自行模拟和构建相应的模型结构。这一算法特点决定了它是更为灵活的、且可以根据不同的训练数据而拥有自优化的能力。

    但这一显著的优点带来的便是显著增加的运算量。在计算机运算能力取得突破以前,这样的算法几乎没有实际应用的价值。大概十几年前,我们尝试用神经网络运算一组并不海量的数据,整整等待三天都不一定会有结果。但今天的情况却大大不同了。高速并行运算、海量数据、更优化的算法共同促成了人工智能发展的突破。这一突破,如果我们在三十年以后回头来看,将会是不弱于互联网对人类产生深远影响的另一项技术,它所释放的力量将再次彻底改变我们的生活。

    人工智能与云计算

    人工智能是程序算法和大数据结合的产物。而云计算是程序的算法部分,物联网是收集大数据的根系的一部分。可以简单的认为:人工智能=云计算+大数据(一部分来自物联网)。随着物联网在生活中的铺开,它将成为大数据最大,最精准的来源。

    现在已进入大数据、云计算、人工智能时代,我们必须弄清楚他们的本质,抓住机遇,跟上趋势,创新发展,才能高科技的发展大潮中立于不败之地。

  • ?

    “大数据”和“云计算”的区别与联系你说的出么?

    雷丹萱

    展开

    我们聊起“大数据”和“云计算”时,常常把这两个名词概念混淆,觉得就是一个词。又或者知道这两者是有区别的,却又不知从何说起。今天,我和大家一起聊一聊“大数据”和“云计算”的联系与区别。

    一、大数据

    1、大数据的定义

    著名的麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

    研究机构Gartner给出的定义是“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

    2、三个层面来了解大数据:

    其次,想要系统的认知大数据,必须要全面而细致的分解它,着手从三个层面来展开:

    (1)第一层面:理论

    理论是认知的必经途径,也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

    (2)第二层面:技术

    技术是大数据价值体现的手段和前进的基石。大数据从采集、处理、存储到形成结果的整个过程,都伴随着云计算、分布式处理技术、存储技术和感知技术的发展。(这里我们下文再系统说)

    (3)第三层面:实践

    从总统竞选到奥斯卡颁奖、从web安全到灾难预测都离不开大数据的参与,大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。正如那句俗语所言:“当你手上有一把锤子的时候,看所有的东西都是钉子。”

    3、大数据的应用领域

    综合来看,未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好,大多数大数据案例和预算将发生在这三个领域。

    商业智能论

    (1)商业智能

    商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

    过去几十年,分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题:“某某人本季度的销售业绩是多少?”(基于结构化数据),但如果涉及决策和规划方面的问题,由于不能快速处理非结构化数据,传统的BI会非常吃力和昂贵。 大多数传统BI工具都受到以下两个方面的局限:

    首先,它们都是“预设-抓取”工具,由分析师预先确定收集什么数据用于分析。

    其次,它们都专注于报告“已知的未知”(Known unknowns),也就是我们知道问题是什么,然后去找答案。(而大数据会给出一些未知的未知,也就是你没有想到的一些问题的结果) 传统BI工具主要用于企业运营,侧重于成本控制和计划执行报告。

    而大数据技术最主要的功能/应用是ETL(Extract、Transform、Load)。将近80%的Hadoop应用都与ETL有关,例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。

    今天计算和存储硬件变得非常便宜,配合大量的开源大数据工具,人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说,低廉的计算资源正在改变我们使用数据的方式。 此外,处理性能的大幅提高(例如内存计算)使得实时互动分析更加容易实现,而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。 未来几年,随着企业间的兼并和新产品的不断推出,传统的BI工具将与大数据分析并存。

    (2)公共服务

    大数据另外一个重大的应用领域是社会和政府。如今,数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

    今天,城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题,而城市,也正是大数据计划的绝佳实验室。以纽约这样的大都市为例,政府公共数据公开化、以及市民生活的高度数字化(购物、交通、医疗等)等都是大数据分析的理想对象。

    客观的市政数据,是消除争端,维系社会稳定的最佳纽带。当然,前提是让公民能够访问这些数据同时,保护好公民的隐私性和数据的安全性。当然,我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受(数据可视化)。

    伴随着各国政务的数字化进程,以及政务数据的透明化,公民将能准确了解政府的运作效率。这是不可逆转的历史潮流,同时也是大数据最具潜力的应用领域之一。

    (3)市场营销

    大数据的第三大应用领域是市场营销。具体来说,有利于促进消费者与企业之间的关系。(卖得更多、更快、更有效率) 今天,最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。

    如今,企业与客户之间的接触点也发生了翻天覆地的变化,从过去的电话和邮件地址,发展到网页、社交媒体账户等等。在这些五花八门的渠道里跟踪客户,粉丝和流量变现的年代,每一次阅读、转发对企业来说,都是一种推广行为,间接也可能促成企业产品交易。

    二、云计算

    1、云计算的定义

    美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

    云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

    2、云计算特点

    云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

    好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

    被普遍接受的云计算特点如下:

    (1) 超大规模

    “云”具有相当的规模,企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

    (2) 虚拟化

    云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。

    (3) 高可靠性

    “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。

    (4) 通用性

    云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。

    (5) 高可扩展性

    “云”的规模可以动态伸缩,满足应用和用户规模增长的需要。

    (6) 按需服务

    “云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

    (7) 极其廉价

    由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

    云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。

    (8) 潜在的危险性

    云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别像银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要前提。

    2、云计算特点

    云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

    好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

    被普遍接受的云计算特点如下:

    (1) 超大规模

    “云”具有相当的规模,Google云计算已经拥有100多万台服务器, Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

    (2) 虚拟化

    云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。

    (3) 高可靠性

    “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。

    (4) 通用性

    云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。

    (5) 高可扩展性

    “云”的规模可以动态伸缩,满足应用和用户规模增长的需要。

    (6) 按需服务

    “云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

    (7) 极其廉价

    由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

    云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。

    (8) 潜在的危险性

    云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别像银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要前提。

    4、云计算环境作为大数据处理平台

    (1)云计算环境中基本计算单元的分化

    企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台需要具有并行运算能力的软件系统。同时,当所有用户的数据全部放在云端时,虽然存储容量可以很方便地扩充,但面对大量用户同时发起的海量数据处理...

  • ?

    [ IT行业观察 ]数据中心,云计算,大数据之间有什么区别和联系?

    千柔

    展开

    图片来自网络

    人把数据中心、云计算数据中心、大数据搞混淆,觉得这三者是一样的产品,其实有显著地区别,数据中心机房是一整套复杂的设施,如今,云计算即将成为信息社会的公共资源,而数据中心则是支撑云计算服务的基础设施,所以自从云计算横空出世,一切信息技术都开始围着它转,云计算有如神一样地存在着,下面看看数据中心、云计算、大数据之间有什么区别和联系?

    数据中心:数据中心(Data Center)是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息,数据中心大部分电子元件都是由低压直流电源驱动运行的。数据中心面临的物理问题是服务器本身和用来连接这些服务器到其他应用环境的电缆。

    云计算:云计算(英语:CloudComputing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往提供通用的网络业务应用,可以通过浏览器等软件或者其他Web服务来访问,而软件和数据都存储在服务器上。云计算服务通常提供通用的通过浏览器访问的在线商业应用,软件和数据可存储在数据中心。

    狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;

    广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务,它意味着计算能力也可作为一种商品通过互联网进行流通。对云计算的定义有多种说法,“云计算是通过网络提供可伸缩的廉价的分布式计算能力”。

    大数据:大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

    移动互联网的大数据主要来自四个方面:

    (1)内容数据:Web2.0时代以后,每个人都成为了媒体,都在网络上生产内容,包括文字、图片、视频等等。

    (2)电商数据:随着电子商务的发展,线上交易量已经占据整个零售业交易的大部分。每一笔交易都包含了买家、卖家以及商品背后的整条价值链条的信息。

    (3)社交数据:随着移动社交成为最主要的社交方式,社交不仅仅只有人与人之间的交流作用,社交数据中包括了人的喜好、生活轨迹、消费能力、价值取向等各种重要的用户画像信息。

    (4)物联网数据:各行各业都出现了物联网的需求和解决方案,每时每刻都在产生巨量的监测数据。那么如此之多的数据,包含着很多有价值的信息,这些信息并不是以直观的形式呈现出来的,需要有办法对这些数据进行处理,无论是计算、存储还是通信,都提出了很高的要求,云计算的相关技术就是对巨量数据的计算、存储和通信的解决方案。

    数据中心、云计算、大数据之间的区别与联系

    (1)大数据和云计算的概念区别:大数据说的是一种移动互联网和物联网背景下的应用场景,各种应用产生的巨量数据,需要处理和分析,挖掘有价值的信息;云计算说的是一种技术解决方案,就是利用这种技术可以解决计算、存储、数据库等一系列IT基础设施的按需构建的需求,两者并不是同一个层面的东西。

    (2)大数据与云计算的关系那么上面说了大数据和云计算的区别,两者之间又有着非常紧密的联系,大数据是云计算非常重要的应用场景,而云计算则为大数据的处理和数据挖掘都提供了最佳的技术解决方案。

    大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作,大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统,大数据指的海量的数据 一般日处理 PB级别以上,一般用于挖掘,分析,做一些智能商业板块。

    大数据必然与云计算相关(大数据和云计算没有必然联系,你要作大数据,可以用云计算,也可以不用),数据中心是云计算的基础,从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分,大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术,随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。

    数据中心是云计算的基础设施,我们通常讲到的服务器资源分配,带宽分配,业务支撑能力,流量防护和清洗能力,都是基于数据中心的大小,和其带宽的容量,数据中心分布在不同的核心城市,辐射到周边城市,提供基础支撑,其一般都符合国家机房一级标准,具备极强的容灾能力,多数厂商会选择两地三中心等方式来架设机房,云计算是在数据中心的基础上提供的从基础服务到增值服务的一种闲置资源利用。

    但有一点不变的是,不管云计算怎样去变化,必然需要依托数据中心实现落地。可以说,数据中心是云计算的根,云计算是数据中心“叶子”,云计算通过“光合作用”促进数据中心的发展,而数据中心得壮大又为云计算发展提供了坚实的基础,这三者起到相互依存,互相促进的作用。

    来源 机房360

  • ?

    云计算是什么?云计算与大数据要学啥?

    凯里尼亚

    展开

    云计算是什么?云计算与大数据要学啥?云计算的虚拟空间无限大,物联网和互联网产生的大量数据,要找一个地方集中存储和处理,就要用云来存储。比如我们平时手机或电脑存储空间不够的情况下,会把一些图片及视频存在云盘,云端。

    云计算,简单说就是把你自己电脑里的或者公司服务器上的硬盘、CPU都放到网上,统一动态调用,现在最有名的云计算服务商是亚马逊的AWS。以前你要玩最新的大型3D游戏或者做了个大型3D动画需要渲染,首先想到的都是重新买一台更高配置电脑或者换个显卡等;

    有了云计算之后,你只需要一台显示器,连到服务商的云计算平台上,如果想玩两天新游戏,就单独购买这两天的高配CPU和显卡,只付两天的钱,玩腻了就恢复成普通的配置;如果你今晚要做大量渲染,就买今晚几个小时的高配,第二天早上拿到成片,就可以恢复原来的配置。所有这些计算和渲染工作都在云计算服务商的数据中心统一完成,你只需要按小时甚至按分钟计费,不用再自己买电脑和服务器了。做云计算的服务商都会自建数据中心。

    大数据,简单说,就是把所有的数据放到一起分析,找到关联,实现预测。这里的所有数据对应的是之前的抽样调研取得的部分数据。比如传统的市场调研方法,就是去大街上或者网上发问卷,能得到成百上千份结果就很不错了,或者邀请几个典型用户到会议室访谈一下;大数据的做法是把收集所有人的数据进行分析,把每个人都当做独立个体进行分析,而不是找群体特征。大数据的结果就是更精准,更细致,更个性化。

    再比如我们经常会看一些现代谍战片,侦察部如何找到罪犯?就是通过全城监控录像,在海量数据中搜索一个人的面孔,犯罪分子只要出现在监控中都会保留一条数据及位置,从而更好地实施下一步方案,大大提高破案效率。这也是企业为什么在极力追捧云计算大数据技术。再比如京东、淘宝、今日头条、新浪、百度、网易、等购物网站,就是采用这种技术。今天看过或搜过的,下次再打开就会主动推送什么类型的文章。

    简单的说大数据就是超级存储的意思,海量数据上传到云平台后,大数据就会对数据进行深入分析和挖掘。在在各行各业均存在大数据。比如天气预报,气象中心会通过卫星发送回气象局无数条关于空气温度、湿度、密度、空气微粒等的数据,运用大数据技术,从而分析判断出这些数据。得出天气状况、空气质量、温度及风量。再比如将几千辆车的数据位置信息综合起来分析出某条路的拥堵状况。大数据必须有云作为它的基础架构,才可以推广并体现出强大的实用价值。云计算和大数据是相辅相成的。

  • ?

    云计算跟大数据究竟有什么关系

    祝映容

    展开

    随着科学技术的迅速发展,人类开始进入大数据时代,云计算、大数据、移动互联网已成为时代三大主题,正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面,呈现出海量数据特征,在海量数据中蕴含着人类各种行为、心理信息。

    对此有网友表示称,常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法","云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题,我们可以通过小数据算法(口算),用单个计算机的计算(甚至计算器)完成计算。再想象一个复杂的问题,需要跨时间、跨空间计算的问题,比如"去年中国各行各业的生产总值,加上美国今年各行各业的生产总值是多少?"这个问题我们就需要通过大数据的分析或处理方法,用云计算完成。

    进一步说,要通过分析或处理各地各时段存储的各种数据资源,用互联网上(云)大量的计算机进行计算(计算)得出结果。这就是大数据、云计算。你可以通俗的理解为:大数据(分析或处理)是前台,云计算是后台。

    或者理解为:大数据(分析或处理)是软件方法,云计算是硬件设备资源。或者可以再直观的理解为:大数据就是人直接操作的界面(网页、软件或App),云计算就是这些网站、软件或App供应商提供的服务。

  • ?

    云计算和大数据哪个发展前景好?

    皮一一

    展开

    云计算和大数据哪个发展前景好?

    说实在话,二者之间都是未来的发展趋势,没有说那种好或者不好,根据你的兴趣,你未来的发展方向,来判断你想走那条路!

    大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

    整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

    在谈大数据的时候,首先谈到的就是大数据的4V特性,即类型复杂,海量,快速和价值。IBM原来谈大数据的时候谈3V,没有价值这个V。而实际我们来看4V更加恰当,价值才是大数据问题解决的最终目标,其它3V都是为价值目标服务。在有了4V的概念后,就很容易简化的来理解大数据的核心,即大数据的总体架构包括三层,数据存储,数据处理和数据分析。类型复杂和海量由数据存储层解决,快速和时效性要求由数据处理层解决,价值由数据分析层解决。

    数据先要通过存储层存储下来,然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合,让大数据最终产生价值。

    传统的BI分析通过大量的ETL数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的BI分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,BI分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。

    谈了这么多,核心还是想说明大数据两大核心为云技术和BI,离开云技术大数据没有根基和落地可能,离开BI和价值,大数据又变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是BI,大数据实施落地式云技术。

云计算与大数据区别

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP