中企动力 > 商学院 > 云计算中的大数据技术与应用
  • ?

    如何正确看待大数据与云计算技术?

    钱霸

    展开

    导读:“夫风生于地,起于青苹之末,侵淫溪谷,盛怒于土囊之口,……”随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

    DT时代,未来已来——数据“大爆炸”

    首先要明白大家为何从前几年开始谈大数据了?这是一个基本问题,包含着对当下数据现实的基本认识。一个不可忽视的事实是,随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

    数据“大爆炸”

    对于如此巨量数据(而且单纯的增量数据都是一个巨量),与之相关的存储、分析、流转、使用到交易等等环节产生了一系列关联的问题,而在当下的时间节点,我们不得不明确面对,而不仅仅是先找个地方把数据存起来。

    国家信息中心专家委员会主任宁家骏表示:大数据是指无法在一定时间内使用传统数据库软件工具对其内容进行抓取、管理和处理的数据集。大数据不仅仅是大,还有它的复杂性和沙里淘金的重要性。

    以上是宁家骏从技术分析角度对数据与大数据做的区分,传统软件处理的数量主要是结构化数据,而且数量上相对小。当规模大到需要新的技术方案的时候,那正是我们重新认识它的时候。

    在云联星空看来,大数据有两大特点,一是数据来源多源,包括各种结构化数据和非结构化数据,如网络日志、视频、图片、地理位置信息等等,同时数量相对巨大,大数据中的‘大’本身就是一个相对的概念;二是数据处于“on line”即在线的状态,能够随时被吸取和关联,并进行分析。

    一般来讲,更多智能硬件和这能设备的加入,更多数据实时产生,于是就需要大数据技术来实现对数据信息的价值挖掘。大数据技术包括了数据采集,数据存取,基础架构,数据处理,统计分析,数据挖掘,模型预测,结果呈现等八个方面。

    而以上几个方面都离不开云平台和云计算能力,比如说数据采集之后的数据存储,现在很多非核心敏感数据都可以存储在云端;数据挖掘也是需要通过云计算和机器学习才能实现。那什么才是云计算呢?

    云计算——低成本部署、随需使用的计算大脑

    所谓云计算,非常教科书的说法是“能通过网络访问可扩展的、灵活的、可共享的物理或虚拟资源池,并按需自助获取和管理这些资源的模式。其中资源实例包括服务器、操作系统、网络、软件、应用和存储设备等。 ”

    从以上概念可以看出其包括软件、硬件等资源,简单说云计算有三层云平台,第一个是Iaas(Infrastructure as a Service),基础设施即服务,以前这些资源都是企业固有资源,现在可以不再拥有,通过平台服务商提供,减轻部署成本;

    第二个是Paas(Platform as a service),平台即服务,开放式的API可以由合作方提供行业和内容的服务;

    第三个是SaaS(Software as a service),软件即服务。比如我们经常使用的手机APP等;

    云计算有一个很重要的特点和优势就是资源池化,就是把Iaas,Paas,Saas层的资源(CPU、存储、网络等)放入到资源池中(云服务器),由云服务器进行集中管理。云计算里所有的服务都是通过资源池里的资源而提供的。

    那如何理解大数据与云计算的关系?

    人工智能、深度学习,这些都是二十年前就有的技术,但是二十年前没有大数据,没有可以关联的数据。所以大数据的故事从有了关联才真正开始。那如何应用大数据?首先要了解数据的生命周期。“布点”、“收集”、“存储”,这些是前端,之后需要对数据做“识别”、“关联”、“分析”。还有一个能把整个过程包起来的,就是“实时刷新”。这就是数据的生命周期,它是一个闭环。不管你怎么使用大数据,你首先要了解这个周期。所以,要从整体视角来观察大数据和云计算,而不能因为其中一个而偏废其他,总体来讲,大数据技术与云计算都是很有效的工具手段,有待人们去不断挖掘。

    历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的泡沫;中期又会低估它的影响,觉得不过是些概念而已;当你觉得它是概念的时候,它已经开始生根发芽,开始茁壮成长。”

  • ?

    云计算与大数据之间的关系

    Grover

    展开

    整合是云计算的主要功能,无论你采取何种数据分析模型,还是运算方式,它都是通过将海量的服务器资源通过网络进行整合,以整理出有效的数据信息,并将其分配给各个目标客户,从而解决用户因存储资源不足所带来的问题。大数据则是数据爆发式增长所带来的一个全新的研究领域,对于大数据的研究,主要集中在如何对其进行存储和有效的分析,大数据是依靠云计算技术来进行存储和计算的。

    云计算是大数据分析的前提

    进入信息化时代之后,数据量在不断的增长,大部分企业都能通过大数据获得额外收益。在大数据分析的过程中,如果提取、处理和利用数据的成本超过了数据价值的本身,那大数据分析也就没有了利用价值,功能越加强大的云计算能力,就越能降低数据提取过程中的成本。

    云计算能够过滤无用信息

    对于大数据系统收集的所有数据来说,大部分数据都是没有利用价值的,因此需要过滤出能为企业提供经济效益的可用数据。云计算可以提供按需拓展的存储资源,可以用来过滤掉无用的数据,是处理外部网络数据的最佳选择。

    云计算助力企业虚拟化建设

    企业引入云计算系统,可以用信息来指导决策,通过将服务软件应用于云平台,还可将数据转化到企业现有系统中,帮助企业强化管理模式。上升到我国互联网整体发展层面,云计算与企业相结合将使得大数据分析变得更加简单,也成为推动企业虚拟化建设的重要手段,将使企业在全球市场更具竞争力。

  • ?

    云计算与大数据紧密结合

    卫广山

    展开

    说到现在的创新IT技术的时候,人们都会提到云计算和大数据。他们之间就像硬币的正反面形影不离。从应用角度上讲,云计算给大数据提供信息化的基础设施,更有效利用资源;从产业发展的角度上讲,运用云平台,每天可以处理大批量的数据,并对这些数据进行科学,快速,智能检索。未来,云计算和大数据还会不断的发展。

    目前,我国的传统产业通过应用信息技术、核心技术,分析这些技术产生的数据,就能不断改进和优化组织战略,以此来提高整个市场的竞争力。这是云计算和大数据对于企业信息化以及产业推动的重要作用之一。对于一些新兴创业公司来说,采用大数据技术,能给他们公司提供旺盛的生命力。

    全世界都在对云计算和大数据进行深入的研究,不仅限于提供信息服务。像苹果这样的国际公司,百度这样的大型企业,或是唯一网络这样的新兴企业,都在用新的方式和新的运行机制来建立新的企业战略。除此之外,大数据还把过去企业固定的经营模式,变成了可控的、适合时代发展变化的模式。利用云计算和大数据,很多创业者可以找到适合自己的风险投资和技术发展方向,为他们的发展指明道路。

    如今我们能够看到,无论是从基础设施的布局,再到数据的挖掘,还是到传统IT公司的整合,都有大数据参与当中。因此,人们非常关心大数据能够如何帮助企业增加收入,降低成本,规避风险,以及能够创造出什么样的新业态。

    各行各业的云计算和大数据价值已经渐现。举例说来,汽车运输行业可以通过对全世界轨道运输行业的数据进行分析,指引企业的经营决策与发展;在成本管理上,云计算和大数据的体现则细分到整个生产运营过程中间。每一个环节,每一个工序,都可以借助云计算和大数据来管理成本。

  • ?

    云计算、大数据和物联网三者之间有哪些区别和联系?

    皮静柏

    展开

    【云服务器】小鸟云服务器,纯SSD架构,行业领先的硬件计算能力,只需几分钟,便可轻松云端获取和启用,实现您的计算需求。可弹性扩展资源用量的同时,还能为您节约计算成本,简化IT运维工作,让您更专注于核心业务的创新。

    云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。云计算最初主要包括了两类含义:一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。

    云计算、大数据和物联网

    随着大数据概念的提出,云计算中的分布式计算技术开始更多地被列入大数据技术,而人们提到云计算时,更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模(如Iaas、PaaS、SaaS)。

    从云计算和大数据概念的诞生到现在,二者之间的关系非常微妙,既密不可分,又千差万别。因此,我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外,物联网也是和云计算、大数据相伴相生的技术。

    云计算、大数据和物联网三者已经彼此渗透、相互融合,在很多应用场合都可以同时看到三者的身影,在未来,三者会继续相互促进、相互影响,更好地服务于社会生产和生活的各个领域。

    下面总结一下三者的联系与区别:

    1. 大数据、云计算和物联网的区别

    大数据侧重于海量数据的存储、处理与分析,从海量数据中发现价值,服务于生产和生活;云计算本质上旨在整合和优化各种IT资源,并通过网络以服务的方式廉价提供给用户;物联网的发展目标是实现物物相连,应用创新是物联网发展的核心。

    2. 大数据、云计算和物联网的联系

    从整体上看,大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算,大数据分析的很多技术都来自于云计算,云计算的分布式和数据存储和管理系统(包括分布式文件系统和分布式数据库系统)提供了海量数据的存储和管理能力,分布式并行处理框架MapReduce提供了海量数据分析能力,没有这些云计算技术作为支撑,大数据分析就无从谈起。反之,大数据为云计算提供了“用武之地”,没有大数据这个“练兵场”,云计算技术再先进,也不能发挥它的应用价值。

    物联网的传感器源源不断产生的大量数据,构成了大数据的重要来源,没有物联网的飞速发展,就不会带来数据产生方式的变革,即由人工产生阶段向自动产生阶段,大数据时代也不会这么快就到来。同时,物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。

    云计算、大数据和物联网,三者会继续相互促进、相互影响,更好地服务于社会生产和生活的各个领域。

  • ?

    云计算和大数据有什么区别呢?

    映菱

    展开

    云计算和大数据有什么区别呢?关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。

    大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。

    云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。

    云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是Amazon,可以说为云计算提供了商业化的标准,另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系),开源的云平台较有活力的就是Openstack了。

    大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化较强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

  • ?

    云计算跟大数据究竟有什么关系

    干天川

    展开

    随着科学技术的迅速发展,人类开始进入大数据时代,云计算、大数据、移动互联网已成为时代三大主题,正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面,呈现出海量数据特征,在海量数据中蕴含着人类各种行为、心理信息。

    对此有网友表示称,常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法","云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题,我们可以通过小数据算法(口算),用单个计算机的计算(甚至计算器)完成计算。再想象一个复杂的问题,需要跨时间、跨空间计算的问题,比如"去年中国各行各业的生产总值,加上美国今年各行各业的生产总值是多少?"这个问题我们就需要通过大数据的分析或处理方法,用云计算完成。

    进一步说,要通过分析或处理各地各时段存储的各种数据资源,用互联网上(云)大量的计算机进行计算(计算)得出结果。这就是大数据、云计算。你可以通俗的理解为:大数据(分析或处理)是前台,云计算是后台。

    或者理解为:大数据(分析或处理)是软件方法,云计算是硬件设备资源。或者可以再直观的理解为:大数据就是人直接操作的界面(网页、软件或App),云计算就是这些网站、软件或App供应商提供的服务。

  • ?

    云计算技术与应用高职专业介绍

    烈斯达

    展开

    云计算是我国战略性产业之一,在世界范围内有巨大的市场潜力,每年有数十万云计算产业人才缺口。该专业主要培养学生云计算工程项目的设计、实施与运维管理等技能,能够从事云计算工程的售前、售后工程师、项目经理、产品销售等岗位。

    参加2017年全国高职院校技能大赛云计算技术与应用赛项比赛

    主要专业课程

    服务器原理及选型、计算机网络技术、云计算技术基础、云存储技术与应用、网络设备配置与管理、JAVA程序设计与开发、服务器配置与管理、网络数据库技术、虚拟化技术与应用、云平台系统安装与维护、公有云技术与应用、大数据分析技术基础、Android项目设计与开发、云数据中心构建与运维、智慧城市建设、云产品销售实务。

    我系教师执裁2016年云计算赛项裁判工作

    主要实习实训课程

    弱电工程技术实训、网络设备配置实习、云存储系统安全维护实习、虚拟化技术、云平台调试与维护、Hadoop安装与调试实训、大数据分析实训、云计算综合实习等实习实训课程。

    实训条件

    H3C网络学院、云计算技术实训室、网络攻防与测评实训室(云安全)、智慧城市示范实训室、弱电工程技术实训室。

    H3C云计算认证讲师

    就业与薪资

    就业面向京津冀、省地级城市的高新技术企业,优秀学生的起薪工资可达4000-6000元,可升入本科院校学习深造。

    欢迎广大考生报告天津冶金职业技术学院云计算技术与应用专业。

  • ?

    “大数据”和“云计算”的区别与联系你说的出么?

    哥本哈根

    展开

    我们聊起“大数据”和“云计算”时,常常把这两个名词概念混淆,觉得就是一个词。又或者知道这两者是有区别的,却又不知从何说起。今天,我和大家一起聊一聊“大数据”和“云计算”的联系与区别。

    一、大数据

    1、大数据的定义

    著名的麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

    研究机构Gartner给出的定义是“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

    2、三个层面来了解大数据:

    其次,想要系统的认知大数据,必须要全面而细致的分解它,着手从三个层面来展开:

    (1)第一层面:理论

    理论是认知的必经途径,也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

    (2)第二层面:技术

    技术是大数据价值体现的手段和前进的基石。大数据从采集、处理、存储到形成结果的整个过程,都伴随着云计算、分布式处理技术、存储技术和感知技术的发展。(这里我们下文再系统说)

    (3)第三层面:实践

    从总统竞选到奥斯卡颁奖、从web安全到灾难预测都离不开大数据的参与,大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。正如那句俗语所言:“当你手上有一把锤子的时候,看所有的东西都是钉子。”

    3、大数据的应用领域

    综合来看,未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好,大多数大数据案例和预算将发生在这三个领域。

    商业智能论

    (1)商业智能

    商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

    过去几十年,分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题:“某某人本季度的销售业绩是多少?”(基于结构化数据),但如果涉及决策和规划方面的问题,由于不能快速处理非结构化数据,传统的BI会非常吃力和昂贵。 大多数传统BI工具都受到以下两个方面的局限:

    首先,它们都是“预设-抓取”工具,由分析师预先确定收集什么数据用于分析。

    其次,它们都专注于报告“已知的未知”(Known unknowns),也就是我们知道问题是什么,然后去找答案。(而大数据会给出一些未知的未知,也就是你没有想到的一些问题的结果) 传统BI工具主要用于企业运营,侧重于成本控制和计划执行报告。

    而大数据技术最主要的功能/应用是ETL(Extract、Transform、Load)。将近80%的Hadoop应用都与ETL有关,例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。

    今天计算和存储硬件变得非常便宜,配合大量的开源大数据工具,人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说,低廉的计算资源正在改变我们使用数据的方式。 此外,处理性能的大幅提高(例如内存计算)使得实时互动分析更加容易实现,而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。 未来几年,随着企业间的兼并和新产品的不断推出,传统的BI工具将与大数据分析并存。

    (2)公共服务

    大数据另外一个重大的应用领域是社会和政府。如今,数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

    今天,城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题,而城市,也正是大数据计划的绝佳实验室。以纽约这样的大都市为例,政府公共数据公开化、以及市民生活的高度数字化(购物、交通、医疗等)等都是大数据分析的理想对象。

    客观的市政数据,是消除争端,维系社会稳定的最佳纽带。当然,前提是让公民能够访问这些数据同时,保护好公民的隐私性和数据的安全性。当然,我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受(数据可视化)。

    伴随着各国政务的数字化进程,以及政务数据的透明化,公民将能准确了解政府的运作效率。这是不可逆转的历史潮流,同时也是大数据最具潜力的应用领域之一。

    (3)市场营销

    大数据的第三大应用领域是市场营销。具体来说,有利于促进消费者与企业之间的关系。(卖得更多、更快、更有效率) 今天,最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。

    如今,企业与客户之间的接触点也发生了翻天覆地的变化,从过去的电话和邮件地址,发展到网页、社交媒体账户等等。在这些五花八门的渠道里跟踪客户,粉丝和流量变现的年代,每一次阅读、转发对企业来说,都是一种推广行为,间接也可能促成企业产品交易。

    二、云计算

    1、云计算的定义

    美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

    云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

    2、云计算特点

    云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

    好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

    被普遍接受的云计算特点如下:

    (1) 超大规模

    “云”具有相当的规模,企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

    (2) 虚拟化

    云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。

    (3) 高可靠性

    “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。

    (4) 通用性

    云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。

    (5) 高可扩展性

    “云”的规模可以动态伸缩,满足应用和用户规模增长的需要。

    (6) 按需服务

    “云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

    (7) 极其廉价

    由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

    云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。

    (8) 潜在的危险性

    云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别像银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要前提。

    2、云计算特点

    云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

    好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

    被普遍接受的云计算特点如下:

    (1) 超大规模

    “云”具有相当的规模,Google云计算已经拥有100多万台服务器, Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

    (2) 虚拟化

    云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。

    (3) 高可靠性

    “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。

    (4) 通用性

    云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。

    (5) 高可扩展性

    “云”的规模可以动态伸缩,满足应用和用户规模增长的需要。

    (6) 按需服务

    “云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

    (7) 极其廉价

    由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

    云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。

    (8) 潜在的危险性

    云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别像银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要前提。

    4、云计算环境作为大数据处理平台

    (1)云计算环境中基本计算单元的分化

    企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台需要具有并行运算能力的软件系统。同时,当所有用户的数据全部放在云端时,虽然存储容量可以很方便地扩充,但面对大量用户同时发起的海量数据处理...

  • ?

    浅谈大数据技术与应用,关于什么是大数据大价值

    忆流年

    展开

    智能技术+健康管理时代应用基础

    智能手机+平板电脑;3G,4G,WIFI;传感器,蓝牙,NFC;用户和物联网设备的爆发性增长产生大数据,催生云服务。

    关键词——智能终端

    处理器:没有最快,只有更快。单核,双核,四核,八核。

    屏幕:没有最大,只有更大。手机到平板屏幕尺寸覆盖。

    功能:没有最强,只有更强。

    关键词——物联网

    传感技术的快速发展为各类检测与控制提供了可能。

    关键词——云计算与大数据

    云是互联网的一种比喻说法。狭义的云计算指的是通过网络以按需,易扩展的方式获得所需的资源;广义云计算指通过网络以按需、易扩展的方式获得所需服务,它意味着计算能力也可以作为一种商品通过互联网进行沟通。

    大数据的4个特点:

    第一,数据体量巨大。从TB级别,跃升到PB级别;

    第二,数据类型繁多。网络日志,视频,图片,地理位置信息等;

    第三,截止密度低,商业价值高;

    第四,处理速度要快。

    大数据的价值

    2010年

    肯尼斯库克尔发表大数据专题报告《数据,无所不在的而数据》。库克尔在报告中提到:“世界上有着无法想象的巨量数字信息,并以极快的速度增长。从经济界到科学界,很多放啊面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创作了一个新词汇:大数据。”

    2013年

    互联网巨头纷纷发布机器学习产品,IBM Waston系统,微软小冰,苹果Siri,标志着大数据进入深层价值阶段。

    2015年

    Computing Research(计算研究)发布(2015年大数据市场评论),该评论发现在过去的一年中,没有将大数据和大数据分析集成到其运营的过程的企业的比例从33%降到了16%。大数据开始作为企业决策的重要支撑,在商业市场上发挥着巨大价值。

云计算中的大数据技术与应用

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP