中企动力 > 商学院 > 云计算是大数据吗
  • ?

    互联网大数据云计算如此厉害,计划经济会卷土重来么?

    Marmara

    展开

    这件事起源于2016年11月,马云在浙商大会提出了一个很惊人的观点,那就是”未来计划经济将会越来越强大”,他认为未来三十年内,市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

    我们坚信,中国目前的繁荣盛况是离不开改革开放和市场经济的,但随着科技的发展,互联网大数据以及人工智能等技术的日益成熟,仿佛也给了我们更大的勇气和信心在经济领域有所作为。

    现在有一种很超前的观点,认为在大数据时代,经济集体和个体之间的联系更加密切,人们对数据进行计算和再加工的能力也远远超出了以前,而且对世界的认识水平也会有全新的提升,这也意味着,大数据技术能够让我们对经济领域的事物进行更加科学准确地评估,在这种情况下,市场经济的优势可能并不能超越计划经济。

    计划经济体系的缺陷在于,在一个人口众多的社会,没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求,并按需生产和分配,个体需求必然会被压抑,不会被及时满足,票凭经济就是一个很好的体现。

    市场经济体系的巨大缺陷在于,个体需求无法通过市场机制汇聚成整体,供求必然出现极大偏差,导致资源浪费。

    事实上,在上世纪七十年代,苏联在研究计划经济方面已到了相当的高度,苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》,对资源最优分配理论做出了卓越贡献,获得1975年诺贝尔经济学奖。理论上,康氏的研究可以实现全社会范围的资源最优分配和利用,即在现有资源条件下,全社会能够以最小的劳动消耗,获得最大限度的生产量,由此得出的生产计划叫最优计划。

    1990年,笔者第一次赴苏联,那时候苏联尚未解体,还不叫俄罗斯。第一次在饭堂吃饭的时候,特意观察过他们的餐具,印证了老前辈所讲过的苏联计划经济典型案例,苏联对民用工业产品有一种变态的价格限制,一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比,玻璃杯5戈比,一个官窑的瓷盘子只要8戈比。

    不过,苏联式的计划经济最后还是失败了。苏联在第十个五年计划(1976-1981年)期间,每年要报废10-20%的工业品,积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划,苏联的计划经济显示出巨大的缺陷,到了80年代末,苏联形成了极度的军工经济特征,军品占机器制造业的80%以上,军事支出占国民总产值28%。经济结构失衡,工业技术工艺落后,苏联人民饱受食品和生活物资短缺的痛苦,经济接近崩溃。

    苏联的失败表明,以上世纪的组织和技术能力,要对整个国民经济进行精确的指令性计划管理,就是超大型计算机可能也无能为力。

    但是,进入新世纪以后,由于人类的计算能力以几何速度递增,一切美好的计划都开始变的可能起来。

    近些年,由于计算机、软件和网络技术的进步,出现大数据,共享数据,云统计,云计算。人们可以对订单、消费和物流进行精确统计和安排,这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划,而不是政府指令性计划。

    互联网、人工智能和大数据,解决了计划经济所需要的技术支持。有了互联网技术的大规模应用,使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

    那么问题来了,在互联网大数据以及人工智能技术风起云涌的时代,计划经济真的可能卷土重来吗?

  • ?

    让你秒懂物联网,云计算,大数据的关系

    燕丹翠

    展开

    物联网,云计算,大数据是近两年科技、产业界的热门话题。分别什么意思?之间又有什么关系呢?很多人也非常感兴趣,经过学习了解,查阅资料,一点浅显认识和总结与朋友们分享。

    物联网

    简单理解:物物相连的互联网,即物联网。物联网在国际上又称为传感网,这是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。世界上的万事万物,小到手表、钥匙,大到汽车、楼房,只要嵌入一个微型感应芯片,把它变得智能化,这个物体就可以“自动开口说话”。再借助无线网络技术,人们就可以和物体“对话”,物体和物体之间也能“交流”,这就是物联网。随着信息技术的发展,物联网行业应用版图不断增长。

    现在的物联网产业以应用层、支撑层、感知层、平台层以及传输层这五个层次构成。

    云计算

    云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够快速提供,只需投入很少的管理工作,或与服务商进行很少的交互。

    经典应用案例:苹果icloud

    苹果icloud不仅是一个云端硬盘,它可让你轻松访问你所有苹果设备上的一切内容,并自动同步所有设备中的文件、图片、音乐、日程表、邮件、联系人目录,更贴心的是,在你修改文件后还能自动将修改同步到所有苹果设备并对旧文件备份。你可以选择免费的5G存储空间,也可以每年花费24.99美元购买iTunes Match服务,这样一来,你可以通过任何苹果设备收听存放在苹果云服务器中的音乐。

    大数据

    大数据相当于人的大脑从小学到大学记忆和存储的海量知识,这些知识只有通过消化,吸收、再造才能创造出更大的价值。

    麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

    物联网和云计算的关系

    云计算相当于人的大脑,是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

    大数据与云计算的关系

    大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

    大数据、云计算和物联网的关系

    物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合,也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层(数据海洋),是互联网智慧和意识产生的基础。包括物联网,传统互联网,移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网则推动了大数据的发展。

  • ?

    “大数据”和“云计算”的区别与联系你说的出么?

    巫悲

    展开

    我们聊起“大数据”和“云计算”时,常常把这两个名词概念混淆,觉得就是一个词。又或者知道这两者是有区别的,却又不知从何说起。今天,我和大家一起聊一聊“大数据”和“云计算”的联系与区别。

    一、大数据

    1、大数据的定义

    著名的麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

    研究机构Gartner给出的定义是“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

    2、三个层面来了解大数据:

    其次,想要系统的认知大数据,必须要全面而细致的分解它,着手从三个层面来展开:

    (1)第一层面:理论

    理论是认知的必经途径,也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

    (2)第二层面:技术

    技术是大数据价值体现的手段和前进的基石。大数据从采集、处理、存储到形成结果的整个过程,都伴随着云计算、分布式处理技术、存储技术和感知技术的发展。(这里我们下文再系统说)

    (3)第三层面:实践

    从总统竞选到奥斯卡颁奖、从web安全到灾难预测都离不开大数据的参与,大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。正如那句俗语所言:“当你手上有一把锤子的时候,看所有的东西都是钉子。”

    3、大数据的应用领域

    综合来看,未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好,大多数大数据案例和预算将发生在这三个领域。

    商业智能论

    (1)商业智能

    商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

    过去几十年,分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题:“某某人本季度的销售业绩是多少?”(基于结构化数据),但如果涉及决策和规划方面的问题,由于不能快速处理非结构化数据,传统的BI会非常吃力和昂贵。 大多数传统BI工具都受到以下两个方面的局限:

    首先,它们都是“预设-抓取”工具,由分析师预先确定收集什么数据用于分析。

    其次,它们都专注于报告“已知的未知”(Known unknowns),也就是我们知道问题是什么,然后去找答案。(而大数据会给出一些未知的未知,也就是你没有想到的一些问题的结果) 传统BI工具主要用于企业运营,侧重于成本控制和计划执行报告。

    而大数据技术最主要的功能/应用是ETL(Extract、Transform、Load)。将近80%的Hadoop应用都与ETL有关,例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。

    今天计算和存储硬件变得非常便宜,配合大量的开源大数据工具,人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说,低廉的计算资源正在改变我们使用数据的方式。 此外,处理性能的大幅提高(例如内存计算)使得实时互动分析更加容易实现,而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。 未来几年,随着企业间的兼并和新产品的不断推出,传统的BI工具将与大数据分析并存。

    (2)公共服务

    大数据另外一个重大的应用领域是社会和政府。如今,数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

    今天,城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题,而城市,也正是大数据计划的绝佳实验室。以纽约这样的大都市为例,政府公共数据公开化、以及市民生活的高度数字化(购物、交通、医疗等)等都是大数据分析的理想对象。

    客观的市政数据,是消除争端,维系社会稳定的最佳纽带。当然,前提是让公民能够访问这些数据同时,保护好公民的隐私性和数据的安全性。当然,我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受(数据可视化)。

    伴随着各国政务的数字化进程,以及政务数据的透明化,公民将能准确了解政府的运作效率。这是不可逆转的历史潮流,同时也是大数据最具潜力的应用领域之一。

    (3)市场营销

    大数据的第三大应用领域是市场营销。具体来说,有利于促进消费者与企业之间的关系。(卖得更多、更快、更有效率) 今天,最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。

    如今,企业与客户之间的接触点也发生了翻天覆地的变化,从过去的电话和邮件地址,发展到网页、社交媒体账户等等。在这些五花八门的渠道里跟踪客户,粉丝和流量变现的年代,每一次阅读、转发对企业来说,都是一种推广行为,间接也可能促成企业产品交易。

    二、云计算

    1、云计算的定义

    美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

    云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

    2、云计算特点

    云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

    好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

    被普遍接受的云计算特点如下:

    (1) 超大规模

    “云”具有相当的规模,企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

    (2) 虚拟化

    云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。

    (3) 高可靠性

    “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。

    (4) 通用性

    云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。

    (5) 高可扩展性

    “云”的规模可以动态伸缩,满足应用和用户规模增长的需要。

    (6) 按需服务

    “云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

    (7) 极其廉价

    由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

    云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。

    (8) 潜在的危险性

    云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别像银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要前提。

    2、云计算特点

    云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。

    好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。

    被普遍接受的云计算特点如下:

    (1) 超大规模

    “云”具有相当的规模,Google云计算已经拥有100多万台服务器, Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

    (2) 虚拟化

    云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。

    (3) 高可靠性

    “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。

    (4) 通用性

    云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。

    (5) 高可扩展性

    “云”的规模可以动态伸缩,满足应用和用户规模增长的需要。

    (6) 按需服务

    “云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

    (7) 极其廉价

    由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

    云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。

    (8) 潜在的危险性

    云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别像银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要前提。

    4、云计算环境作为大数据处理平台

    (1)云计算环境中基本计算单元的分化

    企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台需要具有并行运算能力的软件系统。同时,当所有用户的数据全部放在云端时,虽然存储容量可以很方便地扩充,但面对大量用户同时发起的海量数据处理...

  • ?

    云计算好学么?大数据云计算学习路线

    孔涵菱

    展开

    云计算好学么?其实,小马过河的故事大家都读过,这云计算好不好学,还得看自身。有人说了,你这不是废话么?还真不是。其实我们不妨看看云计算到底是个什么东西。如今,云计算频繁出现在我们的视野,他是一种经由网络统一组织和灵活应用各种信息,通信,技术资源,来实现大规模计算的信息处理方式。

    云是网络、互联网的一种比喻说法。过去在往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式,指经由网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指经由网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品经由互联网进行流通。

    经由使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。不同在于,它是经由互联网进行传输的。辨析云计算常与网格计算、效用计算、自主计算相混淆。

    还是没有明白?没关系,打个比方,如果我们想在办公室或者公司的网站上运行一些企业应用,传统的方式是去租用一些服务器,存储设备,在上面部署操作系统,最后在上面部署应用,这种方式就是好像吃烧烤的时候,自己准备烤炉,木炭,酱料串好食材,动手烧烤,这样比较费力。

    实际上,我们在吃烧烤时,一般经由以下途径,第一种方法是串好串串去野营地租用烧烤炉子自己烤,这就像IAAS服务一样,直接使用商家提供的基础设施。第二种方法是到自助烧烤店里面,商家为你准备好烤炉和烤串,只需要你动手自己烤,这就好像PAAS服务一样,利用商家的平台。第三种方法是坐在餐馆点菜,这就好像SAAS服务一样,直接使用云服务商提供全套服务。这就是常见的云计算模式。

  • ?

    是大数据拥抱云计算还是云计算拥抱大数据

    Ivie

    展开

    这是一个人人谈"云"、"大数据"的时代,作为一个IT民工,如果与同行间聊天时,不谈及这方面的内容,有人可能会觉得你落伍了,跟不上这个时代了。既然云计算是一个这么火热的概念,那么云计算到底是什么?纵观整个计算机与互联网的发展史,任何一项新技术的能得以快速发展,那么这一项新技术必将能改变人们的生活方式,或是能够很大程序的影响人们的生活。如智能手机、平板电脑的出现等?

    对此有网友表示称,很显然,三者缺少哪一方都不能开创一个智慧时代。而且不光是这三者,物联网、边缘计算、量子计算,甚至认知科学等等都要参与进来。

    有的人说大数据拥抱云计算,有的人说云计算拥抱大数据,也有的人说人工智能需要大数据,大数据需要人工智能,等等。其实每一种说法都是有道理的,就像理论和技术是相辅相成一样,技术和技术之间也存在互相结合。

    云计算、大数据、人工智能等等,每一个理论或者说技术,都不是单纯的理论或者技术,而是一个长长的产业链。拿物联网举例,分为感知层、网络层和应用层。每一层又需要各种设备和技术来支撑。未来的时代是需要各种理论和技术共同来开启的,未来的时代也是整合的时代。就像没有一家公司可以做到样样精通一样,也没有一种技术就足够了。所以说做研究或者说做企业,把其中的一个节点做到最高,做到最好,就已经是一件很了不起的事情了。

  • ?

    云计算和大数据哪个发展前景好?

    龚以寒

    展开

    云计算和大数据哪个发展前景好?

    说实在话,二者之间都是未来的发展趋势,没有说那种好或者不好,根据你的兴趣,你未来的发展方向,来判断你想走那条路!

    大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

    整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

    在谈大数据的时候,首先谈到的就是大数据的4V特性,即类型复杂,海量,快速和价值。IBM原来谈大数据的时候谈3V,没有价值这个V。而实际我们来看4V更加恰当,价值才是大数据问题解决的最终目标,其它3V都是为价值目标服务。在有了4V的概念后,就很容易简化的来理解大数据的核心,即大数据的总体架构包括三层,数据存储,数据处理和数据分析。类型复杂和海量由数据存储层解决,快速和时效性要求由数据处理层解决,价值由数据分析层解决。

    数据先要通过存储层存储下来,然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合,让大数据最终产生价值。

    传统的BI分析通过大量的ETL数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的BI分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,BI分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。

    谈了这么多,核心还是想说明大数据两大核心为云技术和BI,离开云技术大数据没有根基和落地可能,离开BI和价值,大数据又变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是BI,大数据实施落地式云技术。

  • ?

    云计算是什么?云计算与大数据要学啥?

    梦安

    展开

    云计算是什么?云计算与大数据要学啥?云计算的虚拟空间无限大,物联网和互联网产生的大量数据,要找一个地方集中存储和处理,就要用云来存储。比如我们平时手机或电脑存储空间不够的情况下,会把一些图片及视频存在云盘,云端。

    云计算,简单说就是把你自己电脑里的或者公司服务器上的硬盘、CPU都放到网上,统一动态调用,现在最有名的云计算服务商是亚马逊的AWS。以前你要玩最新的大型3D游戏或者做了个大型3D动画需要渲染,首先想到的都是重新买一台更高配置电脑或者换个显卡等;

    有了云计算之后,你只需要一台显示器,连到服务商的云计算平台上,如果想玩两天新游戏,就单独购买这两天的高配CPU和显卡,只付两天的钱,玩腻了就恢复成普通的配置;如果你今晚要做大量渲染,就买今晚几个小时的高配,第二天早上拿到成片,就可以恢复原来的配置。所有这些计算和渲染工作都在云计算服务商的数据中心统一完成,你只需要按小时甚至按分钟计费,不用再自己买电脑和服务器了。做云计算的服务商都会自建数据中心。

    大数据,简单说,就是把所有的数据放到一起分析,找到关联,实现预测。这里的所有数据对应的是之前的抽样调研取得的部分数据。比如传统的市场调研方法,就是去大街上或者网上发问卷,能得到成百上千份结果就很不错了,或者邀请几个典型用户到会议室访谈一下;大数据的做法是把收集所有人的数据进行分析,把每个人都当做独立个体进行分析,而不是找群体特征。大数据的结果就是更精准,更细致,更个性化。

    再比如我们经常会看一些现代谍战片,侦察部如何找到罪犯?就是通过全城监控录像,在海量数据中搜索一个人的面孔,犯罪分子只要出现在监控中都会保留一条数据及位置,从而更好地实施下一步方案,大大提高破案效率。这也是企业为什么在极力追捧云计算大数据技术。再比如京东、淘宝、今日头条、新浪、百度、网易、等购物网站,就是采用这种技术。今天看过或搜过的,下次再打开就会主动推送什么类型的文章。

    简单的说大数据就是超级存储的意思,海量数据上传到云平台后,大数据就会对数据进行深入分析和挖掘。在在各行各业均存在大数据。比如天气预报,气象中心会通过卫星发送回气象局无数条关于空气温度、湿度、密度、空气微粒等的数据,运用大数据技术,从而分析判断出这些数据。得出天气状况、空气质量、温度及风量。再比如将几千辆车的数据位置信息综合起来分析出某条路的拥堵状况。大数据必须有云作为它的基础架构,才可以推广并体现出强大的实用价值。云计算和大数据是相辅相成的。

  • ?

    云计算跟大数据究竟有什么关系

    曹梦凡

    展开

    随着科学技术的迅速发展,人类开始进入大数据时代,云计算、大数据、移动互联网已成为时代三大主题,正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面,呈现出海量数据特征,在海量数据中蕴含着人类各种行为、心理信息。

    对此有网友表示称,常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法","云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题,我们可以通过小数据算法(口算),用单个计算机的计算(甚至计算器)完成计算。再想象一个复杂的问题,需要跨时间、跨空间计算的问题,比如"去年中国各行各业的生产总值,加上美国今年各行各业的生产总值是多少?"这个问题我们就需要通过大数据的分析或处理方法,用云计算完成。

    进一步说,要通过分析或处理各地各时段存储的各种数据资源,用互联网上(云)大量的计算机进行计算(计算)得出结果。这就是大数据、云计算。你可以通俗的理解为:大数据(分析或处理)是前台,云计算是后台。

    或者理解为:大数据(分析或处理)是软件方法,云计算是硬件设备资源。或者可以再直观的理解为:大数据就是人直接操作的界面(网页、软件或App),云计算就是这些网站、软件或App供应商提供的服务。

云计算是大数据吗

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP