分析和存储是大小企业的两个重要挑战。首先，大数据量的大幅度增长。经济，安全地存储这些数据是云计算机组织的首要任务之一。这引起了雇用熟练数据分析师，数据工程师和所有数据科学家的趋势。除了数据科学家必须拥有的各种技能，如分析，统计和编程，他/她也应该在组织存储数据的较新平台上工作。

数据科学与云计算的重要性

数据科学和云计算本质上是并行的。数据科学家通常分析存储在云中的不同类型的数据。随着大数据的增加，组织越来越多地在线存储大量数据，并且需要数据科学家。我们来看看数据科学家可能在云中工作的数据类型：

查看各种数据集，不论大小，格式等。

查看结构化，半结构化和非结构化数据

分析它们以获取见解

然而，这种数据的问题是，它经常处于不同的孤岛。鉴于存储现在便宜得多，开源平台和工具可用于数据科学家，云是关键。

云计算和数据科学家？

云计算可以帮助数据科学家使用诸如Windows Azure之类的平台，可以免费获得编程语言，工具和框架以及费用。

数据科学家通常很乐意使用MapReduce工具，如Hadoop来存储数据，以及检索工具，如Pig和Hive。他们还使用其他语言，如Python和Java来编写程序。

通常，可以看出，数据科学家使用两种类型的工具 - 开放源代码工具，如R，Python，Hadoop框架和几种可扩展的机器学习工具，以及其他更多的商业可用的工具，如MS SQL，Tableau，Oracle RDB和的BusinessObjects。

鉴于数据集的大小和工具和平台的可用性，了解云不仅对数据科学家是相关但至关重要的。

物联网

据Gartner介绍，到2020年，物联网将有大约260亿台设备。想像一下这种互连产生的数据。其中大部分将在云端可用。因此，需要灵活性，多个处理系统和不同的数据集，数据科学与云计算有着密切的关系。

数据科学家薪资

数据科学家是大数据和分析工作中最受追捧的人之一。与其他职业的简单比较可以让您清晰地了解事情的变化。

鉴于数据科学家所需的技能是广泛的，而且显然缺乏这种技能，所以赔偿是非常有竞争力的。根据Burtch Works的一项调查显示，3年以下工作经验的数据科学家的平均工资可能约为90,000美元，而在管理层面，这个数字科学家的平均工资可能高达16万美元。数据科学家在管理层面的薪酬比中级大数据专业人员更具竞争力，进一步重申数据科学家有一个光明的未来。

数据科学与云计算的未来

在组织投资最多资源两个方面保持盈利的时候，其中包括大数据，并确保数据保持在云中。处理数据并将其转移到云组织可以带来两个好处，包括处理大量数据以进行决策，并降低总体基础架构成本。在这两个领域的巨大需求和数十亿美元的投资都在这里留下来。

开动你的脑筋，有任何意见请在下方评论，或者去大数据学习交流8群640193172讨论，欢迎你的加入！

最近几年的时间里，云计算可以说是互联网科技领域中一个闪亮的新星。凭借灵活的配置、超高的资源利用率，目前已经成为颠覆互联网行业的重要工具之一。

在这里，我们可以看到市面上已经出现了云计算的全方位共振。目前，在云计算的加持下各行各业都开始进入火速的增长期，因此各大产业也开始出现较大的改变。

云计算、大数据、AI 相辅相成

相关人士指出，目前的互联网市场中云计算、大数据、AI正处于相辅相成的阶段。三者紧密结合，缺一不可。因此，在当下的时代背景中人工智能也开始逐渐取代人类的很多工作。诸如目前出现的无人银行、无人超市等。人工智能是建立在大数据基础上，而云计算也为大数据提供了保障。所以，专家表示，三者处于紧密结合的关系。

未来将持续爆炸式发展

目前世界各国开始进行5G网络的搭建和研究。其中，部分手机产品已经初步具备了5G网络的功能。由此我们可以猜想，未来在互联网和移动互联网发展的同时，人工智能和大数据、AI必然会呈现新一轮的改变。

对于这三者来说，市场的发展已经催化了改变。未来必然会迎接井喷式发展。

导读：“夫风生于地，起于青苹之末，侵淫溪谷，盛怒于土囊之口，……”随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

DT时代，未来已来——数据“大爆炸”

首先要明白大家为何从前几年开始谈大数据了？这是一个基本问题，包含着对当下数据现实的基本认识。一个不可忽视的事实是，随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

数据“大爆炸”

对于如此巨量数据（而且单纯的增量数据都是一个巨量），与之相关的存储、分析、流转、使用到交易等等环节产生了一系列关联的问题，而在当下的时间节点，我们不得不明确面对，而不仅仅是先找个地方把数据存起来。

国家信息中心专家委员会主任宁家骏表示：大数据是指无法在一定时间内使用传统数据库软件工具对其内容进行抓取、管理和处理的数据集。大数据不仅仅是大，还有它的复杂性和沙里淘金的重要性。

以上是宁家骏从技术分析角度对数据与大数据做的区分，传统软件处理的数量主要是结构化数据，而且数量上相对小。当规模大到需要新的技术方案的时候，那正是我们重新认识它的时候。

在云联星空看来，大数据有两大特点，一是数据来源多源，包括各种结构化数据和非结构化数据，如网络日志、视频、图片、地理位置信息等等，同时数量相对巨大，大数据中的‘大’本身就是一个相对的概念；二是数据处于“on line”即在线的状态，能够随时被吸取和关联，并进行分析。

一般来讲，更多智能硬件和这能设备的加入，更多数据实时产生，于是就需要大数据技术来实现对数据信息的价值挖掘。大数据技术包括了数据采集，数据存取，基础架构，数据处理，统计分析，数据挖掘，模型预测，结果呈现等八个方面。

而以上几个方面都离不开云平台和云计算能力，比如说数据采集之后的数据存储，现在很多非核心敏感数据都可以存储在云端；数据挖掘也是需要通过云计算和机器学习才能实现。那什么才是云计算呢？

云计算——低成本部署、随需使用的计算大脑

所谓云计算，非常教科书的说法是“能通过网络访问可扩展的、灵活的、可共享的物理或虚拟资源池，并按需自助获取和管理这些资源的模式。其中资源实例包括服务器、操作系统、网络、软件、应用和存储设备等。 ”

从以上概念可以看出其包括软件、硬件等资源，简单说云计算有三层云平台，第一个是Iaas（Infrastructure as a Service），基础设施即服务，以前这些资源都是企业固有资源，现在可以不再拥有，通过平台服务商提供，减轻部署成本；

第二个是Paas（Platform as a service），平台即服务，开放式的API可以由合作方提供行业和内容的服务；

第三个是SaaS（Software as a service），软件即服务。比如我们经常使用的手机APP等；

云计算有一个很重要的特点和优势就是资源池化，就是把Iaas，Paas，Saas层的资源（CPU、存储、网络等）放入到资源池中(云服务器)，由云服务器进行集中管理。云计算里所有的服务都是通过资源池里的资源而提供的。

那如何理解大数据与云计算的关系？

人工智能、深度学习，这些都是二十年前就有的技术，但是二十年前没有大数据，没有可以关联的数据。所以大数据的故事从有了关联才真正开始。那如何应用大数据?首先要了解数据的生命周期。“布点”、“收集”、“存储”，这些是前端，之后需要对数据做“识别”、“关联”、“分析”。还有一个能把整个过程包起来的，就是“实时刷新”。这就是数据的生命周期，它是一个闭环。不管你怎么使用大数据，你首先要了解这个周期。所以，要从整体视角来观察大数据和云计算，而不能因为其中一个而偏废其他，总体来讲，大数据技术与云计算都是很有效的工具手段，有待人们去不断挖掘。

历史规律告诉我们，任何一次大型技术革命，早期人们总是高估它的影响，会有一轮一轮的泡沫；中期又会低估它的影响，觉得不过是些概念而已；当你觉得它是概念的时候，它已经开始生根发芽，开始茁壮成长。”

随着云技术和互联网的不断发展，云计算技术跟随互联网的脚步不断发展起来，现在越来越多的企业加入到了云计算的开发当中。就国内云计算产业来说，近些年在云计算的学术领域、技术应用领域多诸多方面都进行了非常多的探索和尝试，现在我国的云计算技术已经发展到了一定的阶段。

那么云计算跟VR、AR、AI等那些更有前景呢？对此有网友表示称，也就大数据就目前来说还可以，应用广，有实际的意义。AI现在说还是太早了，人类现在的智能水平不足以发明出像人类一样思维，意识，自我的人工智能，但是发明出简单交流，或者自动驾驶，自动回复的智能体是肯定没问题的，人类无法认知的智能体会在未来五年内出现吧，但是真正的人工智能，个人观点21世纪不可能，欲望，自我，学习的能力这些不是机器简简单单就能学来的。

AR、VR偏炒作，但是确实有应用价值，这一块还是主要看外部设备的发展，现在总说内容不够，个人观点我内容一堆，你非得连着根儿线，我怎么玩？我怎么移动跳跃？自由自在的活动？当vr像素达到8k，他将有质的飞跃，我身处行业中，只是个小白，但我真是觉得希望渺茫，需要大量的时间，和金钱，可能我层次太低吧。

其实关于谁更有前途早在几年之前就有了相关的争论，不过直到今天也没有分出一个胜负，所以理性看待就好。

去年，阿里云将中国的计算方式推向全球，百度首次向全社会展示了百度大脑的科技成果，移动互联网的迅速崛起，预示着互联网正在逐步进入到智能时代，云计算、大数据、人工智能的进步将推动人类社会迎来变革性的发展。

无论是计算机产业，还是其他制造领域，技术层面的成熟都是推动行业飞速发展的基础。如果在一个新的技术创新时代，在硬件和软件上没有达到产业的要求，时代的产业基础将变得十分薄弱，而从产业政策角度分析，当技术累积到一定程度时，产业政策的出台也会变成一种必然。

就像为了刺激云计算的发展，国务院相继出台了《关于促进云计算创新发展培育信息产业新业态的意见》、《云计算白皮书2016》等，当然国务院出台这些政策绝非偶然，是在其背后众多云计算相关从业者共同努力的结果。

作为云计算运行的基础，大数据主要来源于政府、企业和消费者三个方面。政府对数据进行授权，但由于法制的不健全，政府数据被大量滥用，消费者的数据在流量入口处被自动抓取，数据提供商可以提供所有维度的数据，但并不是全部。

中国有高达7亿的大规模网民群体，每人每时每刻都在产生着数据，中国的数据市场还远远没有达到平衡点，未来还将继续保持高速增长的态势，另一个方面，企业经济增长模式的改变，也使得企业对大数据应用的需求在不断提高，更加强调数据的专业性和实用性。

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。