随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

云计算，大数据是现下比较火的，两者之间互有关系，一般谈云计算的时候也会提到大数据。所以说感觉他们又相辅相成不可分割，如果是非技术的人员来讲可能比较难理解说这两者个之间的相互关系，所以有必要解释一下。

一、大数据时代，众人拾柴火焰高。

当数据量很小的时候，很少的几台机器就能解决。慢慢的当数据量越来越大，最牛的服务器都解决不了问题的时候，就想怎么办呢?要聚合多台机器的力量，大家齐心协力一起把这个事搞定，众人拾柴火焰高。

对于数据的收集，对于IoT来讲，外面部署这成千上万的检测设备，将大量的温度，适度，监控，电力等等数据统统收集上来，对于互联网网页的搜索引擎来讲，需要将整个互联网所有的网页都下载下来，这显然一台机器做不到，需要多台机器组成网络爬虫系统，每台机器下载一部分，同时工作，才能在有限的时间内，将海量的网页下载完毕。

对于数据的传输，一个内存里面的队列肯定会被大量的数据挤爆掉，于是就产生了基于硬盘的分布式队列，这样队列可以多台机器同时传输，随你数据量多大，只要我的队列足够多，管道足够粗，就能够撑得住。

对于数据的存储，一台机器的文件系统肯定是放不下了，所以需要一个很大的分布式文件系统来做这件事情，把多台机器的硬盘打成一块大的文件系统。

再如数据的分析，可能需要对大量的数据做分解，统计，汇总，一台机器肯定搞不定，处理到猴年马月也分析不完，于是就有分布式计算的方法，将大量的数据分成小份，每台机器处理一小份，多台机器并行处理，很快就能算完。例如著名的Terasort对1个TB的数据排序，相当于1000G，如果单机处理，怎么也要几个小时，但是并行处理209秒就完成了。

所以说大数据平台，什么叫做大数据，说白了就是一台机器干不完，大家一起干。随着数据量越来越大，很多不大的公司都需要处理相当多的数据，这些小公司没有这么多机器可怎么办呢?

二、大数据需要云计算，云计算需要大数据。

说到这里，大家想起云计算了吧。当想要干这些活的时候，需要好多好多的机器一块做，真的是想什么时候要，想要多少就要多少。例如大数据分析公司的财务情况，可能一周分析一次，如果要把这一百台机器或者一千台机器都在那放着，一周用一次对吧，非常浪费。那能不能需要计算的时候，把这一千台机器拿出来，然后不算的时候，这一千台机器可以去干别的事情。谁能做这个事儿呢?只有云计算，可以为大数据的运算提供资源层的灵活性。而云计算也会部署大数据放到它的PaaS平台上，作为一个非常非常重要的通用应用。因为大数据平台能够使得多台机器一起干一个事儿，这个东西不是一般人能开发出来的，也不是一般人玩得转的，怎么也得雇个几十上百号人才能把这个玩起来，所以说就像数据库一样，其实还是需要有一帮专业的人来玩这个东西。现在公有云上基本上都会有大数据的解决方案了，一个小公司我需要大数据平台的时候，不需要采购一千台机器，只要到公有云上一点，这一千台机器都出来了，并且上面已经部署好了的大数据平台，只要把数据放进去算就可以了。

云计算需要大数据，大数据需要云计算，两个人就这样结合了。

2017年新技术的数量一直很庞大的：云计算采用的速度比分析家预测的还要快，并因此带来了一些新的工具。人工智能进入到人们生活的各个领域;物联网和边缘计算的应用越来越广泛;一系列云原生技术已经实现。

今年，人们将看到云计算提供商更加重视进一步整合具有更高层次抽象的个性化服务。他们还将重点关注与人工智能、数据管理和无服务器相关的服务。这些解决方案将使开发人员和运营专业人员的工作变得更简单，并隐藏其固有的复杂性。但是，他们确实有着更大的锁定风险。

云计算实现了开发现代化和数据驱动型应用程序所必需的业务敏捷性，无论是创业公司还是大型企业。挑战在于人们不能忽视数据引力，因为许多数据源仍然存在于边缘或企业中。这加强了5G带宽，网络延迟，GDPR等新规定，并且越来越迫使企业将计算和存储放在更接近数据源的地方。

被称为“私有云”的IT供应商解决方案与真正的云计算无关，因为他们专注于自动化IT操作。他们不提供面向更高级别的用户和开发人员的服务，IT部门最终从几十个单独的开源或商业软件包中组装这些服务，添加通用的安全层、日志记录和配置管理等服务。这为云计算提供商和新的公司进入边缘计算和本地空间提供了机会。

在2018年，传统私有云市场将会萎缩，同时智能边缘将会有增长的势头。云计算提供商将增加或加强边缘产品，越来越多的公司将进入这个市场空间，在某些情况下，通过集成产品提供特定的垂直应用程序或用例。

说到现在的创新IT技术的时候，人们都会提到云计算和大数据。他们之间就像硬币的正反面形影不离。从应用角度上讲，云计算给大数据提供信息化的基础设施，更有效利用资源；从产业发展的角度上讲，运用云平台，每天可以处理大批量的数据，并对这些数据进行科学，快速，智能检索。未来，云计算和大数据还会不断的发展。

目前，我国的传统产业通过应用信息技术、核心技术，分析这些技术产生的数据，就能不断改进和优化组织战略，以此来提高整个市场的竞争力。这是云计算和大数据对于企业信息化以及产业推动的重要作用之一。对于一些新兴创业公司来说，采用大数据技术，能给他们公司提供旺盛的生命力。

全世界都在对云计算和大数据进行深入的研究，不仅限于提供信息服务。像苹果这样的国际公司，百度这样的大型企业，或是唯一网络这样的新兴企业，都在用新的方式和新的运行机制来建立新的企业战略。除此之外，大数据还把过去企业固定的经营模式，变成了可控的、适合时代发展变化的模式。利用云计算和大数据，很多创业者可以找到适合自己的风险投资和技术发展方向，为他们的发展指明道路。

如今我们能够看到，无论是从基础设施的布局，再到数据的挖掘，还是到传统IT公司的整合，都有大数据参与当中。因此，人们非常关心大数据能够如何帮助企业增加收入，降低成本，规避风险，以及能够创造出什么样的新业态。

各行各业的云计算和大数据价值已经渐现。举例说来，汽车运输行业可以通过对全世界轨道运输行业的数据进行分析，指引企业的经营决策与发展；在成本管理上，云计算和大数据的体现则细分到整个生产运营过程中间。每一个环节，每一个工序，都可以借助云计算和大数据来管理成本。

分析和存储是大小企业的两个重要挑战。首先，大数据量的大幅度增长。经济，安全地存储这些数据是云计算机组织的首要任务之一。这引起了雇用熟练数据分析师，数据工程师和所有数据科学家的趋势。除了数据科学家必须拥有的各种技能，如分析，统计和编程，他/她也应该在组织存储数据的较新平台上工作。

数据科学与云计算的重要性

数据科学和云计算本质上是并行的。数据科学家通常分析存储在云中的不同类型的数据。随着大数据的增加，组织越来越多地在线存储大量数据，并且需要数据科学家。我们来看看数据科学家可能在云中工作的数据类型：

查看各种数据集，不论大小，格式等。

查看结构化，半结构化和非结构化数据

分析它们以获取见解

然而，这种数据的问题是，它经常处于不同的孤岛。鉴于存储现在便宜得多，开源平台和工具可用于数据科学家，云是关键。

云计算和数据科学家？

云计算可以帮助数据科学家使用诸如Windows Azure之类的平台，可以免费获得编程语言，工具和框架以及费用。

数据科学家通常很乐意使用MapReduce工具，如Hadoop来存储数据，以及检索工具，如Pig和Hive。他们还使用其他语言，如Python和Java来编写程序。

通常，可以看出，数据科学家使用两种类型的工具 - 开放源代码工具，如R，Python，Hadoop框架和几种可扩展的机器学习工具，以及其他更多的商业可用的工具，如MS SQL，Tableau，Oracle RDB和的BusinessObjects。

鉴于数据集的大小和工具和平台的可用性，了解云不仅对数据科学家是相关但至关重要的。

物联网

据Gartner介绍，到2020年，物联网将有大约260亿台设备。想像一下这种互连产生的数据。其中大部分将在云端可用。因此，需要灵活性，多个处理系统和不同的数据集，数据科学与云计算有着密切的关系。

数据科学家薪资

数据科学家是大数据和分析工作中最受追捧的人之一。与其他职业的简单比较可以让您清晰地了解事情的变化。

鉴于数据科学家所需的技能是广泛的，而且显然缺乏这种技能，所以赔偿是非常有竞争力的。根据Burtch Works的一项调查显示，3年以下工作经验的数据科学家的平均工资可能约为90,000美元，而在管理层面，这个数字科学家的平均工资可能高达16万美元。数据科学家在管理层面的薪酬比中级大数据专业人员更具竞争力，进一步重申数据科学家有一个光明的未来。

数据科学与云计算的未来

在组织投资最多资源两个方面保持盈利的时候，其中包括大数据，并确保数据保持在云中。处理数据并将其转移到云组织可以带来两个好处，包括处理大量数据以进行决策，并降低总体基础架构成本。在这两个领域的巨大需求和数十亿美元的投资都在这里留下来。

开动你的脑筋，有任何意见请在下方评论，或者去大数据学习交流8群640193172讨论，欢迎你的加入！

云计算和大数据分析是近年来一个非常热门的话题，也是一个非常重要的技术。以大数据的出现，云计算为代表的技术创新，将在许多领域掀起一股改革的浪潮，并将逐渐为人类创造更多价值。云计算和大数据是近年来IT界最热门的话题，云计算改变数据架构，大数据改变商业企业运作模式，云计算大数据相互依托互相促进共同发展。在以云计算为代表的技术创新大幕的衬托下，它将在众多领域掀起变革的巨浪，大数据会逐步为人类创造更多的价值。

基于ICCCBDA 2016和2017年，成功2018第三届IEEE国际会议上的云计算和大数据分析（ICCCBDA 2018）将在期间举行的2018 4月20-22日，在 西华大学在 成都，中国 。ICCCBDA 2018是在云计算和大数据分析领域呈现新颖和根本性进展的领先国际会议之一。它也有助于促进在广泛的科学领域工作的研究人员和从业人员之间的沟通，共同关心改善云计算和大数据分析相关技术。

CCCBDA由四川电子学院，西华大学，西南交通大学和IEEE联合主办。有前两届会议的成功经验，2018年第三届IEEE云计算与大数据分析国际会议 将于2018年4月20日- 22日 在农历·成都·西华大学。举办本次会议由四川电子学会，西华大学，西南交通大学以及IEEE主办联合 会议旨在促进云计算与大数据分析等领域的学术交流与合作，热忱欢迎从事相关技术研究的专家，学者和专业技术人员踊跃投稿并参加大会。

ICCCBDA 2018会议已被列入IEEE会议日历/ ICCCBDA 2018被列入IEEE会议清单

ICCCBDA 201 7会议记录已被列入IEEE Xplore，并且Ei Compendex和Scopus结果可用。 ICCCBDA 2016 会议录在2016 年4月28 - 30日召开，6月份进入IEEE Xplore数据库，8月公布EI和Scopus 检索结果ICCCBDA 2016 Conference Conference已被列入IEEE Xplore，并被Ei Compendex和Scopus收录ICCCBDA 2016于2016年7月5-7号召开，2016年8月2日公布EI检索状语从句：SCOPUS 检索结果

出版检索：仔细审查过程后，所有录用论文正确注册和报告后，将刊登在2018 ICCCBDA 会议论文集， 由被索引 工程索引 和Scopus。 会议收录的文章将以论文集形式出版并提交EI收录和SCOPUS检索。文章作者将被邀请参展展示研究报告。

投稿截止日期：2018年1月10日

录用通知日期：2018年2月5日

注册截止日期： 201 8年 2月 20日

会议时间：2018年4月20-22日

会议地点：成都西华大学

整合是云计算的主要功能，无论你采取何种数据分析模型，还是运算方式，它都是通过将海量的服务器资源通过网络进行整合，以整理出有效的数据信息，并将其分配给各个目标客户，从而解决用户因存储资源不足所带来的问题。大数据则是数据爆发式增长所带来的一个全新的研究领域，对于大数据的研究，主要集中在如何对其进行存储和有效的分析，大数据是依靠云计算技术来进行存储和计算的。

云计算是大数据分析的前提

进入信息化时代之后，数据量在不断的增长，大部分企业都能通过大数据获得额外收益。在大数据分析的过程中，如果提取、处理和利用数据的成本超过了数据价值的本身，那大数据分析也就没有了利用价值，功能越加强大的云计算能力，就越能降低数据提取过程中的成本。

云计算能够过滤无用信息

对于大数据系统收集的所有数据来说，大部分数据都是没有利用价值的，因此需要过滤出能为企业提供经济效益的可用数据。云计算可以提供按需拓展的存储资源，可以用来过滤掉无用的数据，是处理外部网络数据的最佳选择。

云计算助力企业虚拟化建设

企业引入云计算系统，可以用信息来指导决策，通过将服务软件应用于云平台，还可将数据转化到企业现有系统中，帮助企业强化管理模式。上升到我国互联网整体发展层面，云计算与企业相结合将使得大数据分析变得更加简单，也成为推动企业虚拟化建设的重要手段，将使企业在全球市场更具竞争力。

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。