物联网，云计算，大数据是近两年科技、产业界的热门话题。分别什么意思？之间又有什么关系呢？很多人也非常感兴趣，经过学习了解，查阅资料，一点浅显认识和总结与朋友们分享。

物联网

简单理解：物物相连的互联网，即物联网。物联网在国际上又称为传感网，这是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。世界上的万事万物，小到手表、钥匙，大到汽车、楼房，只要嵌入一个微型感应芯片，把它变得智能化，这个物体就可以“自动开口说话”。再借助无线网络技术，人们就可以和物体“对话”，物体和物体之间也能“交流”，这就是物联网。随着信息技术的发展，物联网行业应用版图不断增长。

现在的物联网产业以应用层、支撑层、感知层、平台层以及传输层这五个层次构成。

云计算

云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够快速提供，只需投入很少的管理工作，或与服务商进行很少的交互。

经典应用案例：苹果icloud

苹果icloud不仅是一个云端硬盘，它可让你轻松访问你所有苹果设备上的一切内容，并自动同步所有设备中的文件、图片、音乐、日程表、邮件、联系人目录，更贴心的是，在你修改文件后还能自动将修改同步到所有苹果设备并对旧文件备份。你可以选择免费的5G存储空间，也可以每年花费24.99美元购买iTunes Match服务，这样一来，你可以通过任何苹果设备收听存放在苹果云服务器中的音乐。

大数据

大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

物联网和云计算的关系

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据与云计算的关系

大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据、云计算和物联网的关系

物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层(数据海洋)，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网则推动了大数据的发展。

2013~2014年的科技热词是“大数据”，2014~2016年的科技热词是“云计算”，2016~2017年的科技热词是“AI”即“人工智能”,这些科技感十足的词语一定让你一脸懵逼。今天小编就为你们解释一下三个热词的含义。

大数据定义是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。对于云计算，则是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。借用大数据云计算关系一文中的直白介绍就是云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。从结果来分析，云计算注重资源分配，大数据注重的是资源处理。一定程度上讲，大数据需要云计算支撑，云计算为大数据处理提供平台。

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据这个强大的数据库拥有三层架构体系，包括数据存储、处理与分析。简而言之，数据需要通过存储层先存储下来，之后根据要求建立数据模型体系，进行分析产生相应价值。这其中缺少不了云计算所提供的中间数据处理层强大的并行计算和分布式计算能力。云计算与大数据如同手心手背的关系，二者不可或缺，相辅相成。没有大数据，云计算什么都不是，而没有云计算成就不了大数据。

16年谷歌AlphaGo大败围棋世界冠军的新闻刷爆各大媒体以及朋友圈，带给了世人无限的科技幻想，同时引来了无数人对未来机器取代人类的担忧。阿尔法围棋（AlphaGo）其实只是是一款围棋人工智能程序。其主要工作原理是“深度学习”，以及神经网络、蒙特卡洛树搜索法等。“深度学习”是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。这就像生物神经大脑的工作机理一样，通过合适的矩阵数量，多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样。

由此可见人工智能需要经过学习“大数据”才能智能，而大数据需要依托“云计算”才能被存储和计算。从产品的角度讲，人工智能是一个实现某种功能的产品，而大数据是产品软件，云计算是产品硬件。未来，通过“云计算”处理的“大数据”将成就“AI”。

当下的互联网领域，云计算、大数据、人工智能成为最热词汇。互联网da咖阿里云“为了无法估算的价值”将中国的计算触角伸向海外，百度首次向外界展示“百度大脑”的科技成果。移动互联网利用人口红利带来的增长已经逐渐见顶，互联网正在进入“下一幕”智能时代，科多大数据带大家来看看，云计算、大数据、人工智能将怎么使全社会迎来变革性的发展。

无论是计算机行业，还是汽车领域，技术形态的成熟是一个必然的要素。如果某个所谓的时代在技术上、硬件上没有达到产业的要求，数据库和平台都是非完整和非稳定的，时代的产业基础也就十分薄弱。从产业的政策角度分析，当技术累积到一定层次，产业政策的出台是必然的。为了激活云计算的发展，国务院在2015年就出台了《关于促进云计算创新发展培育信息产业新业态的意见》、《云计算白皮书2016》等，这些政策的出现并非偶然，在其背后有很多云计算服务商多年默默的技术耕耘。

技术和政策的形态达到一定的地步，真正的产业化和市场化是否也已经达到？

等待入局者必须考虑几个重要因素：

一、目的是什么(为了降低成本、提高效率，还是在渠道上更接近用户);

二、企业是否愿意使用(产品同质化严重，如何体现差异化);

三、是否有助于提高社会福利(消费者福利、管理效率)。

如果这些问题得到肯定的答案，云计算与时代的发展需求相契合，真正的时代大门就会开启。

大数据本身除了要有数据、采集、汇聚一定量的数据之外，更重要的是数据的处理、挖掘、分析、可视化、应用这样一整套的过程。

关于大数据的话题，基本围绕三个问题展开：

一是数据从哪里来；

二是数据如何进行分析；

三是数据如何进行商品化。

任何大数据都是以应用为主的，在未来，通过多维度、多复合的大数据的精准挖掘，最终提供出优质的商务解决方案才是最关键的。

数据的三个来源分别是政府、企业行业和个人消费。

政府数据做了授权，但由于法律和其他方面的不健全，政府数据被滥用。消费者数据来源于电信、金融或类似BAT大企业，流量入口处的数据将被自动抓取，数据提供商可以提供所有维度的数据，但每一个都是局部。数据优化商在大数据产业链里要想长久发展，必须精通大数据的模型、算法以及数据特征，同时对行业及生态要有明显的敏感性。而算法提供商如果仅仅依赖单纯算法，未来将成为成长软肋。应用提供商最贴近客户、最熟悉客户需求，同时做的是最后的数据整合，在产业链上可能发展空间更大。

中国具有高达7.22亿的大规模网民群体，目前国内仅有3万个机柜，对比美国的3亿群体2.4万个机柜可以看出，中国的数据市场规模还远未达到平衡点，未来将保持高速增长的态势。另一个方面，由于企业客户运营模式的改革，企业的云化增加了对大数据及专业数据中心的需求。

未来云计算产业和大数据产业将呈现规模化发展趋势，市场红利可观，创新、服务、合作、技术将推动互联网科技企业走得更高、更远。大数据时代已经到来，想要快速掌握这门高薪前景的技术该如何学习呢？

Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力。

学习大数据处理需要的语言：

javaMR语言这种语言产生很早了，大家也或多或少的接触过，但是在大数据中使用已经有的原型进行构建庞大系统，是一种基本的选择。

Scala语言以java为基础的语言，和java很像，对任何想要进行大规模的机械学习或是建立高阶的算法，Scala是逐渐兴起的工具，善于呈现且拥有建立可靠系统的能力。

Hadoop在以java为基础的大数据处理当中，Hadoop为作一批数据处理，发展以java为基础的架构关键。相对于其他处理工具而言，Hadoop慢许多，但是无比的准确可被后端数据库分析广泛使用。

Kafka andStorm它是一个特别快速的查询信息系统，但是因为太快了在实施操作时会犯错，有时候会漏掉东西。

Pythom语言Python拥有R语言处理复杂数据的能力及更务实的语言特质，更简单和直观，在近几年的成长很快。在数据处理范畴内，通常在规模与复杂之间要有个选择，Python无疑当选。

学习一门课程，掌握好的学习方法至关重要，大数据云计算发展趋势非常好，现在学习好这门技术，未来的就业和选择会更多。

云计算是什么？云计算与大数据要学啥？云计算的虚拟空间无限大，物联网和互联网产生的大量数据，要找一个地方集中存储和处理，就要用云来存储。比如我们平时手机或电脑存储空间不够的情况下，会把一些图片及视频存在云盘，云端。

云计算，简单说就是把你自己电脑里的或者公司服务器上的硬盘、CPU都放到网上，统一动态调用，现在最有名的云计算服务商是亚马逊的AWS。以前你要玩最新的大型3D游戏或者做了个大型3D动画需要渲染，首先想到的都是重新买一台更高配置电脑或者换个显卡等；

有了云计算之后，你只需要一台显示器，连到服务商的云计算平台上，如果想玩两天新游戏，就单独购买这两天的高配CPU和显卡，只付两天的钱，玩腻了就恢复成普通的配置；如果你今晚要做大量渲染，就买今晚几个小时的高配，第二天早上拿到成片，就可以恢复原来的配置。所有这些计算和渲染工作都在云计算服务商的数据中心统一完成，你只需要按小时甚至按分钟计费，不用再自己买电脑和服务器了。做云计算的服务商都会自建数据中心。

大数据，简单说，就是把所有的数据放到一起分析，找到关联，实现预测。这里的所有数据对应的是之前的抽样调研取得的部分数据。比如传统的市场调研方法，就是去大街上或者网上发问卷，能得到成百上千份结果就很不错了，或者邀请几个典型用户到会议室访谈一下；大数据的做法是把收集所有人的数据进行分析，把每个人都当做独立个体进行分析，而不是找群体特征。大数据的结果就是更精准，更细致，更个性化。

再比如我们经常会看一些现代谍战片，侦察部如何找到罪犯？就是通过全城监控录像，在海量数据中搜索一个人的面孔，犯罪分子只要出现在监控中都会保留一条数据及位置，从而更好地实施下一步方案，大大提高破案效率。这也是企业为什么在极力追捧云计算大数据技术。再比如京东、淘宝、今日头条、新浪、百度、网易、等购物网站，就是采用这种技术。今天看过或搜过的，下次再打开就会主动推送什么类型的文章。

简单的说大数据就是超级存储的意思，海量数据上传到云平台后，大数据就会对数据进行深入分析和挖掘。在在各行各业均存在大数据。比如天气预报，气象中心会通过卫星发送回气象局无数条关于空气温度、湿度、密度、空气微粒等的数据，运用大数据技术，从而分析判断出这些数据。得出天气状况、空气质量、温度及风量。再比如将几千辆车的数据位置信息综合起来分析出某条路的拥堵状况。大数据必须有云作为它的基础架构，才可以推广并体现出强大的实用价值。云计算和大数据是相辅相成的。

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

炎炎夏日，为期3天的“云计算与大数据处理技术”正式开始。我有幸参加了学习，并有不小的收获。

课程的前两天是大数据处理方面的学习，所讲的算法、技术也是围绕着云计算展开的。杨老师在大数据方面确实是非常深的造诣，他对分布式存储、hadoop云计算应用、MapReduce、GFS、HDFS等重要知识讲得很透。如chubby是系统设计（相当于选老大），Bigtable是系统架构。。。。。。

当讲到Hadoop中两类节点控制，这个问题对于我这个基础不好的学员来说，听得不是很懂。但老师采用了一个公司管理的例子讲解，就非常明白了。他说Jobtracker是管理者，相当于公司的经理，jobtracker是执行的工人，经理只负责资源的调度，工人是干活儿的。这是小公司的架构，如果是大公司，可能要指定一个临时项目管理人员，这个比喻非常明白的了解了架构中的工作原理。

计算部分是在第3天讲，饶老师是云计算方面的专家大伽，他从云计算关键技术、公有云服务、私有云部署方案等角度讲起。

刚好有学员单位要布署私有云，老师详细讲了虚拟化、分布式存储、、资源池、虚拟机（VM）的用法等，很好的解决了布署中困惑。

再次感谢老师的精彩课程，希望学员们从中收获更多知识！

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。