大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

这件事起源于2016年11月，马云在浙商大会提出了一个很惊人的观点，那就是”未来计划经济将会越来越强大”，他认为未来三十年内，市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

我们坚信，中国目前的繁荣盛况是离不开改革开放和市场经济的，但随着科技的发展，互联网大数据以及人工智能等技术的日益成熟，仿佛也给了我们更大的勇气和信心在经济领域有所作为。

现在有一种很超前的观点，认为在大数据时代，经济集体和个体之间的联系更加密切，人们对数据进行计算和再加工的能力也远远超出了以前，而且对世界的认识水平也会有全新的提升，这也意味着，大数据技术能够让我们对经济领域的事物进行更加科学准确地评估，在这种情况下，市场经济的优势可能并不能超越计划经济。

计划经济体系的缺陷在于，在一个人口众多的社会，没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求，并按需生产和分配，个体需求必然会被压抑，不会被及时满足，票凭经济就是一个很好的体现。

市场经济体系的巨大缺陷在于，个体需求无法通过市场机制汇聚成整体，供求必然出现极大偏差，导致资源浪费。

事实上，在上世纪七十年代，苏联在研究计划经济方面已到了相当的高度，苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》，对资源最优分配理论做出了卓越贡献，获得1975年诺贝尔经济学奖。理论上，康氏的研究可以实现全社会范围的资源最优分配和利用，即在现有资源条件下，全社会能够以最小的劳动消耗，获得最大限度的生产量，由此得出的生产计划叫最优计划。

1990年，笔者第一次赴苏联，那时候苏联尚未解体，还不叫俄罗斯。第一次在饭堂吃饭的时候，特意观察过他们的餐具，印证了老前辈所讲过的苏联计划经济典型案例，苏联对民用工业产品有一种变态的价格限制，一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比，玻璃杯5戈比，一个官窑的瓷盘子只要8戈比。

不过，苏联式的计划经济最后还是失败了。苏联在第十个五年计划（1976-1981年）期间，每年要报废10-20%的工业品，积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划，苏联的计划经济显示出巨大的缺陷，到了80年代末，苏联形成了极度的军工经济特征，军品占机器制造业的80%以上，军事支出占国民总产值28%。经济结构失衡，工业技术工艺落后，苏联人民饱受食品和生活物资短缺的痛苦，经济接近崩溃。

苏联的失败表明，以上世纪的组织和技术能力，要对整个国民经济进行精确的指令性计划管理，就是超大型计算机可能也无能为力。

但是，进入新世纪以后，由于人类的计算能力以几何速度递增，一切美好的计划都开始变的可能起来。

近些年，由于计算机、软件和网络技术的进步，出现大数据，共享数据，云统计，云计算。人们可以对订单、消费和物流进行精确统计和安排，这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划，而不是政府指令性计划。

互联网、人工智能和大数据，解决了计划经济所需要的技术支持。有了互联网技术的大规模应用，使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

那么问题来了，在互联网大数据以及人工智能技术风起云涌的时代，计划经济真的可能卷土重来吗？

这是一个人人谈"云"、"大数据"的时代，作为一个IT民工，如果与同行间聊天时，不谈及这方面的内容，有人可能会觉得你落伍了，跟不上这个时代了。既然云计算是一个这么火热的概念，那么云计算到底是什么？纵观整个计算机与互联网的发展史，任何一项新技术的能得以快速发展，那么这一项新技术必将能改变人们的生活方式，或是能够很大程序的影响人们的生活。如智能手机、平板电脑的出现等？

对此有网友表示称，很显然，三者缺少哪一方都不能开创一个智慧时代。而且不光是这三者，物联网、边缘计算、量子计算，甚至认知科学等等都要参与进来。

有的人说大数据拥抱云计算，有的人说云计算拥抱大数据，也有的人说人工智能需要大数据，大数据需要人工智能，等等。其实每一种说法都是有道理的，就像理论和技术是相辅相成一样，技术和技术之间也存在互相结合。

云计算、大数据、人工智能等等，每一个理论或者说技术，都不是单纯的理论或者技术，而是一个长长的产业链。拿物联网举例，分为感知层、网络层和应用层。每一层又需要各种设备和技术来支撑。未来的时代是需要各种理论和技术共同来开启的，未来的时代也是整合的时代。就像没有一家公司可以做到样样精通一样，也没有一种技术就足够了。所以说做研究或者说做企业，把其中的一个节点做到最高，做到最好，就已经是一件很了不起的事情了。

云计算和大数据有什么区别呢？关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。

大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。

云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用，在云计算领域目前的老大应该算是Amazon，可以说为云计算提供了商业化的标准，另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系)，开源的云平台较有活力的就是Openstack了。

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化较强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧

什么是大数据？

分析是一种使用哪些数据模式可以被理解和性能量化来做出决策的方法。为了实现这种编程，使用了统计和研究。最终目标是帮助做出更多基于数据而不是直觉的决策。这是因为基于证据或数据的决策被认为更可靠。

大数据与传统上称为分析的内容分开的主要区别是什么?差异在于现在可以轻松获取的数据量，数据与各种数据点一起整理的速率。

1.数据量 - 每40个月创建的数据量翻倍。目前的数据创建速率在每天2.5艾字节的范围内。换句话说，二十年前互联网上可用的数据量在今天的任何特定时间都在互联网上传播。这些数据发布于2013年哈佛商业评论出版物。

2.数据速度 - 收集的数据量不如今天收集数据的速度重要。只要公司能够实时处理大量数据，公司就具有竞争力。其中一个最大的例子是麻省理工学院媒体实验室使用基于位置的数据收集来查找黑色星期五在梅西停车场的购物者数量。唯一的目的是甚至在销售结束之前估算销售额。这种数据让分析师占上风。

3.数据多样性 - 据我们所知，大数据来自各种来源，但其中最突出的数据包括来自手机的GPS信号，以及社交网络平台上发布的消息，图像和更新。大多数这些大数据来源都是新的。 Facebook和Twitter等社交网络分别于2004年和2006年开始，而iPhone仅在2007年发布。因此，今天新开发的数据库非常不适合存储大数据。然而，诸如带宽，存储器，处理和存储的计算元件逐渐变得更便宜。

什么是云计算？

云计算是一种利用大规模低成本运算单元通过IP网络相连而组成的运算系统，以提供各种运算服务。

云计算将为处理大型复杂并行数据集的即将到来的复杂性提供答案。这是因为云计算具有处理需要大量计算能力的大数据所需的灵活性和灵活性。云计算也是处理结构化和非结构化数据的最佳平台。

云计算发源于搜索引擎平台，互联网企业在创业阶段出于追求低成本高效能的考虑开发出一种计算技术，目前已成为提供各种互联网服务的重要平台。

大数据Hadoop与云计算openStack一起不仅仅是当今时代的要求，而是一种必需品。

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

云计算是什么？云计算与大数据要学啥？云计算的虚拟空间无限大，物联网和互联网产生的大量数据，要找一个地方集中存储和处理，就要用云来存储。比如我们平时手机或电脑存储空间不够的情况下，会把一些图片及视频存在云盘，云端。

云计算，简单说就是把你自己电脑里的或者公司服务器上的硬盘、CPU都放到网上，统一动态调用，现在最有名的云计算服务商是亚马逊的AWS。以前你要玩最新的大型3D游戏或者做了个大型3D动画需要渲染，首先想到的都是重新买一台更高配置电脑或者换个显卡等；

有了云计算之后，你只需要一台显示器，连到服务商的云计算平台上，如果想玩两天新游戏，就单独购买这两天的高配CPU和显卡，只付两天的钱，玩腻了就恢复成普通的配置；如果你今晚要做大量渲染，就买今晚几个小时的高配，第二天早上拿到成片，就可以恢复原来的配置。所有这些计算和渲染工作都在云计算服务商的数据中心统一完成，你只需要按小时甚至按分钟计费，不用再自己买电脑和服务器了。做云计算的服务商都会自建数据中心。

大数据，简单说，就是把所有的数据放到一起分析，找到关联，实现预测。这里的所有数据对应的是之前的抽样调研取得的部分数据。比如传统的市场调研方法，就是去大街上或者网上发问卷，能得到成百上千份结果就很不错了，或者邀请几个典型用户到会议室访谈一下；大数据的做法是把收集所有人的数据进行分析，把每个人都当做独立个体进行分析，而不是找群体特征。大数据的结果就是更精准，更细致，更个性化。

再比如我们经常会看一些现代谍战片，侦察部如何找到罪犯？就是通过全城监控录像，在海量数据中搜索一个人的面孔，犯罪分子只要出现在监控中都会保留一条数据及位置，从而更好地实施下一步方案，大大提高破案效率。这也是企业为什么在极力追捧云计算大数据技术。再比如京东、淘宝、今日头条、新浪、百度、网易、等购物网站，就是采用这种技术。今天看过或搜过的，下次再打开就会主动推送什么类型的文章。

简单的说大数据就是超级存储的意思，海量数据上传到云平台后，大数据就会对数据进行深入分析和挖掘。在在各行各业均存在大数据。比如天气预报，气象中心会通过卫星发送回气象局无数条关于空气温度、湿度、密度、空气微粒等的数据，运用大数据技术，从而分析判断出这些数据。得出天气状况、空气质量、温度及风量。再比如将几千辆车的数据位置信息综合起来分析出某条路的拥堵状况。大数据必须有云作为它的基础架构，才可以推广并体现出强大的实用价值。云计算和大数据是相辅相成的。