俺黑君够黑，慎关注！

物联网，云计算，大数据，人工智能是近两年科技、产业界的热门话题。分别什么意思?彼此之间又有什么关系呢?

一

物联网

1、什么是物联网?

物联网在之前被定义为通过射频识别(RFID)、红外线感应器、全球定位系统、激光扫描器、气体感应器等信息传感设备按约定的协议把任何物品与互联网连接起来进行信息交换，以实现智能化识别、定位、跟踪、监控和管理的一种网络，简言之物联网就是“物物相连的互联网”。

后来被重新定义为当下几乎所有技术与计算机、互联网技术的结合，实现物体与物体之间：环境以及状态信息实时的实时共享以及智能化的收集、传递、处理、执行。广义上说，当下涉及的信息技术的应用，都可以纳入物联网的范畴。

2、物联网的关键技术

嵌入式系统技术：是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。经过几十年的演变，以嵌入式系统为特征的智能终端产品随处可见;小到人们身边的MP3，大到航天航空的卫星系统。嵌入式系统正在改变着人们的生活，推动着工业生产以及国防工业的发展。如果把物联网用人体做一个简单比喻，传感器相当于人的眼睛、鼻子、皮肤等感官，网络就是神经系统用来传递信息，嵌入式系统则是人的大脑，在接收到信息后要进行分类处理。这个例子很形象的描述了传感器、嵌入式系统在物联网中的位置与作用。

传感器技术：这也是计算机应用中的关键技术。大家都知道，到目前为止绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。

RFID标签：也是一种传感器技术，RFID技术是融合了无线射频技术和嵌入式技术为一体的综合技术，RFID在自动识别、物品物流管理有着广阔的应用前景。

二

云计算

1、什么是云计算?

云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务)，这些资源能够快速提供，只需投入很少的管理工作，或与服务商进行很少的交互。

2、物联网和云计算的关系

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

目前物联网的服务器部署在云端，通过云计算提供应用层的各项服务。云计算可以提供以下几个层析的服务：

IaaS：基础设施即服务

消费者通过internet可以从完善的计算机设施获得服务。例如：硬件服务器租用。

PaaS：平台即服务

PaaS实际上是指软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是PaaS的出现可以加快SaaS应用的开发速度，如：软件的个性化定制开发。

SaaS：软件即服务

它是一种通过internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动，如：亚马逊。

三

大数据

1、什么是大数据?

大数据是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。如果将大数据比作一个产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

2、大数据和云计算的关系

从技术上来看，大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

云时代的来临，大数据的关注度也越来越高，分析师团队认为大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模的并行处理数据库、数据挖掘、分布式文件系统、分布式数据可、云计算平台、互联网和可扩展的存储系统。

四

人工智能

1、什么是人工智能?

人工智能英文缩写为AI，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分枝，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。它是对人的意识、思维的信息过程的模拟，人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

通过上述观点我们可以简单的得出一个结论： 物联网的正常运行是通过大数据传输信息给云计算平台处理，然后人工智能提取云计算平台存储的数据进行活动。

本文版权归原作者所有。转载文章仅为传播更多信息之目的，如有侵权请与我们联系，我们将及时处理。

大数据的时代已经来临，到底什么是大数据，大数据技术如何和企业运营结合起来？读完本文，你会有新的答案。

本文为青云QingCloud 大数据平台研发工程师迟连义在 青云QingCloud 实践课堂·南京站中的演讲总结而来，他以《大数据平台的应用化、场景化及服务化实践》为议题，分享了青云QingCloud 大数据平台的整体架构及每个组件的应用场景，大数据产品云化的过程中的经验、青云 AppCenter 2.0 的整体结构和功能特性以及青云QingCloud 大数据平台未来的发展规划。全文5320字，建议阅读时间13分钟.

青云QingCloud 大数据平台架构

上图详细介绍了青云QingCloud 大数据平台目前的整体架构。分层来看：输入端的数据源，可以是企业的用户浏览记录数据、电商平台的交易数据、视频用户的浏览记录、播放时长记录等数据。这些数据会接入到存储或者计算单元进行分析。

在整个过程中需要有一个缓冲区去缓冲数据。青云QingCloud 提供了主流的 Kafka 分布式消息队列服务来满足这一需求，它的优点是：以订阅和发布模式有效地解耦了输入端与输出端，可以实现即使只有一次输入，输出端也可以多次消费，彼此之间不会发生影响。

在存储层，青云QingCloud 提供 MongoDB 非关系型数据库。MongoDB 是最接近关系型数据库的非关系型数据库，它可以提供类 SQL 的访问模式，并且提供 HBase，一个可以承载海量数据存储的分布式数据库。HBase 有一个特点，只能通过 RowKey 进行检索，但它能够保证每行很好的一致性访问，同时具备很好的读写性能，如果不想把数据存在数据库里面，青云QingCloud 还提供了 HDFS 和对象存储服务。HDFS 本身是针对于大文件进行设计的，在处理小文件的时候它会有一些问题。小文件同样会在 HDFS namenode 里面占一块内存，如果小文件过多就会导致 namenode 的内存性能受到一定影响。同时，在后续做数据分析的时候，小文件过多会导致 MapRuduce 中的 Map 数量过多，整体分析过程会很慢。相比之下，对象存储则会对小文件做一些优化，所以如果需要处理大量小文件，存储到对象存储里面是更好的选择。

从数据本地化的角度来看，如果经常要进行计算，还是采用本地化的存储计算会更快，因为从对象存储取数据会通过公网。从成本角度来说，存在 HDFS 内会比存在对象存储上成本稍高。青云QingCloud 是对数据进行分层分类，如果需要处理的是一些历史数据，不需要经常进行查询和分析，可以放在对象存储上，而对于一年内经常进行分析和查询可以放在 HDFS 上。

在数据计算层，青云QingCloud 提供了实时数据处理 Storm 和准实时处理的 Spark (包括Spark Streaming)。同时提供了 Hadoop MapReduce 及 Hive 等离线批处理工具。在服务协调方面，提供 Zookeeper 服务，Zookeeper 是一个非常通用的功能，很多大数据组件，如 HBase、Kafka 等都依赖于 Zookeeper，很多企业用户也会基于 Zookeeper 开发自己的服务协调。

Elasticsearch，常用于企业内部的日志查询及分析。除了 Elasticsearch 集群，青云QingCloud 还提供一个 ELK 套件，囊括了从日志收集、日志检索到分析结果最终展现的全过程的功能套件，青云QingCloud 还提供了 Redis 和 memcached 两个非常通用的缓存工具。

大数据管理平台

上图列出了比较主流的大数据工具，但有一个问题，这些大数据工具彼此之间都是独立的。比如：Storm 有自己的一套监控 UI，监控拓扑的执行情况以及是否存在延迟等。在 Hadoop 中，HDFS 也有一套自己的 UI，可以监控每一个 namenode 节点的状况和文件的情况。那么，如果一个企业用了很多大数据组件，一定需要一个统一的平台把所有大数据组件管理起来，青云QingCloud 提供了这样一个大数据管理平台，可以把该平台理解成一个 UI，把所有大数据组件囊括其中。

该平台根据开源 Hue 做的二次开发，支持直接 Hive 查询，结果可以通过图表展现出来，也可以提交 Spark SQL、Spark Shell 等。还可以将关系型数据库，如 MySQL，放进来统一管理。在 Job 方面，可以直接用 Oozie 进行调度，也能直接看到 MapReduce Job 目前的运行情况，包括刚才提到的 Storm 拓扑的管理，以及 Zookeeper 节点信息展现。

在储管层面，对 HDFS 及 QingStor 对象存储，都提供了数据路径的监控及展示页面，HBase 可以在管理平台上面直接做 Shell 查询，也可以看到表的信息等等。Kafka, 可以清楚展示 topic 的信息，和每个 Kafka Group 对某个 topic 的消费情况。

大数据产品云化瓶颈

在对这些应用进行运化开发的过程中，青云QingCloud 也遇到了一些问题，会影响到以后大数据平台的扩展。主要这三个方面：

第一个是大数据发展太快，各个领域存在很多竞品。比如在列式数据库方面，青云QingCloud 提供了 HBase，但还有 Canssandra。在离线计算方面，还有比 Hive 快很多倍的 Impala 这些工具目前青云QingCloud 还没有放到云平台上。另外，在一些特有领域，如 AI，区块链，机器学习，深度学习方面，如容器应用领域，这些应用都还没有集成到青云QingCloud 的大数据平台上。这些领域的产品非常多，但青云QingCloud 的精力有限，这是遇到的第一个挑战。

第二个挑战是云化周期长。以青云QingCloud 的经验要云化一个大数据产品，把大数据产品真正放到 QingCloud 上，作为一个云原生应用大约需要两到三个月的时间。首先要搭建一个整体开发测试环境，要把大数据应用的一些自带的东西放在开发设计环境里面去，同时开发人员要对青云的 API，包括生命周期管理体系都要有一定的了解。在开发过程中，撰写针对云平台生命周期管理的代码，之后还要开发应用监控、报警等功能，最后经过测试，需对接云平台内的计费、工单等等这些系统，最终做成一个独立的应用。

第三个是挑战产品间的组合非常复杂。比如，目前青云QingCloud 的 Hadoop 和 HBase 是独立提供的。 如果一个用户要想一键部署一个 Hadoop + HBase 的集群，青云QingCloud 就需要按第二点提到的开发流程重新做一个新的产品发布出来。这样子导致组件间的组合特别复杂。

同时，青云QingCloud 还需要一种服务之间的自动发现能力。比如：Kafka 是依赖于 Zookeeper 的，如果在一个部署的 ZooKeeper 集群中添加或删除一个节点，Kafka 集群需要手动修改与 ZooKeeper 的链接地址。青云QingCloud 希望这一过程是自动的，自动感知变化并作出修改 。

面对这三个挑战，最终青云QingCloud 找到了比较好的解决方案，就是青云QingCloud 的 AppCenter 2.0。首先产品特别多，而青云QingCloud 自身精力有限。但是青云QingCloud 可以联合一些技术能力很强的开发伙伴，让他们可以基于青云QingCloud 去便捷地开发云化一些大数据产品。做到这点的关键是需要提供一套很方便开发的手段,降低开发难度。

AppCenter 2.0 提供了一套模版化的开发流程，大幅降低开发难度。同时，AppCenter 2.0 也把主要的功能，如应用生命周期管理，监控告警，工单系统，计费等等全部抽象出来，以标准化的形式交付出来，最终把整个应用的开发周期从几个月降低到了几周，这也解决了第二个开发周期长的挑战。

青云QingCloud AppCenter 2.0 简介

青云QingCloud AppCenter 2.0 是什么样的平台？

首先，AppCenter 2.0 是一个经过高度抽象，可以部署各种分布式应用的平台。青云QingCloud 知道分布式应用整体架构多种多样的，比如: ZooKeeper 是 peer to peer 架构; Hadoop 是主从架构； Redis cluster 是分片式的。AppCenter 2.0 会对这些不同的架构做高度的抽象，把应用整个生命周期抽象出来，然后开发者只需用类似自然语言的方式在模版中进行修改，表明应用需要在生命周期的不同阶段，做哪些动作从而完成整个开发流程。这种高度抽象使云上的应用开发和交付变的异常的简便和标准化，它是以模版的形式提供给开发者。

其次，AppCenter 2.0 是全新的云操作系统，贯穿资源与应用平台。青云QingCloud 可以把 IaaS 理解成对物理资源的虚拟化，可以类比成现在用的 PC 机。实际上最终用户在使用 PC 机时用到的是上层的软件应用，在 PC 机和软件之间还有一定的距离，需要一个东西去调动 PC 机中的各种资源，这个东西就是操作系统。

AppCenter 2.0 实质上就是架构在 IaaS (云平台) 层上的操作系统，操作系统会提供很多接口，让开发者在青云QingCloud 操作系统上开发各种各样的应用，最终提供给最终用户去使用。

AppCenter 2.0 架构图

上图为 AppCenter 2.0 的整体架构图，主要分三块：开发者控制台、用户控制台以及调度系统（中间部分）。首先，开发者控制台：开发者可以通过这里创建一个应用及不同的版本，然后基于每个版本，分别创建配置文件，其中会描述需要被定义的信息，如环境变量、集群节点的可选个数、每一个节点角色需要的 CPU 和内存配置等。

同时还要在模版文件中完整定义整个应用的生命周期。之后将配置文件打成一个压缩包并在开发者控制台提交，之后青云QingCloud 人员会进行审核，对应用进行详细的测试，看它的监控报警是否有完善等等。当青云QingCloud 觉得该应用符合标准，会批准开发者进行发布。应用发布之后，在用户控制台，最终用户便可以看到它的应用。如果用户对该应用感兴趣，就可以进行安装和部署。

用户部署以后会真正的进入调度系统的处理范围。青云QingCloud 调度系统首先会在用户需要中创建一个元数据管理服务，基于一个 3 节点的集群，对最终用户是免费开放。然后会根据最终用户的选择，创建相应数量的节点，CPU 核数，内存容量及存储空间等资源。

在AppCenter 中， 这些资源是支持 KVM、Docker、及 LXC 三种架构。创建好资源后，这些资源的元数据信息会被注册到元数据管理集群。之后在资源管理层面会启动一个 confd，它相当于一个 agent，会时刻监控元数据管理服务中注册进去的元数据。如果这些元数据发生变化，那么会触发由开发者定义好的要执行命令，后者更新配置文件等各类操作。

接下来，调度系统会负责整个应用的生命周期管理，包括创建、扩容、关闭或启动等等这些操作。同时调度系统还会周期性地调用由开发者定义的一系列管理操作，如监控、健康检查等等。

接下来青云QingCloud 详细看一下 AppCenter 2.0 的功能和技术特性。上图显示的是开发者需要提供的一些模板文件，比较重要是这几个第一个 config.json，主要用来配置应用的 UI，其中定义了最终用户在前端需要看到的一些信息，如该应用可以选择多少核的 CPU，多少容量的内存，每一类节点橘色可以创建多少个节点。

因为很多应用对节点数量是由限制的：Hadoop 集群，salve 节点的数量最少需要 3 个；像 ZooKeeper 集群，节点数量一般都是奇数个的。对于这样的限制，都可以在在模版文件中具体的进行配置。

Json 文件最终的效果会是，青云QingCloud 通过预置好的统一的 UI 界面，把 json 文件中的各项配置在前端提供给最终用户。然后是 cluster.json.mustache，该文件实际上定义了整个应用的基础架构。

基础架构包括定义应用中需要哪些类型或角色的节点，如 Hadoop 集群中会分三种不同角色的节点，而针对每一个节点的角色，开发者需要定义其完整的生命周期管理以及监控报警。生命周期管理刚才有提到，包括如横向扩容和纵向扩容等等操作。

开发者要通过 cluster.json.mustache 模版文件，告诉调度系统需要执行哪些操作，需要执行主机里面哪些脚本，那么调度系统在生命周期到来的时候，会触发这些脚本的执行。

接下来是监控报警功能，这一点在青云QingCloud 审核过程中，会强制要求每一个应用必须存在。因为作为一个云应用，监控和报警很重要，在客户业务出现问题的时候，他需要了解到底是业务出现问题还是产品出现问题。

最后一个是多语言翻译功能，青云QingCloud 提供的是英文，最终用户其实想看到一些中文展示，开发者需要定义一个多语言翻译的文件，告诉青云QingCloud 它的行业变量和角色对应的中文是什么样的名字，青云QingCloud 会最终展示在界面上。

以上这张图就是一个上传配置文件的界面，开发者在创建应用和版本以后，并完成以上的两个配置文件的撰写后，就在该位置提交，并发布版本。之后会现在后台通过青云QingCloud 的审核。青云QingCloud 现在的审核比较严格，因为青云QingCloud 要对最终用户负责，开发者对应链接到控制台测试，测试一下配置文件写的是否合理，测试生命周期管理，并测试监控报警是否合理。

以上介绍的是 AppCenter 2.0 的一些基本功能，可以帮助开发者通过模板文件的方式很便捷地在运平台上开发一个自己的应用。还有一个比较高级的功能，就是应用编排。通过元数据管理集群以及 Confd 这两者之间的交互，可以实现应用之间的自主感知。举例来说，Kafka 需要依赖 ZooKeeper，那么如果 ZooKeeper 集群发生了增加或删减节点的变化，Kafka 集群是可以感知到该变化，并自动执行配置文件更新和重启集群等操作。

另外一个例子是上文提到的大数据平台管理 UI 系统。该 UI 在启动的时候通过应用间自主感知能力，可以感知到用户的 VPC 下面已经使用了哪些大数据产品，之后可以自动将大数据产品添加到管理 UI 里面去，而且后续如果在同一个 VPC 下，�...

这件事起源于2016年11月，马云在浙商大会提出了一个很惊人的观点，那就是”未来计划经济将会越来越强大”，他认为未来三十年内，市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

我们坚信，中国目前的繁荣盛况是离不开改革开放和市场经济的，但随着科技的发展，互联网大数据以及人工智能等技术的日益成熟，仿佛也给了我们更大的勇气和信心在经济领域有所作为。

现在有一种很超前的观点，认为在大数据时代，经济集体和个体之间的联系更加密切，人们对数据进行计算和再加工的能力也远远超出了以前，而且对世界的认识水平也会有全新的提升，这也意味着，大数据技术能够让我们对经济领域的事物进行更加科学准确地评估，在这种情况下，市场经济的优势可能并不能超越计划经济。

计划经济体系的缺陷在于，在一个人口众多的社会，没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求，并按需生产和分配，个体需求必然会被压抑，不会被及时满足，票凭经济就是一个很好的体现。

市场经济体系的巨大缺陷在于，个体需求无法通过市场机制汇聚成整体，供求必然出现极大偏差，导致资源浪费。

事实上，在上世纪七十年代，苏联在研究计划经济方面已到了相当的高度，苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》，对资源最优分配理论做出了卓越贡献，获得1975年诺贝尔经济学奖。理论上，康氏的研究可以实现全社会范围的资源最优分配和利用，即在现有资源条件下，全社会能够以最小的劳动消耗，获得最大限度的生产量，由此得出的生产计划叫最优计划。

1990年，笔者第一次赴苏联，那时候苏联尚未解体，还不叫俄罗斯。第一次在饭堂吃饭的时候，特意观察过他们的餐具，印证了老前辈所讲过的苏联计划经济典型案例，苏联对民用工业产品有一种变态的价格限制，一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比，玻璃杯5戈比，一个官窑的瓷盘子只要8戈比。

不过，苏联式的计划经济最后还是失败了。苏联在第十个五年计划（1976-1981年）期间，每年要报废10-20%的工业品，积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划，苏联的计划经济显示出巨大的缺陷，到了80年代末，苏联形成了极度的军工经济特征，军品占机器制造业的80%以上，军事支出占国民总产值28%。经济结构失衡，工业技术工艺落后，苏联人民饱受食品和生活物资短缺的痛苦，经济接近崩溃。

苏联的失败表明，以上世纪的组织和技术能力，要对整个国民经济进行精确的指令性计划管理，就是超大型计算机可能也无能为力。

但是，进入新世纪以后，由于人类的计算能力以几何速度递增，一切美好的计划都开始变的可能起来。

近些年，由于计算机、软件和网络技术的进步，出现大数据，共享数据，云统计，云计算。人们可以对订单、消费和物流进行精确统计和安排，这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划，而不是政府指令性计划。

互联网、人工智能和大数据，解决了计划经济所需要的技术支持。有了互联网技术的大规模应用，使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

那么问题来了，在互联网大数据以及人工智能技术风起云涌的时代，计划经济真的可能卷土重来吗？

云计算是一种新型的商业计算模式，它主要利用网络云端对各类信息资源进行统一的数据处理和存储，并且同时，又可以实现资源的共享化。

云计算概要

也就是从某种意义上来说，云计算是一种虚拟化的技术，将资源从物理的形态转化为虚拟的数据形态的这样一种过程，就是云计算的工作原理，从而以数据的形式实现分布式的存储，并极大的节约了储存空间，同时又能够根据实际需求进行资源的增添和扩展。云计算的平台支持多样的租户，云计算是一个大平台，而所有的客户就是租户，实现软硬件的资源共享和资源的配置，各个用户之间不会相互干扰，从而在某种程度上也保证了数据资源的可靠性和安全性。

云计算与物联网的结合

从某种意义上来说，云计算和物联网的运营都是互联网技术的重要补充，二者存在着紧密的关系，相互促进和发展并存。云计算在物联网运营的过程中，极大地拓展了物联网的资源空间，从而更好的满足日益增长的需求。云计算同时又为物联网的运营提供了重要的网络基础设施，开启了全新的商业管理模式，也从另一方面拓展了物联网的发展机遇。

云计算与物联网的结合方式，一般采用多终端、大量终端和海量终端等三种模式为主。据采访爱科赛尔的技术分析员称：“基于云计算的物联网运营管理平台的设计，云计算为其提供了重要的网络基础设施，利用虚拟技术实现资源的共享。建立云平台，利用其分布式极端、存储以及虚拟技术，强大的数据处理和分析能力，大大提高了企业的工作效率。”因此，利用云计算的基础设施，建构行业计算模型，开发云应用等，将物联网运营管理平台的功能都统一到云平台上，在此基础上完善无线传输通道和监控，从而又可以大大的减少企业的成本投入。

云平台主要解决的问题有

1、以主机为单位的保护管理，前期通过设备的部署和安装，从而解决虚拟化所遇到的任何安全挑战，提升30%的硬件服务器使用率；2、整合防护，在虚拟机上启用代理进一步保护虚拟机，并可让虚拟机在云环境下迁移；3、跨区域大规模数据中心集中管理；4、可集中定义和管理各项IT服务，并随时统计用户实际使用状况；5、用户可以自己创建和管理虚拟机，监控使用状况，还可以定义自身的网络、存储和安全设置。

云平台的应用场景

1、支持异构虚拟机，可同时管理VMWare,Citrix XenServer, KVM等多种虚拟机环境，并提供统一管理界面；2、支持对硬件服务器的直接和统一管理；3、严格控制业务数据的直接访问，定期归档、内部备份或备份到二级存储器等。

大数据产业正在用一个超乎我们想象的速度蓬勃发展，在上个月贵阳的数博会上，让全世界感受到了大数据的巨大魅力。借助大数据的风口，云计算和人工智能也同时走进我们的视野，他们三者之间有着不可分割相互影响的关联。

大数据的概念

大数据，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔。进充分利用大数据的价值。

云计算的概念

云计算是基于互联网的相关服务的增加、使用和交付模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

人工智能的概念

人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。从思维观点看，人工智能不仅限于逻辑思维，要考虑形象思维、灵感思维才能促进人工智能的突破性的发展，数学常被认为是多种学科的基础科学，数学也进入语言、思维领域，人工智能学科也必须借用数学工具，数学不仅在标准逻辑、模糊数学等范围发挥作用，数学进入人工智能学科，它们将互相促进而更快地发展。

大数据、云计算、人工智能三者间的关系

物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新是物联网发展的灵魂。

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。

人工智能打个比喻为一个人吸收了人类大量的知识（数据），不断的深度学习、进化成为一方高人。人工智能离不开大数据，更是基于云计算平台完成深度学习进化。

简单总结：通过物联网产生、收集海量的数据存储于云平台，再通过大数据分析，甚至更高形式的人工智能为人类的生产活动，生活所需提供更好的服务。这必将是第四次工业革命进化的方向。

云计算与大数据

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

人工智能与大数据

如果我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量则决定了婴儿后续的智力发育水平。

与以前的众多数据分析技术相比，人工智能技术立足于神经网络，同时发展出多层神经网络，从而可以进行深度机器学习。与以外传统的算法相比，这一算法并无多余的假设前提（比如线性建模需要假设数据之间的线性关系），而是完全利用输入的数据自行模拟和构建相应的模型结构。这一算法特点决定了它是更为灵活的、且可以根据不同的训练数据而拥有自优化的能力。

但这一显著的优点带来的便是显著增加的运算量。在计算机运算能力取得突破以前，这样的算法几乎没有实际应用的价值。大概十几年前，我们尝试用神经网络运算一组并不海量的数据，整整等待三天都不一定会有结果。但今天的情况却大大不同了。高速并行运算、海量数据、更优化的算法共同促成了人工智能发展的突破。这一突破，如果我们在三十年以后回头来看，将会是不弱于互联网对人类产生深远影响的另一项技术，它所释放的力量将再次彻底改变我们的生活。

人工智能与云计算

人工智能是程序算法和大数据结合的产物。而云计算是程序的算法部分，物联网是收集大数据的根系的一部分。可以简单的认为：人工智能=云计算+大数据（一部分来自物联网）。随着物联网在生活中的铺开，它将成为大数据最大，最精准的来源。

现在已进入大数据、云计算、人工智能时代，我们必须弄清楚他们的本质，抓住机遇，跟上趋势，创新发展，才能高科技的发展大潮中立于不败之地。

先介绍与大数据相关 的内容，然后讲解Hadoop、大数据以及云计算之间的关系，使读者从大数据和云计算的角 度来认识Hadoop.

大数据

大数据一般是指这样的数据：数据量巨大，需要运用新处理模式才能具有更强的决策力、 洞察力和流程优化能力的海量、髙增长率和多样化的信息资产。大数据可分成大数据技术、 大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据 应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理 的系统工程；大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及 其与自然和社会活动之间的关系。

大数据的特征有四个层面：第一，数据量巨大，从TB级别，跃升到PB级别；第二， 数据类型繁多，包括网络日志、视频、图片、地理位置信息等；第三，价值密度低，商业 价值高，以视频为例，在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒；第 四，处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为 4V-------Volume、Variety、Value 和 Velocity。

上面我们介绍了大数据的基本概念以及其显著的特征，下面将从不同的维度来阐述大数据的核心问题。

1.数据态的多样性问题

大数据具有多态性，主要体现在数据源、结构及相关度上，在数据来源上包括图像、 视频、音频、文本、网页、数据流等；在结构上不仅仅包括结构化的数据，还包括非结构 化 的 数 据 ； 在 相 关 度 上 不 仅 有 数 据 记 录 彼 此 间 相 关 性 问 题 ， 还 有 时 间 序 列 数 据 的 相 关 性 问题。

2. 维度复杂性问题

首先，大数据中存在着多元空间的维度问题，例如典型的三元空间中大数据的产生、状 态感应以及采集问题，这个问题在物联网中非常常见；其次，就是柔性粒度数据的传输、移 动、存储及计算问题；最后，就是数据空间范围和数据密度的不均匀问题。

3. 大数据存储问题

大数据最为显著的特征就是数据规模非常巨大，单机系统肯定无法解决存储问题，这就 需要分布式存储系统作为大数据的存储支撑服务，而分布式存储系统需要考虑的核心问题包 括：高可靠性、扩展性、伸缩性、容灾及恢复等问题。

4. 大数据计算分析问题

由大数据的特征可知，大数据在数据规模上非常巨大，要在一定的时间内达到撷取、管 理、处理并整理为能够帮助企业做出经营决策更有效的资讯，传统的顺序计算模式必然不能 满足这样的需求，这就要求使用集群计算系统来完成计算分析任务。基于集群的计算模型目 前主要包括：基于消息传递的MPI、MapReduce计算模型、流式计算架构Storm、S4、高性 能集群计算HPCC,以及基于共享内存RDD的Spark模型。

5. 大数据价值挖掘问题

由于大数据的价值密度低而商业价值大，这使得大数据的价值挖掘显得格外重要，而 价值挖掘主要包括两个阶段：第一个阶段就是过滤清洗，需要在尽量不损失其价值的条件下 减小数据规模，同时在不改变数据基本属性的情况下采取数据清洗、抽样、去重、过滤、筛 选、压缩、索引、提取元数据等方法，以直接将大数据变小；第二个阶段就是对商业价值的 挖掘，主要是发挥大数据探索式考察与可视化作用，人机的交互分析可以将人的智慧融入数 据，再者是通过群体智慧、社会计算、认知计算对数据价值进行提炼，从而挖掘出大数据中 隐藏的商业价值。

大数据、Hadoop和云计算的关系

上面讲述了大数据的基本概念及与大数据相关的几个核心问题，通过这些问 题我们已对大数据有了一个初步的了解，那么大数据、Hadoop及云计算之间到底是什么关系 呢？为了从大数据和云计算的角度去了解Hadoop,下面将阐述这三个概念之间的关系。

可以这样说，正是由于大数据对系统提出了很多极限的要求，不论是存储、传输还是计 算，现有计算技术难以满足大数据的需求，因此整个IT架构的革命性重构势在必行，存储 能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分 布式存储架构不仅需要scale up式的可扩展性，也需要scale out式的可扩展性，因此大数据 处理离不开云计算技术，云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服 务的高效模式，大数据则为云计算提供了新的商业价值，大数据技术与云计算技术必将有更 完美的结合。

我 们 知 道 云 计 算 的 关 键 技 术 包 括 分 布 式 并 行 计 算 、 分 布 式 存 储 以 及 分 布 式 数 据 管 理 技术，而Hadoop就是一个实现了 Google云计算系统的开源平台，包括并行计算模型 MapReduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目 也很丰富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，这些项目都使得 Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括 IBM的蓝云，雅虎、英特尔的“云计划”，百度的云计算基础架构，阿里巴巴云计算平台， 以及中国移动的BigCloud大云平台。

总而言之，用一句话概括就是云计算因大数据问题而生，大数据驱动了云计算的发展， 而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

什么是云平台(云计算平台)？

云平台是虚拟主机,但云平台不是一个普通的虚拟主机啊，我说这个云平台是虚拟主机的高级版本，当然比一般的虚拟主机高级多了。

让我们看看云平台和虚拟主机本质上相同的一点：

是提供一个虚拟计算环境。与普通的虚拟主机不同，虚拟主机是物理主机提供虚拟环境的多个站点，云平台是主机众多站点提供无数虚拟环境的实体。

将提供对一种或几种语言的支持。一些常见的虚拟主机只支持一种语言，而另一些则支持多种语言。云计算平台也是如此。

为了在一定程度上确保所有语言的支持。一般的虚拟主机通常会限制本地文件操作API的种类，而云计算平台会有更多的限制。

API服务是特殊的。由于API仅限于不使用其中的一部分，因此API仅限于其他安全选项。另外，为了绑定他们的平台，用户提供一些特定的API服务将会让网站的用户无法轻易转移。

将提供数据存储服务。不像普通的虚拟主机通常提供SQL数据存储，而云计算平台提供的分布式计算NOSQL更有利于数据存储。

将提供具体的管理平台。虚拟主机通常会提供一些Web管理界面，或FTP和其他管理方法来管理它。云计算平台通常会提供用于上传的特殊数据同步工具。

按时间衡量并收取费用。所不同的是，云计算平台更详细的计费和计量，数量会准确到多少CPU时间和使用M的商店。

足以显示相同云平台的这些相似之处是虚拟主机的高级版本。

回答这个问题后，后一个问题很简单。

问：云计算平台有未来吗？有人用它？

答：只要使用了虚拟主机，云计算平台就会具有相同性质的更好的服务，用户没有理由不选择云计算平台。

问：云计算平台要做什么？

答：我使用的虚拟主机，能够，并在云平台是有能力的。但是云平台提供了更多的计算资源和存储资源，只要你有钱，不必担心虚拟主机，因为流量会被密封一次。