先介绍与大数据相关 的内容，然后讲解Hadoop、大数据以及云计算之间的关系，使读者从大数据和云计算的角 度来认识Hadoop.

大数据

大数据一般是指这样的数据：数据量巨大，需要运用新处理模式才能具有更强的决策力、 洞察力和流程优化能力的海量、髙增长率和多样化的信息资产。大数据可分成大数据技术、 大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据 应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理 的系统工程；大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及 其与自然和社会活动之间的关系。

大数据的特征有四个层面：第一，数据量巨大，从TB级别，跃升到PB级别；第二， 数据类型繁多，包括网络日志、视频、图片、地理位置信息等；第三，价值密度低，商业 价值高，以视频为例，在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒；第 四，处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为 4V-------Volume、Variety、Value 和 Velocity。

上面我们介绍了大数据的基本概念以及其显著的特征，下面将从不同的维度来阐述大数据的核心问题。

1.数据态的多样性问题

大数据具有多态性，主要体现在数据源、结构及相关度上，在数据来源上包括图像、 视频、音频、文本、网页、数据流等；在结构上不仅仅包括结构化的数据，还包括非结构 化 的 数 据 ； 在 相 关 度 上 不 仅 有 数 据 记 录 彼 此 间 相 关 性 问 题 ， 还 有 时 间 序 列 数 据 的 相 关 性 问题。

2. 维度复杂性问题

首先，大数据中存在着多元空间的维度问题，例如典型的三元空间中大数据的产生、状 态感应以及采集问题，这个问题在物联网中非常常见；其次，就是柔性粒度数据的传输、移 动、存储及计算问题；最后，就是数据空间范围和数据密度的不均匀问题。

3. 大数据存储问题

大数据最为显著的特征就是数据规模非常巨大，单机系统肯定无法解决存储问题，这就 需要分布式存储系统作为大数据的存储支撑服务，而分布式存储系统需要考虑的核心问题包 括：高可靠性、扩展性、伸缩性、容灾及恢复等问题。

4. 大数据计算分析问题

由大数据的特征可知，大数据在数据规模上非常巨大，要在一定的时间内达到撷取、管 理、处理并整理为能够帮助企业做出经营决策更有效的资讯，传统的顺序计算模式必然不能 满足这样的需求，这就要求使用集群计算系统来完成计算分析任务。基于集群的计算模型目 前主要包括：基于消息传递的MPI、MapReduce计算模型、流式计算架构Storm、S4、高性 能集群计算HPCC,以及基于共享内存RDD的Spark模型。

5. 大数据价值挖掘问题

由于大数据的价值密度低而商业价值大，这使得大数据的价值挖掘显得格外重要，而 价值挖掘主要包括两个阶段：第一个阶段就是过滤清洗，需要在尽量不损失其价值的条件下 减小数据规模，同时在不改变数据基本属性的情况下采取数据清洗、抽样、去重、过滤、筛 选、压缩、索引、提取元数据等方法，以直接将大数据变小；第二个阶段就是对商业价值的 挖掘，主要是发挥大数据探索式考察与可视化作用，人机的交互分析可以将人的智慧融入数 据，再者是通过群体智慧、社会计算、认知计算对数据价值进行提炼，从而挖掘出大数据中 隐藏的商业价值。

大数据、Hadoop和云计算的关系

上面讲述了大数据的基本概念及与大数据相关的几个核心问题，通过这些问 题我们已对大数据有了一个初步的了解，那么大数据、Hadoop及云计算之间到底是什么关系 呢？为了从大数据和云计算的角度去了解Hadoop,下面将阐述这三个概念之间的关系。

可以这样说，正是由于大数据对系统提出了很多极限的要求，不论是存储、传输还是计 算，现有计算技术难以满足大数据的需求，因此整个IT架构的革命性重构势在必行，存储 能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分 布式存储架构不仅需要scale up式的可扩展性，也需要scale out式的可扩展性，因此大数据 处理离不开云计算技术，云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服 务的高效模式，大数据则为云计算提供了新的商业价值，大数据技术与云计算技术必将有更 完美的结合。

我 们 知 道 云 计 算 的 关 键 技 术 包 括 分 布 式 并 行 计 算 、 分 布 式 存 储 以 及 分 布 式 数 据 管 理 技术，而Hadoop就是一个实现了 Google云计算系统的开源平台，包括并行计算模型 MapReduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目 也很丰富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，这些项目都使得 Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括 IBM的蓝云，雅虎、英特尔的“云计划”，百度的云计算基础架构，阿里巴巴云计算平台， 以及中国移动的BigCloud大云平台。

总而言之，用一句话概括就是云计算因大数据问题而生，大数据驱动了云计算的发展， 而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。

大数据是一个通用术语，用来指当前业务领域中存在的各种数据。从医疗机构的数字数据和记录到政府机构的大量文件，人们把这些文件存档供将来参考，技术为我们提供了一个面向服务的架构来分析这些信息。

大数据是永远不可能被归档到在个描述或定义下。关于信息技术的神器之处在于，它始终在不断发展，并且可供愿意接受信息技术的公司使用。另一方面，云计算的发展使得商业企业更容易获得可负担得起的软件包。云计算的使用大大降低了存储公司信息的成本，这也带来了小型企业可以利用的多个应用程序。自互联网诞生以来，随着云计算的不断发展，互联网上广泛的信息爆炸式增长。标准用户和数字营销人员现在可以每天使用社交媒体营销平台来生成大量关于消费者的信息。有时，对于机构和企业来说，管理每天生成和存储的数据量就是一项相当艰巨的任务。例如，每天创建2.5万亿字节的数据，这可能会给云计算带来存储和排序挑战。

这正是大数据用来管理海量数据如何通过云计算存储的地方。总而言之，这两种技术形式提供的解决方案既适应业务分析、也适用于大数据。在这篇文章中，将重点介绍如何使用大数据和云计算来管理政府机构和商业机构日常生成的大量数据。可购性对于那些预算计划比较紧张，但又需要更新技术的企业或机构来说，云技术可能是解决燃眉之需的一大利器。用于管理大数据的成本资源，即使是小公司，也在预算之内，而且在市场上也很容易找到合适的产品。在云计算出现之前，商业机构和政府机构花费大笔资金建立信息技术部门来管理数据，甚至花更多的时间来更新这些IT系统。今天，由于技术的进步，企业可以把他们的大数据托管在异地的服务器上，或者按需支付。敏捷性

替换高清大图

传统的数据存储和管理方法正变得越来越难以管理，因为数据存储和管理非常慢，需要公司花费大量时间从中检索信息。有时，安装和运行服务器可能需要几周甚至几个月的时间。云计算的出现有可能为企业或机构提供所需的全部存储需求。一个基于云计算的公司数据库可以在几分钟内完成安装，并将数据存储在数千个虚拟服务器中，在这些服务器中，只有一台计算机或移动设备和互联网连接的人可以很轻松访问它。

替换高清大图

数据处理海量数据的爆炸式增长带来了管理数据的挑战。例如，社交媒体会产生大量的数据，这对于在推文、帖子、博客或照片等类别中进行处理来说是具有挑战性的。对于大数据，有一些分析平台，比如Apache Hadoop，可以在将非结构化数据存储到云中之前处理这些数据。

云计算、大数据、人工智能这三者的发展不能分开来讲，三者是有着紧密联系的，互相联系，互相依托的，脱离了谁都不能更好的发展，让我们具体来看一下！

一、大数据

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

数据每天都在产生，各行各业都有，数据量也是相当之大，但如何整合数据，清洗数据，然后实现数据价值，这才是当今大数据行业的研究重点。大数据最后要实现的是数据超融合，应用到应用场景，大数据的价值才会体现出来。

人工智能就是大数据应用的体现。

二、云计算

云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

说白了，云计算计算的是什么？云存储存储的是什么？还是大数据！所以离开大数据谈云计算，离开云计算谈大数据，这都是不科学的。

三、人工智能

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

人工智能是一门极富挑战性的科学，从事这项工作的人必须懂得计算机知识，心理学和哲学。人工智能是包括十分广泛的科学，它由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。但不同的时代、不同的人对这种复杂工作的理解是不同的。

人工智能其实就是大数据、云计算的应用场景。

现在已经比较火热的VR，沉浸式体验，就是依赖与大数据与云计算，让用户能够由更加真切的体验，并且VR技术是可以使用到各行各业的。

人工智能不同于传统的机器人，传统机器人只是代替人类做一些已经输入好的指令工作，而人工智能则包含了机器学习，从被动到主动，从模式化实行指令，到自主判断根据情况实行不同的指令，这就是区别。

大数据的概念在前几年已经炒得火热，但是也就是近两年才开始慢慢落地，依赖于云计算的发展，以及人们对人工智能的预期。

说到底，云计算是大数据的底层架构，大数据依赖云计算来处理大数据，人工智能是大数据的场景应用。三者直接建立起一个体系，从而实现改变世界的目的。三者不能分开说，一定要紧密结合。

互联网的下一个风口，也一定是大数据、云计算、人工智能的共同风口。

本文来自IT培训网：cnitedu，转载请注明出处。

3月16日，河南省濮阳市科技局局长雷灯照带领该市创新创业孵化载体及有关县（区）科技局负责同志组成的政府科技合作考察团赴大数据商学院（深圳）参观考察。大数据商学院院长 LOONGWUYINGMING等院方领导在大数据商学院（深圳）接待了该考察团全体成员，并举行了项目推介与交流合作座谈会。

LOONGWUYINGMING 在会上表示，大数据商学院是集大数据产业+教学+研发+创新创业+游学为一体的全球性国际级科研院校。学院以深圳+北京+香港+纽约为主，规划投资10亿美元，建立和并购6所学院，学院下设研究生院和培训学院，研究生院每年全球培养3000名大数据类硕士研究生+博士研究生，培训学院每年全球培训2000名各类大数据相关类人才和企业家，每年轮流在全球举办“全球合伙人大会”和“大数据论坛”以推动大数据产业健康发展。

LOONGWUYINGMING说，我们始终为客户提供更好的产品和技术支持以及健全的售后服务。“大数据”是这两年最火的词汇之一，随着科技的发展，从互联网PC时代到“移动互联网+”，再到“互联网+信息”＝DT大数据时代到来。早在2008年阿里提出“大数据”云计算到现在，近十年时间过去了，“大数据”已经在交通、金融、教育培训、医疗卫生、传媒、旅游大数据等行业和领域取得了丰硕成果。数据已经成为互联网企业重要的产品和服务载体，当前互联网企业和相关部门对于海量数据的挖掘和运用还有待提高。

大数据商学院与河南省濮阳市科技招商合作考察团针对建设大数据产业园，建设大数据计算中心及项目招商等合作事项进行了深入交流与探讨。并对建设以数据资源和技术创新为驱动的大数据产业园区达成战略合作意向。未来大数据商学院将与濮阳市科技局积极落实双方合作事项，为濮阳市科技局提供智力支持，打造数据驱动的创新生态体系，推动濮阳市大数据产业跨越式发展。

濮阳市科技局局长雷灯照在会上介绍了濮阳市发展大数据产业的优越条件。智能化生活将触及到人们生活的方方面面，在积极推动大数据应用过程中，希望可以做新型产业的推动者，大胆尝试，勇于创新，精于践行，在不断的失败中总结经验，为大数据应用的未来撑起脊梁。也希望双方主动对接、加强合作交流，将这些经验作为宝贵的资源为未来的大数据产业打好坚实的基础，携手共创美好明天。

考察团成员对大数据商学院运作模式及其大数据拓展体系予以高度评价。在大数据和物联网技术的支撑下，大数据系统将在各大领域进行良好的应用和长足发展。濮阳市的大数据建设正在积极响应国家号召，愿意与大数据商学院加强交流，优势互补，希望共同推动濮阳市大数据产业园的建设和招商，打造智能化城市、推动大数据中心建设。　　国家超级计算深圳中心、深圳云计算中心市场销售部副部长张宇硕士、高级经理牛冰洁硕士等领导共同出席了座谈会。

请点击输入图片描述

2017年大数据开始进入部署阶段，大数据的炒作逐渐散去，它的应用却正在蓬勃发展，代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可争议地转移到人工智能身上，过去几个月AI所经历的共同意识“大爆炸”与大数据当年相比甚至有过之而无不及。

从2013开始制作大数据版图的Matt Turck刚刚发布了最新的2017年大数据版图，我们一起来看看在这个领域有哪些最新趋势和玩家的分布情况。

高层趋势

大数据+AI=新栈

2016年无疑是机器学习之年，任何目睹过众多pitch的VC都应该能感受到这一点，那就是每一家初创企业都成为了“机器学习公司”，“.ai”变成了必备域名，而“等等，可是我们是用机器学习做到这个的”也成为了pitch deck的必备幻灯片。机器学习正在迅速成为许多应用的关键建构块。

相应地，一个新兴的技术栈正在出现，在这个技术栈里面，大数据被用于处理核心的数据工程挑战，而机器学习则用于以分析洞察或者行动的形式从数据中析取出价值。

换言之，大数据提供管道，AI提供智能。当然，这种共生关系已经出现多年，只是能实现这个的目前还不多而已。

但是，现在这些技术开始大众化的普及。“大数据+AI”正在成为众多现代应用（不管是消费者型还是企业型）的默认技术栈。无论是初创企业还是一些财富1000强公司都在利用这一新的技术栈。而且在云巨头的努力下，这个技术栈往往还有云计算这个更基础的建构块的加入，以机器学习云的形式出现。

但是AI的大众化是否就意味着这种技术在短期内能实现商品化呢？现实是AI在技术上仍然非常困难。尽管许多工程师都在争先培养AI技能，但全球这方面的领域专家仍然十分稀缺。

不过这股大众化的趋势已经不可逆转，而机器学习早晚都要从竞争优势演变成桌面筹码。

这对初创企业和大公司都会产生影响。对于初创企业来说，除非你把AI软件做成自己的最终产品，否则的话自我标榜为“机器学习公司”将变得毫无意义。对于大公司来说，如果现在你不积极推进大数据+AI的战略，就会有变得过时的风险。AI已经是下一个风口了。

企业预算：一切向钱看

从2016年的情况来看，财富1000强公司已经在纷纷增加预算用于升级核心基础设施以及分析，其关键的关注点正是大数据技术。分析机构IDC预计大数据和分析市场将从2016年的1300亿美元增长到2020年的超过2030亿美元。

而且财富1000强公司里面的许多买家在大数据技术方面正在变得越来越娴熟、越来越目光敏锐。这些公司过去几年做了很多功课，正在进入全面部署阶段。这种情况不仅发生在技术导向型的公司，在很多行业都是如此。

在大公司每隔几年就要发生的旧技术替代自然周期的推动下，这种情况得到进一步加速。大数据遭遇的环境也从逆风变成了顺风。当然，很多大公司仍然处在大数据部署的早期阶段，但是情况似乎在快速演变。

企业数据向云端迁移

直到几年前，把企业数据迁移到公有云上面对于大公司CIO来说还是不可想象的事情，顶多是在开发环境下或者拿非关键的、面向外部的应用来尝试一下。但现在画风开始有所变化，大家对此的态度似乎变得更加开放了，比方说你会听到这样的说法“不管怎么说我们的客户数据已经放到Salesforce云上面了”，或者“在网络安全方面我们永远也不会有像AWS那么多的预算”。但目前里大多数企业都向公有云迁移还远得很，这部分是因为遗留系统和管制方面的原因。不过云供应商正在竭尽全力来加速这一趋势的转变。比如说AWS甚至可以开卡车来运你的硬盘到云端。

2017年大数据版图

作为对比我们先看看2016年版本：

请点击输入图片描述

2017年版本：

请点击输入图片描述

整合要来了吗？

从上图可看出，这张图已经变得越来越拥挤，那么一个显然的问题来了：行业是否濒临大规模整合的边缘了呢？

似乎还没有。至少目前如此。

首先VC仍然继续乐于给新老公司提供资金扶持。2017年的第一季度成长阶段的大数据初创企业拿到了不少的可观融资，其中包括：Looker（8100万美元D轮），InsideSales （5000万美元F轮），DataRobot （5400万美元C轮），Confluent （5000万美元C轮），Collibra （5000万美元C轮），Uptake （4000万美元C轮），WorkFusion （35M00万美元D轮） and MapD （3500万美元B轮）等。去年12月DataBricks也拿到了6000万美元的C轮。

2016年，大数据初创企业的总融资达到了148亿美元，占到了全球技术风险投资的10%。

其次，自去年的大数据版图推出以来，本领域的并购活动一直在稳步推进，但不是特别显著，其中部分原因也许是未上市公司的估值仍然高企。入选2016大数据版图的公司当中共有41家被收购（完整清单参见附注），这个节奏跟上一年是一致的。

另一方面，2017年刚开始就发生了一些大型的并购事件，其中包括Mobileye（被英特尔以153亿美元收购），AppDynamics（被思科以37亿美元收购），以及Nimble Storage（被HPE以12亿美元收购）。

去年还有一个显著的现象，那就是大型技术公司纷纷收购AI初创企业，尤其是那些解决水平问题、有着很好团队的AI初创企业。其中包括Turi（苹果）、Magic Pony（Twitter）、Viv Labs（三星）、MetaMind（Salesforce）、Geometric Intelligence（Uber）、API.ai（Google）以及Wise.io（GE）。当然，这种现象未必能持续太久，因为对AI的需求太旺盛了，人才实在是不够用了。

第三，一些较大的大数据初创企业羽翼渐丰，正在成为独立的上市公司。Snap无疑引领了技术公司IPO的复兴，但是目前为止是大数据公司借了这股东风。

2016年只有Talend一家大数据公司上市，但2017年大数据公司已经呈现出爆发之势。其中Mulesoft和Alteryx已经上市并且表现不错，而Cloudera也即将上市，其最新估值（41亿美元）与收入（2.61亿美元）之间的差异将延至“独角兽”估值现象的成色。另外，MapR以及定位智能公司Yext也已经在排队等待了。

下一个会是谁呢？也许是Palantir这个超级独角兽。这家多年以来保持神秘的公司已经公开表达了上市的兴趣。其最新估值达到了200亿美元，如果上市的话必将引起轰动。

云大战

虽然大规模并购尚未出现，但业界的另一股趋势值得注意，这就是“功能性整合”，这种现象在云端尤其显著。一些关键的玩家正在通过自研产品和开源计算引擎的实现逐步构建“大数据+AI”的基础构件，面向众多客户群提供其所期盼的“一站式”的服务。

AWS在产品发布的速度和幅度方面继续给人留下深刻印象。目前AWS几乎提供了大数据和AI方面的所有服务，包括分析框架、实时分析、数据库（NoSQL、图谱等）、商业智能以及日益丰富的AI能力，尤其是深度学习方面的能力。按照这种速度发展下去，AWS产品几乎就要把大数据版图的所有的基础设施和分析细分领域都占据了。

加入云大战稍晚的Google一直在积极开发广泛的大数据产品（BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等），并且把AI视为跨越式发展的杀手锏。在AI方面Google去年做了很多事情，包括推出了新的翻译引擎，聘请了李飞飞和李佳领导新成立的Cloud AI and Machine Learning部门，推出了视频识别的机器学习API，并且收购了数据科学家社区Kaggle。

其他大型的IT供应商，比如微软、IBM、SAP、Oracle以及Salesforce等也在努力推出大数据产品（包括云端和本地）。除了技术自研和进行收购以外，这些玩家还越来越重视通过合作来打造生态链，其合作的重点是手上有数据的公司以及有“头脑（AI）”的公司。IBM与Salesforce的合作以及SAP与Google的合作就是值得注意的案例。

用企业IT的行业标准来看，云供应商还比较小，但是其不断膨胀的野心（其中包括从企业栈底层的IaaS向应用发展的企图）与企业数据逐渐向云端迁移的趋势结合，将打开庞大的企业技术市场大门，与传统IT供应商展开激战，而大数据和AI将是核心战场。

2017数据生态体系概览

基础设施

去年的许多趋势今年仍将延续，比如流处理技术，这方面Spark目前是主宰，不过像Flink这样的有趣竞争者正在出现。此外，还有以下一些趋势：

SQL正式回归

在给NoSQL当了10年副手之后，曾经的霸主SQL数据库正式吹响了回归的号角。Google最近发布了Spanner数据库的云端版。Spanner和CockroachDB（Spanner的开源版）都提供了可行的、强一致性的、可伸缩的SQL数据库。Amaozn推出了Athena，跟Snowflake等产品类似，这是一款SQL数据引擎，可直接查询S3下的数据。Google BigQuery、SparkSQL以及Presto等在企业逐渐获得采用——这些都是SQL产品。

数据可视化

与公有云采用相关的一个有趣的趋势是数据可视化。旧的ETL处理需要转移大量的数据（而且往往要建立冗余数据集）并且建立数据仓库，而数据可视化可以在数据保持不动的情况对其进行分析，提高了速度和敏捷性。许多下一代的分析供应商现在都可以同时提供数据可视化和数据准备服务，并让客户可访问存储在云端的数据。

数据治理与安全

随着大数据在企业侧走向成熟，以及数据的多样性和体量的不断发展，像数据治理这样的主题也变得日益重要。许多公司已经选择了“数据湖”作为把所有数据收集起来的手段。但除非你知道里面有什么东西，并且能够访问到合适的数据进行分析，否则的话数据湖再大也没有意义。但是想让用户方便地找到想要的东西同时管理好权限并不容易。除了数据湖以外，治理的另一个集中的主题是以安全的、可审计的方式为任何人提供对可靠数据的便捷访问。Informatica、 Collibra、Alation等大小供应商提供了数据目录、参考数据管理、数据字典以及数据帮助台等服务。

结论

通过大数据与AI的黄金搭档，我们正在进入大数据技术的“收获”阶段。其潜能将非常巨大。随着核心基础设施不断走向成熟，以及在AI推动下应用侧的爆发，2017年的大数据（以及AI）生态体系将开足马力，驶向光明的未来。

这件事起源于2016年11月，马云在浙商大会提出了一个很惊人的观点，那就是”未来计划经济将会越来越强大”，他认为未来三十年内，市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

我们坚信，中国目前的繁荣盛况是离不开改革开放和市场经济的，但随着科技的发展，互联网大数据以及人工智能等技术的日益成熟，仿佛也给了我们更大的勇气和信心在经济领域有所作为。

现在有一种很超前的观点，认为在大数据时代，经济集体和个体之间的联系更加密切，人们对数据进行计算和再加工的能力也远远超出了以前，而且对世界的认识水平也会有全新的提升，这也意味着，大数据技术能够让我们对经济领域的事物进行更加科学准确地评估，在这种情况下，市场经济的优势可能并不能超越计划经济。

计划经济体系的缺陷在于，在一个人口众多的社会，没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求，并按需生产和分配，个体需求必然会被压抑，不会被及时满足，票凭经济就是一个很好的体现。

市场经济体系的巨大缺陷在于，个体需求无法通过市场机制汇聚成整体，供求必然出现极大偏差，导致资源浪费。

事实上，在上世纪七十年代，苏联在研究计划经济方面已到了相当的高度，苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》，对资源最优分配理论做出了卓越贡献，获得1975年诺贝尔经济学奖。理论上，康氏的研究可以实现全社会范围的资源最优分配和利用，即在现有资源条件下，全社会能够以最小的劳动消耗，获得最大限度的生产量，由此得出的生产计划叫最优计划。

1990年，笔者第一次赴苏联，那时候苏联尚未解体，还不叫俄罗斯。第一次在饭堂吃饭的时候，特意观察过他们的餐具，印证了老前辈所讲过的苏联计划经济典型案例，苏联对民用工业产品有一种变态的价格限制，一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比，玻璃杯5戈比，一个官窑的瓷盘子只要8戈比。

不过，苏联式的计划经济最后还是失败了。苏联在第十个五年计划（1976-1981年）期间，每年要报废10-20%的工业品，积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划，苏联的计划经济显示出巨大的缺陷，到了80年代末，苏联形成了极度的军工经济特征，军品占机器制造业的80%以上，军事支出占国民总产值28%。经济结构失衡，工业技术工艺落后，苏联人民饱受食品和生活物资短缺的痛苦，经济接近崩溃。

苏联的失败表明，以上世纪的组织和技术能力，要对整个国民经济进行精确的指令性计划管理，就是超大型计算机可能也无能为力。

但是，进入新世纪以后，由于人类的计算能力以几何速度递增，一切美好的计划都开始变的可能起来。

近些年，由于计算机、软件和网络技术的进步，出现大数据，共享数据，云统计，云计算。人们可以对订单、消费和物流进行精确统计和安排，这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划，而不是政府指令性计划。

互联网、人工智能和大数据，解决了计划经济所需要的技术支持。有了互联网技术的大规模应用，使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

那么问题来了，在互联网大数据以及人工智能技术风起云涌的时代，计划经济真的可能卷土重来吗？

华灯初上的“最互联网城市”深圳。 南方日报记者 鲁力 摄

手机点一点，就能解决上下班通勤难题；眼睛眨一眨，就能办好100项政务服务；鼠标动一动，就能享受快捷的便民服务。在深圳这样一座科技创新之都，大数据、云计算、物联网、移动互联网、人工智能等新兴技术风起云涌，正在给人们的生活带来巨大改变。

深圳市可持续发展规划（2017—2030年）提出，深圳将整合全社会数据资源，提高城市服务效率，打造全程全时服务、具有更高科技含量的智慧便捷之城。智慧便捷之城究竟如何打造？生活在这样一座城市里，深圳人的生活将会发生哪些变化？

公共交通

建设智慧高效交通服务体系

穿梭在近2000平方公里面积的城市里，交通是很多深圳人每天都要面对的苦恼问题。动辄一个小时以上的通勤时间，拥挤的地铁、公交常常让人叫苦不迭。

在南山科技园片区某互联网金融企业工作的陈钰，家住龙岗区坂田，以前往返家与公司都要搭乘1小时20分钟左右的地铁，而且“经常挤不上去”。现在，他选择通过互联网巴士解决上下班通勤问题，单程只需40—50分钟，而且保证有舒适的座位。

“深圳有很多互联网巴士平台，只要提前预约就能乘车，价格比地铁还便宜。”陈钰告诉记者，他经常乘坐的互联网巴士包括深圳e巴士、嘟嘟巴士、搭对巴士等，这其中既有深圳东部公交集团等官方推出的举措，也有互联网企业在充分市场竞争中推出的平台。

深圳市可持续发展规划（2017—2030年）提出，要创新智慧交通管理服务，鼓励交通运输企业与互联网平台深度合作，为市民提供多模式个性化的交通运输服务、多方式全链条的出行信息服务。

通过互联网巴士解决上下班通勤问题，成为很多年轻白领的新潮做法，不过对于大多数人来说，地铁、公交仍是生活的常态。在交通服务体系规划领域，深圳提出要建设智慧高效的交通服务体系。坚持公交优先，构建以轨道交通为主体、多样化公交为补充的多层次一体化公共交通体系，为市民提供高品质服务。

不久前，深圳地铁10号线孖岭站—雅宝站区间隧道双线顺利贯通，为2020年全线建成通车提供重要保障。这一区间隧道下穿鸡公山，连通了原特区内外。线路建成通车后，将连通龙岗、龙华和福田，支撑深圳中部轴线快速发展。

除了10号线之外，深圳目前共有17条线路（项目）在建，建设总里程达到300公里，形成了轨道三期、四期同时推进的建设热潮。按照施工计划，地铁6、8、10号线等三期及三期修编工程土建今年完成80%，12、13、14、16号线等四期工程加快建设。预计到2020年，深圳轨道交通通车里程将超过400公里，届时轨道交通将覆盖全市核心区域，支撑东、中、西三大城市发展轴高效发展。

“建地铁就是建城市。作为城市重大基础设施和民生工程，未来5年深圳城市轨道交通建设将提质提速，以积极主动作为提升深圳城市发展水平。”深圳地铁集团董事长林茂德说。

城市基础设施事关民生福祉，事关城市长远发展竞争力。记者了解到，除轨道交通外，深圳还正加速推进机场三跑道、赣深高铁等对外交通基础设施，加快轨道三期、四期工程以及南坪三期等一批城市道路建设。

　政务服务

科技创新手段推动政务创新

如果说交通问题是“大城市病”的症状之一，那么“办事难”就是不分地域，被各地群众集中“吐槽”的问题了。如何解决群众“办事难”？深圳在深化“放管服”改革的过程中，充分利用科技创新手段推动政务创新，在智慧城市和数字政府建设方面，走在了全国前列。

深圳是全国电子信息产业的重要基地，基本形成智慧城市产业集群，“互联网+”业态不断创新。其中，软件产业产值约占全国10%，电子信息制造业产值占全国的1/7，拥有腾讯、华为、中兴等龙头企业，在物联网、大数据、云计算、人工智能、互联网金融等智慧城市产业领域创新能力强，涌现出一批创新型企业。

良好的智慧产业生态，助力深圳新型智慧城市建设。按照“集约建设，共建共享”的原则，深圳构建起包括党政机关网络平台、政务云平台在内的高效集约的基础设施支撑体系，夯实新型智慧城市建设根基。

深圳连续多年成为“最互联网城市”。截至2017年底，深圳新增光纤接入用户156.6万户，累计达453.46万户，基本实现“百兆到户，千兆到企，百米光接入”，全市信息基础设施建设实现跨越式发展；深圳基本建成覆盖全市的窄带物联网网络，形成智慧城市的感知信息传输网络，由此实现智能水表、智慧燃气的自动抄表。

记者了解到，在政务服务方面，根据有关工作方案，深圳将实现政务服务事项可100%网上申报，行政审批事项平均审批时限在法定时限基础上压缩50%以上，推进至少500个事项实现全城通办。

同时，深圳将实现100项高频服务“眨眼办”，申请人刷脸眨眼后即完成申请；自助终端机提供超过100项政府服务；100项服务主动推送办理；建设全市统一政府移动应用APP，实现政务服务贴身随行，整合超过500项服务内容。

日前，在深圳市政府召开的智慧城市暨数字政府建设工作会议上，制定了新型智慧城市建设2018年实施方案。今年深圳将通过打造一批示范应用项目，推进一批重点工程建设，力争到2018年底实现7个目标，包括政务服务“一号走遍深圳”、建成全市统一的大数据中心、扩大政府数据开放范围等具体措施。

根据正在制订并征求意见的方案，深圳提出到2020年，将实现身份证号+生物识别可办理各类公共服务。届时，深圳人有望实现“一图全面感知”“一号走遍深圳”“一键可知全局”“一体运行联动”“一站创新创业”“一屏智享生活”。

围绕“六个一”目标，深圳将重点推进高速宽带网络工程、全面感知体系工程、城市大数据工程、智慧城市运行管理工程、智慧公共服务提升工程、智慧公共安全体系工程、智慧城市治理优化工程、智慧产业发展工程、网络安全保障工程、标准规范保障工程等十大工程。

“目前国内智慧城市建设缺乏统一标准，缺乏可借鉴的标杆。”中国城市科学研究会智慧城市联合实验室首席科学家万碧玉认为，新型智慧城市首先要做好标准的体系建设，标准由行业的领军企业牵头，组织整个行业专家共同制定行业标准，然后上升为国家标准。国家试点中，深圳是引领的标杆，信息化水平全国领先，深圳作为国内基础条件最好的城市之一，理应在打造智慧城市的标准方面领跑。

　智慧民生

智慧城市建设

看得见摸得着

过去一周，深圳交警在全国率先试点的“刷脸”执法引起许多市民的关注。5月1日，这项主要针对新人及非机动车，快递及外卖等“特殊行业人群”和“失驾”人群的执法“黑科技”正式启动。一名快递小哥因骑着电动车闯红灯行驶，被路口的刷脸电子警察设备抓拍，收到了深圳首宗“刷脸”违法产生的“罚单”。

作为广东省“数字政府”综合改革试点城市之一，深圳此前召开智慧城市暨数字政府建设工作会议，指出要从数字政府、智慧民生服务抓起，从市民群众、企业反映的突出问题抓起，确保智慧城市建设看得见、摸得着。

如今，市民通过多功能警务自助服务平台，仅用5分钟就完成港澳通行证签注事项；打开手机，关注“深圳公安”微信公众号，81项个人业务和41项企业法人业务即刻映入眼帘。据了解，依托深圳公安微信公众号、门户网站等互联网途径，深圳市公安局目前已实现122项公安行政审批服务事项网上申办受理。其中48项户政业务上线，让深圳成为全国公安户政业务网上办理种类最全的城市。

近年来，深圳公共服务应用不断创新，利用大数据成功解决了市民的“小烦恼”。比如，深圳建立1500多万份健康档案，居民健康建档率达90%以上，居民健康档案实现信息共享；“健康深圳”公众号提供预约挂号、诊前咨询、费用支付、结果查看、诊后服务等移动互联网医疗服务。

“深圳在互联网医疗的应用更是比中国其它城市更为普及，并成为国内网络预约挂号量最大的城市。”深圳市政协港澳委员、普华永道中国华南区首席合伙人张展豪说。

深圳市政协委员沈丹认为，作为数字经济与智能制造的前沿城市，新阶段深圳智慧城市建设不仅有“为全国示范”的责任，同时需要“为全球实验”的精神，以数据治理的视角来审视城市管理、产业发展、服务体验和创新，以“来了就是深圳人”的理念吸收全球智慧为每一个深圳人提供独一无二的个性化服务，这是“智慧深圳”的未来方向。

■观点

深圳可建设

智慧城市生活驿站

不久前，腾讯研究院发布了《中国“互联网+”指数报告（2018）》，报告对全国351个城市的数字经济发展情况进行排名。从各省来看，广东“互联网+”指数连续3年排名第一；从城市来看，深圳高居榜首。

随着数字化进程连年向前迈步，深圳这座“最互联网城市”如何通过信息化手段解决大城市问题，又该如何利用自身优势加速智慧城市建设？

在今年的深圳两会期间，深圳市政协委员钟帆飞从日常的网购、快递等生活小事入手，提出了“智慧城市生活驿站”的概念和建议。

“与火热的电子商务、智慧生活对比，目前许多地方网络基础设施、硬件服务规划建设相对滞后。特别是，现有的小区会所、门卫岗亭、物业办公场所等无法适应居民网络生活需求”钟帆飞说道，此外，小区的市政配套服务，如水电气、电视电信、银行柜员机等，有的远离社区，有的条块分割，办事效率不高，给百姓生活带来不便。

“智慧城市生活驿站”即通过对现有小区会所、物管办公、门岗门亭，进行城市更新改造或者重新规划建设，植入快递、邮政、物流、仓储、配送、网络通信、市政服务等功能，为市民创造“一站式网络生活”。

(来源:南方日报)

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

被誉为“大数据商业应用第一人”的维克托.迈尔-舍恩伯格教授，在《大数据时代》中曾经前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并将带来新时代的思维变革、商业变革和管理变革。

不过，大数据并不是一座供人随意取拿的宝库，宝藏越多，就越容易挑花眼，最适合自己的那一块宝石，总是掩埋在最深处的角落。在此背景之下，云计算技术应运而生，超过10万亿次/秒的运算能力，可以在浩瀚如海的大数据之中，精确找到那块梦想中的宝石。

随着云计算技术的逐渐成熟，大数据带来的时代变革悄然降临，大数据、云计算与这个时代，天作之合。

对于物流行业来说，变革也正在发生。只是，大多数传统物流行业，选择做一只脑袋埋在沙里的鸵鸟，对外界日新月异的变化视而不见，依靠着年复年、日复日积累下来的旧经验和老资源，东奔西走，疲惫应付着越发不能满足的用户新需求。

“勇于跨越，追求卓越”的跨越速运，选择了另外一条不同的道路，以最大的热情拥抱新技术，左手大数据，右手云计算，用“新玩法”颠覆了整个物流行业。

左手大数据，跨越速运引领行业浪潮

在跨越速运眼中，运输、仓储、搬运装卸、调度、配载等物流环节涉及到的任何信息，都是取之不竭的宝藏。通过大数据分析，可以提高运输与配送效率、减少物流成本、更有效地满足客户服务要求。

坐落于跨越深圳总部的大数据中心，是华南地区最大的物流数据中心之一。上千名互联网行业的精英人士荟萃于此，每天24小时监控着全国范围内的数十万条跨越物流数据，并以此为基础，推出了ERP物流管理系统、自动调度系统、天网眼监测系统等多项具有自主发明专利的新型物流系统。

面对即将引发社会变革的大数据技术，有人畏之如虎，有人得过且过，有人无动于衷，跨越则用自己的实际行动，推动着物流行业大数据技术发展的浪潮，并愿意做浪头最勇敢的弄潮儿，乘风破浪，踏碎云端。

右手云计算，跨越速运送给行业的“解决方案”

如果把大数据比作行业浪潮的话，云计算就是推动“浪潮”向东或向西去的风暴。

与BAT等互联网巨头不同，跨越速运的数据计算，并不是通过消费者与平台的交互，而是通过专业的物流设备，实际记录每一个物流环节的产生和行为，甚至是司机踩刹车、操作员卸货、跟单员单号查询、航班动态信息、客服通话时间等物流运输过程中每一分每一秒的数据。

从这些碎片化的信息中，筛选有用信息，并智能计算出“优势可以改善、劣势可以改正”的未来发展方向，以最快的速度运用到实际的物流操作中去。

对于跨越速运来说，云计算并不是对外炫耀的“皇帝新装”，而是可以高效运用到物流工作中去的“解决方案”。

大数据无穷，云计算给力，“解决方案”会源源不断地创新产出。流水不腐，户枢不蠹，今天的“跨越速运”，与昨天相比，也一定会是更好的“跨越速运”，这也正是跨越能够迅速崛起，成长为物流行业内一匹“黑马”的原因之一。

左手大数据，右手云计算，

跨越速运的“新玩法”还可以更细一些

自2012年起，国家先后出台了《第三方物流信息服务平台建设案例指引》、《商贸物流标准化专项行动计划》、《物流业发展中长期规划(2014-2020年)》、《关于推进物流信息化工作的指导意见》等一系列政策，将大数据、信息化处理方法作为物流行业转型升级的重要指导思想。

在众多的物流企业中，跨越速运是为数不多的有力执行者，并在大数据、云计算等新型技术的基础上进行深耕，规划了更加辉煌的物流行业未来。

在跨越的高瞻远瞩之中，物流运输环节中会遇到的各类信息，如调度、运输、跟单、卸货等，不过是微观层面的大数据；供应链、发展方向、物流新技术等则是宏观层面；而基于微观和宏观，对每一个物流动作进行细分化处理，以系统自动收录代替人工操作记录，以数据智能化分析代替各路“智囊团”的冥思苦想，以一步一步的细节改善代替不切实际的“空中楼阁”，才是未来物流发展的正确方向。

文章转自新浪财经，如有侵权可联系删除