先介绍与大数据相关 的内容，然后讲解Hadoop、大数据以及云计算之间的关系，使读者从大数据和云计算的角 度来认识Hadoop.

大数据

大数据一般是指这样的数据：数据量巨大，需要运用新处理模式才能具有更强的决策力、 洞察力和流程优化能力的海量、髙增长率和多样化的信息资产。大数据可分成大数据技术、 大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据 应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理 的系统工程；大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及 其与自然和社会活动之间的关系。

大数据的特征有四个层面：第一，数据量巨大，从TB级别，跃升到PB级别；第二， 数据类型繁多，包括网络日志、视频、图片、地理位置信息等；第三，价值密度低，商业 价值高，以视频为例，在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒；第 四，处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为 4V-------Volume、Variety、Value 和 Velocity。

上面我们介绍了大数据的基本概念以及其显著的特征，下面将从不同的维度来阐述大数据的核心问题。

1.数据态的多样性问题

大数据具有多态性，主要体现在数据源、结构及相关度上，在数据来源上包括图像、 视频、音频、文本、网页、数据流等；在结构上不仅仅包括结构化的数据，还包括非结构 化 的 数 据 ； 在 相 关 度 上 不 仅 有 数 据 记 录 彼 此 间 相 关 性 问 题 ， 还 有 时 间 序 列 数 据 的 相 关 性 问题。

2. 维度复杂性问题

首先，大数据中存在着多元空间的维度问题，例如典型的三元空间中大数据的产生、状 态感应以及采集问题，这个问题在物联网中非常常见；其次，就是柔性粒度数据的传输、移 动、存储及计算问题；最后，就是数据空间范围和数据密度的不均匀问题。

3. 大数据存储问题

大数据最为显著的特征就是数据规模非常巨大，单机系统肯定无法解决存储问题，这就 需要分布式存储系统作为大数据的存储支撑服务，而分布式存储系统需要考虑的核心问题包 括：高可靠性、扩展性、伸缩性、容灾及恢复等问题。

4. 大数据计算分析问题

由大数据的特征可知，大数据在数据规模上非常巨大，要在一定的时间内达到撷取、管 理、处理并整理为能够帮助企业做出经营决策更有效的资讯，传统的顺序计算模式必然不能 满足这样的需求，这就要求使用集群计算系统来完成计算分析任务。基于集群的计算模型目 前主要包括：基于消息传递的MPI、MapReduce计算模型、流式计算架构Storm、S4、高性 能集群计算HPCC,以及基于共享内存RDD的Spark模型。

5. 大数据价值挖掘问题

由于大数据的价值密度低而商业价值大，这使得大数据的价值挖掘显得格外重要，而 价值挖掘主要包括两个阶段：第一个阶段就是过滤清洗，需要在尽量不损失其价值的条件下 减小数据规模，同时在不改变数据基本属性的情况下采取数据清洗、抽样、去重、过滤、筛 选、压缩、索引、提取元数据等方法，以直接将大数据变小；第二个阶段就是对商业价值的 挖掘，主要是发挥大数据探索式考察与可视化作用，人机的交互分析可以将人的智慧融入数 据，再者是通过群体智慧、社会计算、认知计算对数据价值进行提炼，从而挖掘出大数据中 隐藏的商业价值。

大数据、Hadoop和云计算的关系

上面讲述了大数据的基本概念及与大数据相关的几个核心问题，通过这些问 题我们已对大数据有了一个初步的了解，那么大数据、Hadoop及云计算之间到底是什么关系 呢？为了从大数据和云计算的角度去了解Hadoop,下面将阐述这三个概念之间的关系。

可以这样说，正是由于大数据对系统提出了很多极限的要求，不论是存储、传输还是计 算，现有计算技术难以满足大数据的需求，因此整个IT架构的革命性重构势在必行，存储 能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分 布式存储架构不仅需要scale up式的可扩展性，也需要scale out式的可扩展性，因此大数据 处理离不开云计算技术，云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服 务的高效模式，大数据则为云计算提供了新的商业价值，大数据技术与云计算技术必将有更 完美的结合。

我 们 知 道 云 计 算 的 关 键 技 术 包 括 分 布 式 并 行 计 算 、 分 布 式 存 储 以 及 分 布 式 数 据 管 理 技术，而Hadoop就是一个实现了 Google云计算系统的开源平台，包括并行计算模型 MapReduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目 也很丰富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，这些项目都使得 Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括 IBM的蓝云，雅虎、英特尔的“云计划”，百度的云计算基础架构，阿里巴巴云计算平台， 以及中国移动的BigCloud大云平台。

总而言之，用一句话概括就是云计算因大数据问题而生，大数据驱动了云计算的发展， 而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。

这件事起源于2016年11月，马云在浙商大会提出了一个很惊人的观点，那就是”未来计划经济将会越来越强大”，他认为未来三十年内，市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

我们坚信，中国目前的繁荣盛况是离不开改革开放和市场经济的，但随着科技的发展，互联网大数据以及人工智能等技术的日益成熟，仿佛也给了我们更大的勇气和信心在经济领域有所作为。

现在有一种很超前的观点，认为在大数据时代，经济集体和个体之间的联系更加密切，人们对数据进行计算和再加工的能力也远远超出了以前，而且对世界的认识水平也会有全新的提升，这也意味着，大数据技术能够让我们对经济领域的事物进行更加科学准确地评估，在这种情况下，市场经济的优势可能并不能超越计划经济。

计划经济体系的缺陷在于，在一个人口众多的社会，没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求，并按需生产和分配，个体需求必然会被压抑，不会被及时满足，票凭经济就是一个很好的体现。

市场经济体系的巨大缺陷在于，个体需求无法通过市场机制汇聚成整体，供求必然出现极大偏差，导致资源浪费。

事实上，在上世纪七十年代，苏联在研究计划经济方面已到了相当的高度，苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》，对资源最优分配理论做出了卓越贡献，获得1975年诺贝尔经济学奖。理论上，康氏的研究可以实现全社会范围的资源最优分配和利用，即在现有资源条件下，全社会能够以最小的劳动消耗，获得最大限度的生产量，由此得出的生产计划叫最优计划。

1990年，笔者第一次赴苏联，那时候苏联尚未解体，还不叫俄罗斯。第一次在饭堂吃饭的时候，特意观察过他们的餐具，印证了老前辈所讲过的苏联计划经济典型案例，苏联对民用工业产品有一种变态的价格限制，一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比，玻璃杯5戈比，一个官窑的瓷盘子只要8戈比。

不过，苏联式的计划经济最后还是失败了。苏联在第十个五年计划（1976-1981年）期间，每年要报废10-20%的工业品，积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划，苏联的计划经济显示出巨大的缺陷，到了80年代末，苏联形成了极度的军工经济特征，军品占机器制造业的80%以上，军事支出占国民总产值28%。经济结构失衡，工业技术工艺落后，苏联人民饱受食品和生活物资短缺的痛苦，经济接近崩溃。

苏联的失败表明，以上世纪的组织和技术能力，要对整个国民经济进行精确的指令性计划管理，就是超大型计算机可能也无能为力。

但是，进入新世纪以后，由于人类的计算能力以几何速度递增，一切美好的计划都开始变的可能起来。

近些年，由于计算机、软件和网络技术的进步，出现大数据，共享数据，云统计，云计算。人们可以对订单、消费和物流进行精确统计和安排，这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划，而不是政府指令性计划。

互联网、人工智能和大数据，解决了计划经济所需要的技术支持。有了互联网技术的大规模应用，使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

那么问题来了，在互联网大数据以及人工智能技术风起云涌的时代，计划经济真的可能卷土重来吗？

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

请点击输入图片描述

2017年大数据开始进入部署阶段，大数据的炒作逐渐散去，它的应用却正在蓬勃发展，代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可争议地转移到人工智能身上，过去几个月AI所经历的共同意识“大爆炸”与大数据当年相比甚至有过之而无不及。

从2013开始制作大数据版图的Matt Turck刚刚发布了最新的2017年大数据版图，我们一起来看看在这个领域有哪些最新趋势和玩家的分布情况。

高层趋势

大数据+AI=新栈

2016年无疑是机器学习之年，任何目睹过众多pitch的VC都应该能感受到这一点，那就是每一家初创企业都成为了“机器学习公司”，“.ai”变成了必备域名，而“等等，可是我们是用机器学习做到这个的”也成为了pitch deck的必备幻灯片。机器学习正在迅速成为许多应用的关键建构块。

相应地，一个新兴的技术栈正在出现，在这个技术栈里面，大数据被用于处理核心的数据工程挑战，而机器学习则用于以分析洞察或者行动的形式从数据中析取出价值。

换言之，大数据提供管道，AI提供智能。当然，这种共生关系已经出现多年，只是能实现这个的目前还不多而已。

但是，现在这些技术开始大众化的普及。“大数据+AI”正在成为众多现代应用（不管是消费者型还是企业型）的默认技术栈。无论是初创企业还是一些财富1000强公司都在利用这一新的技术栈。而且在云巨头的努力下，这个技术栈往往还有云计算这个更基础的建构块的加入，以机器学习云的形式出现。

但是AI的大众化是否就意味着这种技术在短期内能实现商品化呢？现实是AI在技术上仍然非常困难。尽管许多工程师都在争先培养AI技能，但全球这方面的领域专家仍然十分稀缺。

不过这股大众化的趋势已经不可逆转，而机器学习早晚都要从竞争优势演变成桌面筹码。

这对初创企业和大公司都会产生影响。对于初创企业来说，除非你把AI软件做成自己的最终产品，否则的话自我标榜为“机器学习公司”将变得毫无意义。对于大公司来说，如果现在你不积极推进大数据+AI的战略，就会有变得过时的风险。AI已经是下一个风口了。

企业预算：一切向钱看

从2016年的情况来看，财富1000强公司已经在纷纷增加预算用于升级核心基础设施以及分析，其关键的关注点正是大数据技术。分析机构IDC预计大数据和分析市场将从2016年的1300亿美元增长到2020年的超过2030亿美元。

而且财富1000强公司里面的许多买家在大数据技术方面正在变得越来越娴熟、越来越目光敏锐。这些公司过去几年做了很多功课，正在进入全面部署阶段。这种情况不仅发生在技术导向型的公司，在很多行业都是如此。

在大公司每隔几年就要发生的旧技术替代自然周期的推动下，这种情况得到进一步加速。大数据遭遇的环境也从逆风变成了顺风。当然，很多大公司仍然处在大数据部署的早期阶段，但是情况似乎在快速演变。

企业数据向云端迁移

直到几年前，把企业数据迁移到公有云上面对于大公司CIO来说还是不可想象的事情，顶多是在开发环境下或者拿非关键的、面向外部的应用来尝试一下。但现在画风开始有所变化，大家对此的态度似乎变得更加开放了，比方说你会听到这样的说法“不管怎么说我们的客户数据已经放到Salesforce云上面了”，或者“在网络安全方面我们永远也不会有像AWS那么多的预算”。但目前里大多数企业都向公有云迁移还远得很，这部分是因为遗留系统和管制方面的原因。不过云供应商正在竭尽全力来加速这一趋势的转变。比如说AWS甚至可以开卡车来运你的硬盘到云端。

2017年大数据版图

作为对比我们先看看2016年版本：

请点击输入图片描述

2017年版本：

请点击输入图片描述

整合要来了吗？

从上图可看出，这张图已经变得越来越拥挤，那么一个显然的问题来了：行业是否濒临大规模整合的边缘了呢？

似乎还没有。至少目前如此。

首先VC仍然继续乐于给新老公司提供资金扶持。2017年的第一季度成长阶段的大数据初创企业拿到了不少的可观融资，其中包括：Looker（8100万美元D轮），InsideSales （5000万美元F轮），DataRobot （5400万美元C轮），Confluent （5000万美元C轮），Collibra （5000万美元C轮），Uptake （4000万美元C轮），WorkFusion （35M00万美元D轮） and MapD （3500万美元B轮）等。去年12月DataBricks也拿到了6000万美元的C轮。

2016年，大数据初创企业的总融资达到了148亿美元，占到了全球技术风险投资的10%。

其次，自去年的大数据版图推出以来，本领域的并购活动一直在稳步推进，但不是特别显著，其中部分原因也许是未上市公司的估值仍然高企。入选2016大数据版图的公司当中共有41家被收购（完整清单参见附注），这个节奏跟上一年是一致的。

另一方面，2017年刚开始就发生了一些大型的并购事件，其中包括Mobileye（被英特尔以153亿美元收购），AppDynamics（被思科以37亿美元收购），以及Nimble Storage（被HPE以12亿美元收购）。

去年还有一个显著的现象，那就是大型技术公司纷纷收购AI初创企业，尤其是那些解决水平问题、有着很好团队的AI初创企业。其中包括Turi（苹果）、Magic Pony（Twitter）、Viv Labs（三星）、MetaMind（Salesforce）、Geometric Intelligence（Uber）、API.ai（Google）以及Wise.io（GE）。当然，这种现象未必能持续太久，因为对AI的需求太旺盛了，人才实在是不够用了。

第三，一些较大的大数据初创企业羽翼渐丰，正在成为独立的上市公司。Snap无疑引领了技术公司IPO的复兴，但是目前为止是大数据公司借了这股东风。

2016年只有Talend一家大数据公司上市，但2017年大数据公司已经呈现出爆发之势。其中Mulesoft和Alteryx已经上市并且表现不错，而Cloudera也即将上市，其最新估值（41亿美元）与收入（2.61亿美元）之间的差异将延至“独角兽”估值现象的成色。另外，MapR以及定位智能公司Yext也已经在排队等待了。

下一个会是谁呢？也许是Palantir这个超级独角兽。这家多年以来保持神秘的公司已经公开表达了上市的兴趣。其最新估值达到了200亿美元，如果上市的话必将引起轰动。

云大战

虽然大规模并购尚未出现，但业界的另一股趋势值得注意，这就是“功能性整合”，这种现象在云端尤其显著。一些关键的玩家正在通过自研产品和开源计算引擎的实现逐步构建“大数据+AI”的基础构件，面向众多客户群提供其所期盼的“一站式”的服务。

AWS在产品发布的速度和幅度方面继续给人留下深刻印象。目前AWS几乎提供了大数据和AI方面的所有服务，包括分析框架、实时分析、数据库（NoSQL、图谱等）、商业智能以及日益丰富的AI能力，尤其是深度学习方面的能力。按照这种速度发展下去，AWS产品几乎就要把大数据版图的所有的基础设施和分析细分领域都占据了。

加入云大战稍晚的Google一直在积极开发广泛的大数据产品（BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等），并且把AI视为跨越式发展的杀手锏。在AI方面Google去年做了很多事情，包括推出了新的翻译引擎，聘请了李飞飞和李佳领导新成立的Cloud AI and Machine Learning部门，推出了视频识别的机器学习API，并且收购了数据科学家社区Kaggle。

其他大型的IT供应商，比如微软、IBM、SAP、Oracle以及Salesforce等也在努力推出大数据产品（包括云端和本地）。除了技术自研和进行收购以外，这些玩家还越来越重视通过合作来打造生态链，其合作的重点是手上有数据的公司以及有“头脑（AI）”的公司。IBM与Salesforce的合作以及SAP与Google的合作就是值得注意的案例。

用企业IT的行业标准来看，云供应商还比较小，但是其不断膨胀的野心（其中包括从企业栈底层的IaaS向应用发展的企图）与企业数据逐渐向云端迁移的趋势结合，将打开庞大的企业技术市场大门，与传统IT供应商展开激战，而大数据和AI将是核心战场。

2017数据生态体系概览

基础设施

去年的许多趋势今年仍将延续，比如流处理技术，这方面Spark目前是主宰，不过像Flink这样的有趣竞争者正在出现。此外，还有以下一些趋势：

SQL正式回归

在给NoSQL当了10年副手之后，曾经的霸主SQL数据库正式吹响了回归的号角。Google最近发布了Spanner数据库的云端版。Spanner和CockroachDB（Spanner的开源版）都提供了可行的、强一致性的、可伸缩的SQL数据库。Amaozn推出了Athena，跟Snowflake等产品类似，这是一款SQL数据引擎，可直接查询S3下的数据。Google BigQuery、SparkSQL以及Presto等在企业逐渐获得采用——这些都是SQL产品。

数据可视化

与公有云采用相关的一个有趣的趋势是数据可视化。旧的ETL处理需要转移大量的数据（而且往往要建立冗余数据集）并且建立数据仓库，而数据可视化可以在数据保持不动的情况对其进行分析，提高了速度和敏捷性。许多下一代的分析供应商现在都可以同时提供数据可视化和数据准备服务，并让客户可访问存储在云端的数据。

数据治理与安全

随着大数据在企业侧走向成熟，以及数据的多样性和体量的不断发展，像数据治理这样的主题也变得日益重要。许多公司已经选择了“数据湖”作为把所有数据收集起来的手段。但除非你知道里面有什么东西，并且能够访问到合适的数据进行分析，否则的话数据湖再大也没有意义。但是想让用户方便地找到想要的东西同时管理好权限并不容易。除了数据湖以外，治理的另一个集中的主题是以安全的、可审计的方式为任何人提供对可靠数据的便捷访问。Informatica、 Collibra、Alation等大小供应商提供了数据目录、参考数据管理、数据字典以及数据帮助台等服务。

结论

通过大数据与AI的黄金搭档，我们正在进入大数据技术的“收获”阶段。其潜能将非常巨大。随着核心基础设施不断走向成熟，以及在AI推动下应用侧的爆发，2017年的大数据（以及AI）生态体系将开足马力，驶向光明的未来。

云计算、大数据、人工智能这三者的发展不能分开来讲，三者是有着紧密联系的，互相联系，互相依托的，脱离了谁都不能更好的发展，让我们具体来看一下！

一、大数据

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

数据每天都在产生，各行各业都有，数据量也是相当之大，但如何整合数据，清洗数据，然后实现数据价值，这才是当今大数据行业的研究重点。大数据最后要实现的是数据超融合，应用到应用场景，大数据的价值才会体现出来。

人工智能就是大数据应用的体现。

二、云计算

云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

说白了，云计算计算的是什么？云存储存储的是什么？还是大数据！所以离开大数据谈云计算，离开云计算谈大数据，这都是不科学的。

三、人工智能

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

人工智能是一门极富挑战性的科学，从事这项工作的人必须懂得计算机知识，心理学和哲学。人工智能是包括十分广泛的科学，它由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。但不同的时代、不同的人对这种复杂工作的理解是不同的。

人工智能其实就是大数据、云计算的应用场景。

现在已经比较火热的VR，沉浸式体验，就是依赖与大数据与云计算，让用户能够由更加真切的体验，并且VR技术是可以使用到各行各业的。

人工智能不同于传统的机器人，传统机器人只是代替人类做一些已经输入好的指令工作，而人工智能则包含了机器学习，从被动到主动，从模式化实行指令，到自主判断根据情况实行不同的指令，这就是区别。

大数据的概念在前几年已经炒得火热，但是也就是近两年才开始慢慢落地，依赖于云计算的发展，以及人们对人工智能的预期。

说到底，云计算是大数据的底层架构，大数据依赖云计算来处理大数据，人工智能是大数据的场景应用。三者直接建立起一个体系，从而实现改变世界的目的。三者不能分开说，一定要紧密结合。

互联网的下一个风口，也一定是大数据、云计算、人工智能的共同风口。

本文来自IT培训网：cnitedu，转载请注明出处。

日前，记者从市信息化办获悉，陇南市大数据云计算中心已建成运营，这是全省市州首家建成投运的大数据云计算中心，标志着我市信息化从各自发展走向集约化建设，也标志着我市数据共享迈上了新台阶。

近年来，我市在大数据建设方面提前布局，立足实际，积极运用大数据保障和改善民生，尤其注重推进大数据在广大农村的普及应用，建成了陇南市大数据政务中心，开发了“陇南市自然灾害监测预警应急指挥系统”“陇南乡村大数据”等一大批优质大数据应用，为全市社会经济发展提供了新引擎、新动力。特别是今年，市信息化办与中国电信陇南分公司合作建设了陇南市大数据云计算中心，进一步夯实了我市大数据建设基础。

据悉，陇南市大数据云计算中心一期于2014年正式开始建设，截至目前，硬件设备及附属设备已达110余台，其中服务器50余台，安全设备20余台，网络设备20余台，网闸8台，UPS配电设备4台，空调3台，其他设备5台，有效地支撑了我市大数据建设工作。2017年，由市信息化办牵头，甘肃电信提供相关技术支持服务，对陇南市大数据云计算中心进行二期扩建，建成了具有国内领先水平的综合性高性能政务云计算服务中心。中心占地总面积1200多平方米，实现了电信、移动、联通三大运营商千兆带宽接入；配置深信服、360等高性能安全设备，建立一系列安全管理制度，由专业运维团队提供7×24小时服务，信息安全保护达到国家等保三级标准；采用灵活可扩展的“资源池”架构，可根据实际需求实现计算核心、存储等硬件资源的动态分配，为全市各单位、九县区信息化建设提供全方位的硬件服务。

中心建成后，全市（包括市、县、乡）行政事业单位现有的信息系统，除涉密系统和对安全保护等级有特殊要求的敏感业务外，按照统筹规划、先易后难、平稳迁移、快速推进的原则，分期分批迁入。截至目前，大数据云计算中心已迁入18家单位的46个业务系统，共计开通云主机143台、占用计算资源1118（vcup）、占用内存资源3020（G）、占用存储资源133.6（T）。同时，依托大数据云计算中心集中托管业务系统的优势，结合“放管服”改革，积极促进部门之间数据共享，建设全市统一的数据交换平台，支持数据并联推送、串联推送，构造最快捷的审批通道，支持部门之间材料共享，实现提交一次，复用一生。

陇南市云计算中心的建设不仅统筹了硬件建设，节省了资金投入，为全市信息化建设提供了优质的硬件支撑，强化了安全保障，提高了全市信息安全防护水平，同时，也为推动全市大数据建设，统筹全市数据资源，更好更快地实现“信息多跑路、群众少跑腿”提供了重要抓手。云计算中心现已成为陇南推进“放管服”改革，推进全市信息化工作的“衣领子”“牛鼻子”。（靳淑敏 韩县银）

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

近日，武汉市互联网信息办公室，武汉市大数据协会、武汉市软件行业协会联合公布了“2018年度武汉市大数据企业认定名单”。武汉物易云通网络科技有限公司(司机宝)，作为新经济常态下推动我国大宗商品供应链与物流生态链完善，开创互联网化“供应链技术+物流服务+金融场景”新生态的杰出典范，成功入围该名单。

据武汉市互联网信息办公室介绍，此次评选是根据《武汉市大数据企业认定管理暂行办法》(武网发【2015】46号)，经过专家评审和网上公示最终认定出来的，以权威、客观公正的评价体系，发掘武汉地区优质互联网大数据企业。司机宝的入围，也正是因为其在大宗商品供应链与物流运营服务领域，精准数据化服务过程中取得的突出成绩而获得的。

立足场景，树榜样互联网企业

为进一步聚合企业与政府部门力量，聚拢大数据行业资源，并深入了解司机宝运营情况。9月11日武汉大数据协会副秘书长吴剑文一行走访了司机宝，并就如何响应国家政策支持推动无车承运人事业发展，如何完善供应链与物流生态圈，如何推动武汉市互联网企业发展等话题与司机宝创始人、武汉物易云通网络科技有限公司董事长兼总经理龚晓斌进行了深入交流。

吴副秘书长充分肯定了司机宝的业务模式和在经营上取得的成绩，他表示：“司机宝的业务场景和思路非常清晰，整个企业的经营状况也特别好，这些都是基于对互联网、大数据、以及整个供应链与物流生态圈的深刻理解，值得武汉其他互联网企业学习。”

完善商业模式，推动行业转型升级

在物流运输尤其是大宗商品的流通领域中，信息不对称、时效性受限、服务管理散乱杂等，一直是导致物流行业车辆利用率不足、成本高居不下，以及相关行业发展缓慢的首要因素。

“大宗商品供应链与物流市场还存在小、散、乱、杂等行业现状，这意味着存在巨大机会，整个上游还有很大量，供应链与物流大有发展空间。基于大数据和场景，将金融服务与实体经济结合，为供应链金融、供应链与物流提供载体，将快速抢占产业制高点。”龚晓斌表示。

从2013年就开始，司机宝组建互联网团队，利用物联网、云计算、大数据等技术手段，来探索和研究供应链与物流科技市场开发及应用。司机宝率先开创互联网化的“供应链技术+物流服务+金融场景”的新生态，建立起物联时代大宗商品供应链与物流新体系，改变了传统的供应链与物流概念。

作为一家专业的无车承运人平台，在过去五年时间，司机宝在帮助产业信息化升级上卓有建树，从产品部署到客户策略，以及生态系统的打造，都在逐步完善。截至目前，司机宝供应链与物流解决方案已成功应用于多家客户，已与陕煤集团、汇能集团、伊泰集团、巴音孟克集团等大型集团公司结成战略合作伙伴，在为其节约成本、提升效率、优化组织协同性等方面起到了很好的支持帮助作用。