先介绍与大数据相关 的内容，然后讲解Hadoop、大数据以及云计算之间的关系，使读者从大数据和云计算的角 度来认识Hadoop.

大数据

大数据一般是指这样的数据：数据量巨大，需要运用新处理模式才能具有更强的决策力、 洞察力和流程优化能力的海量、髙增长率和多样化的信息资产。大数据可分成大数据技术、 大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据 应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理 的系统工程；大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及 其与自然和社会活动之间的关系。

大数据的特征有四个层面：第一，数据量巨大，从TB级别，跃升到PB级别；第二， 数据类型繁多，包括网络日志、视频、图片、地理位置信息等；第三，价值密度低，商业 价值高，以视频为例，在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒；第 四，处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为 4V-------Volume、Variety、Value 和 Velocity。

上面我们介绍了大数据的基本概念以及其显著的特征，下面将从不同的维度来阐述大数据的核心问题。

1.数据态的多样性问题

大数据具有多态性，主要体现在数据源、结构及相关度上，在数据来源上包括图像、 视频、音频、文本、网页、数据流等；在结构上不仅仅包括结构化的数据，还包括非结构 化 的 数 据 ； 在 相 关 度 上 不 仅 有 数 据 记 录 彼 此 间 相 关 性 问 题 ， 还 有 时 间 序 列 数 据 的 相 关 性 问题。

2. 维度复杂性问题

首先，大数据中存在着多元空间的维度问题，例如典型的三元空间中大数据的产生、状 态感应以及采集问题，这个问题在物联网中非常常见；其次，就是柔性粒度数据的传输、移 动、存储及计算问题；最后，就是数据空间范围和数据密度的不均匀问题。

3. 大数据存储问题

大数据最为显著的特征就是数据规模非常巨大，单机系统肯定无法解决存储问题，这就 需要分布式存储系统作为大数据的存储支撑服务，而分布式存储系统需要考虑的核心问题包 括：高可靠性、扩展性、伸缩性、容灾及恢复等问题。

4. 大数据计算分析问题

由大数据的特征可知，大数据在数据规模上非常巨大，要在一定的时间内达到撷取、管 理、处理并整理为能够帮助企业做出经营决策更有效的资讯，传统的顺序计算模式必然不能 满足这样的需求，这就要求使用集群计算系统来完成计算分析任务。基于集群的计算模型目 前主要包括：基于消息传递的MPI、MapReduce计算模型、流式计算架构Storm、S4、高性 能集群计算HPCC,以及基于共享内存RDD的Spark模型。

5. 大数据价值挖掘问题

由于大数据的价值密度低而商业价值大，这使得大数据的价值挖掘显得格外重要，而 价值挖掘主要包括两个阶段：第一个阶段就是过滤清洗，需要在尽量不损失其价值的条件下 减小数据规模，同时在不改变数据基本属性的情况下采取数据清洗、抽样、去重、过滤、筛 选、压缩、索引、提取元数据等方法，以直接将大数据变小；第二个阶段就是对商业价值的 挖掘，主要是发挥大数据探索式考察与可视化作用，人机的交互分析可以将人的智慧融入数 据，再者是通过群体智慧、社会计算、认知计算对数据价值进行提炼，从而挖掘出大数据中 隐藏的商业价值。

大数据、Hadoop和云计算的关系

上面讲述了大数据的基本概念及与大数据相关的几个核心问题，通过这些问 题我们已对大数据有了一个初步的了解，那么大数据、Hadoop及云计算之间到底是什么关系 呢？为了从大数据和云计算的角度去了解Hadoop,下面将阐述这三个概念之间的关系。

可以这样说，正是由于大数据对系统提出了很多极限的要求，不论是存储、传输还是计 算，现有计算技术难以满足大数据的需求，因此整个IT架构的革命性重构势在必行，存储 能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分 布式存储架构不仅需要scale up式的可扩展性，也需要scale out式的可扩展性，因此大数据 处理离不开云计算技术，云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服 务的高效模式，大数据则为云计算提供了新的商业价值，大数据技术与云计算技术必将有更 完美的结合。

我 们 知 道 云 计 算 的 关 键 技 术 包 括 分 布 式 并 行 计 算 、 分 布 式 存 储 以 及 分 布 式 数 据 管 理 技术，而Hadoop就是一个实现了 Google云计算系统的开源平台，包括并行计算模型 MapReduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目 也很丰富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，这些项目都使得 Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括 IBM的蓝云，雅虎、英特尔的“云计划”，百度的云计算基础架构，阿里巴巴云计算平台， 以及中国移动的BigCloud大云平台。

总而言之，用一句话概括就是云计算因大数据问题而生，大数据驱动了云计算的发展， 而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，当互联网开始进一步向外延伸，并与世上的很多物品链接之后，这些物体开始不停地将实时变化的各类数据传回到互联网并与人开始互动的时候，物联网诞生了。物联网是个大奇迹，被认为可能是继互联网之后人类最伟大的技术革命，是这样的吗？

如今，即便是一件物品被人感知到的几天内的各种动态数据，都足以与古代一个王国一年所收集的各类数据相匹抵，那物联网上数以万计亿计的物品呢？是不是数据大得不得了，于是"大数据"产生了。如此浩如云海的数据，如何分类提取和有效处理呢？这个需要强大的技术设计与运算能力，于是"云计算"产生了。其中的"技术设计"就归属于"算法"。

"云计算"需要从天量数据中去挖掘有用的信息，于是"数据挖掘"产生了。这些被挖掘出来的有用信息去服务城市，就叫做"智慧城市"；去服务交通，就叫做"智慧交通"；去服务家庭，就叫做"智能家居"；去服务于医院，就叫做"智能医院"；去服务生活，就叫做"智能生活"……于是，智能社会产生了。不过，智能社会真正得以有序、有效运行，中间必须依托一个"桥梁"与工具，那就是"人工智能"。

近年来“云计算”“大数据”“人工智能”成为互联网上的热词。前有阿里云“为了无法估计算的价值”讲中国的计算触角伸向海外，后有百度首次向外界展示“百度大脑”的科技成果，而随着人口的增加移动移动互联网利用人口红利带来的增长已经逐渐见顶，而云计算、大数据、人工智能将使全社会迎来变个性的发展。

　　技术发展是产业发展走向繁荣的前提，无论是什么领域，计算机也好、汽车也好，技术的成熟是一个必要的前提。如果某一个阶段的时代在技术上、硬件上没有达到产业的要求，数据库和平台都不是完整的、稳定的，这个阶段的产业基础也是十分薄弱的。而当 技术累积到一定层次，产业政策的出台是必须的。

　　为了促进云计算的发展，国务院在2015年就出台了《关于促进云计算创新发展培育信息产业新业态的意见》、《云计算白皮书2016》等，这些政策也并不是凭空出现，在其背后有很多云计算服务商多年默默的技术耕耘。

　　技术与政策的形态达到一定地步，真正的产业化和市场化是否也已经达到？等待入局者必须考虑几个重要因素：一、目的是什么(为了降低成本、提高效率，还是在渠道上更接近用户);二、企业是否愿意使用(产品同质严重，如何体现差异化);三、是否有助于提高社会福利(消费者福利、管理效率)。如果这些问题得到肯定的答案，云计算与时代的发展需求相契合，真正的时代大门就会开启。

　　但是首先要明白什么是大数据？大家为何从前几年开始谈大数据了？这是一个基本问题，包含着对当下数据现实现实的基本认识。一个不可忽视的事实是，随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。

　　其实，大数据是指无法在一定时间内使用传统数据库软件工具对其内容进行抓取、管理和处理的数据集。大数据不仅仅是大，还有它的复杂性和沙里淘金的重要性。

　　大数据的两大特点，一是数据来源多源，包括各种结构化数据和非结构化数据，如网络日志、视频、图片、地理位置信息等等，同时数量相对巨大，大数据中的大本身就是一个相对的概念;二是数据处于“on line”即在线的状态，能够随时被吸取和关联，并非进行分析。

　　随着更多的硬件和智能设备的加入，更多数据实时产生，所以需要大量的大数据来实现对数据新的挖掘。其大数据包含了一下几点：数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型挖掘、模型预测、结果呈现等八个方面。而以上几个方面都离不开云平台和云计算能力，比如说数据采集之后的数据存储，现在很多的非核心敏感数据都可以存储在云端;数据挖掘也是需要通过云计算和机器学习才能实现。

　　什么才是云计算？所谓云计算，非常教科书的说法是“能通过网络访问可扩展的、灵活的、可共享的物理或虚拟资源池，并按需自助获取和管理这些资源的模式。其中资源实例包括服务器、操作系统、网络、软件、应用和存储设备等。”云计算有一个很重要的特点和优势就是资源池化，就是把Iaas，Paas，Saas层的资源(CPU、存储、网络等)放入到资源池中(云服务器)，由云服务器进行集中管理。云计算里所有的服务都是通过资源池里的资源而提供的。

　　大数据除了数据、采集、汇报一定量的数据之外，还有更重要的数据处理、挖掘、分析、可视化、应用这一流程，所以大数据的运用将更加追求精准化和多维度。关于大数据一直围绕三个话题展开：一是数据从何而来，二是数据如何进行分析，三是数据如何进行商品化。任何大数据都是以应用为主的，在以后的日子里，通过多维度和多视角对大数据进行精准挖掘，最终为客户带来精准的解决方案才是最重要的。而数据的主要来源可以从，政府、企业和个人消费中得到。数据优化商想要在整个产业链中站住脚，就必须要求其精通大数据的模型、算法及特征，并对行业有敏锐的嗅觉。

　　对于现在的中国来说，拥有6.3亿网民的大国，国内仅有3万个机柜，和美国的3亿群体2.4个机柜对比，中国还远远不够，甚至连平衡点也没有达到，未来节将保持着高速的增长状态。此外，由于企业客户运营模式的改革，企业的云化增加了对大数据及专业数据的中心的需求。

　　未来云计算产业和大数据产业将呈现规模化发展趋势，市场红利可观，创新、服务、合作、技术将推动互联网科技企业走得更高、更远。

人把数据中心、云计算数据中心、大数据搞混淆，觉得这三者是一样的产品，其实有显著地区别，数据中心机房是一整套复杂的设施，如今，云计算即将成为信息社会的公共资源，而数据中心则是支撑云计算服务的基础设施，所以自从云计算横空出世，一切信息技术都开始围着它转，云计算有如神一样地存在着，下面看看数据中心、云计算、大数据之间有什么区别和联系？

数据中心：数据中心（Data Center）是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息，数据中心大部分电子元件都是由低压直流电源驱动运行的。数据中心面临的物理问题是服务器本身和用来连接这些服务器到其他应用环境的电缆。

云计算：云计算（英语：CloudComputing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往提供通用的网络业务应用，可以通过浏览器等软件或者其他Web服务来访问，而软件和数据都存储在服务器上。云计算服务通常提供通用的通过浏览器访问的在线商业应用，软件和数据可存储在数据中心。

狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；

广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务，它意味着计算能力也可作为一种商品通过互联网进行流通。对云计算的定义有多种说法，“云计算是通过网络提供可伸缩的廉价的分布式计算能力”。

大数据：大数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

移动互联网的大数据主要来自四个方面：

（1）内容数据：Web2.0时代以后，每个人都成为了媒体，都在网络上生产内容，包括文字、图片、视频等等。

（2）电商数据：随着电子商务的发展，线上交易量已经占据整个零售业交易的大部分。每一笔交易都包含了买家、卖家以及商品背后的整条价值链条的信息。

（3）社交数据：随着移动社交成为最主要的社交方式，社交不仅仅只有人与人之间的交流作用，社交数据中包括了人的喜好、生活轨迹、消费能力、价值取向等各种重要的用户画像信息。

（4）物联网数据：各行各业都出现了物联网的需求和解决方案，每时每刻都在产生巨量的监测数据。那么如此之多的数据，包含着很多有价值的信息，这些信息并不是以直观的形式呈现出来的，需要有办法对这些数据进行处理，无论是计算、存储还是通信，都提出了很高的要求，云计算的相关技术就是对巨量数据的计算、存储和通信的解决方案。

数据中心、云计算、大数据之间的区别与联系

（1）大数据和云计算的概念区别：大数据说的是一种移动互联网和物联网背景下的应用场景，各种应用产生的巨量数据，需要处理和分析，挖掘有价值的信息；云计算说的是一种技术解决方案，就是利用这种技术可以解决计算、存储、数据库等一系列IT基础设施的按需构建的需求，两者并不是同一个层面的东西。

（2）大数据与云计算的关系那么上面说了大数据和云计算的区别，两者之间又有着非常紧密的联系，大数据是云计算非常重要的应用场景，而云计算则为大数据的处理和数据挖掘都提供了最佳的技术解决方案。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统，大数据指的海量的数据 一般日处理 PB级别以上，一般用于挖掘，分析，做一些智能商业板块。

大数据必然与云计算相关（大数据和云计算没有必然联系，你要作大数据，可以用云计算，也可以不用），数据中心是云计算的基础，从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分，大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术，随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。

数据中心是云计算的基础设施，我们通常讲到的服务器资源分配，带宽分配，业务支撑能力，流量防护和清洗能力，都是基于数据中心的大小，和其带宽的容量，数据中心分布在不同的核心城市，辐射到周边城市，提供基础支撑，其一般都符合国家机房一级标准，具备极强的容灾能力，多数厂商会选择两地三中心等方式来架设机房，云计算是在数据中心的基础上提供的从基础服务到增值服务的一种闲置资源利用。

但有一点不变的是，不管云计算怎样去变化，必然需要依托数据中心实现落地。可以说，数据中心是云计算的根，云计算是数据中心“叶子”，云计算通过“光合作用”促进数据中心的发展，而数据中心得壮大又为云计算发展提供了坚实的基础，这三者起到相互依存，互相促进的作用。

来源 机房360

俺黑君够黑，慎关注！

物联网，云计算，大数据，人工智能是近两年科技、产业界的热门话题。分别什么意思?彼此之间又有什么关系呢?

一

物联网

1、什么是物联网?

物联网在之前被定义为通过射频识别(RFID)、红外线感应器、全球定位系统、激光扫描器、气体感应器等信息传感设备按约定的协议把任何物品与互联网连接起来进行信息交换，以实现智能化识别、定位、跟踪、监控和管理的一种网络，简言之物联网就是“物物相连的互联网”。

后来被重新定义为当下几乎所有技术与计算机、互联网技术的结合，实现物体与物体之间：环境以及状态信息实时的实时共享以及智能化的收集、传递、处理、执行。广义上说，当下涉及的信息技术的应用，都可以纳入物联网的范畴。

2、物联网的关键技术

嵌入式系统技术：是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。经过几十年的演变，以嵌入式系统为特征的智能终端产品随处可见;小到人们身边的MP3，大到航天航空的卫星系统。嵌入式系统正在改变着人们的生活，推动着工业生产以及国防工业的发展。如果把物联网用人体做一个简单比喻，传感器相当于人的眼睛、鼻子、皮肤等感官，网络就是神经系统用来传递信息，嵌入式系统则是人的大脑，在接收到信息后要进行分类处理。这个例子很形象的描述了传感器、嵌入式系统在物联网中的位置与作用。

传感器技术：这也是计算机应用中的关键技术。大家都知道，到目前为止绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。

RFID标签：也是一种传感器技术，RFID技术是融合了无线射频技术和嵌入式技术为一体的综合技术，RFID在自动识别、物品物流管理有着广阔的应用前景。

二

云计算

1、什么是云计算?

云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务)，这些资源能够快速提供，只需投入很少的管理工作，或与服务商进行很少的交互。

2、物联网和云计算的关系

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

目前物联网的服务器部署在云端，通过云计算提供应用层的各项服务。云计算可以提供以下几个层析的服务：

IaaS：基础设施即服务

消费者通过internet可以从完善的计算机设施获得服务。例如：硬件服务器租用。

PaaS：平台即服务

PaaS实际上是指软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是PaaS的出现可以加快SaaS应用的开发速度，如：软件的个性化定制开发。

SaaS：软件即服务

它是一种通过internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动，如：亚马逊。

三

大数据

1、什么是大数据?

大数据是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。如果将大数据比作一个产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

2、大数据和云计算的关系

从技术上来看，大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

云时代的来临，大数据的关注度也越来越高，分析师团队认为大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模的并行处理数据库、数据挖掘、分布式文件系统、分布式数据可、云计算平台、互联网和可扩展的存储系统。

四

人工智能

1、什么是人工智能?

人工智能英文缩写为AI，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分枝，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。它是对人的意识、思维的信息过程的模拟，人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

通过上述观点我们可以简单的得出一个结论： 物联网的正常运行是通过大数据传输信息给云计算平台处理，然后人工智能提取云计算平台存储的数据进行活动。

本文版权归原作者所有。转载文章仅为传播更多信息之目的，如有侵权请与我们联系，我们将及时处理。

我们聊起“大数据”和“云计算”时，常常把这两个名词概念混淆，觉得就是一个词。又或者知道这两者是有区别的，却又不知从何说起。今天，我和大家一起聊一聊“大数据”和“云计算”的联系与区别。

一、大数据

1、大数据的定义

著名的麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

研究机构Gartner给出的定义是“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

2、三个层面来了解大数据:

其次，想要系统的认知大数据，必须要全面而细致的分解它，着手从三个层面来展开：

（1）第一层面：理论

理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

（2）第二层面：技术

技术是大数据价值体现的手段和前进的基石。大数据从采集、处理、存储到形成结果的整个过程，都伴随着云计算、分布式处理技术、存储技术和感知技术的发展。（这里我们下文再系统说）

（3）第三层面：实践

从总统竞选到奥斯卡颁奖、从web安全到灾难预测都离不开大数据的参与，大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。正如那句俗语所言：“当你手上有一把锤子的时候，看所有的东西都是钉子。”

3、大数据的应用领域

综合来看，未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。

（1）商业智能

商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

过去几十年，分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题：“某某人本季度的销售业绩是多少？”（基于结构化数据），但如果涉及决策和规划方面的问题，由于不能快速处理非结构化数据，传统的BI会非常吃力和昂贵。 大多数传统BI工具都受到以下两个方面的局限：

首先，它们都是“预设-抓取”工具，由分析师预先确定收集什么数据用于分析。

其次，它们都专注于报告“已知的未知”（Known unknowns），也就是我们知道问题是什么，然后去找答案。（而大数据会给出一些未知的未知，也就是你没有想到的一些问题的结果） 传统BI工具主要用于企业运营，侧重于成本控制和计划执行报告。

而大数据技术最主要的功能/应用是ETL（Extract、Transform、Load）。将近80%的Hadoop应用都与ETL有关，例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。

今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方式。 此外，处理性能的大幅提高（例如内存计算）使得实时互动分析更加容易实现，而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。 未来几年，随着企业间的兼并和新产品的不断推出，传统的BI工具将与大数据分析并存。

（2）公共服务

大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

今天，城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题，而城市，也正是大数据计划的绝佳实验室。以纽约这样的大都市为例，政府公共数据公开化、以及市民生活的高度数字化（购物、交通、医疗等）等都是大数据分析的理想对象。

客观的市政数据，是消除争端，维系社会稳定的最佳纽带。当然，前提是让公民能够访问这些数据同时，保护好公民的隐私性和数据的安全性。当然，我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受（数据可视化）。

伴随着各国政务的数字化进程，以及政务数据的透明化，公民将能准确了解政府的运作效率。这是不可逆转的历史潮流，同时也是大数据最具潜力的应用领域之一。

（3）市场营销

大数据的第三大应用领域是市场营销。具体来说，有利于促进消费者与企业之间的关系。（卖得更多、更快、更有效率） 今天，最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。

如今，企业与客户之间的接触点也发生了翻天覆地的变化，从过去的电话和邮件地址，发展到网页、社交媒体账户等等。在这些五花八门的渠道里跟踪客户，粉丝和流量变现的年代，每一次阅读、转发对企业来说，都是一种推广行为，间接也可能促成企业产品交易。

二、云计算

1、云计算的定义

美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

2、云计算特点

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

被普遍接受的云计算特点如下：

(1) 超大规模

“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

(2) 虚拟化

云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

(3) 高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4) 通用性

云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

(5) 高可扩展性

“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。

(6) 按需服务

“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。

(7) 极其廉价

由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。

(8) 潜在的危险性

云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要前提。

2、云计算特点

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

被普遍接受的云计算特点如下：

(1) 超大规模

“云”具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

(2) 虚拟化

云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

(3) 高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4) 通用性

云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

(5) 高可扩展性

“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。

(6) 按需服务

“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。

(7) 极其廉价

由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。

(8) 潜在的危险性

云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要前提。

4、云计算环境作为大数据处理平台

（1）云计算环境中基本计算单元的分化

企业云计算平台上虽然有多个并行计算的CPU，但并没有创造出具有超强数据处理能力的超级CPU，因此云计算平台需要具有并行运算能力的软件系统。同时，当所有用户的数据全部放在云端时，虽然存储容量可以很方便地扩充，但面对大量用户同时发起的海量数据处理...

基于互联网，来为人们提供更便捷、快速服务，这就是物联网。物联网以数据为中心，通过采集数据，经过处理，来总结物联网的各类数据、以及特性，以此获取更好的选择不同物联网技术来实施。

物联网的物物相连有两层意思：一、物联网的核心与基础仍然是互联网，是在互联网基础上的延伸、扩展的网络；二、用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。物联网是互联网的延伸，实现信息化、远程管理控制和智能化的网络。它包括互联网及互联网上所有的资源，兼容互联网所有的应用，但物联网中所有的元素(设备、资源及通信等)都是个性化的和私有化的。物联网是互联网的应用拓展，与其说物联网是网络实体，不如说是业务和应用。

云计算，大数据与物联网有着密不可分的关系，物联网像是互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据是互联网的信息层，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网推动大数据发展。

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。目前物联网的服务器部署在云端，通过云计算提供应用层的各项服务。

大数据是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据分析常与云计算联系在一起，大数据的大，意义并不在于数据的庞大，而是对数据进行专业化处理，变成有意义的数据。从技术看，大数据与云计算就像硬币的正反面。大数据必然无法用单台计算机进行处理，必须采用分布式云结构，特色在于对海量数据进行分布式数据挖掘，但必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术、数据挖掘电网、可扩展存储系统等。如果将大数据比作一个产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据的特征：4个“V”——volume、variety、velocity、value,分别对应数据体量大；数据类型繁多，包括提到的网络日志、视频、图片、地理位置信息等；处理速度快，可从各种类型的数据中快速获得高价值的信息;价值密度高，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。

物联网的传感器与云计算的大数据相结合，一个提供感应，一个提供反应，在大数据的提供下进行便利的生活，办公。随着物联网的不断发展，运营商推进物联网与云计算的融合，为实现通信业的快速转型和升级做到以物联网、云计算创新应用为载体，对人们的衣食住行和公共安全领域进行智能防护，遵循科学发展观，顺应自然发展规律，开发使用低碳环保新能源，使得现代水利、电力和商业等与公众相关的产业变得智能，满足人们的需求。

当前互联网领域与资源相关的热门词汇除了有“云计算”外，还有“大数据”。正是因为这两者均与资源相关，很多人又常常将云数据与大数据混淆。实际上，云计算和大数据各有侧重点，但又相辅相成。

云计算注重资源分配 大数据侧重高效处理

云计算和大数据的共同点都是处理海量资源。云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

而大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

从定义上来看，我们不难发现其实云计算注重资源分配，是硬件资源的虚拟化;而大数据是海量数据的高效处理。大数据与云计算之间并非独立概念，而是关系非比寻常，无论在资源的需求上还是在资源的再处理上，都需要二者共同运用。

云计算与大数据相辅相成

首先，云计算将计算资源作为服务支撑大数据的挖掘，而大数据的发展趋势是对实时交互的海量数据查询、分析提供了各自需要的价值信息。

其次，大数据挖掘处理需要云计算作为平台，而大数据涵盖的价值和规律则能够使云计算更好的与行业应用结合并发挥更大的作用；大数据的信息隐私保护是云计算大数据快速发展和运用的重要前提，而云计算与大数据相结合将可能成为人类认识事物的新的工具。

物联网，云计算，大数据是近两年科技、产业界的热门话题。分别什么意思？之间又有什么关系呢？很多人也非常感兴趣，经过学习了解，查阅资料，一点浅显认识和总结与朋友们分享。

物联网

简单理解：物物相连的互联网，即物联网。物联网在国际上又称为传感网，这是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。世界上的万事万物，小到手表、钥匙，大到汽车、楼房，只要嵌入一个微型感应芯片，把它变得智能化，这个物体就可以“自动开口说话”。再借助无线网络技术，人们就可以和物体“对话”，物体和物体之间也能“交流”，这就是物联网。随着信息技术的发展，物联网行业应用版图不断增长。

现在的物联网产业以应用层、支撑层、感知层、平台层以及传输层这五个层次构成。

云计算

云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够快速提供，只需投入很少的管理工作，或与服务商进行很少的交互。

经典应用案例：苹果icloud

苹果icloud不仅是一个云端硬盘，它可让你轻松访问你所有苹果设备上的一切内容，并自动同步所有设备中的文件、图片、音乐、日程表、邮件、联系人目录，更贴心的是，在你修改文件后还能自动将修改同步到所有苹果设备并对旧文件备份。你可以选择免费的5G存储空间，也可以每年花费24.99美元购买iTunes Match服务，这样一来，你可以通过任何苹果设备收听存放在苹果云服务器中的音乐。

大数据

大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

物联网和云计算的关系

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据与云计算的关系

大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据、云计算和物联网的关系

物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层(数据海洋)，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网则推动了大数据的发展。

云计算和大数据有什么区别呢？关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。

大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。

云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用，在云计算领域目前的老大应该算是Amazon，可以说为云计算提供了商业化的标准，另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系)，开源的云平台较有活力的就是Openstack了。

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化较强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。