基于互联网，来为人们提供更便捷、快速服务，这就是物联网。物联网以数据为中心，通过采集数据，经过处理，来总结物联网的各类数据、以及特性，以此获取更好的选择不同物联网技术来实施。

物联网的物物相连有两层意思：一、物联网的核心与基础仍然是互联网，是在互联网基础上的延伸、扩展的网络；二、用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。物联网是互联网的延伸，实现信息化、远程管理控制和智能化的网络。它包括互联网及互联网上所有的资源，兼容互联网所有的应用，但物联网中所有的元素(设备、资源及通信等)都是个性化的和私有化的。物联网是互联网的应用拓展，与其说物联网是网络实体，不如说是业务和应用。

云计算，大数据与物联网有着密不可分的关系，物联网像是互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据是互联网的信息层，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网推动大数据发展。

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。目前物联网的服务器部署在云端，通过云计算提供应用层的各项服务。

大数据是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据分析常与云计算联系在一起，大数据的大，意义并不在于数据的庞大，而是对数据进行专业化处理，变成有意义的数据。从技术看，大数据与云计算就像硬币的正反面。大数据必然无法用单台计算机进行处理，必须采用分布式云结构，特色在于对海量数据进行分布式数据挖掘，但必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术、数据挖掘电网、可扩展存储系统等。如果将大数据比作一个产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据的特征：4个“V”——volume、variety、velocity、value,分别对应数据体量大；数据类型繁多，包括提到的网络日志、视频、图片、地理位置信息等；处理速度快，可从各种类型的数据中快速获得高价值的信息;价值密度高，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。

物联网的传感器与云计算的大数据相结合，一个提供感应，一个提供反应，在大数据的提供下进行便利的生活，办公。随着物联网的不断发展，运营商推进物联网与云计算的融合，为实现通信业的快速转型和升级做到以物联网、云计算创新应用为载体，对人们的衣食住行和公共安全领域进行智能防护，遵循科学发展观，顺应自然发展规律，开发使用低碳环保新能源，使得现代水利、电力和商业等与公众相关的产业变得智能，满足人们的需求。

什么是大数据？

分析是一种使用哪些数据模式可以被理解和性能量化来做出决策的方法。为了实现这种编程，使用了统计和研究。最终目标是帮助做出更多基于数据而不是直觉的决策。这是因为基于证据或数据的决策被认为更可靠。

大数据与传统上称为分析的内容分开的主要区别是什么?差异在于现在可以轻松获取的数据量，数据与各种数据点一起整理的速率。

1.数据量 - 每40个月创建的数据量翻倍。目前的数据创建速率在每天2.5艾字节的范围内。换句话说，二十年前互联网上可用的数据量在今天的任何特定时间都在互联网上传播。这些数据发布于2013年哈佛商业评论出版物。

2.数据速度 - 收集的数据量不如今天收集数据的速度重要。只要公司能够实时处理大量数据，公司就具有竞争力。其中一个最大的例子是麻省理工学院媒体实验室使用基于位置的数据收集来查找黑色星期五在梅西停车场的购物者数量。唯一的目的是甚至在销售结束之前估算销售额。这种数据让分析师占上风。

3.数据多样性 - 据我们所知，大数据来自各种来源，但其中最突出的数据包括来自手机的GPS信号，以及社交网络平台上发布的消息，图像和更新。大多数这些大数据来源都是新的。 Facebook和Twitter等社交网络分别于2004年和2006年开始，而iPhone仅在2007年发布。因此，今天新开发的数据库非常不适合存储大数据。然而，诸如带宽，存储器，处理和存储的计算元件逐渐变得更便宜。

什么是云计算？

云计算是一种利用大规模低成本运算单元通过IP网络相连而组成的运算系统，以提供各种运算服务。

云计算将为处理大型复杂并行数据集的即将到来的复杂性提供答案。这是因为云计算具有处理需要大量计算能力的大数据所需的灵活性和灵活性。云计算也是处理结构化和非结构化数据的最佳平台。

云计算发源于搜索引擎平台，互联网企业在创业阶段出于追求低成本高效能的考虑开发出一种计算技术，目前已成为提供各种互联网服务的重要平台。

大数据Hadoop与云计算openStack一起不仅仅是当今时代的要求，而是一种必需品。

大数据是一个通用术语，用来指当前业务领域中存在的各种数据。从医疗机构的数字数据和记录到政府机构的大量文件，人们把这些文件存档供将来参考，技术为我们提供了一个面向服务的架构来分析这些信息。

大数据是永远不可能被归档到在个描述或定义下。关于信息技术的神器之处在于，它始终在不断发展，并且可供愿意接受信息技术的公司使用。另一方面，云计算的发展使得商业企业更容易获得可负担得起的软件包。云计算的使用大大降低了存储公司信息的成本，这也带来了小型企业可以利用的多个应用程序。自互联网诞生以来，随着云计算的不断发展，互联网上广泛的信息爆炸式增长。标准用户和数字营销人员现在可以每天使用社交媒体营销平台来生成大量关于消费者的信息。有时，对于机构和企业来说，管理每天生成和存储的数据量就是一项相当艰巨的任务。例如，每天创建2.5万亿字节的数据，这可能会给云计算带来存储和排序挑战。

这正是大数据用来管理海量数据如何通过云计算存储的地方。总而言之，这两种技术形式提供的解决方案既适应业务分析、也适用于大数据。在这篇文章中，将重点介绍如何使用大数据和云计算来管理政府机构和商业机构日常生成的大量数据。可购性对于那些预算计划比较紧张，但又需要更新技术的企业或机构来说，云技术可能是解决燃眉之需的一大利器。用于管理大数据的成本资源，即使是小公司，也在预算之内，而且在市场上也很容易找到合适的产品。在云计算出现之前，商业机构和政府机构花费大笔资金建立信息技术部门来管理数据，甚至花更多的时间来更新这些IT系统。今天，由于技术的进步，企业可以把他们的大数据托管在异地的服务器上，或者按需支付。敏捷性

替换高清大图

传统的数据存储和管理方法正变得越来越难以管理，因为数据存储和管理非常慢，需要公司花费大量时间从中检索信息。有时，安装和运行服务器可能需要几周甚至几个月的时间。云计算的出现有可能为企业或机构提供所需的全部存储需求。一个基于云计算的公司数据库可以在几分钟内完成安装，并将数据存储在数千个虚拟服务器中，在这些服务器中，只有一台计算机或移动设备和互联网连接的人可以很轻松访问它。

替换高清大图

数据处理海量数据的爆炸式增长带来了管理数据的挑战。例如，社交媒体会产生大量的数据，这对于在推文、帖子、博客或照片等类别中进行处理来说是具有挑战性的。对于大数据，有一些分析平台，比如Apache Hadoop，可以在将非结构化数据存储到云中之前处理这些数据。

我们聊起“大数据”和“云计算”时，常常把这两个名词概念混淆，觉得就是一个词。又或者知道这两者是有区别的，却又不知从何说起。今天，我和大家一起聊一聊“大数据”和“云计算”的联系与区别。

一、大数据

1、大数据的定义

著名的麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

研究机构Gartner给出的定义是“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

2、三个层面来了解大数据:

其次，想要系统的认知大数据，必须要全面而细致的分解它，着手从三个层面来展开：

（1）第一层面：理论

理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

（2）第二层面：技术

技术是大数据价值体现的手段和前进的基石。大数据从采集、处理、存储到形成结果的整个过程，都伴随着云计算、分布式处理技术、存储技术和感知技术的发展。（这里我们下文再系统说）

（3）第三层面：实践

从总统竞选到奥斯卡颁奖、从web安全到灾难预测都离不开大数据的参与，大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。正如那句俗语所言：“当你手上有一把锤子的时候，看所有的东西都是钉子。”

3、大数据的应用领域

综合来看，未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。

（1）商业智能

商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

过去几十年，分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题：“某某人本季度的销售业绩是多少？”（基于结构化数据），但如果涉及决策和规划方面的问题，由于不能快速处理非结构化数据，传统的BI会非常吃力和昂贵。 大多数传统BI工具都受到以下两个方面的局限：

首先，它们都是“预设-抓取”工具，由分析师预先确定收集什么数据用于分析。

其次，它们都专注于报告“已知的未知”（Known unknowns），也就是我们知道问题是什么，然后去找答案。（而大数据会给出一些未知的未知，也就是你没有想到的一些问题的结果） 传统BI工具主要用于企业运营，侧重于成本控制和计划执行报告。

而大数据技术最主要的功能/应用是ETL（Extract、Transform、Load）。将近80%的Hadoop应用都与ETL有关，例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。

今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方式。 此外，处理性能的大幅提高（例如内存计算）使得实时互动分析更加容易实现，而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。 未来几年，随着企业间的兼并和新产品的不断推出，传统的BI工具将与大数据分析并存。

（2）公共服务

大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

今天，城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题，而城市，也正是大数据计划的绝佳实验室。以纽约这样的大都市为例，政府公共数据公开化、以及市民生活的高度数字化（购物、交通、医疗等）等都是大数据分析的理想对象。

客观的市政数据，是消除争端，维系社会稳定的最佳纽带。当然，前提是让公民能够访问这些数据同时，保护好公民的隐私性和数据的安全性。当然，我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受（数据可视化）。

伴随着各国政务的数字化进程，以及政务数据的透明化，公民将能准确了解政府的运作效率。这是不可逆转的历史潮流，同时也是大数据最具潜力的应用领域之一。

（3）市场营销

大数据的第三大应用领域是市场营销。具体来说，有利于促进消费者与企业之间的关系。（卖得更多、更快、更有效率） 今天，最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。

如今，企业与客户之间的接触点也发生了翻天覆地的变化，从过去的电话和邮件地址，发展到网页、社交媒体账户等等。在这些五花八门的渠道里跟踪客户，粉丝和流量变现的年代，每一次阅读、转发对企业来说，都是一种推广行为，间接也可能促成企业产品交易。

二、云计算

1、云计算的定义

美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

2、云计算特点

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

被普遍接受的云计算特点如下：

(1) 超大规模

“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

(2) 虚拟化

云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

(3) 高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4) 通用性

云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

(5) 高可扩展性

“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。

(6) 按需服务

“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。

(7) 极其廉价

由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。

(8) 潜在的危险性

云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要前提。

2、云计算特点

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

被普遍接受的云计算特点如下：

(1) 超大规模

“云”具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

(2) 虚拟化

云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

(3) 高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4) 通用性

云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

(5) 高可扩展性

“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。

(6) 按需服务

“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。

(7) 极其廉价

由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。

(8) 潜在的危险性

云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要前提。

4、云计算环境作为大数据处理平台

（1）云计算环境中基本计算单元的分化

企业云计算平台上虽然有多个并行计算的CPU，但并没有创造出具有超强数据处理能力的超级CPU，因此云计算平台需要具有并行运算能力的软件系统。同时，当所有用户的数据全部放在云端时，虽然存储容量可以很方便地扩充，但面对大量用户同时发起的海量数据处理...

当下的互联网领域，云计算、大数据、人工智能成为最热词汇。互联网da咖阿里云“为了无法估算的价值”将中国的计算触角伸向海外，百度首次向外界展示“百度大脑”的科技成果。移动互联网利用人口红利带来的增长已经逐渐见顶，互联网正在进入“下一幕”智能时代，科多大数据带大家来看看，云计算、大数据、人工智能将怎么使全社会迎来变革性的发展。

无论是计算机行业，还是汽车领域，技术形态的成熟是一个必然的要素。如果某个所谓的时代在技术上、硬件上没有达到产业的要求，数据库和平台都是非完整和非稳定的，时代的产业基础也就十分薄弱。从产业的政策角度分析，当技术累积到一定层次，产业政策的出台是必然的。为了激活云计算的发展，国务院在2015年就出台了《关于促进云计算创新发展培育信息产业新业态的意见》、《云计算白皮书2016》等，这些政策的出现并非偶然，在其背后有很多云计算服务商多年默默的技术耕耘。

技术和政策的形态达到一定的地步，真正的产业化和市场化是否也已经达到？

等待入局者必须考虑几个重要因素：

一、目的是什么(为了降低成本、提高效率，还是在渠道上更接近用户);

二、企业是否愿意使用(产品同质化严重，如何体现差异化);

三、是否有助于提高社会福利(消费者福利、管理效率)。

如果这些问题得到肯定的答案，云计算与时代的发展需求相契合，真正的时代大门就会开启。

大数据本身除了要有数据、采集、汇聚一定量的数据之外，更重要的是数据的处理、挖掘、分析、可视化、应用这样一整套的过程。

关于大数据的话题，基本围绕三个问题展开：

一是数据从哪里来；

二是数据如何进行分析；

三是数据如何进行商品化。

任何大数据都是以应用为主的，在未来，通过多维度、多复合的大数据的精准挖掘，最终提供出优质的商务解决方案才是最关键的。

数据的三个来源分别是政府、企业行业和个人消费。

政府数据做了授权，但由于法律和其他方面的不健全，政府数据被滥用。消费者数据来源于电信、金融或类似BAT大企业，流量入口处的数据将被自动抓取，数据提供商可以提供所有维度的数据，但每一个都是局部。数据优化商在大数据产业链里要想长久发展，必须精通大数据的模型、算法以及数据特征，同时对行业及生态要有明显的敏感性。而算法提供商如果仅仅依赖单纯算法，未来将成为成长软肋。应用提供商最贴近客户、最熟悉客户需求，同时做的是最后的数据整合，在产业链上可能发展空间更大。

中国具有高达7.22亿的大规模网民群体，目前国内仅有3万个机柜，对比美国的3亿群体2.4万个机柜可以看出，中国的数据市场规模还远未达到平衡点，未来将保持高速增长的态势。另一个方面，由于企业客户运营模式的改革，企业的云化增加了对大数据及专业数据中心的需求。

未来云计算产业和大数据产业将呈现规模化发展趋势，市场红利可观，创新、服务、合作、技术将推动互联网科技企业走得更高、更远。大数据时代已经到来，想要快速掌握这门高薪前景的技术该如何学习呢？

Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力。

学习大数据处理需要的语言：

javaMR语言这种语言产生很早了，大家也或多或少的接触过，但是在大数据中使用已经有的原型进行构建庞大系统，是一种基本的选择。

Scala语言以java为基础的语言，和java很像，对任何想要进行大规模的机械学习或是建立高阶的算法，Scala是逐渐兴起的工具，善于呈现且拥有建立可靠系统的能力。

Hadoop在以java为基础的大数据处理当中，Hadoop为作一批数据处理，发展以java为基础的架构关键。相对于其他处理工具而言，Hadoop慢许多，但是无比的准确可被后端数据库分析广泛使用。

Kafka andStorm它是一个特别快速的查询信息系统，但是因为太快了在实施操作时会犯错，有时候会漏掉东西。

Pythom语言Python拥有R语言处理复杂数据的能力及更务实的语言特质，更简单和直观，在近几年的成长很快。在数据处理范畴内，通常在规模与复杂之间要有个选择，Python无疑当选。

学习一门课程，掌握好的学习方法至关重要，大数据云计算发展趋势非常好，现在学习好这门技术，未来的就业和选择会更多。

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

炎炎夏日，为期3天的“云计算与大数据处理技术”正式开始。我有幸参加了学习，并有不小的收获。

课程的前两天是大数据处理方面的学习，所讲的算法、技术也是围绕着云计算展开的。杨老师在大数据方面确实是非常深的造诣，他对分布式存储、hadoop云计算应用、MapReduce、GFS、HDFS等重要知识讲得很透。如chubby是系统设计（相当于选老大），Bigtable是系统架构。。。。。。

当讲到Hadoop中两类节点控制，这个问题对于我这个基础不好的学员来说，听得不是很懂。但老师采用了一个公司管理的例子讲解，就非常明白了。他说Jobtracker是管理者，相当于公司的经理，jobtracker是执行的工人，经理只负责资源的调度，工人是干活儿的。这是小公司的架构，如果是大公司，可能要指定一个临时项目管理人员，这个比喻非常明白的了解了架构中的工作原理。

计算部分是在第3天讲，饶老师是云计算方面的专家大伽，他从云计算关键技术、公有云服务、私有云部署方案等角度讲起。

刚好有学员单位要布署私有云，老师详细讲了虚拟化、分布式存储、、资源池、虚拟机（VM）的用法等，很好的解决了布署中困惑。

再次感谢老师的精彩课程，希望学员们从中收获更多知识！

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。