AVA高并发、负载均衡、NoSQL、服务器集群、性能优化、数据库集群等架构师技能； Hadoop、HDFS、ResourceManager

、Yarn平台、Mapreduce、Hbase、Hive、Storm、Spark、Kafka、R语言、Scala语言、Mahout、Redis、Docker、KVM、Openstack等技术

下载地址：

百度搜索：怪兽IT学院 或者直接输入guaishouxuyaun

云计算Java大数据编程语言收藏

大数据的时代已经来临，到底什么是大数据，大数据技术如何和企业运营结合起来？读完本文，你会有新的答案。

本文为青云QingCloud 大数据平台研发工程师迟连义在 青云QingCloud 实践课堂·南京站中的演讲总结而来，他以《大数据平台的应用化、场景化及服务化实践》为议题，分享了青云QingCloud 大数据平台的整体架构及每个组件的应用场景，大数据产品云化的过程中的经验、青云 AppCenter 2.0 的整体结构和功能特性以及青云QingCloud 大数据平台未来的发展规划。全文5320字，建议阅读时间13分钟.

青云QingCloud 大数据平台架构

上图详细介绍了青云QingCloud 大数据平台目前的整体架构。分层来看：输入端的数据源，可以是企业的用户浏览记录数据、电商平台的交易数据、视频用户的浏览记录、播放时长记录等数据。这些数据会接入到存储或者计算单元进行分析。

在整个过程中需要有一个缓冲区去缓冲数据。青云QingCloud 提供了主流的 Kafka 分布式消息队列服务来满足这一需求，它的优点是：以订阅和发布模式有效地解耦了输入端与输出端，可以实现即使只有一次输入，输出端也可以多次消费，彼此之间不会发生影响。

在存储层，青云QingCloud 提供 MongoDB 非关系型数据库。MongoDB 是最接近关系型数据库的非关系型数据库，它可以提供类 SQL 的访问模式，并且提供 HBase，一个可以承载海量数据存储的分布式数据库。HBase 有一个特点，只能通过 RowKey 进行检索，但它能够保证每行很好的一致性访问，同时具备很好的读写性能，如果不想把数据存在数据库里面，青云QingCloud 还提供了 HDFS 和对象存储服务。HDFS 本身是针对于大文件进行设计的，在处理小文件的时候它会有一些问题。小文件同样会在 HDFS namenode 里面占一块内存，如果小文件过多就会导致 namenode 的内存性能受到一定影响。同时，在后续做数据分析的时候，小文件过多会导致 MapRuduce 中的 Map 数量过多，整体分析过程会很慢。相比之下，对象存储则会对小文件做一些优化，所以如果需要处理大量小文件，存储到对象存储里面是更好的选择。

从数据本地化的角度来看，如果经常要进行计算，还是采用本地化的存储计算会更快，因为从对象存储取数据会通过公网。从成本角度来说，存在 HDFS 内会比存在对象存储上成本稍高。青云QingCloud 是对数据进行分层分类，如果需要处理的是一些历史数据，不需要经常进行查询和分析，可以放在对象存储上，而对于一年内经常进行分析和查询可以放在 HDFS 上。

在数据计算层，青云QingCloud 提供了实时数据处理 Storm 和准实时处理的 Spark (包括Spark Streaming)。同时提供了 Hadoop MapReduce 及 Hive 等离线批处理工具。在服务协调方面，提供 Zookeeper 服务，Zookeeper 是一个非常通用的功能，很多大数据组件，如 HBase、Kafka 等都依赖于 Zookeeper，很多企业用户也会基于 Zookeeper 开发自己的服务协调。

Elasticsearch，常用于企业内部的日志查询及分析。除了 Elasticsearch 集群，青云QingCloud 还提供一个 ELK 套件，囊括了从日志收集、日志检索到分析结果最终展现的全过程的功能套件，青云QingCloud 还提供了 Redis 和 memcached 两个非常通用的缓存工具。

大数据管理平台

上图列出了比较主流的大数据工具，但有一个问题，这些大数据工具彼此之间都是独立的。比如：Storm 有自己的一套监控 UI，监控拓扑的执行情况以及是否存在延迟等。在 Hadoop 中，HDFS 也有一套自己的 UI，可以监控每一个 namenode 节点的状况和文件的情况。那么，如果一个企业用了很多大数据组件，一定需要一个统一的平台把所有大数据组件管理起来，青云QingCloud 提供了这样一个大数据管理平台，可以把该平台理解成一个 UI，把所有大数据组件囊括其中。

该平台根据开源 Hue 做的二次开发，支持直接 Hive 查询，结果可以通过图表展现出来，也可以提交 Spark SQL、Spark Shell 等。还可以将关系型数据库，如 MySQL，放进来统一管理。在 Job 方面，可以直接用 Oozie 进行调度，也能直接看到 MapReduce Job 目前的运行情况，包括刚才提到的 Storm 拓扑的管理，以及 Zookeeper 节点信息展现。

在储管层面，对 HDFS 及 QingStor 对象存储，都提供了数据路径的监控及展示页面，HBase 可以在管理平台上面直接做 Shell 查询，也可以看到表的信息等等。Kafka, 可以清楚展示 topic 的信息，和每个 Kafka Group 对某个 topic 的消费情况。

大数据产品云化瓶颈

在对这些应用进行运化开发的过程中，青云QingCloud 也遇到了一些问题，会影响到以后大数据平台的扩展。主要这三个方面：

第一个是大数据发展太快，各个领域存在很多竞品。比如在列式数据库方面，青云QingCloud 提供了 HBase，但还有 Canssandra。在离线计算方面，还有比 Hive 快很多倍的 Impala 这些工具目前青云QingCloud 还没有放到云平台上。另外，在一些特有领域，如 AI，区块链，机器学习，深度学习方面，如容器应用领域，这些应用都还没有集成到青云QingCloud 的大数据平台上。这些领域的产品非常多，但青云QingCloud 的精力有限，这是遇到的第一个挑战。

第二个挑战是云化周期长。以青云QingCloud 的经验要云化一个大数据产品，把大数据产品真正放到 QingCloud 上，作为一个云原生应用大约需要两到三个月的时间。首先要搭建一个整体开发测试环境，要把大数据应用的一些自带的东西放在开发设计环境里面去，同时开发人员要对青云的 API，包括生命周期管理体系都要有一定的了解。在开发过程中，撰写针对云平台生命周期管理的代码，之后还要开发应用监控、报警等功能，最后经过测试，需对接云平台内的计费、工单等等这些系统，最终做成一个独立的应用。

第三个是挑战产品间的组合非常复杂。比如，目前青云QingCloud 的 Hadoop 和 HBase 是独立提供的。 如果一个用户要想一键部署一个 Hadoop + HBase 的集群，青云QingCloud 就需要按第二点提到的开发流程重新做一个新的产品发布出来。这样子导致组件间的组合特别复杂。

同时，青云QingCloud 还需要一种服务之间的自动发现能力。比如：Kafka 是依赖于 Zookeeper 的，如果在一个部署的 ZooKeeper 集群中添加或删除一个节点，Kafka 集群需要手动修改与 ZooKeeper 的链接地址。青云QingCloud 希望这一过程是自动的，自动感知变化并作出修改 。

面对这三个挑战，最终青云QingCloud 找到了比较好的解决方案，就是青云QingCloud 的 AppCenter 2.0。首先产品特别多，而青云QingCloud 自身精力有限。但是青云QingCloud 可以联合一些技术能力很强的开发伙伴，让他们可以基于青云QingCloud 去便捷地开发云化一些大数据产品。做到这点的关键是需要提供一套很方便开发的手段,降低开发难度。

AppCenter 2.0 提供了一套模版化的开发流程，大幅降低开发难度。同时，AppCenter 2.0 也把主要的功能，如应用生命周期管理，监控告警，工单系统，计费等等全部抽象出来，以标准化的形式交付出来，最终把整个应用的开发周期从几个月降低到了几周，这也解决了第二个开发周期长的挑战。

青云QingCloud AppCenter 2.0 简介

青云QingCloud AppCenter 2.0 是什么样的平台？

首先，AppCenter 2.0 是一个经过高度抽象，可以部署各种分布式应用的平台。青云QingCloud 知道分布式应用整体架构多种多样的，比如: ZooKeeper 是 peer to peer 架构; Hadoop 是主从架构； Redis cluster 是分片式的。AppCenter 2.0 会对这些不同的架构做高度的抽象，把应用整个生命周期抽象出来，然后开发者只需用类似自然语言的方式在模版中进行修改，表明应用需要在生命周期的不同阶段，做哪些动作从而完成整个开发流程。这种高度抽象使云上的应用开发和交付变的异常的简便和标准化，它是以模版的形式提供给开发者。

其次，AppCenter 2.0 是全新的云操作系统，贯穿资源与应用平台。青云QingCloud 可以把 IaaS 理解成对物理资源的虚拟化，可以类比成现在用的 PC 机。实际上最终用户在使用 PC 机时用到的是上层的软件应用，在 PC 机和软件之间还有一定的距离，需要一个东西去调动 PC 机中的各种资源，这个东西就是操作系统。

AppCenter 2.0 实质上就是架构在 IaaS (云平台) 层上的操作系统，操作系统会提供很多接口，让开发者在青云QingCloud 操作系统上开发各种各样的应用，最终提供给最终用户去使用。

AppCenter 2.0 架构图

上图为 AppCenter 2.0 的整体架构图，主要分三块：开发者控制台、用户控制台以及调度系统（中间部分）。首先，开发者控制台：开发者可以通过这里创建一个应用及不同的版本，然后基于每个版本，分别创建配置文件，其中会描述需要被定义的信息，如环境变量、集群节点的可选个数、每一个节点角色需要的 CPU 和内存配置等。

同时还要在模版文件中完整定义整个应用的生命周期。之后将配置文件打成一个压缩包并在开发者控制台提交，之后青云QingCloud 人员会进行审核，对应用进行详细的测试，看它的监控报警是否有完善等等。当青云QingCloud 觉得该应用符合标准，会批准开发者进行发布。应用发布之后，在用户控制台，最终用户便可以看到它的应用。如果用户对该应用感兴趣，就可以进行安装和部署。

用户部署以后会真正的进入调度系统的处理范围。青云QingCloud 调度系统首先会在用户需要中创建一个元数据管理服务，基于一个 3 节点的集群，对最终用户是免费开放。然后会根据最终用户的选择，创建相应数量的节点，CPU 核数，内存容量及存储空间等资源。

在AppCenter 中， 这些资源是支持 KVM、Docker、及 LXC 三种架构。创建好资源后，这些资源的元数据信息会被注册到元数据管理集群。之后在资源管理层面会启动一个 confd，它相当于一个 agent，会时刻监控元数据管理服务中注册进去的元数据。如果这些元数据发生变化，那么会触发由开发者定义好的要执行命令，后者更新配置文件等各类操作。

接下来，调度系统会负责整个应用的生命周期管理，包括创建、扩容、关闭或启动等等这些操作。同时调度系统还会周期性地调用由开发者定义的一系列管理操作，如监控、健康检查等等。

接下来青云QingCloud 详细看一下 AppCenter 2.0 的功能和技术特性。上图显示的是开发者需要提供的一些模板文件，比较重要是这几个第一个 config.json，主要用来配置应用的 UI，其中定义了最终用户在前端需要看到的一些信息，如该应用可以选择多少核的 CPU，多少容量的内存，每一类节点橘色可以创建多少个节点。

因为很多应用对节点数量是由限制的：Hadoop 集群，salve 节点的数量最少需要 3 个；像 ZooKeeper 集群，节点数量一般都是奇数个的。对于这样的限制，都可以在在模版文件中具体的进行配置。

Json 文件最终的效果会是，青云QingCloud 通过预置好的统一的 UI 界面，把 json 文件中的各项配置在前端提供给最终用户。然后是 cluster.json.mustache，该文件实际上定义了整个应用的基础架构。

基础架构包括定义应用中需要哪些类型或角色的节点，如 Hadoop 集群中会分三种不同角色的节点，而针对每一个节点的角色，开发者需要定义其完整的生命周期管理以及监控报警。生命周期管理刚才有提到，包括如横向扩容和纵向扩容等等操作。

开发者要通过 cluster.json.mustache 模版文件，告诉调度系统需要执行哪些操作，需要执行主机里面哪些脚本，那么调度系统在生命周期到来的时候，会触发这些脚本的执行。

接下来是监控报警功能，这一点在青云QingCloud 审核过程中，会强制要求每一个应用必须存在。因为作为一个云应用，监控和报警很重要，在客户业务出现问题的时候，他需要了解到底是业务出现问题还是产品出现问题。

最后一个是多语言翻译功能，青云QingCloud 提供的是英文，最终用户其实想看到一些中文展示，开发者需要定义一个多语言翻译的文件，告诉青云QingCloud 它的行业变量和角色对应的中文是什么样的名字，青云QingCloud 会最终展示在界面上。

以上这张图就是一个上传配置文件的界面，开发者在创建应用和版本以后，并完成以上的两个配置文件的撰写后，就在该位置提交，并发布版本。之后会现在后台通过青云QingCloud 的审核。青云QingCloud 现在的审核比较严格，因为青云QingCloud 要对最终用户负责，开发者对应链接到控制台测试，测试一下配置文件写的是否合理，测试生命周期管理，并测试监控报警是否合理。

以上介绍的是 AppCenter 2.0 的一些基本功能，可以帮助开发者通过模板文件的方式很便捷地在运平台上开发一个自己的应用。还有一个比较高级的功能，就是应用编排。通过元数据管理集群以及 Confd 这两者之间的交互，可以实现应用之间的自主感知。举例来说，Kafka 需要依赖 ZooKeeper，那么如果 ZooKeeper 集群发生了增加或删减节点的变化，Kafka 集群是可以感知到该变化，并自动执行配置文件更新和重启集群等操作。

另外一个例子是上文提到的大数据平台管理 UI 系统。该 UI 在启动的时候通过应用间自主感知能力，可以感知到用户的 VPC 下面已经使用了哪些大数据产品，之后可以自动将大数据产品添加到管理 UI 里面去，而且后续如果在同一个 VPC 下，�...

先介绍与大数据相关 的内容，然后讲解Hadoop、大数据以及云计算之间的关系，使读者从大数据和云计算的角 度来认识Hadoop.

大数据

大数据一般是指这样的数据：数据量巨大，需要运用新处理模式才能具有更强的决策力、 洞察力和流程优化能力的海量、髙增长率和多样化的信息资产。大数据可分成大数据技术、 大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据 应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理 的系统工程；大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及 其与自然和社会活动之间的关系。

大数据的特征有四个层面：第一，数据量巨大，从TB级别，跃升到PB级别；第二， 数据类型繁多，包括网络日志、视频、图片、地理位置信息等；第三，价值密度低，商业 价值高，以视频为例，在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒；第 四，处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为 4V-------Volume、Variety、Value 和 Velocity。

上面我们介绍了大数据的基本概念以及其显著的特征，下面将从不同的维度来阐述大数据的核心问题。

1.数据态的多样性问题

大数据具有多态性，主要体现在数据源、结构及相关度上，在数据来源上包括图像、 视频、音频、文本、网页、数据流等；在结构上不仅仅包括结构化的数据，还包括非结构 化 的 数 据 ； 在 相 关 度 上 不 仅 有 数 据 记 录 彼 此 间 相 关 性 问 题 ， 还 有 时 间 序 列 数 据 的 相 关 性 问题。

2. 维度复杂性问题

首先，大数据中存在着多元空间的维度问题，例如典型的三元空间中大数据的产生、状 态感应以及采集问题，这个问题在物联网中非常常见；其次，就是柔性粒度数据的传输、移 动、存储及计算问题；最后，就是数据空间范围和数据密度的不均匀问题。

3. 大数据存储问题

大数据最为显著的特征就是数据规模非常巨大，单机系统肯定无法解决存储问题，这就 需要分布式存储系统作为大数据的存储支撑服务，而分布式存储系统需要考虑的核心问题包 括：高可靠性、扩展性、伸缩性、容灾及恢复等问题。

4. 大数据计算分析问题

由大数据的特征可知，大数据在数据规模上非常巨大，要在一定的时间内达到撷取、管 理、处理并整理为能够帮助企业做出经营决策更有效的资讯，传统的顺序计算模式必然不能 满足这样的需求，这就要求使用集群计算系统来完成计算分析任务。基于集群的计算模型目 前主要包括：基于消息传递的MPI、MapReduce计算模型、流式计算架构Storm、S4、高性 能集群计算HPCC,以及基于共享内存RDD的Spark模型。

5. 大数据价值挖掘问题

由于大数据的价值密度低而商业价值大，这使得大数据的价值挖掘显得格外重要，而 价值挖掘主要包括两个阶段：第一个阶段就是过滤清洗，需要在尽量不损失其价值的条件下 减小数据规模，同时在不改变数据基本属性的情况下采取数据清洗、抽样、去重、过滤、筛 选、压缩、索引、提取元数据等方法，以直接将大数据变小；第二个阶段就是对商业价值的 挖掘，主要是发挥大数据探索式考察与可视化作用，人机的交互分析可以将人的智慧融入数 据，再者是通过群体智慧、社会计算、认知计算对数据价值进行提炼，从而挖掘出大数据中 隐藏的商业价值。

大数据、Hadoop和云计算的关系

上面讲述了大数据的基本概念及与大数据相关的几个核心问题，通过这些问 题我们已对大数据有了一个初步的了解，那么大数据、Hadoop及云计算之间到底是什么关系 呢？为了从大数据和云计算的角度去了解Hadoop,下面将阐述这三个概念之间的关系。

可以这样说，正是由于大数据对系统提出了很多极限的要求，不论是存储、传输还是计 算，现有计算技术难以满足大数据的需求，因此整个IT架构的革命性重构势在必行，存储 能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分 布式存储架构不仅需要scale up式的可扩展性，也需要scale out式的可扩展性，因此大数据 处理离不开云计算技术，云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服 务的高效模式，大数据则为云计算提供了新的商业价值，大数据技术与云计算技术必将有更 完美的结合。

我 们 知 道 云 计 算 的 关 键 技 术 包 括 分 布 式 并 行 计 算 、 分 布 式 存 储 以 及 分 布 式 数 据 管 理 技术，而Hadoop就是一个实现了 Google云计算系统的开源平台，包括并行计算模型 MapReduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目 也很丰富，包括ZooKeeper、Pig、Chukwa、Hive、Hbase、Mahout等，这些项目都使得 Hadoop成为一个很大很完备的生态链系统。目前使用Hadoop技术实现的云计算平台包括 IBM的蓝云，雅虎、英特尔的“云计划”，百度的云计算基础架构，阿里巴巴云计算平台， 以及中国移动的BigCloud大云平台。

总而言之，用一句话概括就是云计算因大数据问题而生，大数据驱动了云计算的发展， 而Hadoop在大数据和云计算之间建起了一座坚实可靠的桥梁。

中新社石家庄11月15日电 (李茜 俱凝搏 黄歆尧)“谁家空调外机上放着盆花，万一掉下来伤到人怎么办？没想到这种事拍个照片发到社区微信群里，很快就有工作人员帮着解决了。”45岁的石家庄市民霍志华连续用了几个“没想到”，感叹社区里的“琐碎小事”原来也能通过互联网和大数据解决，让社区管理者和居民在“云社区”居民微信群里实时“面对面”。

随着移动互联网、大数据、云计算、人工智能等现代信息技术正飞速渗透到中国民众生活、工作的各个领域，民众生活的各个角落正在被信息时代改变着。

根据第42次《中国互联网络发展状况统计报告》，截至2018年6月，中国手机网民规模达7.88亿，2018年上半年新增手机网民3509万人，较2017年末增加4.7%，网民中使用手机上网人群的占比达98.3%。

据了解，社区居民越来越多地通过网络进行线上交流、反映诉求、获取社会服务，但同时也出现了邻里关系日趋淡漠，居民社区归属感不强等问题。为适应新形势，2018年6月起，石家庄市桥西区依托微信群、微信公众号等移动互联网平台，建设“桥西云社区”(以下简称“云社区”)，构建综合型智能化社区服务平台。

据了解，石家庄市桥西区目前有732个这样的居民微信群。微信群中的具有智能回复功能的机器人“云博士”，对与民众日常生活息息相关的4000余个社会热点问题进行在线即时解答，打造“永不下班”的服务岗。截至目前，“云博士”推送各类信息超过11万次，回复居民提问超过1.3万次。

据石家庄市桥西区长丰苑小区居民冯素敏介绍，居民提出的涉及政策性、办事流程等问题，可以几分钟内就得到“云博士”的答复，而一些个性化、随机性的问题，居民可以直接在群里联系群主或者其他社区工作人员，可以实时进行交流。

霍志华说，由于社区的问题琐碎而繁杂，很多生活上的问题以前都不知道该找谁或者找哪个部门？如今居民的困难不仅能在微信群里解决，而且也让居民学习了各个职能部门的具体职能和办事流程，“这也是对建设法治社会的推动，让各个部门各司其职，让民众对法治社会更了解。”

石家庄市桥西区维明街道办事处师范街社区的工作人员赵晓晔负责该社区的其中一个“云社区”微信群，并被居民亲切地叫“群主”。赵晓晔说，如今，“有事在微信群反映，没事也进群聊聊”已成为大多居民的习惯。虽然将很多社区工作转移到了线上，但是这种“掌上”服务更有温度，拉近了他们与居民的关系。如今她跟居民的关系像网友、像邻居，也更像朋友。

为了进一步了解民众诉求的集中点，石家庄市桥西区委书记刘军志加入了部分“云社区”居民微信群，并在里面备注实名。与想象中不同的是，居民并未因为他的职务而跟他一对一反映问题，而是依然按照流程，把问题反映给社区的工作人员，“说明民众对社区工作人员很信任，相信社区工作人员可以为他们解决问题。”

刘军志表示，他们通过攻坚技术，力争让每个家庭有一个人员加入，让每个家庭的问题通过“云社区”直接送达“云社区”管理平台，这样可以及时解决每家每户身边的每一个问题。“云社区”启动不到半年的时间，该辖区民众通过“云社区”已经反映问题达4万多个。

刘军志表示，下一步他们将进一步争取把该辖区每一个执法部门的每一个执法人员纳入“云社区”，了解民众所思、所想、所呼，并与民众互动。(完)

【编辑:刘欢】

那么应该重新考虑您想要支持一个大数据计划。

即使你可以找到大量的云数据存储提供商提供分析和服务于企业客户，早期大数据项目的频繁发生。这个事实导致许多失败，大数据项目，在很多方面，形象被禁药物玷污了什么可以做的大数据分析。

但随着越来越多的大数据成功故事继续滴流出来，开始图像形成。照片显示，大数据分析将真正成为企业成功的关键的数字化改变世界，而且更容易成功如果您的数据和分析发生在云端。

有大量数据需要备份的数据，将会起到巨大的作用在企业的竞争力。什么是不太理解是为什么大数据是更成功的云相比，私有。在本文中，我们要探索这些原因，指出为什么大数据在云终于达到了临界点的企业。

大数据：大项目

大多数企业的IT组织尝试的大数据项目的房子，不是一件容易的事。但是即便有诸多计划和砂粒，因为项目失败的项目仅仅消耗太多的时间和所需技能，那时候，稀缺。甚至在2017年，数据管理员，擅长在大数据平台等hortonworks或/或者/换句话说/不然的话/还是/要不/抑MapR基本上可以写他们自己。许多项目没有完成，因为它们经历显著的“人才流失”为移动平台的大数据人才敬而远之。

了解数据科学家

尽管仍有大量短缺在基础设施方面，将真正的自家大数据的分析项目中被发现的。毕竟，这实际上是企业的真正的、深入的科学数据如此大的规模。它的领导人试图保护那些分析数据的管理与操作侧壳体。实际上，数据科学家的工作经历是配合运营团队--无论是内部员工还是一个云提供者。这样做允许数据科学家更好地调整他们的模型，简化流程，加快挤压所需的时间量的信息从堆积如山的数据。

为什么我们达到了一个引爆点

尽管显然外包带来的好处与喂养大数据平台和数据库，真正的原因是他们的大数据企业移动为公用云就是因为它们中的大多数数据，不久或将驻留。不管你如何细分，移动大量的数据是一项艰巨的壮举。但随着时间的推移，许多企业对于数据迁移有机公司的资讯科技部门开始利用低成本的云存储。

在某种程度上，大数据五年或十年前只是提前了许多。我们不仅有误判的复杂性，开发和实施大数据平台，我们误解了大数据的关键角色。利用云支持大数据基础设施的基础让我们内部的IT部门专注于重要的事情上来说，可以提高分析的能力。

大数据将接收的大换购：

大数据分析的目标是创建一个状态的操作称为情景意识。这是在数据被收集到一定程度，就可以判定动作快速，在某些情况下（在实时。但过去的失败已经导致许多企业对他们的大数据野心。如果你认为今天你可能要重新考虑。特别是如果你已存储数据移动到云。通过后端任务卸载至第三方提供者，在理想情况下，业务数据可以集中使用，形成正确决策对公司的发展方向。多年来，我们一直都在等待。接下来的问题就是，谁会迈出这一步的呢？

大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

大数据、hadoop、Python学习资料分享群 596471005 不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2018年学习的大数据开发和零基础入门教程，欢迎初学和进阶中的小伙伴。也可以关注我。

基础：1、什么是大数据？

2、大数据要解决核心问题？

（1）数据存储 ---> 分布式文件系统 HDFS

（2）数据计算 ---> 分布式计算 MapReduce（Yarn）

第七期上课：月底开课

上课时间：周一 三 五的晚上 8点 ~ 10点40

一周8个课时

周二 四 六的晚上 安排的练习

=====================================

一、当Oracle DataBase数据库遇到大数据

1、如果对Oracle数据库有一定的了解，对于学习Hadoop很有帮助

2、为什么大数据不采用关系型数据库（Oracle、MySQL）来存储数据？

3、举例：设计一个数据库，来保存电影的信息 --->MongoDB

举例：设计一个数据库，保存非结构化数据 --->HBase、Redis

二、Hadoop生态体系结构

三、Hadoop实战（安装和部署）: 带着大家一起来装Hadoop

1、安装Linux

网卡：仅主机模式，要求虚拟机的IP跟本机在一个网段（192.168.157.1）

2、配置Linux

（1）关闭防火墙

systemctl stop firewalld.service ---->停用防火墙，但重启后，又启用防火墙

systemctl disable firewalld.service 永久关闭

（2）设置主机名 编辑文件 vi /etc/hosts

192.168.157.81 hadoop81

（3）安装JDK: 版本： JDK 1.8 64位

解压 tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/

设置环境变量：JAVA_HOME

vi ~/.bash_profile

JAVA_HOME=/root/training/jdk1.8.0_144

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

生效环境变量：source ~/.bash_profile

3、安装Hadoop: 版本： 2.7.3

问题：Hadoop有几种安装方式？ 3种

配置文件的位置： $HADOOP_HOME/etc/hadoop

准备工作：

a、解压 tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

b、设置Hadoop的环境变量

vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-2.7.3

export HADOOP_HOME

PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

export PATH

source ~/.bash_profile

（1）本地模式: 一台

特点：没有HDFS、只能测试MapReduce程序

数据就是Linux文件系统上的数据

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

例子：wordcount 单词计数

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/temp/data/mydata.txt ~/temp/output

（2）伪分布模式： 一台

修改配置文件

hdfs-site.xml文件

dfs.replication

1

dfs.permissions

false

core-site.xml 配置NameNode地址和数据存储的目录

fs.defaultFS

hdfs://hadoop81:9000

hadoop.tmp.dir

/root/training/hadoop-2.7.3/tmp

mapred-site.xml --->默认没有这个文件

cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

yarn-site.xml

yarn.resourcemanager.hostname

hadoop81

yarn.nodemanager.aux-services

mapreduce_shuffle

格式化HDFS的NameNode：hdfs namenode -format

日志：

Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

启动Hadoop：start-all.sh 两部分 1、HDFS 2、Yarn

停止Hadoop：stop-all.sh

问题：1、启动一次需要输入4次密码

2、停止一次需要输入4次密码

（3）全分布模式（需要几台机器？3台）

注意：伪分布模式和全分布模式一定要配置免密码登录

4、验证Hadoop环境

访问 HDFS的Web Console：http://192.168.157.81:50070

访问 Yarn的Web Console：http://192.168.157.81:8088

四、Hadoop的原理（重要）

1、HDFS上传数据的原理与过程

2、Yarn调度MapReduce的原理

五、2018年大数据的发展与未来

1、企业：得数据者 得天下

2、个人：钱

云盘作为一种方便、快捷的存储方式，曾一度被认为会改变用户的存储习惯而受到各大厂商热捧。2009年-2012年，包括华为、百度、腾讯、360、移动、电信等在内的互联网企业、电信运营商、设备商等纷纷进入这一领域，个人云存储领域迎来爆发式增长。然而云盘的盛行也带来了版权、非法内容等一系列的问题，由此而来的监管趋严以及长期无法盈利的现实使得众多玩家在2016年黯然离场。在云盘关闭潮的一年之后，这个领域的现状如何？剩下的玩家谁是行业霸主？极光大数据发布《2017年11月云盘存储市场研究报告》从行业规模、DAU、日新增用户数、用户画像等角度对云盘存储市场进行深入剖析。

极光大数据观点：

赔钱赚吆喝，云盘存储app市场整体处于亏损状态过去一年云盘存储app用户规模有所波动，11月底用户规模为1.89亿市场呈一家独大态势，百度网盘app渗透率远高于同类竞品，截至11月最后一周为13.4%OneDrive涨势凶猛，过去半年日新增用户均值为227.9万百度网盘app过去半年DAU均值为1030.6万用户需求较为单一，90.2%的云盘存储用户仅安装一款此类型app，可见同类产品差异化不大，用户习惯不易改变77.7%云盘存储用户为20-34岁用户香港及台湾云盘用户青睐OneDrive

一、 行业介绍

目前市场上的个人云盘存储服务提供商可主要分为三类，一类为互联网企业，百度、腾讯等均涉及个人网盘市场；第二类为国内通信服务提供商，移动、联通、电信旗下均有相应产品；第三类为海外互联网企业，如微软等。

云盘服务面临内容存储、转播合法性、安全性问题。2015年下旬至今，版权局、公安部、最高法等相继发布文件、法律法规，相关部门对于云盘存储市场监督管理逐步严格。

盈利模式方面，增值服务费为云盘存储类app主要盈利来源，但由于提供服务的技术门槛低，行业竞争激烈，同时服务器和宽带成本又居高不下，因此行业整体长期处于亏损状态。大型互联网企业依托云盘产品积累流量，并在各个产品之间形成相互引流和协同，从而实现产品价值最大化。

2016年，云盘行业出现关停潮，多家个人云盘存储服务提供商选择关停或停止部分服务，部分网盘选择转型开展其他业务。

二、运营数据

根据极光大数据统计，截至今年11月最后一周，云盘存储市场app渗透率为18.9%，用户规模为1.89亿。

极光大数据显示，截至今年11月最后一周，百度网盘市场渗透率为13.4%，OneDrive为1.6%，微云为1.3%。

截至今年11月最后一周，百度网盘app市场份额占比为70.8%，OneDrive为8.6%，微云为6.9%。

OneDrive过去半年日新增用户量均值为227.9万，百度网盘为77.2万，微云为7.8万。

根据极光大数据统计，OneDrive过去半年7日留存率均值为97.4%，百度网盘为74.1%，微云为72.3%。

极光大数据的统计结果显示，百度网盘过去半年DAU均值为1030.6万，OneDrive为151.5万，微云为89.9万。

根据极光大数据统计，每个目标用户平均安装云盘存储app 1.1款，90.2%目标用户仅安装一款云盘存储app。

极光大数据显示，百度网盘、OneDrive和微云的app独占率分别为89.6%、81.0%和53.3%。

三、用户画像

极光大数据显示，云盘存储用户中男性占比55%，25-29岁用户占比最高，为33.1%。

极光大数据统计，云盘存储用户偏好度top3的app为百度网盘、网易云音乐和新浪微博，偏好指数分别为90.8、79.9和79.8。

云盘存储安卓用户使用的机型占比top3分别为OPPO R9、OPPO R9s和vivo X9，占比分别为4.5%、4.4%和3.0%。

根据极光大数据统计，云盘存储用户中，广东省用户占比10.6%，北京用户占比3.9%。四大一线城市用户占比12.1%。

极光大数据显示， 百度网盘用户中女性占比为42.1%，20-34岁用户占比最高，为37.0%。

百度网盘用户中14.1%来自一线城市，二线城市用户占比34.8%。

根据极光大数据统计，OneDrive用户中男性占比60.6%，30-34岁用户占比26.7%，他们偏好微软旗下产品。

极光大数据发现，港台及广东省构成用户主要来源，来自香港和台湾的用户比例分别为15.3%和10%，广东省用户占比13.6%。

极光大数据显示微云用户中女性占比40.9%，20-29岁用户占比共59.3%。

根据极光大数据统计，微云用户中，一线城市用户占比12.7%，广东用户占比12.1%。

报告说明

1、数据来源

极光大数据，源于极光云服务平台的行业数据采集及极光iAPP平台针对各类移动应用的长期监测，并结合大样本算法开展的数据挖掘和统计分析

2、数据周期

报告整体时间段：2016.12-2017.11

具体数据指标请参考各页标注

3、数据指标说明

4、报告其他说明

极光数据研究院后续将利用自身的大数据能力，对各领域进行更详尽的分析解读和商业洞察，敬请期待

移动大数据服务商 极光今天发布了 2017 年 11 月云盘存储市场研究报告。报告显示，目前市场上的个人云盘存储服务提供商可主要分为三类，一类为互联网企业，百度、腾讯等均涉及个人网盘市场；第二类为国内通信服务提供商，移动、联通、电信旗下均有相应产品；第三类为海外互联网企业，如微软等。国内云盘存储市场中，百度网盘 app 渗透率远高同类竞品，截至 11 月最后一周为 13.4%，而微软 OneDrive 涨势凶猛，过去半年中，平均日新增用户 227.9 万。

盈利模式方面，增值服务费为云盘存储类 app 主要盈利来源，但由于提供服务的技术门槛低，行业竞争激烈，同时服务器和宽带成本又居高不下，因此行业整体长期处于亏损状态。大型互联网企业依托云盘产品积累流量，并在各个产品之间形成相互引流和协同，从而实现产品价值最大化。

2016 年，云盘行业出现关停潮，多家个人云盘存储服务提供商选择关停或停止部分服务，部分网盘选择转型开展其他业务。

运营数据：云盘存储市场 app 渗透率为 18.9%，百度占比最高

根据极光大数据统计，截至今年 11 月最后一周，云盘存储市场 app 渗透率为 18.9%，用户规模为 1.89 亿。其中，百度网盘市场渗透率为 13.4%，OneDrive 为 1.6%，微云为 1.3%，百度网盘 app 市场份额占比为 70.8%，OneDrive 为 8.6%，微云为 6.9%，OneDrive 过去半年日新增用户量均值为 227.9 万，百度网盘为 77.2 万，微云为 7.8 万。

根据极光大数据统计，OneDrive 过去半年 7 日留存率均值为 97.4%，百度网盘为 74.1%，微云为 72.3%，百度网盘过去半年 DAU 均值为 1030.6 万，OneDrive 为 151.5 万，微云为 89.9 万。

根据极光大数据显示，每个目标用户平均安装云盘存储 app 1.1 款，90.2%目标用户仅安装一款云盘存储 app，百度网盘、OneDrive 和微云的 app 独占率分别为 89.6%、81.0%和 53.3%。

用户画像：多分布于北上广深一线城市，25-29 岁男性用户最多

极光大数据显示，云盘存储用户中男性占比 55%，25-29 岁用户占比最高，为 33.1%。云盘存储用户偏好度 top3 的 app 为百度网盘、网易云音乐和新浪微博，偏好指数分别为 90.8、79.9 和 79.8。

云盘存储安卓用户使用的机型占比 top3 分别为 OPPO R9、OPPO R9s 和 vivo X9，占比分别为 4.5%、4.4% 和 3.0%。其中，百度网盘用户中女性占比为 42.1%，20-34 岁用户占比最高，为 37.0%，百度网盘用户中 14.1%来自一线城市，二线城市用户占比 34.8%。

根据极光大数据统计，云盘存储用户中，广东省用户占比 10.6%，北京用户占比 3.9%。四大一线城市用户占比 12.1%。OneDrive 用户中男性占比 60.6%，30-34 岁用户占比 26.7%，他们偏好微软旗下产品，港台及广东省构成用户主要来源，来自香港和台湾的用户比例分别为 15.3%和 10%，广东省用户占比 13.6%。微云用户中女性占比 40.9%，20-29 岁用户占比共 59.3%，微云用户中，一线城市用户占比 12.7%，广东用户占比 12.1%。

云盘作为一种方便、快捷的存储方式，曾一度被认为会改变用户的存储习惯而受到各大厂商热捧。2009 年-2012 年，包括华为、百度、腾讯、360、移动、电信等在内的互联网企业、电信运营商、设备商等纷纷进入这一领域，个人云存储领域迎来爆发式增长。然而云盘的盛行也带来了版权、非法内容等一系列的问题，由此而来的监管趋严以及长期无法盈利的现实使得众多玩家在 2016 年黯然离场。

本文 极光大数据：百度网盘渗透率最高，男性用户较多来自动点科技.