Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

大数据、hadoop、Python学习资料分享群 596471005 不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2018年学习的大数据开发和零基础入门教程，欢迎初学和进阶中的小伙伴。也可以关注我。

基础：1、什么是大数据？

2、大数据要解决核心问题？

（1）数据存储 ---> 分布式文件系统 HDFS

（2）数据计算 ---> 分布式计算 MapReduce（Yarn）

第七期上课：月底开课

上课时间：周一 三 五的晚上 8点 ~ 10点40

一周8个课时

周二 四 六的晚上 安排的练习

=====================================

一、当Oracle DataBase数据库遇到大数据

1、如果对Oracle数据库有一定的了解，对于学习Hadoop很有帮助

2、为什么大数据不采用关系型数据库（Oracle、MySQL）来存储数据？

3、举例：设计一个数据库，来保存电影的信息 --->MongoDB

举例：设计一个数据库，保存非结构化数据 --->HBase、Redis

二、Hadoop生态体系结构

三、Hadoop实战（安装和部署）: 带着大家一起来装Hadoop

1、安装Linux

网卡：仅主机模式，要求虚拟机的IP跟本机在一个网段（192.168.157.1）

2、配置Linux

（1）关闭防火墙

systemctl stop firewalld.service ---->停用防火墙，但重启后，又启用防火墙

systemctl disable firewalld.service 永久关闭

（2）设置主机名 编辑文件 vi /etc/hosts

192.168.157.81 hadoop81

（3）安装JDK: 版本： JDK 1.8 64位

解压 tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/

设置环境变量：JAVA_HOME

vi ~/.bash_profile

JAVA_HOME=/root/training/jdk1.8.0_144

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

生效环境变量：source ~/.bash_profile

3、安装Hadoop: 版本： 2.7.3

问题：Hadoop有几种安装方式？ 3种

配置文件的位置： $HADOOP_HOME/etc/hadoop

准备工作：

a、解压 tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

b、设置Hadoop的环境变量

vi ~/.bash_profile

HADOOP_HOME=/root/training/hadoop-2.7.3

export HADOOP_HOME

PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

export PATH

source ~/.bash_profile

（1）本地模式: 一台

特点：没有HDFS、只能测试MapReduce程序

数据就是Linux文件系统上的数据

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

例子：wordcount 单词计数

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/temp/data/mydata.txt ~/temp/output

（2）伪分布模式： 一台

修改配置文件

hdfs-site.xml文件

dfs.replication

1

dfs.permissions

false

core-site.xml 配置NameNode地址和数据存储的目录

fs.defaultFS

hdfs://hadoop81:9000

hadoop.tmp.dir

/root/training/hadoop-2.7.3/tmp

mapred-site.xml --->默认没有这个文件

cp mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

yarn-site.xml

yarn.resourcemanager.hostname

hadoop81

yarn.nodemanager.aux-services

mapreduce_shuffle

格式化HDFS的NameNode：hdfs namenode -format

日志：

Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

启动Hadoop：start-all.sh 两部分 1、HDFS 2、Yarn

停止Hadoop：stop-all.sh

问题：1、启动一次需要输入4次密码

2、停止一次需要输入4次密码

（3）全分布模式（需要几台机器？3台）

注意：伪分布模式和全分布模式一定要配置免密码登录

4、验证Hadoop环境

访问 HDFS的Web Console：http://192.168.157.81:50070

访问 Yarn的Web Console：http://192.168.157.81:8088

四、Hadoop的原理（重要）

1、HDFS上传数据的原理与过程

2、Yarn调度MapReduce的原理

五、2018年大数据的发展与未来

1、企业：得数据者 得天下

2、个人：钱

根据Packt的第三次Skill up年度调查，机器学习，大数据和云计算是2017年的三大技术趋势。

本次Packt Skill Up年度调查共采访了全球5000名开发人员和技术人员，收集了他们对最新技术工具和趋势的看法以及他们目前的工作和学习方式，这次调查相比于前两次更加深刻，要求受访者针对技术和职业发展等发表意见。Skill Up年度调查旨在让更多的程序员通过其他程序员的看法了解到即将到来的技术趋势和学习行为，从而在职业生涯中获得竞争优势。

2017

年最火的技术趋势是什么？

技术行业最火的趋势是什么？Packt 2016年年度调查中VR/AR、机器学习和物联网被称为三大趋势。但是在今年的调查中，机器学习、大数据和云计算强势入驻成为前三甲。

重要的事情说三遍，钱、钱、金钱

接下来，我们就来聊一聊大家最关心的事情，那就是在这一领域哪些技术人员可以赚到最多的钱，哪些人的收入最少。

收入前五名的行业：

CXO

大数据工程师

中层领导/经理

安全工程师

信息架构师

信息架构师是勉强进入第五名的，云工程师和DevOps工程师紧随其后，排在第六和第七名，并且薪资水平与行业平均水平保持基本同步。

收入最低的前五名：

程序爱好者

游戏开发者

网页开发者

技术支持

移动开发者

程序爱好者排在收入最低的首位，其实并不奇怪，因为他们当中很多人都处在非技术相关的工作岗位上。但有趣的是游戏开发人员和移动开发人员的薪资居然也在其列，这是否会影响到竞争激烈的市场呢？

技能成本

毫无疑问这对DevOps专家来说是一件好事，因为Hadoop和Chef是高薪工作所要具备的。

这对DevOps的专家好消息-

的Hadoop

和

厨师

都取得了它的土地收入最高的工作所需要的五大技巧。还有什么削减的？

Splunk

Hadoop

Kafka

Chef

SAS

哪些工具最受欢迎？

Python，Git和Visual Studio是今年最受开发者欢迎的前三甲工具，DevOps放弃了Visual Studio 而选择了Docker；云工程师选择了Python、Docker和AWS作为他们最喜欢的三个工具；信息架构师则是Python、Eclipse和Visual Studio的铁杆粉丝。

你应该学习什么技巧？

如果，你希望在未来能够在同类程序员中脱颖而出，那么你应该学习什么样的技巧呢？根据调查，Docker在未来一年内会获得技术支持，随后是Python和Angular。

对于DevOps和云工程师呢？DevOps工程师认为，Docker，Ansible和Kubernetes是明年必须学习的三大工具，云工程师几乎达成一致，要将Docker重点放在OpenStack上，而信息架构师则选择了Docker，Hadoop和React。

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

大数据如今是一个热门行业，很多人学好了却倒在了面试上。面试也是一门学问，如何面试成功？不妨看一下小编给出的建议（均为经验之谈）。当然是要有足够的技术功底去面试，能够做好面试题，下面小编就给大家分享一些企业的大数据面试题（附答案）。

1.作为企业架构师，我们为什么需要构建数据结构？

数据结构主要有以下内容：

1）数据标准不一致　　

2）数据模型管理混乱　　

3）深入的性能的问题无法解决　　

4）SQL语句编写水平不高导致出现严重性能问题　　

5）开发人员对执行计划收悉　　

6）上线前缺乏审计　　

7）相对复杂的数据处理能力欠缺　　

8）数据质量差需要执行数据质量管理

数据是客户的财富，虽然对于我们开发人员一文不值，在客户那里就是无价之宝，保障数据的完成性，安全性，可靠性，必须要存在数据结构满足8大要求。

2.结合自身，说一下你离架构师有多远，还需要掌握哪些技术？

架构师首先有很多方向，作为架构师必须具有丰富的开发经验，是个技术主管。

因为他必须清楚什么是可以实现的，实现的方式有哪些，相应的难度怎么样，实现出来的系统面对需求变化的适应性等一系列指标。

另外，需要对面向过程、面向对象、面向服务等设计理念有深刻的理解，可以快速的察觉出实现中的问题并提出相应的改进（重构）方案（也就是通常说的反模式）。

这些都需要长期的开发实践才能真正的体会到，单从书本上很难领会到，就算当时理解了也不一定能融会到实践中去。

在技术能力上，软件架构师最重要也是最需要掌握的知识是构件通信机制方面的知识，包括进程内通信（对象访问、函数调用、数据交换、线程同步等）以及进程外（包括跨计算机）的通信（如RMI、DCOM、Web Service）。

在WEB应用大行其道的今天，开发者往往对服务器间的通信关注的比较多，而对进程内的通信较少关注。进程外跨机器通信是构建分布式应用的基石，它是架构设计中的鸟瞰视图；而进程内的通信是模块实现的骨架，它是基石的基石。

如果具体到一个基于.Net企业级架构设计，首先需要的是语言级别的认识，包括.NET的CLR、继承特性、委托和事件处理等。然后是常用解决方案的认识，包括ASP.NET Web Service、.NET Remoting、企业服务组件等。

总之，丰富的开发实践经验有助于避免架构师纸上谈兵式的高来高去，给代码编写人员带来实实在在的可行性。

其次，具有足够的行业业务知识和商业头脑也是很重要的。行业业务知识的足够把握可以给架构师更多的拥抱变化的能力，可以在系统设计的时候留出一些扩展的余地来适应可能来临的需求变化。

有经验的设计人员可能都碰到过这样的事，一厢情愿的保留接口在需求变化中的命中率非常低。也就是说，在系统设计之初为扩展性留下来的系统接口没能在需求变化的洪流中发挥真正的作用，因为需求的变化并没有按照预想的方向进行，到最后还是不得不为变化的业务重新设计系统。

这就是因为对业务知识的理解和对市场或者商业的判断没有达到一个实用的、可以为架构扩展性服务的水平。

再次，架构设计师对人的关注必须提升到架构设计之初来纳入考虑的范围，包括沟通以及对人员素质的判断。软件过程是团队协作共同构建系统的过程，沟通能力是将整个过程中多条开发线粘合在一起的胶水。

大家都应该碰到过事后说“原来是这样啊，我不知道啊”或者某个开发人员突然高声呼喊“为什么这里的数据没有了”之类的。沟通的目的就是尽量避免多条开发线的混乱，让系统构建过程可以有条理的高效进行。

另外，对人的关注还表现在对团队成员的素质判断上，比如哪些开发人员对哪些技术更熟悉，或者哪些开发人员容易拖进度等。只有合理的使用人力资源，让合适的人做合适的事情才能让整个软件过程更加高效。

架构师应时刻注意新软件设计和开发方面的发展情况，并不断探索更有效的新方法、开发语言、设计模式和开发平台不断很快地升级，软件架构师需要吸收这些新技术新知识，并将它们用于软件系统开发工作中。但对新技术的探索应该在一个理性的范围内进行，不能盲目的跟风。

解决方案提供商永远都希望你能使用它提供的最新技术，而且它们在推广自己的解决方案的时候往往是以自己的产品为中心，容易给人错觉。

比如数据库，往往让人觉得它什么都能做，只要有了它其它什么都不重要了。但事实上并不是如此，对于小型应用可以将许多业务逻辑用script的方式放入数据库中，但很少看到大型应用采用这样的做法。

对于新东西需要以一种比较的观点来判断，包括横向的比较和纵向的比较，最后得出一些性能、可移植性以及可升级等指标。另外，新入行的开发人员往往关心新技术动向而忽略了技术的历史，而从DOS时代一路杀过来的开发者就对现在的技术体系有较全面的把握。

3.如果你应聘架构师方面的工作，那么你认为设计架构具体都做些什么呢？

1）:确认需求

　　在项目开发过程中，架构师是在需求规格说明书完成后介入的，需求规格说明书必须得到架构师的认可。架构师需要和分析人员反复交流，以保证自己完整并准确地理解用户需求。

　　2）:系统分解

　　依据用户需求，架构师将系统整体分解为更小的子系统和组件，从而形成不同的逻辑层或服务。随后，架构师会确定各层的接口，层与层相互之间的关系。架构师不仅要对整个系统分层，进行“纵向”分解，还要对同一逻辑层分块，进行“横向”分解。

　　软件架构师的功力基本体现于此，这是一项相对复杂的工作。

　　3）:技术选型

　　架构师通过对系统的一系列的分解，最终形成了软件的整体架构。技术选择主要取决于软件架构。

　　Web Server运行在Windows上还是Linux上？数据库采用MSSql、Oracle还是Mysql？需要不需要采用MVC或者Spring等轻量级的框架？前端采用富客户端还是瘦客户端方式？类似的工作，都需要在这个阶段提出，并进行评估。

　　架构师对产品和技术的选型仅仅限于评估，没有决定权，最终的决定权归项目经理。架构师提出的技术方案为项目经理提供了重要的参考信息，项目经理会从项目预算、人力资源、时间进度等实际情况进行权衡，最终进行确认。

　　4）:制定技术规格说明

　　架构师在项目开发过程中，是技术权威。他需要协调所有的开发人员，与开发人员一直保持沟通，始终保证开发者依照它的架构意图去实现各项功能。

　　架构师不仅要保持与开发者的沟通，也需要与项目经理、需求分析员，甚至与最终用户保持沟通。所以，对于架构师来讲，不仅有技术方面的要求，还有人际交流方面的要求。

4.如果在一个成熟的企业里没有你所想象的架构师呢？或者说，架构师这种职业已经死亡或消失了呢？你会怎么定位你的职业？

如果在一个企业里没有架构师，那么我可以推动自己往这个方向努力发展。

如果在这个行业里不存在架构师，我想软件领域开发的软件质量应该也会存在很多问题。

没有架构师或者自己已经从事了架构师这个职位有了危机以后，我想对自己的职位依然做个肯定，因为业务永远会随着客户的需求存在，

既然有客户需求，业务就会产生，有业务产生，那必然少不了技术实现，可以做技术方案指导，都是很好的方向。

首先，请看一幅漫画

没错！今天介绍的就是Linux高级运维工程师。

当然，刚才自黑的漫画开玩笑的，运维工程师是互联网背后的英雄，只不过很多人对其都不了解。

但是，大家过年回家抢票的12306，你总了解吧？这就是运维工程师所做的事。

生活日益互联网化的今天，超高并发、超大量的数据同步越来越多，普通服务器根本无法承受，只有Linux运维才能承担，让平台稳定运行。可以说，没有他们，你连家都回不去，因为他们维护着12306的运行！

运维工程师的日常是什么？

“是不是把服务器搬来搬去？不是在拿着Linux光盘开始装系统，就是在等待系统安装完成？”

大错特错啦！正确的是：他们会把上面的那些工作统统给自动化掉，如自动化给数据中心的裸金属服务器安装系统，自动部署应用、自动收集日志、自动监控报警等等。每天喝喝茶，看看图表，然后再给自动化运维工具提交两行代码。完全解放了生产力啊！

看完这些，你对Linux运维工程师有没有一些改观？

是不是开始关心这个职业工资怎么样？不兜圈子，咱们来了解下它的前景和薪资待遇吧！

Linux高级运维工程师的薪资和市场需求

干这行赚钱就是多，平均薪资20000+元。

更好的消息是，这行人才的市场需求量还很大，越早入行越吃香。也许早入行，12306都有你的功劳哦！

可能又有朋友担心，这个技术会不会过时啊？请往下看！

Linux高级运维工程师的职业发展空间

这行是典型的“经验越多身价越高”的职业，不会像敲代码一样担心年龄大遇到瓶颈。只要你工作中踏实肯干，认真学习，薪资涨幅都不会太小。10年以后，便可以成长为年薪百万的系统运维架构师。我想，现在12306的运维应该工资很高！

那么问题来了，身为小白的自己，如何才能走上这条路呢？

如何成为一名Linux 高级运维工程师？

万事开头难，建议小白按照黑马程序员的学习路径进行学习，现整理如下：

阶段一 Linux 基础 市场价值：3000元/月

● 计算机基础

● Linux系统概述

● Linux系统安装

● Linux基本指令

● 网络基础

● VIM编辑器

● 系统用户与权限

● Linux文件系统与内核（内核调优，磁盘配额，计划任务）

● 系统服务与进程

● MySQL基础

阶段二 Linux 进阶 市场价值：5000元/月

● bind高级应用(DNS服务器)

● ftp服务+nfs服务+samba服务

● postfix服务+dovecot服务（邮件服务器）

● shell基础

● ssh服务以及无密码登录

● linux系统安全（防火墙）以及日志

● linux下安装包的管理、压缩工具讲解

● rsync文件同步服务

阶段三 Linux 高级 市场价值：8000元/月

● PHP及JAVA环境部署调优

● APACHE/NGINX/TOMCAT配置详解与调优

● KeepAlived+LVS高可用负载均衡服务器

● nginx+Haproxy实现负载均衡

● Varnish/squid反向代理（介绍CDN知识与应用）

● 分布式存储集群（FastDFS）

● Tomcat LB Cluster集群(加强)

● zookeeper分布式

● Zabbix监控

● ELK日志分析搭建

● Git版本控制软件(SVN赠送)

● 初级运维自动化saltstack puppet（基础）

● 大型项目架构

阶段四 MySQL DBA实战 市场价值：9000元/月

● MySQL基础操作

● MySQL高级查询

● MySQL权限管理

● MySQL备份、还原与数据恢复

● MySQL数据库管理工具介绍与实战

● MySQL高级（索引与优化）

● MySQL主从复制与读写分离

● 数据库中间件MyCAT,altas,Amoeba实践与对比

● Memcache技术

● Redis技术+集群

● MongoDB技术+集群

阶段五 Shell 编程实战 市场价值：10000元/月

● Shell编程进阶

● Shell核心应用（集成到进阶）

● 正则表达式

阶段六 Linux 云计算实战 市场价值：12000元/月

● Xen、VMWare虚拟化技术

● Kvm虚拟化技术

● salt进阶

● Openstack自动化运维

● Docker实战

● jenkins+maven

● Hadoop云计算

● devops

阶段七 Python 运维自动化 市场价值：14000元/月

● Python环境配置（乌班图）

● Python基础语法

● Python正则表达式

● Python面向对象

● Python异常

● 运维自动化相关模块介绍

关于Linux运维，你怎么看？

分享：你所不知的云计算与大数据运维工程师大揭秘--由成都达内小编分享给大家

2018年转眼即逝，在这半年里，各种大会铺天盖地，频频听到身边发问“近几年的运维大会真多呀”的朋友也越来越多。Linux运维及云计算仿佛成为了跟Web开发和平面设计一样的火爆岗位。

我们知道Linux诞生于1991年，那个时候“马云”还是一名教书匠，OICQ(QQ早期产品)的概念还没有出来，更不用提百度是什么了。那个时候的互联网在美国，而中国的互联网真正开始是从2000开始，百度，阿里，网易，搜狐等国内现在大家耳熟能详的老牌公司也均是那个时代的产物，时至今日依然影响着广大民众生活的方方面面，而且已然成为民众生活的“水”和“电”。

虽人们享受着当日送货上门的便利，亲朋好友千里之外流畅视频通话的温情，人类的吃穿住行及所能想像的任何物件背后都直接或间接基于Linux，却鲜有人知道：

Linux是什么?

运维是干什么的?

运维?网管?修电脑的?

现在手机在手，就能干很多事情，只需点一点屏幕，轻松完成聊天、娱乐、甚至支付功能。这些操作看似简单，但其背后，有一系列复杂请求和响应。而在阿里、百度等这些互联网巨头的机房里，就有千上万台服务器，为你服务请求提供服务的。这些服务器中，95%以上，是Linux系统、或类Linux系统。

从行业来划分：通信、金融、互联网、教育、电子商务、机械制造、军工航天、电器业等等，都离不开Linux平台。

远的不讲，近的来讲，马云的双十一。最大的变化诸位剁手的朋友印象应该很深，不再需要漫长的等待，就能拿到自己心仪的货品，最快的次日就已经拿到货品了。这背后少不了大数据的帮忙，而所有的这些均是基于Linux之上，而这只是ITLinux的冰山一角，在应用层面提出来“互联网+”的概念，大数据成为人类的资源，Linux的前景不言而喻。

运维工程师是干嘛的?

一句话概括：负责线上业务稳定，基于Linux平台集合网络、应用、数据库、开发、安全工作于一身的“复合性人才”。 就运维行业来讲，能力越大，责任越大，你有多大的能耐就有多大回报，平均年薪在10万+，动辄100w年薪也是常有的是，只要你够努力。

看看大公司的平台运维架构是什么样的?

搜狐畅游运维的演变：

苏宁大数据平台：

腾讯游戏智能运维平台：

稳定压力一切，运维很重要!

关注我的人都成为了月薪5w以上的技术大牛

如果你的hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。

项目一：数据整合

称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步;有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成。未来，HBase和Phoenix在大数据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。

销售人员喜欢说“读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么(Hive模式不会看起来与你在企业数据仓库中所做的不一样)。真实的原因是一个数据湖比Teradata和Netezza公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython笔记本作为前端。

项目二：专业分析

许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险/蒙特卡罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭受一个有限的功能集(大部分是因为软件厂商不可能像专业机构那样了解的那么多)。

在Hadoop和Spark的世界，看看这些系统大致相同的数据整合系统，但往往有更多的HBase，定制非SQL代码，和更少的数据来源(如果不是唯一的)。他们越来越多地以Spark为基础。

项目三：Hadoop作为一种服务

在“专业分析”项目的任何大型组织(讽刺的是，一个或两个“数据整理”项目)他们会不可避免地开始感觉“快乐”(即，疼痛)管理几个不同配置的Hadoop集群，有时从不同的供应商。接下来，他们会说，“也许我们应该整合这些资源池，”而不是大部分时间让大部分节点处于资源闲置状态。它们应该组成云计算，但许多公司经常会因为安全的原因(内部政治和工作保护)不能或不会。这通常意味着很多Docker容器包。

我没有使用它，但最近Bluedata(蓝色数据国际中心)似乎有一个解决方案，这也会吸引小企业缺乏足够的资金来部署Hadoop作为一种服务。

项目四：流分析

很多人会把这个“流”，但流分析是不同的，从设备流。通常，流分析是一个组织在批处理中的实时版本。以反洗钱和欺诈检测：为什么不在交易的基础上，抓住它发生而不是在一个周期结束?同样的库存管理或其他任何。

在某些情况下，这是一种新的类型的交易系统，分析数据位的位，因为你将它并联到一个分析系统中。这些系统证明自己如Spark或Storm与Hbase作为常用的数据存储。请注意，流分析并不能取代所有形式的分析，对某些你从未考虑过的事情而言，你仍然希望分析历史趋势或看过去的数据。

项目五：复杂事件处理

在这里，我们谈论的是亚秒级的实时事件处理。虽然还没有足够快的超低延迟(皮秒或纳秒)的应用，如高端的交易系统，你可以期待毫秒响应时间。例子包括对事物或事件的互联网电信运营商处理的呼叫数据记录的实时评价。有时，你会看到这样的系统使用Spark和HBase——但他们一般落在他们的脸上，必须转换成Storm，这是基于由LMAX交易所开发的干扰模式。

在过去，这样的系统已经基于定制的消息或高性能，从货架上，客户端-服务器消息产品-但今天的数据量太多了。我还没有使用它，但Apex项目看起来很有前途，声称要比Storm快。

项目六：ETL流

有时你想捕捉流数据并把它们存储起来。这些项目通常与1号或2号重合，但增加了各自的范围和特点。(有些人认为他们是4号或5号，但他们实际上是在向磁盘倾倒和分析数据。)，这些几乎都是Kafka和Storm项目。Spark也使用，但没有理由，因为你不需要在内存分析。

项目七：更换或增加SAS

SAS是精细，是好的但SAS也很贵，我们不需要为你的数据科学家和分析师买存储你就可以“玩”数据。此外，除SAS可以做或产生漂亮的图形分析外，你还可以做一些不同的事情。这是你的“数据湖”。这里是IPython笔记本(现在)和Zeppelin(以后)。我们用SAS存储结果。

当我每天看到其他不同类型的Hadoop，Spark，或Storm项目，这些都是正常的。如果你使用Hadoop，你可能了解它们。几年前我已经实施了这些项目中的部分案例，使用的是其它技术。

如果你是一个老前辈太害怕“大”或“做”大数据Hadoop，不要担心。事情越变越多，但本质保持不变。你会发现很多相似之处的东西你用来部署和时髦的技术都是围绕Hadooposphere旋转的。

好程序员特训营，致力于移动互联网精英人才培养，开设全栈HTML5+、大数据+人工智能、JavaEE+云数据等多门课程。学员入职阿里、新浪、百度、搜狗等知名企业屡见不鲜，成就学员转行、就业，拿高薪进名企的梦想。大数据+人工智能课程12月18日开班在即，现报名免费试学30天，学费优惠5000元。

大数据如今在国家的大力支持下，越来越火热，吸引了大批人员学习，而对于刚学大数据的各位程序员来说最难的就是怎么样入门和找寻资料了，在这里大家有需要

可以加大数据、hadoop、Python学习资料分享群 596471005 不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2018年学习的大数据开发和零基础入门教程，欢迎初学和进阶中的小伙伴。也可以关注我，私信。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据数字瀑布