大数据实时分析

大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？

罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人！在学习大数据之前，你还需要有一定的基础！

1、 学习大数据需要的基础

1、java SE、EE（SSM）

90%的大数据框架都是Java写的

2、MySQL

SQL on Hadoop

3、Linux

大数据的框架安装在Linux操作系统上

在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快！

二、大数据需要学什么

1、大数据离线分析

一般处理T+1数据（T：可能是1天、一周、一个月、一年）

a、Hadoop ：一般不选用新版本，踩坑难解决

（common、HDES、MapReduce、YARN）

环境搭建、处理数据的思想

b、Hive：大数据的数据仓库

通过写SQL对数据进行操作，类似于MySQL数据库的sql

c、HBase：基于HDFS的NOSQL数据库

面向列存储

d、协作框架：

sqoop（桥梁：HDFS《==》RDBMS）

flume：搜集日志文件中的信息

e、调度框架

anzkaban

了解：crotab（Linux自带）

zeus（Alibaba）

Oozie（cloudera）

f、前沿框架扩展：

kylin、impala、ElasticSearch（ES）

2、大数据实时分析

以spark框架为主

Scala：OOP（面向对象程序设计）+FP（函数是程序设计）

sparkCore：类比MapReduce

sparkSQL：类比hive

sparkStreaming：实时数据处理

kafka：消息队列

前沿框架扩展：flink

阿里巴巴：blink

3、大数据机器学习

spark MLlib：机器学习库

pyspark编程：Python和spark的结合

推荐系统

python数据分析

python机器学习

路漫漫其修远兮，想要成为大数据开发工程师，不仅仅要具备很多技术基础，而且还要对数据有一定的敏感度，需要长时间的加工磨合。

目前对大数据的实时分析工具，业界公认最佳为Spark。Spark是基于内存计算的大数据并行计算框架，Spark目前是Apache软件基金会旗下，顶级的开源项目，Spark提出的DAG作为MapReduce的替代方案，兼容HDFS、Hive等分布式存储层，可融入Hadoop的生态系统，以弥补缺失MapReduce的不足，事实上已成为当前互联网企业主流的大数据实时处理工具。

为解决广大系统设计人员深入研究与开发大数据实时处理的需要，培训中心在2017年6月7-9日，举办了“大数据实时处理-基于Spark的大数据实时处理及应用技术”培训班。

主讲此次课程的杨教授提供了案例分析来帮助学员了解如何用Spark实时大数据工具来解决业界的问题，并介绍了Spark生产环境搭建的相关知识。

杨教授介绍，Spark生态系统(BDAS项目)已经发展成一个，包含多个子项目的集合，包括Spark SQL、Spark Streaming、GraphX、MLlib等，本课程从大数据实时处理技术以及Spark实战的角度，结合理论和实践，全方位地介绍Spark大数据实时处理工具的原理和内核,包括Spark大数据计算框架、运行架构、设计模型和数据管理策略，及Spark在业界的应用。

希望来自各企业的学员们通过本课程学习，把Spark实时大数据处理开发上升到一个新水平。

36氪获悉，大数据实时分析技术公司“柏睿数据”获B+轮过亿元融资，由东方嘉富领投，盛世泰诺和原股东中銮投资跟投。本轮融资后，柏睿数据将在大数据底层核心技术研发与数据库产品创新持续投资，同时加强市场投入与服务团队的建设，提高对合作伙伴的支持力度，加快区域市场和行业市场布局，推动产品在更广阔领域的市场覆盖。

随着时代的发展社会的进步，大数据的发展越来越好，越来越多的人选择大数据，有同学问小编：“我想要从事大数据实时分析都要学习哪些课程？”，下面小编就给大家介绍一下从事大数据实时分析需要学习的课程。

一、基础篇大数据实时分析需要学习的课程

任何高楼大厦都离不开一个稳固的地基，想要从事大数据实时分析也是如此，首先打好基础，那么需要学习哪些知识呢，首先需要掌握一门基础语言，Java是非常学习大数据基础语言之一，我们还需要熟练掌控Linux系统的命令，还有要学一些数据库，Mysql这些,学习这些需要花费很长的时间，不要焦躁，要静下心来，打好基础才能把大楼盖上云霄，也相信你这时的付出会换取你将来的回报。

二、进阶篇

当你打好基础后就可以登堂入室了，来一见大数据的真容，这个阶段你需要学习的东西也非常的多其中包括Hadoop（包含 大数据的概述，hadoop集群的搭建，HDFS基础概念介绍，HDFS API案例，YARN资源调度框架介绍，Mapreduce介绍，Mapreduce案例），zookeeper，hbase，hive，学完这些还有一些比较难理解的就是python，spark，flume，kafka这些，这些可以说是学习大数据的第三阶段，学习完之后你完全可以去做大数据的任何工作，不过一些高端的工作是需要开发经验的，当你从事大数据几年之后我相信你也会走向这些高端工作，走向人生的高峰。

三、spark实时分析

如果你学会了上面的内容那么恭喜你，你已经成为了一名合格的大数据开发工程师，相信无论走到哪里都不用去担心工作和薪资的问题，如果你想做实时分析那么也是非常容易的，因为你已经学会了spark，可以做实时和离线分析。

四、总结

想学习任何的东西，都需要扎实的基础，都需要漫长的时间去学习，宝剑锋从磨砺出，梅花香自苦寒来，相信你今天的汗水化作明天别人的仰望。