如何做大数据开发

时代在迅速更迭中，每个人都在与时间赛跑，技术和机遇的双重压力下，已经不容许你用两年的时间来自学大数据了，当前，参加大数据开发学习已经成为很多人跟时代赛跑的利刃。一是能快速吸收技术知识，再就是能有个环境约束一下自己放飞自我的自由！那么大数据开发前景如何，郑州大数据学习怎么样？下面针对以下三个方面进行分析：

一、大数据前景分析

1、随着大数据逐渐扩大市场占有率，大数据平台人才的缺口日益显现。据业内统计，目前国内的大数据研发人才缺口有三、四百万，其中大数据研发人才缺口至少50万。

2、大数据开发专家指出，想要从事大数据开发的人员，除了基础的计算机技术知识要扎实之外，要根据各类企业、各类岗位的不同需求，补充与岗位相关的大数据技术知识。此外，还要注重项目经验的积累。

3、据招聘网站上的数据统计显示：目前热招的大数据开发相关岗位约有4003个，而一个月内的有效岗位量在2180个。主要热招职位包括大数据开发工程师、大数据软件工程师、大数据应用开发工程师、大数据开发、大数据系统软件开发、大数据程序员、大数据应用版本管理等。

4、从人才需求类型来看，目前对大数据人才需求一类是偏向硬件驱动的大数据人才需求，一类是偏向软件应用的大数据人才需求。

二、大数据就业方向

1、 Hadoop大数据开发方向

市场需求旺盛，大数据培训的主体，目前IT培训机构的重点

对应岗位：大数据开发工程师、爬虫工程师、数据分析师 等

2、 数据挖掘、数据分析&机器学习方向

学习起点高、难度大，市面上只有很少的培训机构在做。

对应岗位：数据科学家、数据挖掘工程师、机器学习工程师等

3、 大数据运维&云计算方向

市场需求中等，更偏向于Linux、云计算学科

对应岗位：大数据运维工程师

三、就业薪资(具体数据从网络搜索)

1、数据分析师：北京数据分析平均工资：￥ 10630/月，取自 15526 份样本。

2、大数据开发工程师：北京大数据开发平均工资：￥ 30230/月。

3、Hadoop开发工程师：北京hadoop平均工资：￥ 20130/月，取自 1734 份样本。

4、数据挖掘工程师：北京数据挖掘平均工资：￥ 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%;

5、算法工程师：北京算法工程师平均工资：￥ 22640/月，取自 10176 份样本。

大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。但技术的难度也是有目共睹的，想要参加大数据开发学习的，建议找主打全程面授的千锋，这样的授课方式至少能让自己的学习压力更少一些!

有经验的小伙伴，来给些经验。

回答关注(1)|查看更多问答

1个回答

辉60742642

03-27 20:280赞踩

大数据的管理，实质就是扇形链的结构，手拿纸扇所展开的每一条支撑纸扇的支承条，就是链，同在一园点中展开，可以安装很多支承条，比如园点的第一条支承条起1，2，3，4，5，6，7，8，9，等就有九条支承链条都归园点管理，1支承条链为中石油，2为钢铁，3为煤炭，4为天然气，5为水泥，6化工，7为水利，8为农业，9教育，也可以代入，1为国防科技，2为工，3为农，4为商，5学，6兵，等都脱不开园点的管理或设园点中央管理，1起到无穷大的数据支承条的链为下熟机构，也就是中央为园点管理，1起支承条链就代入部级比如中央的各个部级，每一个数代表一个部级，总即想清楚扇形的工作原理代入数归纳园点管理，就这么形成了大数据的管理体系。

什么是大数据开发师？

围绕大数据系平台系统级的研发人员，熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法，熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。

2017年天猫“双11”，总成交额突破1682亿元，阿里巴巴集团CEO张勇介绍情况

2017年11月11日24时刚过，屏幕上滚动了一天的数字骤然停在了1682亿元上。

这是2017年天猫“双11”的全天成交额。这个数字，较2016年天猫“双11”全天成交额增长了475亿元，是“双11”的第一年2009年成交额的3058倍。

更大范围来看，商务部数据显示：2012~2016年，中国网络零售交易额从约1.3万亿元增长至近5.2万亿元，年均增长40%，对社会消费品零售总额增加值的贡献率从17%增长至30%。

耐克在天猫“双11”开始后不到1分钟即宣告成交过亿，阿迪达斯紧随其后，两家品牌均在1个小时内超过去年全天成交额，耐克官方旗舰店更成为天猫服饰史上首个破10亿的商家。

与此同时，新零售正通过大数据和互联网重构“人、货、场”等商业要素，从而形成一种新的商业业态。

40W年薪的程序员都是大数据开发工程师啊！

那么我们先来搞清楚，年薪40W，这个是税前还是税后。

40w年薪税前，400000/12≈34k。月薪在3w4以上。

40w年薪税后，算起来有点复杂，就直接放答案差不多就是这个数。

税前年薪差不多要50多了，那么税前月薪42K，一个月能拿42000元以上。

税后月薪约30K,实际到手30000元，然后全年税后工资 35W + 5W公积金，差不多就是40w年薪了。

这样下来基本上我们就了解基本情况了，

那么实际税前月薪是34K（34000元）到 42K (42000元)之间。

做大数据开发的大公司无外乎就那么几个。

当然除了技术过关以外，还该有大数据开发领域有丰富的经验，独到的见解，良好的沟通能力及团队协作能力等。

一般情况下，就算不去大公司，很多小公司的技术总监年薪上也差不了多少呢。当然这些都需要一些时间沉淀，没办法速成。

但是一个技术过关的大数据工程师能拿到10k+是肯定没什么问题了！

大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？

罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人！在学习大数据之前，你还需要有一定的基础！

1、 学习大数据需要的基础

1、java SE、EE（SSM）

90%的大数据框架都是Java写的

2、MySQL

SQL on Hadoop

3、Linux

大数据的框架安装在Linux操作系统上

在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快！

二、大数据需要学什么

1、大数据离线分析

一般处理T+1数据（T：可能是1天、一周、一个月、一年）

a、Hadoop ：一般不选用新版本，踩坑难解决

（common、HDES、MapReduce、YARN）

环境搭建、处理数据的思想

b、Hive：大数据的数据仓库

通过写SQL对数据进行操作，类似于MySQL数据库的sql

c、HBase：基于HDFS的NOSQL数据库

面向列存储

d、协作框架：

sqoop（桥梁：HDFS《==》RDBMS）

flume：搜集日志文件中的信息

e、调度框架

anzkaban

了解：crotab（Linux自带）

zeus（Alibaba）

Oozie（cloudera）

f、前沿框架扩展：

kylin、impala、ElasticSearch（ES）

2、大数据实时分析

以spark框架为主

Scala：OOP（面向对象程序设计）+FP（函数是程序设计）

sparkCore：类比MapReduce

sparkSQL：类比hive

sparkStreaming：实时数据处理

kafka：消息队列

前沿框架扩展：flink

阿里巴巴：blink

3、大数据机器学习

spark MLlib：机器学习库

pyspark编程：Python和spark的结合

推荐系统

python数据分析

python机器学习

路漫漫其修远兮，想要成为大数据开发工程师，不仅仅要具备很多技术基础，而且还要对数据有一定的敏感度，需要长时间的加工磨合。

关注IT知识星球，每天分享干货知识

最近很多人都想学习大数据开发，但是却不知道如何开始学习，今天专门整理了一份针对大数据初学者的大数据开发学习路线。

下面分十个章节来说明大数据开发要学习的内容：

以上就是一个大数据新手，想要学会大数据开发，需要学习的内容，大数据学习是一个持续的过程，想要了解更多的大数据开发相关的知识，欢迎关注我们。