大数据开发工程师技术

时代在迅速更迭中，每个人都在与时间赛跑，技术和机遇的双重压力下，已经不容许你用两年的时间来自学大数据了，当前，参加大数据开发学习已经成为很多人跟时代赛跑的利刃。一是能快速吸收技术知识，再就是能有个环境约束一下自己放飞自我的自由！那么大数据开发前景如何，郑州大数据学习怎么样？下面针对以下三个方面进行分析：

一、大数据前景分析

1、随着大数据逐渐扩大市场占有率，大数据平台人才的缺口日益显现。据业内统计，目前国内的大数据研发人才缺口有三、四百万，其中大数据研发人才缺口至少50万。

2、大数据开发专家指出，想要从事大数据开发的人员，除了基础的计算机技术知识要扎实之外，要根据各类企业、各类岗位的不同需求，补充与岗位相关的大数据技术知识。此外，还要注重项目经验的积累。

3、据招聘网站上的数据统计显示：目前热招的大数据开发相关岗位约有4003个，而一个月内的有效岗位量在2180个。主要热招职位包括大数据开发工程师、大数据软件工程师、大数据应用开发工程师、大数据开发、大数据系统软件开发、大数据程序员、大数据应用版本管理等。

4、从人才需求类型来看，目前对大数据人才需求一类是偏向硬件驱动的大数据人才需求，一类是偏向软件应用的大数据人才需求。

二、大数据就业方向

1、 Hadoop大数据开发方向

市场需求旺盛，大数据培训的主体，目前IT培训机构的重点

对应岗位：大数据开发工程师、爬虫工程师、数据分析师 等

2、 数据挖掘、数据分析&机器学习方向

学习起点高、难度大，市面上只有很少的培训机构在做。

对应岗位：数据科学家、数据挖掘工程师、机器学习工程师等

3、 大数据运维&云计算方向

市场需求中等，更偏向于Linux、云计算学科

对应岗位：大数据运维工程师

三、就业薪资(具体数据从网络搜索)

1、数据分析师：北京数据分析平均工资：￥ 10630/月，取自 15526 份样本。

2、大数据开发工程师：北京大数据开发平均工资：￥ 30230/月。

3、Hadoop开发工程师：北京hadoop平均工资：￥ 20130/月，取自 1734 份样本。

4、数据挖掘工程师：北京数据挖掘平均工资：￥ 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%;

5、算法工程师：北京算法工程师平均工资：￥ 22640/月，取自 10176 份样本。

大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。但技术的难度也是有目共睹的，想要参加大数据开发学习的，建议找主打全程面授的千锋，这样的授课方式至少能让自己的学习压力更少一些!

是不是总是听到身边人说大数据发展如何如何好，工资高，但是大数据薪资待遇到底是个什么样的情况呢？

今天就结合一些数据来了解下大数据行业的工资待遇的真实情况。

一、大数据招聘网站工资待遇

下面是从拉勾网上查询的大数据人才的招聘信息，目前对于没有工作经验的大数据人才的薪资也在1万左右，同时携程、滴滴、百度等大型互联网企业也在招聘大数据人才，同时招聘的门槛比较低。

综合以上三点来看，大数据人才的就业还是比较容易的，只要你掌握大数据技术相应技能，找一份大数据相关工作是很轻松的。

二、大数据相关岗位薪资情况

上面我们分析了第三方的招聘网站上的大数据岗位的招聘信息中的薪资数据，下面以北京为例，来了解下大数据几大相关职位的就业薪资水平。

上图中大数据开发工程师就业薪资在3万左右，当然这个薪资一般是需要有过开发经验的或者是有一定工作年限的人员可以达到，刚毕业的学员只有极少部分可以拿到接近的薪资。

数据分析师因为更偏向于数据统计、数据分析这款，对于技术要求不高，相较于大数据开发等技术类职位，薪资略低，但是目前随着大数据可视化的热门，数据分析师如果再具备数据可视化设计的能力，薪资待遇也会进一步提升。

再来看下hadoop工程师，平均薪资在2万左右，相较于大数据开发，单存的hadoop工程师因为掌握的技术单一，所以薪资待遇会略低点，不过可以通过学习，扩充自己的技能，薪资也会增长较快。

数据挖掘作为大数据的核心环节，同样因为在互联网场景中，深挖出有价值的数据，才能够为企业提供有价值的参考。所以目前这块的薪资待遇在2万多左右，也算不错的。

算法工程师的职责更纯粹，需要知道如何把现实问题转化为数学的模型，并且把模型调到极致，从而解决问题。所以，算法工程师工作内容更单一，但是更专，需要更好的数学功底，薪资也是在2万多左右。

正如之前文章中提到的，大数据这个领域，有点略微畸形的火爆，导致了这个方向很缺人，也正是大量Java后端开发人员转行的直接原因。

因为缺人，他们就转行么？显然是扯的！大伙儿都是有理想的人，要向“钱”看的。

随着互联网的发展，越来越多的人投入到IT行业，而大数据开发工程师也因此成为一个比较热门职业，想要成为大数据开发工程师的你，是否又在考虑其该具备哪些技能呢?为了让你更好的了解大数据开发工程师需要具备的技能，今日小编就带领大家一起来看看千锋在培养人才方面所走的大数据学习路线。

首先，需要学习Java基础。很多人好奇学习大数据需不需要学Java，正确答案是需要。一方面Java是目前使用最为广泛的编程语言，它具有的众多特性，特别适合作为大数据应用的开发语言;另一方面Hadoop以及其他大数据处理技术很多都是用Java开发，例如Apache的基于Java的HBase和Accumulo以及 ElasticSearchas，因此学习Hadoop的一个首要条件，就是掌握Java语言编程。

其次，需要学习是Linux系统、Hadoop生态体系。大数据的整个框架是搭建在Linux系统上面的，所以要熟悉Linux开发环境。而Hadoop是一个开源的分布式计算+分布式存储平台，是一个大数据的基础架构，它能搭建大型数据仓库，PB级别数据的存储、处理、分析、统计等业务。在这一阶段，你必须要掌握Hadoop的核心组件，包括分布式文件系统HDFS、资源调度管理系统YARN以及分布式计算框架MapReduce。

再次，需要学习是分布式计算框架Spark&Storm生态体系。随着学习的深入，在具备一定的基础之后，你就需要学习Spark大数据处理技术、Mlib机器学习、GraphX图计算以及Strom技术架构基础和原理等知识。Spark无论是在性能还是在方案的统一性方面，都有着极大的优越性，可以对大数据进行综合处理：实时数据流处理、批处理和交互式查询。

当然，学习以上知识的同时，你还需要学习一些Python知识。因为互联网更迭迅速，新兴技术之间也互为促进，目前人工智能火爆，想要成为顺应市场需求的人才，在学好大数据技术之余，你还需要掌握一些Python技能。

2018年大数据专业就业前景

大数据人才稀缺

据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

大数据专业就业三大方向

大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据专业人才就业薪资

1基础人才：数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

数据分析师岗位职责

业务类别:技术

业务方向:数据分析

工作职责:

1. 根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；

2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测；

3. 参与数据挖掘模型的构建、维护、部署和评估；

4. 整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持；

5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控；

6. 参与编写项目相关文档。

教育背景:

学历：本科其它：

经验要求:工作经验：3-5年

任职要求:

1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历；有扎实的数据统计和数据挖掘专业知识；

2. 熟练使用数理统计、数据分析、数据挖掘工具软件（SAS、R、Python等的一种或多种），能熟练使用SQL读取数据；

3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法；

4. 3年以上数据分析工作经验，征信从业背景人员优先；

5. 具有金融行业项目经验的相关经验者优先考虑；

6. 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

能力素养:

良好的分析、归纳和总结能力，善于分析、解决实际问题； 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

2大数据开发工程师

北京大数据开发平均工资： 30230/月。

大数据开发工程师/专家 岗位指责（引自 滴滴出行）：

职位描述：

1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；

2、服务各种业务需求，服务日益增长的业务和数据量；

3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；

岗位要求：

1、计算机或相关专业本科以上学历（3年以上工作经验）；

2、精通C++/Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境；

3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码；

4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力；

5、具有良好的沟通协作能力，具有较强的分享精神；

6、对Kudu、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分；

3Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

Hadoop开发工程师岗位职责（引自新浪网）：

职位描述：

1.参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；

2.分布式机器学习算法在数据平台的构建与优化（包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入源码改进各种开源大数据项目（包括Hadoop、Spark、Kafka、HBase等）。

任职要求：

1.计算机或相关专业本科以上学历；

2.熟悉Linux环境下开发，熟练掌握C++/Java/Scala等一种以上编程语言；

3.熟悉Hadoop生态系统相关项目，精通以下项目之一的源码（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具备良好的学习能力、分析能力和解决问题的能力。

4数据挖掘工程师

北京数据挖掘平均工资： 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

数据挖掘工程师招聘要求（引自蚂蚁金服集团技术部）：

工作职责：

1、在分布式系统上进行数据计算、挖掘、和实现算法；

2、数据仓库模型设计和建立；

3、数据梳理流程的实现和维护；

4、物流场景下的地址文本、空间属性研究和分析。

任职资格：

1、本科以上学历，有扎实的统计学，数据挖掘，机器学习，自然语言识别理论基础，一种或几种以上的实际使用经验。

2、熟悉聚类、分类、回归等机器学习算法和实现，对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。

3、深入理解Map-Reduce模型，对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。

4、有扎实的计算机理论基础，至少熟悉一种编程语言，Java优先。

5、有三年以上互联网公司或者海量数据处理工作经验，大数据挖掘、分析、建模经验

5算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

算法工程师 招聘要求（引自美团点评数据平台部）：

职位描述：

互联网公司背景优先

A、广告算法

岗位职责：

1.负责点击率预估等主要广告算法的技术选型；

2.负责核心算法的开发；

3.负责广告大数据处理流程的建设及相关工具的研发；

4.负责广告技术研究项目的推进与管理；

职位需求：

1.计算机或相关专业本科以上学历，3年以上相关工作经验;

2.熟练掌握一门开发语言；

3.有机器学习、数据挖掘相关知识；

4.在广告、搜索、推荐等相关领域之一有技术研究工作经验；

5.有较强的沟通协调能力；

B、推荐算法

职位描述：

1. 参与各个产品线的个性化推荐系统的研发；

2. 分析用户行为数据，并设计合理的推荐算法模型及策略，并优化推荐排序；

3. 通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；

职位要求：

1. 全日制本科及以上学历，计算机相关专业；

2. 熟练掌握各类个性化推荐算法，并有开发个性化推荐系统的实际项目经验；熟练掌握各类回归及排序算法，能够利用相关算法进行推荐排序的优化；

3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术，能够根据实际问题选择合适的模型和算法并进行相应的开发；

4. 有较强的工程架构和开发能力，能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法；

5. 掌握python、matlab等脚本语言，熟悉各类数据挖掘工具（如weka、Mahout），能够快速建立模型并进行验证；

C、算法工程师

岗位职责:

1、开发和优化用户行为数据挖掘，文本分类和语义理解，社交网络分析，网页搜索，推荐系统等领域的特定算法

2、能够很快学习和利用state-of-the-art的算法解决实际产品问题，提升产品用户体验

任职资格:

1、有一定的研究、实验的能力，优秀的分析问题和解决问题的能力

2、理解自然语言处理、机器学习、网页搜索，推荐系统，用户数据分析和建模的基本概念和常用方法，有相关领域的实际项目研发或者实习经历者优先。

3、熟悉C++, Java或Python，熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。

4、对大数据处理平台和工具有一定经验者优先, 包括： Hadoop, Hive, Pig, Spark 等

最后一个问题，哪些公司需求大数据人才？

答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

数据，未来的一切。

大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？

罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人！在学习大数据之前，你还需要有一定的基础！

1、 学习大数据需要的基础

1、java SE、EE（SSM）

90%的大数据框架都是Java写的

2、MySQL

SQL on Hadoop

3、Linux

大数据的框架安装在Linux操作系统上

在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快！

二、大数据需要学什么

1、大数据离线分析

一般处理T+1数据（T：可能是1天、一周、一个月、一年）

a、Hadoop ：一般不选用新版本，踩坑难解决

（common、HDES、MapReduce、YARN）

环境搭建、处理数据的思想

b、Hive：大数据的数据仓库

通过写SQL对数据进行操作，类似于MySQL数据库的sql

c、HBase：基于HDFS的NOSQL数据库

面向列存储

d、协作框架：

sqoop（桥梁：HDFS《==》RDBMS）

flume：搜集日志文件中的信息

e、调度框架

anzkaban

了解：crotab（Linux自带）

zeus（Alibaba）

Oozie（cloudera）

f、前沿框架扩展：

kylin、impala、ElasticSearch（ES）

2、大数据实时分析

以spark框架为主

Scala：OOP（面向对象程序设计）+FP（函数是程序设计）

sparkCore：类比MapReduce

sparkSQL：类比hive

sparkStreaming：实时数据处理

kafka：消息队列

前沿框架扩展：flink

阿里巴巴：blink

3、大数据机器学习

spark MLlib：机器学习库

pyspark编程：Python和spark的结合

推荐系统

python数据分析

python机器学习

路漫漫其修远兮，想要成为大数据开发工程师，不仅仅要具备很多技术基础，而且还要对数据有一定的敏感度，需要长时间的加工磨合。

是不是总是听到身边人说大数据发展如何如何好，工资高，但是大数据薪资待遇到底是个什么样的情况呢？

今天就结合一些数据来了解下大数据行业的工资待遇的真实情况。

一、大数据招聘网站工资待遇

下面是从拉勾网上查询的大数据人才的招聘信息，目前对于没有工作经验的大数据人才的薪资也在1万左右，同时携程、滴滴、百度等大型互联网企业也在招聘大数据人才，同时招聘的门槛比较低。

综合以上三点来看，大数据人才的就业还是比较容易的，只要你掌握大数据技术相应技能，找一份大数据相关工作是很轻松的。

二、大数据相关岗位薪资情况

上面我们分析了第三方的招聘网站上的大数据岗位的招聘信息中的薪资数据，下面以北京为例，来了解下大数据几大相关职位的就业薪资水平。

上图中大数据开发工程师就业薪资在3万左右，当然这个薪资一般是需要有过开发经验的或者是有一定工作年限的人员可以达到，刚毕业的学员只有极少部分可以拿到接近的薪资。

数据分析师因为更偏向于数据统计、数据分析这款，对于技术要求不高，相较于大数据开发等技术类职位，薪资略低，但是目前随着大数据可视化的热门，数据分析师如果再具备数据可视化设计的能力，薪资待遇也会进一步提升。

再来看下hadoop工程师，平均薪资在2万左右，相较于大数据开发，单存的hadoop工程师因为掌握的技术单一，所以薪资待遇会略低点，不过可以通过学习，扩充自己的技能，薪资也会增长较快。

数据挖掘作为大数据的核心环节，同样因为在互联网场景中，深挖出有价值的数据，才能够为企业提供有价值的参考。所以目前这块的薪资待遇在2万多左右，也算不错的。

算法工程师的职责更纯粹，需要知道如何把现实问题转化为数学的模型，并且把模型调到极致，从而解决问题。所以，算法工程师工作内容更单一，但是更专，需要更好的数学功底，薪资也是在2万多左右。

正如之前文章中提到的，大数据这个领域，有点略微畸形的火爆，导致了这个方向很缺人，也正是大量Java后端开发人员转行的直接原因。

因为缺人，他们就转行么？显然是扯的！大伙儿都是有理想的人，要向“钱”看的。

大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？

罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人！在学习大数据之前，你还需要有一定的基础！

1、 学习大数据需要的基础

1、java SE、EE（SSM）

90%的大数据框架都是Java写的

2、MySQL

SQL on Hadoop

3、Linux

大数据的框架安装在Linux操作系统上

在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快！

二、大数据需要学什么

1、大数据离线分析

一般处理T+1数据（T：可能是1天、一周、一个月、一年）

a、Hadoop ：一般不选用新版本，踩坑难解决

（common、HDES、MapReduce、YARN）

环境搭建、处理数据的思想

b、Hive：大数据的数据仓库

通过写SQL对数据进行操作，类似于MySQL数据库的sql

c、HBase：基于HDFS的NOSQL数据库

面向列存储

d、协作框架：

sqoop（桥梁：HDFS《==》RDBMS）

flume：搜集日志文件中的信息

e、调度框架

anzkaban

了解：crotab（Linux自带）

zeus（Alibaba）

Oozie（cloudera）

f、前沿框架扩展：

kylin、impala、ElasticSearch（ES）

2、大数据实时分析

以spark框架为主

Scala：OOP（面向对象程序设计）+FP（函数是程序设计）

sparkCore：类比MapReduce

sparkSQL：类比hive

sparkStreaming：实时数据处理

kafka：消息队列

前沿框架扩展：flink

阿里巴巴：blink

3、大数据机器学习

spark MLlib：机器学习库

pyspark编程：Python和spark的结合

推荐系统

python数据分析

python机器学习

路漫漫其修远兮，想要成为大数据开发工程师，不仅仅要具备很多技术基础，而且还要对数据有一定的敏感度，需要长时间的加工磨合。