这是华信智原一位学习Java软件开发学员（在读本科生）的困惑と担忧，相信也是很多想深入学习大数据人员的疑虑。为此，华信菌整理多方学习策略，欢迎各位老铁有好的方法在下方留言，不吝赐教，共同学习。

策略一想从事大数据、海量数据处理相关的工作，如何自学打基础？想做数据处理尤其是大数据量处理的相关工作必须兼具计算机科学基础和统计基础。现在有一个高大上的职业叫数据科学家，有人说数据科学家就是一个比程序员更懂统计的统计学家，一个比统计学家更会编程的程序员。觉得说得很形象。

考虑到你还是在读本科生，有很多知识和课程还需要作为基础来学习和巩固。基础中的基础：

线性代数，概率论核心知识：

数理统计

预测模型

机器学习计算机：

数学软件：强大矩阵运算和优化功能的matlab，专而精的mathematica。

语言：python（很流行的科学语言，潜力也很大，ipython这样交互式环境十分有利），fortran（强大的计算语言，充分优化的现成代码），R（相比于matlab，java，c，R是个高富帅）可视化

这是数据分析各类语言使用度的图表，R占的比例还是相当高啊。想利用现在动辄TB级的数据大显身手，光靠excel可不够啊。你真的需要写很多代码…统计：时间序列分析

应用回归（很简单，亦很实用）

多元统计分析强烈推荐：Distance Education § Harvard University Extension School 和哈佛的学生一起学习Data Science。课后问题的材料：http://cs109.org/网络课程同样有丰富的资源：

机器学习类：

斯坦福大学：机器学习 courseraLearning From Data

数据分析类：

约翰霍普金斯： Data Analysis Methods杜克： Data Analysis and Statistical Inference约翰霍普金斯： Computing for Data AnalysisMIT： The Analytics Edge

编程类：

莱斯大学： Introduction to Interactive Programming in PythonMIT： Introduction to Computer Science Programming in Python

策略二

大数据有两个方向，一个是偏计算机的，另一个是偏经济的。你学过Java，所以你可以偏向计算机。

基础篇：

1. 读书《Introduction to Data Mining》，这本书很浅显易懂，没有复杂高深的公式，很合适入门的人。

另外可以用这本书做参考《Data Mining : Concepts and Techniques》。第二本比较厚，也多了一些数据仓库方面的知识。

如果对算法比较喜欢，可以再阅读《Introduction to Machine Learning》。

当然，还有《机器学习：实用案例解析》2. 实现经典算法。有几个部分：

a. 关联规则挖掘 (Apriori, FPTree, etc.)

b. 分类 (C4.5, KNN, Logistic Regression, SVM, etc.)

c. 聚类 (Kmeans, DBScan, Spectral Clustering, etc.)

d. 降维 (PCA, LDA, etc.)

e. 推荐系统 (基于内容的推荐，协同过滤，如矩阵分解等)

然后在公开数据集上测试，看实现的效果。可以在下面的网站找到大量的公开数据集：UCI Machine Learning Repository/3. 熟悉几个开源的工具: Weka (用于上手); LibSVM, scikit-learn, Shogun4. 到 Kaggle: Go from Big Data to Big Analytics/ 上参加几个101的比赛，学会如何将一个问题抽象成模型，并从原始数据中构建有效的特征 (Feature Engineering).到这一步的话基本几个国内的大公司都会给你面试的机会。

进阶篇：1. 读书，下面几部都是大部头，但学完进步非常大。

a.《Pattern Recognition and Machine Learning》

b.《The Elements of Statistical Learning》

c.《Machine Learning: A Probabilistic Perspective》

第一本比较偏Bayesian；第二本比较偏Frequentist；第三本在两者之间，但我觉得跟第一本差不多，不过加了不少新内容。当然除了这几本大而全的，还有很多介绍不同领域的书，例如《Boosting Foundations and Algorithms》，《Probabilistic Graphical Models Principles and Techniques》；以及理论一些的《Foundations of Machine Learning》，《Optimization for Machine Learning》等等。这些书的课后习题也非常有用，做了才会在自己写Paper的时候推公式。2. 读论文。包括几个相关会议：KDD，ICML，NIPS，IJCAI，AAAI，WWW，SIGIR，ICDM；以及几个相关的期刊：TKDD，TKDE，JMLR，PAMI等。跟踪新技术跟新的热点问题。当然，如果做相关research，这一步是必须的。例如我们组的风格就是上半年读Paper，暑假找问题，秋天做实验，春节左右写/投论文。3. 跟踪热点问题。例如最近几年的Recommendation System，Social Network，Behavior Targeting等等，很多公司的业务都会涉及这些方面。以及一些热点技术，例如现在很火的Deep Learning。4. 学习大规模并行计算的技术，例如MapReduce、MPI，GPU Computing。基本每个大公司都会用到这些技术，因为现实的数据量非常大，基本都是在计算集群上实现的。5. 参加实际的数据挖掘的竞赛，例如KDDCUP，或 Kaggle: Go from Big Data to Big Analytics/ 上面的竞赛。这个过程会训练你如何在一个短的时间内解决一个实际的问题，并熟悉整个数据挖掘项目的全过程。6. 参与一个开源项目，如上面提到的Shogun或scikit-learn还有Apache的Mahout，或为一些流行算法提供更加有效快速的实现，例如实现一个Map/Reduce平台下的SVM。这也是锻炼Coding的能力。

策略三1. 自己装个小集群跑hadoop/hive，可以到cloudera网站上下现成的打包虚拟机。看看hadoop in action. 这本书比权威指南容易懂很多。

2. 装个cassandra什么的玩玩，在上面架个小项目，比如留言板什么的。。

3. 读一些著名的paper，nosql的或者mapreduce。

4. 看看apache hadoop家族的其他几个项目，比如zookeeper，pig，了解一下生态圈

到这里为止你大概有个概念，知道bigdata怎么回事了

找个开源项目，看看ticket list，看看能不能自己修。。

能的话看看能不能混进项目组

个人觉得，大数据要靠实践多一点。在真的上百上千节点的cluster上跑hadoop和自己虚拟机架的完全不同。cluster上跑各种奇葩的事情单机都是碰不到的。。就好比dba靠读书考证很难牛屄一样。所以最终还是要找个公司实战。。不过如果上面几个都做到的花，基本上应聘大数据公司问题不大了。

小编建议如果想深入学习，没有什么比找个真的做相关行业的公司来的靠谱了。工程的东西，尤其是这样新鲜出炉的工程领域，光看书看资料是没有任何用处的，你很难了解每个技术背后的关键，也很难了解实践中会遇到的问题。你深入看一个项目，就会发现，其实用得技术没什么新鲜深奥的，比如你看Hive或者Presto，会发现用到的技术，在Query引擎领域只能算是入门级的知识，传统数据库厂商都用了几十年了。真正好玩的是，每个Feature设计是如何切入大数据这个背景的。

所以说，没有比找一家公司真的干一段时间更能让你了解大数据的了。

而现在没有一家大数据实战项目公司比华信智原更合适了。

华信智原Java大数据采取4+4新模式

4个月Java软件开发研究（全国各区域公司）+4个月实战项目（北京总公司项目实战基地）

我们有大牛的导师と科学的教程，只等你来挑战！

讲一下hadoop的一些知识，对于初学者来说是个不错的参考，另外想要进入大数据圈子但是有困难有疑问的朋友，可以咨询魔据教育大数据。

关于入门：如果看书看的一头雾水的话，先从实际例子出发会比较容易上手。WordCount和Weather Data这种“Hello World”的例子网上有很多，可以复制下来自己跑一遍，基本上就知道Hadoop是个什么东西，能用来干什么了。跑这些例子都不需要一个完整的Hadoop集群，自己本地的VM上就可以完成。之所以认为这是比较好的方式，是因为Hadoop是一个工具，而不是一门学科。工具的一般用法是你有一个实际的问题需要解决（求和，求平均值之类的问题都可以，两三行数据，不需要“大数据”），然后把这个工具运用到你的问题里面，能够使用工具之后再开始研究怎么更好的更有效的使用这个工具。

关于进阶：知道是什么，能干什么之后，需要知道为什么。这很重要，这关系到你的任务是跑三个小时还是要跑三天，是需要三台服务器还是需要三十台服务器，就直接关系到最后要花三十还是花三百。进阶之前需要一点准备工作：Linux －（这对于所有Distributed System都非常重要），Java（能看得懂代码就可以了），Maven（能用就可以），Scala（optional，可以边学边用），SBT（optional，可以照着tutorial用），进阶就需要看书，前面有很多位同学推荐了各种书各种博客，都应该不错。推荐两个Hadoop The Definitive Guide最新版，写的非常好。强烈建议看英文版的，否则容易交流障碍……这本书的例子都在github上可以下载下来，都跑一跑。 Cloudera的tutorial，user guide，blog和best practice。这个比较官方和实效性。

关于深入：关于怎么深入学习Hadoop技术， Hadoop分为两个大块：HDFS和MapReduce。 HDFS － Hadoop Distributed FileSystem。这个概念很好，但是其实我不觉得很实用。但是如果你之后要往Non SQL方面深入的话这个还是很重要，HDFS是HBASE的基础，Hbase又可以延伸到Big Table，DynamoDB，Mango等。

Spark要单独提出来讲一讲，Spark其实不是Hadoop上面的应用，它也可以使用除了YARN之外的其他资源分配系统。但是Spark使用的人很多，很多任务用Spark比用Hadoop MR要快一些，Spark也比其他的应用要复杂一点。如果有兴趣还是可以从Hadoop The Definitive Guide开始，然后边做实际的例子边学习。

关于Hadoop的使用方式：感觉现在各个公司使用Hadoop的方式都不一样，主要我觉得有两种吧。第一种是long running cluster形式，比如Yahoo，不要小看这个好像已经没什么存在感的公司，Yahoo可是Hadoop的元老之一。这种就是建立一个Data Center，然后有几个上千Node的Hadoop Cluster一直在运行。

随着世界变得越来越复杂和相互联系，我们面临的一些最大挑战似乎开始变得棘手。我们应该如何应对金融市场的不确定性？我们如何预测能源供需？气候变化将如何发挥作用？我们如何应对快速城市化？我们对这些问题的传统方法往往是定性的和脱节的，并导致意想不到的后果。为了使科学严谨应对我们时代的挑战，我们需要更深入地了解复杂性本身。

这是什么意思？当许多部分可以以多种不同的方式进行交互时，复杂性就会起作用，这样整体就会有自己的生命：它会随着条件的变化而适应和发展。它可能容易发生突然和看似无法预测的变化 - 市场崩盘是典型的例子。一个或多个趋势可以强化“正反馈循环”中的其他趋势，直到事情迅速失控并跨越临界点，超过这一趋势，行为发生根本变化。

使“复杂系统”如此令人烦恼的原因在于，它的集体特征不能从底层组件中轻易预测：整体大于其各部分的总和，而且往往与其各部分的总和大不相同。一个城市远不止它的建筑和人。我们的身体不仅仅是我们细胞的全部。这种质量称为紧急行为，是经济，金融市场，城市社区，公司，有机体，互联网，星系和医疗保健系统的特征。

数字革命正在推动我们现在看到的日益增加的复杂性和生活节奏，但这项技术也提供了机会。无处不在的手机和电子交易，越来越多地使用个人医疗探针，以及电子连接的“智能城市”的概念已经为我们提供了大量的数据。利用新的计算工具和技术来消化庞大，相互关联的数据库，科学，技术，商业和政府的研究人员和从业人员已经开始将大规模的模拟和模型用于以前无法进行定量分析的问题，例如如何合作在社会中出现，什么条件促进创新，以及冲突如何传播和发展。

问题是，我们没有一个统一的概念框架来解决复杂性问题。我们不知道我们需要什么样的数据，也不知道我们应该询问多少或哪些关键问题。没有“大理论”的“大数据”会失去它的效力和实用性，可能产生新的意外后果。

当工业时代将社会的注意力集中在能量的各种表现形式 - 蒸汽，化学，机械等 - 热力学的普遍规律作为回应。我们现在需要问一下，我们的年龄能否产生将能量与信息结合起来的普遍复杂定律。超越金融市场，人口，生态系统，战争和冲突，流行病和癌症的非凡多样性和历史偶然性和相互联系的基本原则是什么？原则上，复杂系统的总体预测性数学框架将在任何复杂系统的动态和组织中纳入定量的可计算框架。

我们可能永远不会对复杂系统做出详细的预测，但是导致对基本特征进行定量预测的粗粒度描述在我们的掌握之中。我们不会预测下一次金融危机何时会发生，但我们应该能够在未来几年分配一次发生的概率。该领域正处于科学学科的广泛综合之中，有助于扭转分裂和专业化的趋势，并正在摸索一个更加统一的整体框架来解决社会的重大问题。人类企业的未来很可能取决于它。

随着互联网经济的爆发，我们进入了大数据时代，数据成为最重要的生产资料。通过数据看待事物，往往可以更直观、清晰的看到事物的本质，指导我们做出更理智的决策。

数据驱动的时代，不管从事什么行业，掌握一定的数据分析能力，可以帮助你更好的认识这个世界，更好的提升工作效率，更有竞争力。

Excel是我们平时接触最广泛的软件，但它的功能我们大多数人用了1%不到，掌握好Excel,可以让我们应对工作中绝大部分的数据处理需求。

为什么可以和我一起学？

1.自学Excel，学习中的困惑，小编都感同身受有。

2.我是一线数据分析从业人员，从实际工作中案例讲解知识，事倍功半。

3.侧重学练结合，有讲必有练，可有保证跟着学技能会得到大幅度提升。

基于此，小编根据多年实际工作中用到的知识，准备了这套Excel课程，希望你可以加入进来，和我们一起完成一次有意义的学习体验。

未来的两个月，会将Excel中常用的函数，用生动有趣的方式展示给大家。

如果大家在使用Excel中有困惑，可以搜索“进化er”,可以方便的帮助到你。

大数据是以数据为原材料，利用多种技术手段，得出有价值的信息，目前，大数据市场十分火爆，在社会治理和企业管理等领域起到不容忽视的作用，很多诸如阿里巴巴、百度、谷歌等巨型企业视大数据技术为生命线和未来发展的关键筹码！

大数据拥有广阔的发展前景，必然会吸引一大批有志之士的学习，学习大数据首先要明确从事大数据工作需要掌握哪些技术？大数据学什么？

对于大数据的学习需要拥有Java基础，因此，学习大数据应从Java开始，一个完整的大数据培训课程体系，还应包括Linux、Hadoop、Hive、Avro与Protobuf、ZooKeeper、HBase、Phoenix、Flume、SSM、Kafka、Scala、Spark、azkaban、Python与数据分析等内容，只有学好以上内容，才算得上真正的大数据工程师。

大数据的学习，与其他IT技术不同，需要掌握的知识很多，且市场缺乏完整的学习资料，想要自学，十分困难，一般都是选择报班学习，在选择大数据培训班的时候，需参看一下该培训机构的大数据培训课程内容，其是否齐全的涵盖以上知识点，完整的课程是选择培训机构的先决条件！

随着时代的发展社会的进步，大数据的发展越来越好，越来越多的人选择大数据，有同学问小编：“我想要从事大数据实时分析都要学习哪些课程？”，下面小编就给大家介绍一下从事大数据实时分析需要学习的课程。

一、基础篇大数据实时分析需要学习的课程

任何高楼大厦都离不开一个稳固的地基，想要从事大数据实时分析也是如此，首先打好基础，那么需要学习哪些知识呢，首先需要掌握一门基础语言，Java是非常学习大数据基础语言之一，我们还需要熟练掌控Linux系统的命令，还有要学一些数据库，Mysql这些,学习这些需要花费很长的时间，不要焦躁，要静下心来，打好基础才能把大楼盖上云霄，也相信你这时的付出会换取你将来的回报。

二、进阶篇

当你打好基础后就可以登堂入室了，来一见大数据的真容，这个阶段你需要学习的东西也非常的多其中包括Hadoop（包含 大数据的概述，hadoop集群的搭建，HDFS基础概念介绍，HDFS API案例，YARN资源调度框架介绍，Mapreduce介绍，Mapreduce案例），zookeeper，hbase，hive，学完这些还有一些比较难理解的就是python，spark，flume，kafka这些，这些可以说是学习大数据的第三阶段，学习完之后你完全可以去做大数据的任何工作，不过一些高端的工作是需要开发经验的，当你从事大数据几年之后我相信你也会走向这些高端工作，走向人生的高峰。

三、spark实时分析

如果你学会了上面的内容那么恭喜你，你已经成为了一名合格的大数据开发工程师，相信无论走到哪里都不用去担心工作和薪资的问题，如果你想做实时分析那么也是非常容易的，因为你已经学会了spark，可以做实时和离线分析。

四、总结

想学习任何的东西，都需要扎实的基础，都需要漫长的时间去学习，宝剑锋从磨砺出，梅花香自苦寒来，相信你今天的汗水化作明天别人的仰望。

这个时代是大数据时代，也是大数据人才稀缺的时代。

由于中国人才缺口比较大，大数据也迅速成为行业和市场的热点，更多的企业无论是对人才的招聘还是在培训都成了刚需，这也促使大数据人才的薪资在同岗位中是最高的，掌握大数据技术，工资提升40%左右是很常见的。

”大数据的就业领域是很宽广的，不管是科技领域，还是食品产业，零售业等等，都是需要大数据人才进行大数据的处理，以提供更好的用户体验，以及优化库存，降低成本，预测需求。

下面跟小航一起看看大数据培训后大家在各个领域可以从事的工作岗位。

1、Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

Hadoop是一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架， 以一种可靠、高效、可伸缩的方式进行数据处理。

2、数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

数据分析师是数据师的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。

在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。

3、数据挖掘工程师

北京数据挖掘平均工资： 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等。

4、大数据可视化工程师

随着大数据在人们工作及日常生活中的应用，大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是幕后的英雄。

哪些公司需求大数据人才？

答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

马云大boss说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

数据，未来的一切。

这些人才哪里来？

据教育部数据显示，目前，全国已有35所高等院校开通了大数据专业。也就是说，高考报志愿可直接报大数据专业的学校了。

但也意味着，在最近的这2-3年间，我国是没有“国产”的科班大数据人才的。

近100%的大数据人才都是通过培训班半路出家，因此想要转行大数据并不需要有太大的心理压力。

如果你是非科班出身，想通过再学习掌握数据分析知识同时找到一份高薪工作，也可以为个人职业生涯锦上添花。

看着大数据时代的到来，IT行业又迎来了全新挑战，面对科技的进步和时代需求，人才需求成为行业内的核心话题，在未来的3-5年，大数据智能化人才缺口预计达到150万人，而在智博会期间，来自世界各地的企业共与重庆签订501个重大项目，投资总额约6120亿元，所签项目集中于新一代信息技术、智能制造、智能服务三大板块，覆盖集成电路、物联网、大数据、新能源和智能汽车、智能硬件、智能装备、智能工厂、智慧总部、智慧物流等众多智能产业和智能化应用关键领域等。可见，大数据人工智能化已经覆盖到各个行业。

巨大的人才缺口，覆盖在各个行业的大指数智能化科技企业，二者会产生奇特的团体效应，哪里有人才聚集的地方，哪里有技术应用服务，大批企业便会奔向哪里，为此，中恒蚁创大数据科技有限公司建立一个提供人才供给，大数据智能化技术应用服务，人才引进、课程更新升级为一体的大数据智能化人才培养基地与创新应用研究院，在未来将吸引更多做大数据的企业入驻。

根据《2018年重庆大数据智能化人才白皮书》中的调查数据我们发现，重庆市“大数据智能化”供给人才就业流向集中于西南区域经济体，占比约 60.98%；泛珠江三角洲区域，占比约为 12.47%；泛长江三角洲区域和泛渤海湾区域，分别占比 8.51%和 7.91%；其余是中原区域、陕甘宁青区域、西部生态区域和东北区域。十年来我市已引进人才1000余人，但“大数据智能化”领域仅有80多人。

可见，大数据智能化领域人才引进数量极少，并有40%左右的大数据人才流入外省，重庆本地中高端人才供给出现不足。大量的空缺岗位，优质的社会背景和资源，积极参加培训，成就自己的完美未来。

看看这些岗位及职能需求，有没有你感兴趣或者擅长的，参加阿尔克职业培训学校的大数据学习项目，成为大数据人才，是你未来在IT行业继续进步，发展的重要手段。

开发工程师系列

01

Java Web开发工程师（中级）

Java 大数据开发工程师（初级）

掌握Java语言及结构化查询语言、SQL语言。熟悉Java语言基础语法、OOP编程、多线程及网络编程、MySQL数据库、Maven项目管理等掌握大数据必备的基本编码能力。

02

Java EE开发工程师（初级）

掌握Java Web主要技术和SSM 三大框架。了解如何制作网页和实现简单的网页特效；熟悉动态页面的开发和MVC架构开发模式，完成实现简易的留言管理系统。

03

Hadoop工程师（中级）

大数据开发工程师（初级）

数据仓库工程师（初级）

ETL工程师（初级）

熟悉分布式存储/分布式计算/数据仓库工作流程，掌握数据采集、ETL、数据分析、数据展示，具备基本的数据分析开发与优化能力。

04

Hadoop工程师（中级）

大数据开发工程师（初级）

数据仓库工程师（初级）

ETL工程师（初级）

熟悉大数据技术框架，对业务数据进行存储、分析、调度和结果展示。对海量数据存储和实时查询的大数据NoSQL数据库Hbase、两个电商网站用户流量统计分析。

05

Spark开发工程师（中级）

Spark研发工程师（高级）

大数据Hadoop/Spark项目经理

掌握Scala基础语法和函数式编程。Spark生态栈完成了离线批处理Core、交互式处理SQL和微实时流式数据分析，能够围绕现在流行的数据可视化技术，在大数据的基础上对数据进行进一步的可视化分析。

06

Spark 机器学习工程师

大数据实时数据分析工程师

大数据架构师（中级）

掌握大数据高级知识，包含Spark Mllib中机器学习算法、推荐系统的构建、搭建大数据平台及Lambda 架构、大数据离线和实时数据采集、ETL与分析。

网络安全工程师系列

01

网络安全工程师

熟悉网络，有丰富的网络维护经验，对信息安全意识强，有安全管理经验，能提出网络安全解决方案并实施，具备计算机网络、系统安全网络安全相关知识，熟练各种操作系统，常用软件安装与配置，会网页设计与制作，网络程序设计。

02

系统运维工程师

精通windows server操作系统的维护和管理，熟悉邮件服务器及排除故障的方法，熟悉网络安全常识，了解黑客入侵网站、攻击服务器的原理及防范措施，对病毒的防护有丰富的经验，负责公司局域网的管理、髌骨防范、以及服务器运行异常的应急处理。

03

灾备恢复工程师

熟悉Windows操作系统、Linux操作系统及计算机硬件；熟悉常见服务器、常见存储阵列配置及管理；掌握焊接技术，电路知识，掌握硬盘的固件修复。

04

数据库运维工程师

掌握Linux操作系统的常用命令，会编写Shell脚本(如果是SQL Server，则需要熟悉Windows Server);精通数据库的运行机制和体系架构，掌握数据库的管理、扩容、备份、恢复、监控、集群等基本操作;掌握数据库SQL的编写、存储过程的编写;掌握数据库安全加固和安全设置的策略;掌握InnoDB和MyISAM的机制和优化策略;掌握memcached,redis等缓存服务。

05

网络安全架构师

精通安全技术基础或常识、安全机制、算法、工具组件、安全要素、独立实现某种安全功能的安全产品，熟练组织、人员、策略、资源、流程等非技术的因素，成为安全架构中的组件；具备安全规划、安全架构、安全流程、构建安全的产品、安全的体系或安全的能力。

06

网络攻防工程师

熟悉tcp/ip协议，熟悉sql注入原理和手工检测、熟悉内存缓冲区溢出原理和防范措施、熟悉信息存储和传输安全、熟悉数据包结构、熟悉ddos攻击类型和原理有一定的ddos攻防经验，熟悉iis安全设置、熟悉ipsec、组策略等系统安全设置;熟悉windows或linux系统，精通php/shell/perl/python/c/c++ 等至少一种语言;了解主流网络安全产品(如fw、ids、scanner、audit等)的配置及使用。

“ 没有任何人任何事能够阻碍大数据、互联网。”马云爸爸在 2017 世界智能大会上如是说。

IDC公司对大数据也进行了预测：大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。

目前，大数据及分析市场正迅猛发展，与此相关的毕业生也成为炙手可热的专业人才。而随着新的大数据技术正在进入市场，未来大数据发展方向千变万化。

时代瞬息万变，对于年轻人来说，该如何规划自己的未来？是否要抓住这个时代风口，成为大数据人才的一份子？

对于留学生而言，是否从事大数据领域的工作，关心的问题还包括：

▲大数据发展情况如何，未来有什么发展趋势？

▲大数据在金融、教育等各领域是如何应用的？

▲大数据人才需求现状是怎样的，具体有哪些岗位？

▲大数据人才需要哪些技能？

▲怎么知道自己适不适合做大数据？

▲大数据人才如何做职业规划？

▲非 data science专业的学生该如何做大数据？

▲想做大数据，大学期间应该学哪些课程？

对Business Analyst，Marketing Analyst，Data Analyst 方向感兴趣的学生;想从事金融、商业、市场、数据等分析师岗位的人

想了解更多

关注并私信我吧

学习大数据没有零基础入门，首先你要成为一名普通的工程师

在技术论坛中或知乎上，看到近几万的朋友都在疑惑，学习Java应该选择什么发展方向，这个咱们在之前的文章中有提到过，Java发展在领域上有三个选择方向：

JavaEE，主要应用于企业级应用开发；安卓开发方向；嵌入式应用开发方向。在此建议大家选择JavaEE方向，因为应用非常广泛，岗位设置也比较多。

Java的职业发展规划之路我们也曾在（一文阐述Java从初级到高级的学习之路——白老师分享篇（2）

）详细列举，这里就不一一列举了。

但我们从来没有讨论过学习Java，难道这辈子就只能做Java后端开发吗？只能在这条路上奋斗到底吗？难道中途没有其他的选择吗？

偶然认识的一个朋友，最开始是从事Java后端开发的，后来他在业余时间自学成功转入大数据行业，现在是一名大数据工程师，待遇也比之前好更多。前提是他是一名Java后端开发。

大数据是我们如今比较火的一个发展方向，但是很多培训机构有提到几个月速成的，小编觉得不是特别靠谱。

原因有以下：

大数据是一个新生行业，还不太成熟。

Java发展了将近20年，也没有说几个月速成的，最多也就是带你入门，让你对Java的知识结构体系有一个清晰的认知，在后期的工作实践期间成长的速度更快。

大数据的起点要高，并不是所谓的零基础就可以入门的。

我们接下来讲述的有关大数据的学习是有条件限制的，首先你需要是一名普通的工程师，如果你是Java工程师的话更好，但如果你是小白的话，那就只能成为一名工程师的后再来学习大数据吧。

一、认识大数据

大数据本质其实也是数据，不过也包括了些新的特征：

数据来源广；

数据格式多样化（结构化数据、非结构化数据、Excel文件等）；

数据量大（最少也是TB级别的、甚至可能是PB级别）；

数据增长速度快。

而针对以上新的特征需要考虑很多问题：

例如，数据来源广，该如何采集汇总？采集汇总之后，又该存储呢？数据存储之后，该如何通过运算转化成自己想要的结果呢？

对于这些问题，我们需要有相对应的知识解决。

二、大数据所需技能要求

Python语言：编写一些脚本时会用到。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

必须掌握的技能：

Java高级(虚拟机、并发)、Linux 基本操作、Hadoop（HDFS+MapReduce+Yarn ）、 HBase（JavaAPI操作+Phoenix ）、Hive(Hql基本操作和原理理解）、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ） 、辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条：

机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio

三、学习规划

第一阶段

Linux学习：Linux操作系统介绍与安装、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。

Java 高级学习：掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和动态代理、了解JMS。

Zookeeper学习：Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令。

第二阶段

Hadoop 、Hive、HBase、Scala、Spark 、Python

第三阶段

Sqoop、Flume、Oozie、Hue这些工具的学习主要在CSDN，51CTO以及官网都可以学习。

四、学习资源推荐

Apache 官网（http://apache.org/）

Stackoverflow（https://stackoverflow/）

Github(https://github/)

About 云 ：http://aboutyun/

CSDN（http://csdn/）

51CTO （http://51cto/）

总结

在技术行业里面，每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。

如果你觉得自己看书效率太慢，你可以网上搜集一些课程。

快速学习的能力、解决问题的能力、沟通能力在这个行业是真的非常重要的指标。

要善于使用StackOverFlow和Google来帮助你学习过程遇到的问题。

视频课程推荐：可以去万能的淘宝购买一些视频课程，然后选择一个适合自己的。

以上是我们对大数据学习的总结，当然我们也提到了，并不是说零基础的就可以直接学习，需要有编程的基础，我们需要先掌握扎实的编程基础，在此建议学习Java，成为一名工程师的时候，有一定编程经验，自学起来也相对比开始要简单一点，然后对大数据有兴趣或者想要进入这个行业的就可以去学习了。