据教育部数据显示，目前，全国已有35所高等院校开通了大数据专业。也就是说，高考报志愿可直接报大数据专业的学校了。

　　2017年大数据专业就业前景

　　据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

　　据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

　　根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

　　大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

　　在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

　　北京数据分析平均工资：10630/月，取自15526份样本，较2016年，增长9.4%。

　　数据分析师岗位职责

　　工作职责:

　　1.根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；

　　2.负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测；

　　3.参与数据挖掘模型的构建、维护、部署和评估；

　　4.整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持；

　　5.独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控；

　　6.参与编写项目相关文档。

　　北京大数据开发平均工资：30230/月。

　　大数据开发工程师/专家岗位指责（引自滴滴出行）：

　　职位描述：

　　1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；

　　2、服务各种业务需求，服务日益增长的业务和数据量；

　　3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；

　　北京hadoop平均工资：20130/月，取自 1734份样本。

　　Hadoop开发工程师岗位职责（引自新浪网）：

　　职位描述：

　　1.参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；

　　2.分布式机器学习算法在数据平台的构建与优化（包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

　　3.深入源码改进各种开源大数据项目（包括Hadoop、Spark、Kafka、HBase等）。

　　北京数据挖掘平均工资：21740/月，取自 3449份样本，较2016年，增长 20.3%；

　　北京算法工程师平均工资：22640/月，取自 10176份样本。

　　算法工程师招聘要求（引自美团点评数据平台部）：

　　职位描述：

　　互联网公司背景优先

　　A、广告算法

　　岗位职责：

　　1.负责点击率预估等主要广告算法的技术选型；

　　2.负责核心算法的开发；

　　3.负责广告大数据处理流程的建设及相关工具的研发；

　　4.负责广告技术研究项目的推进与管理；

　　B、推荐算法

　　职位描述：

　　1.参与各个产品线的个性化推荐系统的研发；

　　2.分析用户行为数据，并设计合理的推荐算法模型及策略，并优化推荐排序；

　　3.通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；

　　C、算法工程师

　　岗位职责:

　　1、开发和优化用户行为数据挖掘，文本分类和语义理解，社交网络分析，网页搜索，推荐系统等领域的特定算法

　　2、能够很快学习和利用state-of-the-art的算法解决实际产品问题，提升产品用户体验

　　最后一个问题，哪些公司需求大数据人才？

　　答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

　　马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

大数据是什么？

大数据时代意味着什么？

大数据技术知识点之间的关系如何？

1 大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，大数据指在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

2 大数据是一个概念，你不能定义为大，或者多，或者复杂。在不同行业，不同技术背景的情况下，对于大数据的解释是不一样的。虽然目前我们不能用一个明确地概念来描述它，但是，我们可以说明它的一些属性，比如4v。无论安全性，还是难处理，这些都是描述大数据的属性，当你有了这些属性，把他们总结到一起的时候，那就是你理解的大数据，就像当初有人和你说什么是CPU一个道理，从懵懂到理解，需要实践中的积累。

3 大数据是信息技术发展到如今的一个产物，它也会过时，当下人们谈论的大数据基本属性包括：全量，大，多样性，低价值密度等！对于决策者来说，数据驱动业务是大数据最大的价值；对于技术人员来说，如果通过技术将人无法通过肉眼找到的价值信息呈现出来，这是最重要的！

4 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

5 大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《着云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

所谓财富最简单的变现形式就是钱。经济在不断的发展，科技在进步，社会在繁荣，但随之而来的压力却却来越大。像生活在北京这些一线城市的打拼者，面对着房租、物价、工作等多方面的压力，该如何去生活呢？难道真的只有买彩票这一条路吗？不，当然不是。

何以解忧唯有杜康？不，解忧的还可以是“暴富”，而想要实现暴富你或许就需要别人付出更多的努力，前几年很多人凭借着入行IT行业实现了经济实力的大翻身，而如今，入行大数据则成为众多求职者实现“暴富”的机会。

在一线城市，我们能够感受到霓虹灯烘托下的繁荣，当然，也能够感受到不足10平米合租房带来的苦涩。都说一线城市充满着机会，但是对于“家里没矿”、“上面没人”的屌丝，你屈服了吗？既然没屈服，那你准备好逆袭了吗？

2018年是大数据的爆发年，很多人都认为入行大数据将是一次屌丝逆袭的机会，那么究竟是何种原因让如此多的“屌丝”将大数据看成是自己实现“暴富”的契机呢？

2018年最火的高科技就是大数据、云计算和人工智能，而云计算和人工智能的基础在一定程度上就是大数据，所以，成为一名大数据从业者你将从始至终都站在时代的前沿。而且，无论是未来的无人机、无人车技术，还是基因工程等都都将依靠大数据来实现。

此外，大数据在电商行业的应用让很多企业都看到了其价值，今日头条凭借大数据建立的信息推送系统让其迅速的完成了崛起，就更激发了企业对于大数据的追捧。在未来，大数据所对接的将不仅仅是电商，也将与教育、医疗、旅游、城市建设等相结合，所以，作为求职者不仅能够站在科技的前沿，还能够选择自己热衷的行业去发展。

财富虽然不能够代表一个人的成就，但却能够让一个人乃至一个家庭生活的更好。在一线城市打拼，难道你就甘愿待在8平米的小房子里吗？难道你就真的愿意当一只单身狗吗？难道你不想去各地游玩享受一下青春吗？其实，你所缺的仅仅是一个机会和为之努力的心。

作为大数据爆发的元年，你不妨抓住这次机会，并为之不断的努力，或许你就将开启属于自己的“暴富”时代。

曾经在互联网上流传的几句话相信让很多人觉得是“装X”，毕竟，悔创阿里杰克马，北大还行撒贝宁这样的话你绝对说不出来。就如同月薪5k的人觉得只要iPhone出新款就买的人是在浪费钱一样，但如果你的月薪达到20k你还会这么想吗？

现在，人人口里喊着大数据，许多领域都有大数据的身影，可是又有几个公司真的会用大数据，甚至用大数据给公司带来盈利？实际上，想要充分发挥大数据的价值，个人也是可以办到的，不仅如此，你还可以用数据来挣钱~

那么，什么是大数据，我如何实现个人大数据应用？

我曾经在一个帖子里看到有人这样形容大数据：

在媒体行业中我们每天会收到很多新闻，但大部分其实是用户不感兴趣的，离真正的精准性还有很大距离，而头条号却弥补了这个缺陷，真正做到对客户精准推送新闻。

在广告行业中淘宝百度都有关键词，针对关键词是现在最为精准的广告投放方式，接下来将针对用户的年龄、性别、收入层次、兴趣爱好投放广告，大数据在这方面可以有更大作为。

在零售业中沃尔玛、711这些行业先驱，早已将数据收集分析作为基本业务，产品销量数据、人口统计数据，甚至天气数据都被纳入分析范围，在特定时间上架合适产品。

以上都是大数据的应用，大家可以看出来，大数据真正帮企业做到的不仅仅是精准定位，更可怕的是，我们在大数据面前无所遁形。

实际上，大数据的重头不在数据，因为我们每个公司几乎都有基本的数据，而真正有价值的其实是数据分析。

而达到数据分析，我们需要借助一些应用软件来达到目的。

以下摘自网络：

一、Excel

Excel作为一个入门级工具，是快速分析数据的理想工具，也能创建供内部使用的数据图，但是Excel在颜色、线条和样式上选择的范围有限，这也意味着用Excel很难制作出能符合专业出版物和网站需要的数据图。

二、伙伴云表格

伙伴云表格作为一款多人数据协作办公平台，有着灵活的数据存储和分析功能，满足中小企业的数据管理和数据变化，尤其是电脑端和手机端双向同步，给数据管理者更多的使用空间。而且他有强大的BI功能，可以简单实现数据统计及分析，可以说是目前大多数企业在使用的一款软件。

三、Google Chart API

Google Chart提供了一种非常完美的方式来可视化数据，提供了大量现成的图标类型，从简单的线图表到复杂的分层树地图等。它还内置了动画和用户交互控制。

四、R

R语言是主要用于统计分析、绘图的语言和操作环境。虽然R主要用于统计分析或者开发统计相关的软件，但也有用作矩阵计算。其分析速度可比美GNUOctave甚至商业软件MATLAB。

今天我们来讲讲大数据如何能对人们产生重大影响！在健康2.0会议本月早些时候，我和该活动的联合创始人马修·霍尔特(MatthewHolt)和英杜·苏拜亚(InduSubaiya)坐下来讨论大趋势。在Health2.0上展示的创新给我留下了深刻的印象并感到兴奋。事实证明，其中很大一部分是由大数据驱动的。医疗保健是一个巨大而重要的行业，它正被技术全面改变：从我们许多人在智能手机上使用的个人健康应用，到医生实践和医院的电子健康记录，再到正在出现的数字化基因组数据革命。所有这些东西的共同点都是数字数据，大部分都在互联网上。事实上，现在数字健康数据如此之多，以至于“大数据”这个词通常被用来描述它。另一个趋势是，通过智能手机应用程序和承载健康数据的新平台，医疗保健正在超越医生的办公室，进入消费者的日常生活。一开始，我问马修和英杜，在会议的几天里，他们感到惊讶的是什么。

马修指出，自然语言处理工具的演变，与大数据相结合，正在带来令人惊讶的创新。一个例子是一个名为特雷托，一个令人印象深刻的健康数据搜索引擎，我在活动期间得到了一个内部查看。Treato在网上有效地扫描了数百万块非结构化的健康数据，并订购了它-例如，创建用户对药物的评论。马修还提到了“小数据产生重要联系”的兴起。他指着两位获奖者中的一位。DCtoVC启动展示，超越了清晰科技。该公司为应急机构(如救护车)提供电子健康记录(EHR)。这是一个健康解决方案的例子，它能在正确的时间和地点提供正确的信息，从而实现更好的现场决策。这项服务可能会拯救生命。

Indu评论说，大数据也使得“个性化和目标化的新水平”得以实现。她指着健康2.0开发者世界杯冠军，以纽约市为基地麦德特纳。该服务使用自然语言处理来监控与健康相关的信息。然后对这些推文进行分析，并“提供相关的建议和资源”。用例包括监测抑郁或自杀迹象，跟踪疾控中心旅行者的健康情况，罕见疾病临床试验配对，以及Medline Plus药物安全和副作用警报。目前最令人兴奋的卫生技术领域之一是所谓的“个性化医疗”。MedTurner就是一个例子，但最感兴趣的是消费者基因组公司，比如23和Me。希望基因组数据将导致疾病预防和治疗的高度个性化。正如英杜所说，当前个性化医学的时代是“病人社会网络的对立”。病人相似。没有比我更好的人了。“

再一次，大数据是一个关键因素。英杜解释说：“为了有更多的个性化，你需要点击人群，寻找模式。这是一种闭环。“不过，如果说有一个主要问题的话，那就是医生没有经过足够的训练才能使用基因组数据。英杜称这是医疗保健领域的“巨大差距”。然而，她提到有几个应用程序可以帮助医生导航基因组学。信息过载的危险大数据的挑战之一是它可能导致医生信息过载。尤其是当基因组学开始发展的时候(它还处于那个时代的早期)。我问英杜和马修医生将如何应对。

英杜同意，这是“一个巨大的问题[和]有一个消防软管即将到来。”但她认为仪表板工具在帮助医生解释和管理数据流入方面有很大潜力。消费者的一个例子是Tictrac，获奖者启动！在健康2.0会议期间。Tictrac目前处于私有测试版，它允许您在一个地方跟踪各种健康数据。我们需要的是一种先进的医生Tictrac。Indu说：“希望在一些组织工具上不会产生单一的转储数据，但会发送模式。”“否则，他们会让某人很快地查看数百万个数据点，并想象出这个病人需要干预。”

根据Indu的说法，实现这种模式可视化的仪表板工具将成为“医生最好的朋友”。马修也同意，并补充说，手术后的应用程序，使医疗机构能够监测病人的病情后，他们离开医院也将有所帮助。这就引出了卫生技术的另一个趋势：分散工作量。英杜指出，“把技术放进堆栈”，让病人或护士能够积极监测健康数据，让医生“只需处理那些需要他们专业知识的事情”。特别是，针对消费者的“预防部分(医疗保健)正在转向自我管理工具”。

马修说，这将使医生在较长的时间内看较少的病人，因为他们将把注意力集中在最需要他们的病人身上。例如，他们可以每天花45分钟在7-8个病人身上，而不是医生去看很多病人7分钟(这是现在的常事)。总之，健康2.0会议展示了许多创新的卫生技术，这些技术将很快不仅掌握在你的医生手中，而且也将掌握在你的手中。大数据在很大程度上推动了这一创新。我们拥有的健康数据越多，使用技术分析和构造的越好，我们的医疗保健系统就越有效。最后问大家一个问题，你们对大数据有什么了解吗？ 图片来源于网络，文章系作者原创，转载请注明出处。

近几年，大数据这个词突然变得很火，不仅纳入阿里巴巴、谷歌等互联网公司的战略规划中，同时也在我国国务院和其他国家的政府报告中多次提及，大数据无疑成为当今互联网世界中的新宠儿。

而近期朋友圈疯转的“马云无人超市迎客，再不努力你将无工可打”，“看李彦宏如何谈AI”等新闻热点，无不展示着人工智能的快速发展，但在直木看来，人工智能之所以能取得突飞猛进的进展的背后，不能不说这些年来大数据长足发展的结果。

人工智能和大数据有什么关系呢？

如果我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量则决定了婴儿后续的智力发育水平。

据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万，越来越多人加入到大数据培训，都希望在大数据培训机构中学习最前沿的知识，找一份不错的工作。

本文从4个方向让大家充分了解大数据，望对同学们的大数据从业有帮助：

大数据就业前景

大数据就业方向

大数据就业薪资

大数据职业发展

一、大数据就业前景

据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

二、大数据就业方向

大数据领域三个大的技术方向，这些不同的技术方向，对应企业的哪些招聘岗位？

1. Hadoop大数据开发方向

市场需求旺盛，大数据培训的主体，目前IT培训机构的重点

对应岗位：大数据开发工程师、爬虫工程师、数据分析师 等

2. 数据挖掘、数据分析&机器学习方向

学习起点高、难度大，市面上只有很少的培训机构在做。

对应岗位：数据科学家、数据挖掘工程师、机器学习工程师等

3. 大数据运维&云计算方向

市场需求中等，更偏向于Linux、云计算学科

对应岗位：大数据运维工程师

精通任何方向之一者，均会 “ 前（钱）”途无量。

三个方向中，大数据开发是基础。以Hadoop开发工程师为例，Hadoop入门月薪已经达到了 8K 以上，工作1年月薪可达到 1.2W 以上，具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万，一般需要大数据处理的公司基本上都是大公司，所以学习大数据专业也是进大公司的捷径。

三、大数据就业薪资

1、基础人才-数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

2、大数据开发工程师

北京大数据开发平均工资：30230/月。

3、Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

4、数据挖掘工程师

北京数据挖掘平均工资：21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

5、算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

四、大数据职业发展

最后一个问题，到底哪些公司需求大数据人才？

事实上，大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

目前，大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。、

大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展，成为重要数据战略人才。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。

马云说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

我们从大哥大，小灵通，到诺基亚塞班，到今天的人手一部智能手机，每天各大企业会收到多少数据，如何从这些数据里面分析础客户的需求，这都是企业所要做的事，总之，数据，是未来的一切。

其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。

目前市场对大数据相关人才的需求与日俱增，岗位的增多，也导致了大数据相关人才出现了供不应求的状况，从而引发了一波大数据学习的浪潮。大家可以先了解一下关于大数据相关的岗位分类，以及各个岗位需要掌握那些相对应的技能，并想清楚自己未来的发展方向，再开始着手针对岗位所需的技术进行学习与研究。所谓知己知彼，才能更好的达成目标嘛。

大数据处理技术怎么学习呢?在做大数据开发之前，因为Hadoop是高层次的语言开发，需要懂得Java或者Python，很快的就能上手。所有的大数据生态架构都是基于linux系统的基础上的，所以你要有Linux系统的基本知识。如果你不懂Java或者Python还有Linux系统，那么这都是你必学的知识（Java或者Python可二选其一）。

第一阶段

Linux系统：因为大数据相关软件都是在Linux系统上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

鸟哥的Linux私房菜 是一本公认的Linux的入门书籍。

第二阶段

Python：Python 的排名从去年开始就借着人工智能持续上升，现在它已经成为了语言排行第一名。

从学习难易度来看，作为一个为“优雅”而生的语言，Python语法简捷而清晰，对底层做了很好的封装，是一种很容易上手的高级语言。在一些习惯于底层程序开发的“硬核”程序员眼里，Python简直就是一种“伪代码”。

在大数据和数据科学领域，Python几乎是万能的，任何集群架构软件都支持Python，Python也有很丰富的数据科学库，所以Python不得不学。

第三阶段

Hadoop：几乎已经成为大数据的代名词，所以这个是必学的。 Hadoop里面包括几个重要组件HDFS、MapReduce和YARN。

Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，通俗说MapReduce是一套从海量源数据提取分析元素最后返回结果集的编程模型，将文件分布式存储到硬盘是第一步，而从海量数据中提取分析我们需要的内容就是MapReduce做的事了。当然怎么分块分析，怎么做Reduce操作非常复杂，Hadoop已经提供了数据分析的实现，我们只需要编写简单的需求命令即可达成我们想要的数据。

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：是一个分布式的，开放源码的分布式应用程序协调服务，也是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们来讲只需要把它安装正确，让它正常的跑起来就可以了。

Mysql：大数据的处理学完了，那么接下来要学习小数据的处理工具Mysql数据库，因为装hive的时候要用到，Mysql需要掌握到什么层度呢?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库就可以了。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以直接把Mysql数据表导出成文件再放到HDFS上也是可以的，但是生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的同学们来说就是神器，它能让你处理大数据变的很简单、明了，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig相似掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，如果出错给你发出报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种“即将崩溃”的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干什么的?排队买票你知道不?数据多了同样也需要排队处理，我们可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读硬盘。特别适合做迭代运算，所以算法流们特别喜欢它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

这些东西你都会了就成为一个专业的大数据开发工程师了，月薪3W都是毛毛雨啦。

后续提高

大数据结合人工智能达到真正的数据科学家，打通了数据科学的任督二脉，在公司是技术专家级别，这时候月薪再次翻倍且成为公司核心骨干。

机器学习：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。机器学习的算法基本比较固定了，学习起来相对容易。

深度学习：深度学习的概念源于人工神经网络的研究，最近几年发展迅猛。深度学习应用的实例有AlphaGo、人脸识别、图像检测等。是国内外稀缺人才，但是深度学习相对比较难，算法更新也比较快，需要跟随有经验的老师学习。

最快的学习方法，就是师从行业专家，学习老师多年积累的经验，自己少走弯路达到事半功倍的效果。自古以来，名师出高徒。

分享 IT 技术和行业经验，请关注-技术学派。

在网上买过东西的都知道，懂你心的淘宝总是能推荐给你符合你需求的商品；在网络上看电视也总是有贴心的指引推荐你更多感兴趣的剧集，社交娱乐、资讯阅读、网络购物、旅游攻略、美食烹饪、健身跑步、讲座课程……在智能手机加载不同种类的APP应用后，人们的生活开始变得方便快捷、多姿多彩。而是什么把我们的生活变得如此方便又不失乐趣呢，首先就有大数据的功劳在。

人人都知道大数据就是有大量数据的意思，但是具体一点可能就不太清楚了。工业和信息化部电信研究院互联网中心主任何宝宏认为，当一个时代的人没有办法用那个时代的工具来处理的数据就可以称为大数据。小编替大家记了笔记，百度百科里有关大数据的内容是这样说的：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

我们身处大数据时代，到底从中得到了多少好处和便利呢，小编整理了以下几个方面：

·商业

在商业方面，从企业来讲，对于企业来说，盈利永远是最关心的问题。想要赚钱盈利就需要获取客户，谈成合作。

以销售产品类企业为例，想要盈利就必须要将自家产品销售出去，那么客户从哪来，那些人适合作为自家的客户，在现在这个互联网时代，不再像以往一样采取广撒网得方式，而是要去分析研究人群的信息数据，通过分析数据，将适合成为自家企业的客户的人群区分出来，定点推广。如此一来，公司的宣传成本，人力成本，时间成本等都会大大减少，而且效率高。

不过从数据来看的话，国家图书馆的藏书量有2600万册，一个家庭一年产生的数据相当于半个国家图书馆的数据总量，其中绝大部分的信息都是无用的，对企业有用的信息不会超过五张A4纸的容量。

但是想要降低成本，提高效率，就得从大量无用的信息中提炼出有用的数据，这就催生出分析研究大量数据的技术。

·医疗

在医疗方面，医生对病人进行治疗，最想做的就是降低治疗诊断的出错率。而降低出错率就得靠充分的准备，专业知识、经验、病例分析等。以病例分析来看，通过一个病人的所有数据，判断引发疾病的原因，再对症下药，这样就可以降低出错率，减少医疗事故的发生。不过一个病人在得病之前所拥有的数据量起码也有半个国家图书馆，如同上述一般，有用的数据不到千万分之一。

·教育

在教育方面，每一个学生都有不同的性格以及天赋，一个老师带领的班级总有那么一些成绩差的学生。不过老师们想让所有的学生都能够拥有好成绩，但是苦无办法。于是有些人就在想，是否能够通过大数据给每一个学生建立一个数据模型，将一些成绩好的学生的教育方法复制到模型类似的学生身上，但是学生们所拥有的数据也是海量，而且相似的人也比较少，难以建立起标准的模型。

以上三个方面仅是一个概述，还有时尚、学习、房地产等等。大数据在每个行业都掀起了一股热潮，因为大数据能够将每一个行业的一些痛点改善或者直接解决。通过海量的数据，在大量无用数据中寻获微量有用的数据，对于个人来说，无论是医疗还是教育，都和他们的个人切身利益相关联，而对企业而言，这些都是庞大的商机，所以无论是个人还是企业都十分关注大数据，即便是政府也深入研究大数据，因为他们可以通过大数据更快速的将犯人找出来并抓住。以至于人人都知道大数据，人人都在关注大数据。这，就是大数据的由来。

人人都爱大数据，数据创造了价值，也改变了我们的生活。但在合理运用大数据的同时，也要注意数据安全，防止你的数据“裸奔”泄露个人隐私而造成不必要的麻烦。

身边很多朋友提过或者是想要走进大数据这个行业

每个人的Background不一样，能力，擅长的领域都不一样

卡里有一句发自肺腑的话要说给大家听

不是热门的，薪水高的，所谓好找工作的专业就值得去学；

真正值得学的是你理性地衡量了所有标准以后，最适合自己的，才是值得你学的

作为大家的小超人

卡里今天要给大家写一篇很长很长很长的文章

你可以选择 现在就滑出去 不看

然后卡里从此跟你老死不相往来

或者你可以继续读下去

然后卡里仙女可以用仙气笼罩你

首先，卡里给你准备了一篇很优秀的文章里的几句话

这篇文章叫做：在你想要读数据科学的学位前，你需要知道的五件事

“

1

你不一定非得读一个数据的学位；你可以自学，或者去一个boot camp。

不讲笑：此刻你可能需要一个网站

dataapplab

2

数据科学从来就不仅仅是数据，它牵扯了无数个不同的领域。

3

如果有一个专业或者项目提供的课程只是简单地把各种别的相关课程包装一下，别去。

4

理论之上还有不同的理论要去学习，好好掌握基本的理论

5

无论你读不读一个学位，你都要稳步提升自己的软实力。

”

每个小仙女在成为大仙女之前都得知道自己的能力条可以发展到哪里，然后为之努力。

卡里就早早知道自己是不能靠脸吃饭的仙女，于是决定做一只才华仙女。

（有一丢不要脸）

理性，合理，不违背真心地衡量自己是你做出人生重大决定的第一要义。

让我们来举一个可爱的

布吉岛大家还记不记得当年火遍全球的

Pokemon GO!

如果你是一只Pidgey，那你就特别特别努力地进化自己，然后变成一只Pidgeotto，然后再继续努力，变成一只厉害的Pidgeot。你可以做你擅长的领域的大牛，或者你可以做你擅长的领域的数据师，毕竟数据从来都不仅仅是数据。

如果你是一只Eevee，那你可以努力看看，看看自己会变成哪种小精灵。是数据科学家，商业分析师，还是数据工程师？

如果你是一只 Jigglypuff，Clefairy 或者 Pikachu，

请乖乖做一只小可爱好么？

当然你也可以是会数据分析的小可爱。

如果你是一只Magikarp，请认识到自己的潜力，你，就是下一个吴恩达。

好啦 让我们回到正文

【本科篇】

本科的专业相比于研究生，可能课程更具多样性。和别的专业的学生一样，都要修一些General Education，不同领域各种门类的普遍性教育课。然后专业课的部分更多的是对于基础性教育课一层一层的积累，所以相比于研究生再转进去读的同学来说，本科开始读可能基础会更扎实一些。然而，本科的数据专业并不多，而且都很新，加上正规的不正规的，大概齐是有六十个左右的学校开设了本科的数据科学专业。

卡里从中选择了4个项目来跟大家分享。

【Columbia University -- B.A in Data Science】

一个综合排名贼高的藤校，本科设立了一个数据科学的专业，计算机院的专业。

官网上稳准狠地说明了Data Science的本质，不过就是学好了计算机和统计。

从官网的课程设置来看，还是对于学生的计算机和统计功底要求都很高。这对于一部分还没有决定是不是要走数据科学走到黑的人来说是好的，研究生可以重新回到计算机科学的回报或者去做个统计学大牛也不是不可以。

核心课程

Probability Theory

概率论

Statistical Inference

统计推断

Linear Regression Models

线性回归模型

Statistical Machine Learning

统计机器学习

Introduction to Computer Science

计算机科学

Data Structures

数据架构

Discrete Math

离散数学

Analysis of Algorithms

算法分析

看了这些，你是不是有一丢心动？

卡里告诉你：请安抚好你的小心心别乱动，哥大不是你想考想考就能考。

【University of Rochester - B.A / B.S in Data Science】

这个大学是厉害的，同一个专业，你可以选择以BA毕业也可以选择以BS毕业，你要是想以BS毕业，你就得多读几节课。官网里说了，BA呢更自由一些，一般是你想要双专业毕业的话会更合适一些。如果你想深度了解数据，那就选择BS的课程。

对于这个专业设置，卡里觉得是厉害的，

给你，你想要的全部自由，非常适合射手座的一个学校（微笑）。

核心课程

Discrete Mathematics

离散数学

The Science of Programming

编程

The Science of Data Structures

数据架构

Linear Algebra with Differential Equations

线性方程

Ordinary Differential Equations

常微分方程

Computational Introduction to Statistics

计算机统计

Elements of Probability and Mathematical Statistics

概率论与数理统计

Applied Statistics for the Biological and Physical Sciences

生物与物理统计

Intermediate Statistical and Computational Methods

中级统计与计算机方法

如果大家有幸被录取到了这所美丽的学校，可以考虑跳进数据科学的大坑。

【Ohio State University - B.S Data Analytics】

曾经年幼无知的卡里以为OSU只有商学院厉害，后来卡里的老铁去OSU读了Data Analytics，卡里发现，咦，技术也是挺厉害的。介绍它的原因呢是因为它这个专业下有几个很有趣的分支，我觉得作为本科的专业，这一点是比较难得的。因为相比于别的传统专业，数据科学已经是非常细化的专业了，能够分出一定的师资在专业下开设分支以便学生学习不同领域的数据是难得的。

核心课程也没有什么可惊喜的 所有学校都大同小异

Calculus and linear algebra

微积分和线性代数

Data mining and statistical learning

数据挖掘和统计

Database design and cloud computing

数据库设计和云计算

Optimization （这个课是有一丢厉害的，一般研究生的program里才会出现）

最优化

Probability and statistical inference

概率与统计推断

Regression modeling and statistical decision making

线性回归和统计决策

Software design and programming

软件编程

Visualization （这个课也是有一丢重要和厉害的）

可视化

每个学生从下面四个里面选择一个方向专攻，看上去都是厉害的不得了的方向

但基于卡里作为一个本科生 对 本科生群体的了解

选的最多的应该还是Business Analytics 和 Computational Analytics

Biomedical informatics

生物信息学

Business analytics

商业分析

Computational analytics

计算机分析

Social science analytics

社会科学分析

【University of California, Irvine - B.S Data Science】

最重视的当然要放在最后，这是卡里的母校，DS也是卡里当年心心念念的专业。这个专业比较新开设的较晚，它出现的时候卡里已经没有机会转进去了。

毕竟，得不到的就成了卡里心尖尖上的朱砂痣和明月光

当然，也希望得到了的幸运的小朋友们不要觉得这个可爱的专业是蚊子血和饭米粒

好的让我们来看看这个专业的

核心课程

Introduction to Programming

编程

Programming with Software Libraries

进阶的编程

Intermediate Programming

最厉害的编程

Introduction to Writing and Rhetoric

写作和修辞学

Critical Reading and Rhetoric

批判性阅读和修辞

Seminar in Data Science

数据科学研讨会

Calculus

微积分

Statistics

各种统计课

Machine Learning and Data-Mining

机器学习 & 数据挖掘

Design and Analysis of Algorithms

算法的艺术

Information Visualization

信息可视化

UCI 最引以为豪的writing program也是特色之一，在我司之前做的各高校数据项目分析里，Communication and Story Telling也是极其重要的一点，所以UCI在这件事情上是完胜的。其他的呢，公正地说其实和各个program的差距不大，都是以编程和统计为主，然后上一些高阶的计算机课。但Irvine真的是个太好的地方，如果你还在纠结要去哪里读数据科学，Welcome to Irvine！

【研究生篇】

研究生的数据科学Program可就是百花齐放了，要是选起来卡里能选一天一夜，所以卡里先简要地给大家介绍几个厉害出名的Program，然后再说几个比较常见的项目，让大家能够对研究生项目的有所了解。

首当其冲地，让我列出一溜全美最6的数据类研究生项目,

# 排名不分先后，这只是卡里看了一堆文章以后罗列出来的，没有学校塞钱给我好么？