如果大数据能够如此诡异地了解到我个性的方方面面，我只想问：为什么Facebook一直想让我花80元买双拖鞋？

如果大数据能够如此诡异地了解到我个性的方方面面，我只想问：为什么Facebook一直想让我花80元买双拖鞋？

我上Facebook或Instagram时几乎总会看到一则标价过高的帆布便鞋广告。我怀疑自己迄今从没买过超过25元的拖鞋，我也不太可能在马莎百货(Marks and Spencer)以外的地方买这类东西。我从来没在网上搜索过拖鞋二字，也想不出我上网时哪些举动会暗示出我喜欢“新潮”的拖鞋。（实际上，这款拖鞋有种难看的可拆户外鞋底，所以人们多半会说我是个穿拖鞋出门溜达的“中年大叔”，而不会说我“新潮”，如果我买了它的话。）

对那些数据科学天才们来说，公平地讲，Facebook并不总是给我推销天价拖鞋。有时它也向我推销天价耳塞，或购买一款正念app的机会。照说，我们应该相信，建立在数据抓取和机器学习基础上的复杂算法现在比我们最亲密的朋友还了解我们。然而，在我们公司，不用15分钟你就能了解，我这个人不太可能花80元去买拖鞋，也不会破费购买什么正念app。

这些广告还会根据浏览历史来投放。我明白为什么我在浏览过某个城市的旅游景点后会看到爱彼迎(Airbnb)的招租广告。在一个数据被认为无所不知的时代，令我困惑的是，为什么我在订完房后还能看到广告。总是如此。有谁没在网购后的六周接连不断地收到同一个商品的广告推送？去年，我们买了台电子琴送给儿子当生日礼物。几个月后，我仍会收到相同型号产品的广告。要么是数据分析师们不知道我们已经下了单，要么是他们认为我们是电音组合“宠物店男孩(Pet Shop Boys)”，一台电子琴不够使。

在我看来，这些广告不像是来自别有用心的数据天才，它们更像出自一位上了年纪的大爷之手，他记得你小时候爱吃夹心饼干，所以即使你都过完45岁生日了，他还在给你买。

很明显，还有更多原因。如果不值当的话，像Facebook和谷歌(Google)这种企业才不会做这么麻烦的事。我们必须假设，密集的数据挖掘会带来更有针对性的广告，从而为客户提供更优质的筛选结果，也会给平台带来更高的回报。

我只想提一个忠告。不管这些公司掌握了我多少数据，在有针对性地推送消息上，他们显然还得再接再厉。我每天大部分时间都耗在网上，访问那些被Facebook搜索的网站，并通过Chrome浏览器将我的一举一动反馈给谷歌。我大致的生活状况不难了解，然而，它们还在给我推送金拖鞋。我想这意味着Facebook将我界定为国际精英阶层，但更有可能的是，我被归入了“钱多人傻”一族。

定向广告的价值显而易见。给巴黎某个对麸质过敏的人推销一家伦敦的面包店毫无意义，但夸大算法的能力却符合每个人的利益。

一种合理的解释也许是，这些平台尚未将它们掌握的有关我的海量数据整合为有用的行动。目前，它们仅需胜过其它媒介，如报纸和电视。虽然它们可能还没有很好地将自身掌握的大量数据投入使用，但有理由相信它们会越来越擅长利用这些资源。这也许就是为什么如今监管机构应该认真考虑限制数据采集的规模。

还有另一种解释。也许它们非常了解我，以至于还没等我自己意识到，它们就知道我需要这些华而不实的高价货。它们知道，私下里我就是那种把脚套进80英镑的居家鞋的人。也许大数据革命就像许多人宣称的那样高深莫测，而且比我本人更了解我自己。或许我只需要屈服，它让我买啥我就买啥。噢，金拖鞋；噢，金拖鞋。

转载自百家号作者：超说未来

你好，大数据分析师专业已经上线，但是很多人看见这个专业瞬间蒙圈！感觉真的是高难度的一个专业！但是，其实他就是相对于传统的数据更庞大，分析更精准，同时给企业高层提供精准决策。当然，这是一切都是有用工具来实现的。

一、大数据分析师现在的行业需求量非常大吗？其实我也不知道。但是我用这组数据还说明：

从20世纪90年代起，欧美国家开始大量培养数据分析师，直到现在，对数据分析师的需求仍然长盛不衰，而且还有扩展之势。

根据美国劳工部预测，到2018年，数据分析师的需求量将增长20%。就算你不是数据分析师，但数据分析技能也是未来必不可少的工作技能之一。据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

目前，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

在数据分析行业发展成熟的国家，90%的市场决策和经营决策都是通过数据分析研究确定的。

二、学完大数据分析师薪资到底有多少呢？

有媒体报道，在美国，大数据分析师平均每年薪酬高达17.5万美元，而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

国内某大型招聘平台给出的数据分析师平均薪酬为：9724（取自 1139份样本），且北京、上海、广州、深圳、杭州、南京、武汉、成都、长沙为大数据分析师需求量前十的城市。

三、如何成为大数据分析师呢？

相信很多人对大数据行业非常感兴趣。但是零基础的学生发愁，担心自己能不能学会这个专业。很多人会发愁这个问题。

华信智原（南京）从事IT教育培训行业十余载，结合企业用人需求已经研发出专属零基础学员的定制课程，个性化培训。项目实训及演练+大数据行业专家级讲师授课，让你在短短数月的时间内成为一名合格的大数据分析师。而且学完保就业！薪资不低于6000元。名额有限，报名从速！！！

随着大数据，电商的兴起，在近十年来统计硕士申请，就业，招聘相关热度持续升温。特别是很多学校开始了商业分析和数据科学的项目，吸引了大量申请人，其实这两个方向的课程结构也有一半以上的统计课程。那么统计有哪些就业领域呢？

在国内，统计学就业主要集中在政府部门及金融领域。比如统计局，文学情报中心，标准化研究院及国家信息中心这类政府机构。此外还有，咨询公司，各公司的市场研究部门，制造业，市场营销，工业企业的质量检测部门等企业事业单位。

一、金融领域

中国统计专业学生多面的的就业前景，就业形势还是非常不错的，银行，保险公司，证券公司等金融部门都是统计学可以考虑的方向。

1、量化投资方向，包括卖方金工、买方量化投研，量化控股。但由于门槛太高，不偏好应届生，进入较难。

2、信用卡中心也是一个大量需要统计的地方。工作相对安逸，但是工资真的不低。

3、P2P行业去做P2P信贷。

4、省分行。支行很多人都想回家，而回家有没有什么大公司。所以省分行，支行就是最好的选择。

5、其他金融岗位。比如投行，行研，固收销售交易，银行管培，券商管培，非量化风险等等，也有很多人会签。

另外，大数据很火，京东阿里给 数据挖掘之类的岗位的起薪不低，但是纯统计学想要做数据挖掘难度还是比较大。

二、其他行业

医疗卫生方向就业可以考虑去研究公司工作，想ppd就是全球最大的cro。在做新药研究临床试验方面这个职位还是有蛮大的需求的。

对于学校比较有感情，可以继续读Phd,然后各大高校也是选择之一，毕竟薪火需要有人传嘛。另外可以去政府机关，也可以靠公务员，主要岗位：卫生监督、食药监、出入境等。

三、统计专业就业因素

统计的就业方面可以说广的不行，而最终回去做什么工作，取决于：能去什么样的岗位；本科背景；个人性格偏好等

看完这些特点，你对统计学真的感兴趣吗？

很多同学是因为拥挤专业更容易找工作而选择统计，实际上并不能去从统计的专业中感受到乐趣。那么看了上面统计的就业领域，是不是觉得作为一门实用工具，统计专业亦能给你别样的探索世界的乐趣呢？

　　就业难度排名前十的专业有：农业经济管理类、地质类、矿业类、草学类、财政学类、旅游管理类、安全科学与工程类、经济与贸易类、自然保护与环境生态类、环境科学与工程类。

　　究其原因，这十个专业情况有所不同，地质类、矿业类是由于中国经济放缓以及供给侧改革造成的需求量的减少，而经济贸易类岗位需求量并不低，但是由于此专业毕业生供给量更大，因此经济贸易类专业毕业生就业难度较大。

　　相对容易就业的专业，分布在一些供需量不大的冷门专业，比如军事类、医学类、天文学类、艺术理论学等，其中尤其以医学供需矛盾最为突出，在最容易就业的20个专业中，医学类专业有10个之多，占据了半壁江山。

　　分析原因，随着人们对健康的需求不断提升，除了医院之外，医药公司、制药厂、医药贸易、经销、检验等企业对医药类专业技术人才的需求也在逐年增加，是导致医学类毕业生需求量不断增加的原因。而临床医学专业学制长，实习时间也长工作压力大待遇不高，再加上医患关系紧张，导致学医的热情不高。需求量增加而供给量不足，医学类就业容易也就不难理解。

当下，人工智能、大数据等热门词汇频频出现在人们的视野中。作为万物分析的大数据更是站在互联网的风口浪尖上，直接催热了大学里的大数据专业。

从IT时代进入DT时代，高校在大数据方向上设置了什么专业，具体学什么，就业怎么样，作为新兴专业，考生如何报考?今天，就来谈一谈这个大家关注的热门专业。

1.什么叫大数据？

进入互联网时代，中国的网民人数已超7亿，大数据的应用涉及到生活的方方面面。例如，你在网站上买书，商家就会根据你的喜好和其他购书者的评价给你推荐另外的书籍；手机定位数据和交通数据可以帮助城市规划；甚至用户的搜索习惯和股市都有很大关系。

在谈到大数据的时候，人们往往知道的就是数据很大，但大数据≠大的数据。大数据，就是存储在各种存储介质中的海量的各种形态数据，具有5V特点，即：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。大数据之“大”，不仅在于其“大容量”，更在于其“大价值”，并已成为除人力、土地、财务、技术之外的另一种重要的基础资源。对各种存储介质中海量信息的采集、存储、分析、整合、控制而得到的数据就是大数据。大数据技术的意义不在于掌握庞大的数据信息，而在于对这些数据进行专业化处理，通过“加工”实现数据的“增值”，更好地辅助决策。

2.数据科学与大数据技术专业

本科专业中和大数据相对应的是“数据科学与大数据技术”专业，它是2015年教育部公布的新增专业。2016年3月公布的《高校本科专业备案和审批结果》中，北京大学、对外经济贸易大学和中南大学3所高校首批获批开设“数据科学与大数据技术”专业。随后第二年又有32所高校获批“数据科学与大数据技术”专业。两次获批的名单中显示，该专业学制为四年，大部分为工学。

数据科学与大数据技术是个交叉性很强的专业，很难说完全归属于哪个独立的学科。所以，不同的学校有的是信息学院申报，有的是计算机学院牵头申报，有的设在统计学院，还有的在经管学院。像北京大学这个专业是放在理学下，授予理学学位。大多数是设在工学计算机门类下，授予的是工学学位。数据科学很早就存在，是个比较经典的学科，现在和大数据技术结合形成了这个专业。目前教育部设定的本科专业名称为“数据科学与大数据技术”，专科名称是“大数据技术与应用”。

3.数据科学与大数据技术学什么？

以对外经济贸易大学该专业为例，专业知识结构包括数学、统计、计算机和大数据分析四大模块，具体课程设置如下：

数学：数学分析一、数学分析二、高等代数、离散数学。统计学：概率论与数理统计、多元统计分析、随机过程。计算机：数据机构、计算机组成原理、操作系统、数据库系统原理、C++程序设计、Java程序设计、Python与大数据分析、科学计算与Matlab应用、R语言等。大数据分析：数据科学导论、机器学习与数据挖掘、信息检索与数据处理、自然语言处理、智能计算、推荐系统原理、大数据分析技术基础、数据可视化、大数据存储与管理、大数据分析实践等课程。

数据科学与大数据技术是一门实践性很强的新兴交叉复合型学科：以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。根据各校偏重的专业方向，课程设置有所差异，感兴趣的同学可以具体查看各校的专业和课程设置情况。

1.行业增速快 人才缺口大

随着移动互联网和智能终端的普及，信息技术与经济社会的交汇融合，引发了数据迅猛增长。新摩尔定律认为，人类有史以来的数据总量，每过18个月就会翻一番。而海量的数据蕴含着巨大生产力和商机。

2011年至2014年四年间，我国大数据处于起步阶段，每年均增长在20%以上。2015年，大数据市场规模已达到98.9亿元。2016年增速达到45%，超过160亿元。预计2020年，我国大数据市场规模将超过8000亿元，有望成世界第一数据资源大国。但数据开放度低、技术薄弱、人才缺失、行业应用不深入等都是产业发展中亟待解决的问题。

根据领英发布《2016年中国最热职位人才报告》显示，有六类热门职位的人才当前都处于供不应求状态，稀缺程度各有不同，其中，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。

目前的当务之急是解决大数据人才瓶颈问题，相关调查显示，未来3-5年大数据人才缺口达到150万之多。，但截至目前，中国大数据从业人员只有约30万人。同时，大数据行业选才的标准也在不断变化。初期，大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域，以IT、计算机背景的人才居多。随着大数据往各垂直领域延伸发展，对统计学、数学专业的人才，数据分析、数据挖掘、人工智能等偏软件领域的需求加大。

数据分析师现在需求就很旺盛了，2年工作经验的月薪可达到8K，硕士学历的数据分析师月薪可达到12K，5年工作经验的可达到40万至60万元。

2.大数据主要就业方向

2015年9月国务院印发《促进大数据发展行动纲要》，系统部署大数据发展工作。《纲要》明确提出了七方面政策机制，其中第六条就是加强专业人才培养，建立健全多层次、多类型的大数据人才培养体系。目前，大数据主要有三大就业方向：大数据系统研发类、大数据应用开发类和大数据分析类。具体岗位如下：

1.大数据系统架构师

大数据平台搭建、系统设计、基础设施。

2.大数据系统分析师

面向实际行业领域，利用大数据技术进行数据安全生命周期管理、分析和应用。

3.hadoop开发工程师。

解决大数据存储问题。

4.数据分析师

不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。

作为一名数据分析师，至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。

5.数据挖掘工程师

做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++，我自己用Python或者Java比较多。有时用MapReduce写程序，再用Hadoop或者Hyp来处理数据，如果用Python的话会和Spark相结合。

6.大数据可视化工程师

随着大数据在人们工作及日常生活中的应用，大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是幕后的英雄。

1.院校开设情况

大数据人才的典型胜任特征：善于做需求分析、写代码;善于与人沟通，喜欢探索未知;需要根据数据推演、分析、提出解决方案，有数据思维;需要持续保持学习状态;内性格上能动能静。

不同办学层次的院校开设此专业，培养模式会有差异。例如，高职类院校学生由于数学基础相对薄弱，会跟多偏向于工具的使用，如数据清洗、数据存储以及数据可视化等相关工具的使用;本科院校会倾向于大数据相关基础知识全面覆盖性教学，在研究生段则会专攻某一技术领域，比如数据挖掘、数据分析、商业智能、人工智能等。

在“教育部2015年度普通高等学校本科专业备案和审批结果”中北京大学、中南大学、对外经贸大学成为首批开设 “数据科学与大数据技术”本科专业的高校，随后中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。至去年上半年，我国已有35所高校获批“数据科学与大数据技术”本科专业。经过一年的发展，申请院校成井喷式的增长，全国高校大数据教育联盟通过教育部公示的申请2017年“数据科学与大数据技术”专业的院校来看，2017年申请院校高达263所，其中工学190所，理学73所。

数据科学与大数据技术是个交叉性强、跨学科的专业，很难说是完全归属与那个独立的学科。高校牵头申报的学院不同，培养重点和授予的学位可能不一样。因为课程来自于不同的学院，也有高校是联合一些学院单独成立机构来申报。从名单可以看出，在大部分开设院校中该专业都属于工学类，有个别院校将其归属在理学门类，授予理学学位。

有志于学习数据科学与大数据技术专业的学生，可以从大学的传统优势领域和行业背景考虑选择。比如，复旦大学的大数据技术本科专业是设在大数据学院下；北京大学是在数学院开设了该专业，偏数学的内容更多一些。对外经济贸易大学该专业设在信息学院，因为财经是学校传统优势，专业还会偏重经济、金融等相关学科领域的知识。

2.报考注意事项

了解了大数据行业和大数据专业后，对于考生填报与大数据相关的热门专业，需要注意以下几点：

1.报考热门专业和就业热的专业并不一定是重合的，比如软件、计算机、金融，这些专业的就业率实际并没有那么高，地质勘探、石油、遥感等专业，虽然报考时是冷门，但行业需求大，就业率更高。

2.选择热门专业，更需要考虑就业质量。专业就业好，是统计学意义，指的是平均收入水平高，比如金融专业的收入，比其他纯文科专业的平均收入较高，但落实到个体层面，就业情况就不一样了，尤其像金融专业是典型的名校高学历好就业，但对于考试成绩较低的同学来说，如果去一些普通院校、专科院校学习金融，最后就业情况可能还不如会计专业。

3.志愿填报，除了专业，城市因素也很重要：如果想从事金融、互联网的工作，更适合去一线城市，如果是去三、四线大学的学生可以考虑应用面比较广的专业，就是各行各业都能用到的专业，比如会计专业，专科层次的会计和985层次的会计都有就业渠道。如果先选择报考城市，也可以针对所在城市的行业特点选择专业，比如沿海城市外贸相对发达，选择国际贸易、外语类专业就业情况更好，比如武汉有光谷，选择光电类专业更好就业。

4.最终家长和考生更需要考虑个人与专业匹配的问题，金融、计算机等热门专业不是所有人都适合学，好专业不见得对所有个体都是好的。

5.最后，考生报考时要注意，有的高校大数据专业是按大类招生，即按计算机大类，且只招理科生。

下面是人大、北邮、中南大学三校2017年数据科学与大数据技术专业在五个省市的录取数据。其中，人大的大数据专业归统计学大类；北邮的大数据专业归计算机大类。

什么叫大数据专业？

大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围加速企业创新、引领社会变革的利器。现代关系学之父德鲁克有言，预测未来最好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。“大数据”（Big Data）指一般的软件工具难以捕捉、管理和分析的大容量数据。“大数据”之“大”，并不仅仅在于“容量之大”，更大的意义在于：通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来“大知识”、“大科技”、“大利润”和“大发展”。“大数据”能帮助企业找到一个个难题的答案，给企业带来前所未有的商业价值与机会。大数据同时也给企业的IT系统提出了巨大的挑战。通过不同行业的“大数据”应用状况，我们能够看到企业如何使用大数据和云计算技术，解决他们的难题，灵活、快速、高效地响应瞬息万变的市场需求。

大数据属于数学一类的专业。相关专业名称有：“信息与计算科学”、“数学与应用数学”、“统计学”等。大数据专业将从大数据应用的三个主要层面（即数据管理、系统开发、海量数据分析与挖掘）系统地帮助企业掌握大数据应用中的各种典型问题的解决办法。大数据包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。大数据领域对于人才的需求总量大、层次多、范围广，产业对于人才的需求呈井喷式增长，相关行业拥有海量的岗位需求。大数据领域的人才成为大家趋之若鹜的“香饽饽”。大数据领域的职位薪资，比相同级别的其它职位高出20%以上。

概括为：统计学+数学+计算机=大数据

毕业后干啥？

大数据人才的工作是，把海量信息采集、存储、分析，挖掘出信息背后更多的价值，以更好地辅助企业、政府机关做出决策。

哪些大学有大数据专业？

2016年2月，教育部公布增设“数据科学与大数据技术”专业。北京大学、中南大学、对外经贸大学等3所高校率先开设本科的大数据专业。

2017年，中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。

2018年，中国传媒大学等248所高校获批开设该专业，增长呈井喷之势。

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

每一个大学都设立了很多的专业，供学生们自由选择适合自己的专业。学生们比较偏向于选择一些较为热门的专业，希望能够对日后的就业有所帮助。专业的选择是很重要的，除了看重个人兴趣之外，还要考虑就业前景。有些学生想选择大数据专业，但是不知道大数据专业怎样，就业好吗？

什么是大数据？很多学生对大数据专业并不是很了解，这个专业听起来很高大上的样子。所谓的大数据是指将多种渠道收集到的数据进行采集、存储、整合、分析、控制从而得到的数据。多渠道得到的数据进行加工处理，目的是为了更好地为决策服务，得到的数据更加有用。

大数据行业在这几年来非常火爆，许多高校都开设了大数据专业，很多学生选择报考这个专业。毕业生的就业方向也是比较广泛的，可以根据个人兴趣选择适合自己的工作岗位。大数据专业的毕业生就业方向有：大数据应用开发类、大数据系统研究类、大数据分析类等等。从事的工作岗位有：大数据工程师、大数据分析师等等。

大数据领域里面蕴含有三个技术方向，第一个是大数据运维与云计算方向，第二个是数据挖掘、数据分析与机器学习方向，第三个方向是Hadoop大数据开发方向。毕业生们可以尝试着熟练掌握三者之一，当然全部掌握了是最好的。要是精通其一的话，那么将来的就业前景会是比较好的，而且薪酬待遇也是较为理想的。

现在是大数据时代，我们国家正在大力发展大数据，现在社会也是很需要这方面人才的。大数据方面的人才紧缺，很多企业高薪聘请有能力的大数据高级应用人才。大数据是一个热门的行业，要是学生们想选择大数据专业的话，那么需要好好扎实专业知识，为了日后更好地在大数据行业中获得较好的发展。

图片来源于网络

又到了一年一度的毕业季，高考在即，很多的学子面临着选择专业的问题，虽然说兴趣很重要，但是家长们考虑更多的是将来的就业和生活问题。而那些准备毕业的大学生们，也都在考虑从事一个什么样的专业能够最有“钱途”。

下面的这则报道可能会对你有所帮助

近日，麦可思研究院近日对外发布了一份关于中国大学毕业生收入状况的调查报道。报告显示，在2016年的应届本科毕业生从事的职业中，“互联网开发及应用”在职业高薪榜上独领风骚，毕业半年后的平均月薪就达到了5679元！而紧随其后的分别是“计算机与数据处理”（5636元）和“房地产经营”（5057元）。

图表数据来自麦可思研究院

据悉，这份针对大学毕业生收入情况的调查结论，基于麦可思对2016届本科毕业生毕业半年后，以及2013届毕业生毕业3年后的跟踪调查。

2016届大学生毕业生回收到的全国总样本约28.9万份，其中本科生样本约14.7万，高职高专生样本约14.2万。对2013届大学生毕业3年后的连续跟踪调查，回收全国总样本约5万。

对于上述高收入职业，报告分析，当前，互联网行业的迅速发展促进了有关职业的旺盛需求，让计算机、软件工程等专业毕业生收入较高。

上述调查研究除了调查了2016届毕业生毕业半年后的收入情况，还调查了2013届大学毕业生毕业3年后的收入变化情况。

数据显示，2013届本科生毕业三年后月收入涨幅最大的职业类是“律师/律政调查员”（半年后：3388元，三年后：7656元），涨幅为126%，其次为“医疗保健/紧急救助”（半年后：2908元，三年后：6407元），涨幅为120%。“农/林/牧/渔”（半年后：3001元，三年后：6579元）位列第三，涨幅为119%。

除了本科生，调查显示，2013届高职高专生毕业三年后月收入涨幅最大的职业类是“经营管理”（半年后：3185元，三年后：7133元），涨幅为124%，其次是“计算机与数据处理”（半年后：3015元，三年后：6564元），涨幅为118%，“房地产经营”（半年后：3257元，三年后：7078元）位列第三，涨幅为117%。

从这份报告中不难看出，计算机与数据处理、互联网开发及应用、经营管理、房地产经营等行业在收入方面都有很大的优势。而诸如医疗保健/紧急救助和农/林/牧/渔等职业，虽然起薪平平，但是中、长期薪酬待遇也有不错的发展。

盛景哥温馨提示：收入不应是职业和专业选择的唯一衡量标准，在选择专业和职业时，考生或者毕业生还要将社会需求量、个人兴趣爱好等因素都考虑在内。

很多院校有大数据课程和方向，关联度较高的专业有：软件工程、计算机科学、信息管理、应用数学/数学与统计。大数据应用有三个主要层面（即数据管理、系统开发、海量数据分析与挖掘），这三个层面系统地帮助企业掌握大数据应用中的各种典型问题的解决办法。

大数据的核心技术：（1）大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQL Database技术的原理与应用；分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。（2）关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。（3）分布式数据处理。详细介绍分析Map/Reduce计算模型和Hadoop Map/Reduce技术的原理与应用。（4）海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash, Jaccard and Cosine similarity，TF-IDF数据挖掘算法–聚类算法；以及数据挖掘技术在行业中的具体应用。（5）物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。（6）文件系统（HDFS）。详细介绍HDFS部署，基于HDFS的高性能提供高吞吐量的数据访问。（7）NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。