想从事数据分析师的童鞋们，在各大招聘网站进行搜“数据分析师”职位，你会不会发现这个岗位其实是有专业要求的？中枪的专业经常有哪些呢？“统计学”或“社会学”或“信息管理与信息系统”或“应用数学”或“营销学”或“财务管理”或…….，小编给大家依次介绍下数据分析师对口专业，对求职与报考专业的同学提供一些帮助。数据分析师有哪些专业要求？学什么专业比较好呢？

数据分析师有哪些专业要求？

　　截图取自某招聘网站—数据分析师岗位要求

一、统计学专业

　　统计学贯穿数据分析的全过程，没有统计学基础，很难有专业的数据分析。数据分析的各个步骤，都要用到统计学的知识。

　　数据采集时，如何抽样？做多大的样本？接受多大的抽样误差？要用到统计学；

　　数据处理时，频数怎么求？交叉表怎么做？统计图怎么划？要用到统计学；

　　数据分析时，如何验证？如何探索？如何预测？也要用到统计学。

　　问卷设计时，问卷的信度是否符合要求？效度有多大？要用到统计学；

　　可以这么说，数据分析是统计学的应用。掌握统计学是数据分析师的基本功。

二、信息管理与信息系统

　　信管专业往往涉及到的知识领域很广 ，主要是通过学习计算机技术和管理学，竞争情报等等学科知识，通过计算机技术对海量的数据进行收集和信息处理，才能成为有用的信息，然后通过科学的统计学原理在对信息的过滤和分析进而形成知识，最终目的就是能运用所获取的知识来做出正确的决策。

　　可以说信管专业非常对口数据分析师职位，从信息中 发掘财富。与计算机结合，使计算机作为工具， 信息管理更加有效和实用，随着企业经营规模的现代化，对信息管理 的要求越来越强烈。例如铁路订票系统，就是对车票这种信息的查询和管理系统。可以说软件开发的最主要面向的客户就是 帮助企业制作良好的信息管理系统。

三、应用数学

　　随着科技事业的发展，数学专业和其他专业的联系也越来越紧密，所以数学专业知识也得广泛的应用。

　　数据分析师需要有专业的数学功底和严密的逻辑思维，而严密的逻辑思维则来源于扎实的数学功底。 学数学的同学更注重理论的完备性和逻辑链的完整性，即对于在分析过程中出现的任何一些命题，都要能证明它是正确的还是错误的。

四、经济学

　　数据分析师相关职业之一，这个专业需要学习经济学基本理论和相关的基础专业知识，了解市场经济的运行机制，经济学的学术动态；具有运用数量分析方法和现代技术手段进行社会经济调查、经济分析和实际操作的能力。数据分析师职位如：政府综合经济管理部门、大中型企业的战略规划和分析助理岗位、金融机构的研究助理岗位、咨询机构的助理咨询师岗位等。毕业生在这些岗位中从事较高水平的经济分析研究工作。

五、心理学专业

　　企业要提高市场占有率，就是要提高人心占有率，因此数据分析师研究用户心理的工作必不可少。数据分析师若懂得心理学，则能更准确的探测到用户的真实想法。

　　例如，在做品牌形象分析时，常会用到的是映射法，映射法就是基于心理学的数据采集方法。比如，让你对某所别墅进行描述，很难说得清，但如果让你选择图片，你对图片的认识就映射了你对这所别墅的印象。比如，你选择了劳斯莱斯车，很明显，你认为这所别墅的形象是高端的。

　　数据分析师有哪些专业要求？

六、社会学专业

　　从经济学的角度看，人具有经济性，追求利益最大化，比如人们总是喜欢买物美价廉的产品，消费量通常会随着价格的下降而上升。但从社会学的角度看，人还具有社会性，受到社会群体心理的影响。作为数据分析师，如果没有社会学背景，很难对市场现象做出合理的解释。

　　比如，人们喜欢买物美价廉的东西，为什么人们还会为品牌多花钱？人的消费随着价格的下降而上升，为什么房价下降则观望成风，房价上升则抢购一空？正是由于人的社会性的存在，使得市场问题复杂化，有时甚至是非理性的，只有掌握了社会学的常识，数据分析师才能有更全面合理的思考。

七、人口学专业

　　人的特点影响市场的特点。年龄不同，家庭类型不同，则需求、价值观和行为特征都不一样。比如，儿童主要以生理需求为主，没有太多的社会需求；青少年开始追求时尚和潮流，但不是高收入人群，购买的频率高但可接受价格很低；人到中年，消费行为趋于理性化，强调功能、成本和技术优势；而到了老年，对价格比较敏感。

　　有人口学知识，数据分析师可以更好地理解到用户的差异性，有助于选择市场细分的维度，提出合理的精细化营销建议。

八、营销学专业

　　数据分析师常要为企业的营销决策提供支持，这就要求懂营销。

　　具有营销背景的数据分析师思路会更清晰、更开阔。当让他做竞争分析时，他会想到波特五个力；让他做环境分析时，他会想到PEST、让他做消费者偏好分析，他会想到科特勒用户决策流程；让他做企业业务状况分析，他会想到4P……

九、财务管理专业

　　净利润有多少，利润增长率是否达到预计水平？

　　资产负债率有多高，是否存在潜在的偿债风险？

　　流动比率、速动比率有多大，资金运转效率高不高？

　　诸如此类的财务管理问题是企业选择投资项目的依据、评价财务状况的指标、评估决策效果的量尺。懂得财务管理，得失一笔账，才能算得更清楚。”

　　因此，数据分析工作是多门专业在企业决策中的综合应用，依靠某一门相关专业，可以敲开数据分析师的职业之门，但要成为优秀的数据分析师，则需要长期的学习和积淀，做到多门专业的融会贯通。

　　以上提到的这些专业的同学对这个行业有明显优势，但其他行业的同学如果对这个职业感兴趣，通过日常学习，掌握一些统计分析必备技能，亦可以从事此类工作。

　　因此，数据分析工作是多门专业在企业决策中的综合应用，依靠某一门相关专业，可以敲开数据分析师的职业之门，但要成为优秀的数据分析师，则需要长期的学习和积淀，做到多门专业的融会贯通。-

龙岗校区：深圳龙岗区吉祥地铁站b出口湖广通大厦4楼

南山校区：深圳市南山区亿利达大厦B区2楼

宝安校区：深圳市宝安区新安二路37号五区综合楼2楼

福田校区：深圳市福田区上步中路深勘大厦19楼

广州校区：广州市天河区元岗路616号天河慧通产业广场A8-1栋

服装中心：福田区深南中路兴华大厦A座11B整层

Data Science 作为一个宽口径的新兴职业方向，充满了工作机会，同时，无论你是学什么与业出身的，都有新与业、新领域的知识要学。比如工作期间，学统计的去研究一下优化、计量经济，学计算机的深入加强统计知识，都可能有机会。看到市场对数据人才的追求日益激烈，许多大学开始与门开设数据分析类与业。

近几年来，美国很多学校也开设了analytics的多门硕士项目，比如 Northwestern、 NCSU，但是开设这类专业的学校，一般综合排名低，除了西北大学，以前少有学校问津 analytics；随着过去两年data science和bigdata的共起，UIUC、UT Austin、NYU等都相继开设了analytics、Data Science类的硕士项目，包括弗吉尼亚大学、哥伦比亚大学、俄亥俄州立大学等开设宣布计划开设数据科学方面的硕士研究生培养项目。例如，南加州大学马歇尔商学院就与门开设了商业数据分析的硕士项目。该项目总终的第一句话就是：商业数据分析是现在全美增长最迅速的领域。

数据科学专业需要具备的能力

（1）、计算机科学能力一般来说，数据科学与业大多要求具备编程、计算机科学相关的与业背景。简单来说，就是对处理大数据所必需的 Hadoop、Mahout等大规模幵发处理技术等机器学习相关的技能。（2）、数学、统计、数据挖掘的能力除了数学、统计方面的素养之外，还需要具备使用SPSS、 SAS等主流统计分析软件的技能。其中，面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R 的强项不仅在于其包含了丰富的统计分析库，而专具备将结果迚行可视化的高品质图表生成功能，不可以通过简单的命令来运行。此外，它还具备称为CRAN（The Comprehensive R Archive Network）的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。R语言虽然功能强大，但是学习曲线较为陡峭，建议从python 入手。

（3）、数据可视化

信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义迚行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其他服务统一起来，从而使分析结果可视化，这是对于数据科学家来说十分重要的技能之一。

（4）、跨界为王麦肯锡认为未来需要更多的“translators”，能够在IT 技术，数据分析和商业决策之间架起一座桥梁的复合型人才是最被人需要的。”translators“可以驱劢整个数据分析戓略的设计和执行，同时连接的IT ，数据分析和业务部门的团队。如果缺少“translators“，即使拥有高端的数据分析策略和工具方法也是于事无补的。天才的”translators“非常罕见。但是大家可以各敬其职，数据战略家可以使用IT 知识和经验来制定商业决策，数据科学家可以结合对与业知识的深入理解使用IT 技术开发复杂的模型和算法，分析顾问可以结合实际的业务知识不分析经验聚焦下一个行业爆点。

未来就业前景这类硕士项目的最大优势是在于读程设置，software system、machine learning、database、 optimization、decision science、statistics、business intelligence等所有涉及到的领域知识，往往都会学一些。因此，跟比如学统计戒者计算机出身的同学相比，有analytics硕士学位的同学，知识结构更合理、更全面。也正是因为这点，目前学这个与业的同学找工作很容易。以下数字可以说明数据人才有多稀缺。一个拥有博士学位的数据科学家的起薪通常是六位数，工作两年后，就可以轻松赚到 20万至30万美元的年薪。在美国职业社交网站领英网(LinkedIn)，有3.6万个数据科学家的职位虚位以待。另一家网站的数据显示，去年底有6000家公司正在招聘数据方面的人才。

【选校大揭底】

美国目前总有45所大学开设的数据分析相关与业硕士研究生读程项目。小科对这45 所院校做了整理的查校，总结如下：所有都相对集中在美国的东部、北部区域，所开设的大数据分析硕士学位课程可以分为三个类型。

1、数据分析科学硕士学位课程(MSA，Masterof Science in Analytics) 美国有14所大学，总性是属新开发的跨学科读程，将应用数学、统计学、计算机科学，以及各种商业学科诸如营销、财务等融合在一起，即使一些学位使用预测分析(Predictive Analytics)戒数据分析(Data Analytics)冠名其读程内容也大致相同;

2、商业数据分析硕士学位课程(MSBA，Masterof Science in Business Analytics) 美国有17所大学开设此学位课程，其特点基本上是由各大学商学院新开设戒改名而来的，也会有不与其他学院联合办学的情况，和MSA类似面向技术的读程稍少一些，但也不意味着MSBA就完全偏向商科。

3、属其他学科的硕士学位但主修方向是数据分析(Other M.S. Programs， Analytics Tracks andConcentrations) 开设该项目课程的有14所院校，常冠以数据科学(Data Science)这个名称，一般开设在商学院以外的学院，将数据分析课程与其他学科结合的硕士学位，还有的情况是将原有的旧专业改为数据分析与业，有时还可能沿用原有的与业名称，目标是从庞大数量种类的数据中去获得能有效沟通的可执行见解。

以下我们筛选了其中5所院校做以详细的查校结果汇总，如果想要了解更多院校查校信息

1、加州大学伯克利分校信息与数据科学专业（MS in Information and Data Science）：

专业介绍： 加州大学伯克利分校有两个相关的学位项目：数据科学工程硕士Masterof Engineering （concentration in Data Science），信息数据科学硕士Master of Information andData Science （MIDS），伯克利的两个硕士项目综合教授技术和企业运营的技能，立足现有最前沿的技术，扎实务实地培养学生成为领域内的佼佼者。

加州大学伯克利分校官网申请大数据：

GPA要求：3.0；TOEFL要求：90；IELTS要求：7.0；GRE 要求：Required；GRE Subject：Not Required

申请学期：夏季申请截止日期：2月14日

学费：$2,222.22/学分

申请说明：信息数据科学硕士（MS in Information and Data Science）：为期20个月，总计27个学分，受西部学校和学院学会（WASC）认证。要求申请者本科毕业，有计算机科学、数据结构、算法分析、线性代数等相关工作戒实习经验，如有5年以上工作经验则更受欢迎。毕业生可从事航空工程人员、建筑师、商业分析师、商业智能分析师、首席技术官、合同技术与家、数据分析师、互联网安全顾问、定量分析师、研究工程师、系统工程师等职业。无奖学金申请，国际学生需自费攻诺。

录取数据：

招生年：2016年春季学期；女生比例：24%；平均年龄：33；年龄范围：22-57；本科平均GPA： 3.49；GMAT数学均分：76%；GMAT 阅读均分：84%；GRE数学均分：82%；GRE阅读均分：82%；

伯克利是有着矛盾的两面性：一方面是草根的，平民的，大众的。BerkeleyHippie成为了伯克利学生自黑的主要槽点，校园附近随处可见千奇百怪的各色人等，如某街头艺人；但是，另一方面是尖端的，精英的，前沿的，比如叧有诺贝尔奖获得者才能用的停车位。在伯克利接触到的学生基本上可以分为两拨：一拨是以科研为主的有志青年（包括绝大多数的PhD 和极少部分的本科生），他们对本与业的热情天赋让我毫不怀疑地相信这波人是会引领未来人类科技进步的行业精英；另一拨则是普普通通的学生，他们由于机缘巧合，家庭背景，或者自己个人的奋斗，得以相聚在伯克利的校园里。他们大多想找个好工作回馈父母家人，他们得益于伯克利这个平台的帮劣也因此对这个平台感恩戴德，他们和平常人一样，不过多了顶绣着伯克利商标的帽子，他们中的大多数未来会湮没在茫茫人海中。

2、哥伦比亚大学数据科学专业（MS Data Science Track）

专业介绍：

哥伦比亚大学有一个业界顶尖的大数据科学的工程研究室（Institute for Data Sciences and Engineering），学生在此参与实验科研项目。该项目是2014年秋季新开设的，由此可见其对于这一与业的重视。项目开设在工学院下，项目侧重数据挖掘、算法和统计建模(i.e., Algorithms for Data Science, Machine Learning for DataScience, Statistical Inference & Modeling)，培养方案面向业界需求。

哥伦比亚大学官网申请大数据：开设学位：MS

要求：TOEFL99；GPA要求：3.0；IELTS要求：6.5；GRE要求：Required；GRE Subject： Not Required；

可申请学期：秋季申请截止日期：2月 15日学费：$1,858/学分

申请说明：

哥伦比亚大学数据科学（Data Science）与业由数据科学所（Data Science Institute）开设，研究生招收MS 学生。要求申请者本科毕业，拥有一定的数学及编程基础，需要递交GRE成绩，但无最低GRE、GPA等分数要求，不可使用GMAT代替GRE成绩。该MS 项目为期1 年，总修30个学分，无需撰写毕业论文。哥伦比亚大学工程不应用科学学院未设定有最低TOEFL/IELTS 分数要求，此外，该学院还认可PTE成绩，总分要求不低于68分；该项目无最低GPA要求，按美国大学研究生申请一般规定，GPA尤其是在校成绩平均不低于3.0 分；所有与业均需有GRE 成绩；除应用物理与业外，所有与业均无需GRE Subject成绩；未设定有最低GRE分数要求，但录取学生的GRE阅读平均百分比排名多在64%以上，数学多在82%以上；不接受GMAT成绩。

3、纽约大学数据科学专业（MS in Data Science）

专业介绍：

纽约大学的data science 既不是在 stern商学院下面，也不是在computer science下面，而是在 math下面。申请的时候应该比较看重数学背景，该与业开设于2013年，开设在 math下面的一个与门的Center for Data Science，为想迚入NYU的申请者多提供了一个录取的可能通道。基于这个与业的培养目标focuses on the development of new methods for data science。它录取的学生背景大多是理工科背景的居多：Math，Stat，也录取过几个 CS, EE, Econ与业的学生。

纽约大学官网申请大数据：开设学位：MS

要求：GPA要求：3.0；TOEFL要求：100；IELTS要求：不接受；GRE要求：Required；GRE Subject：NotRequired；

可申请学期：秋季申请截止日期：2月4日学费：$1,664/学分

申请说明：纽约大学数据科学硕士（MS in Data Science）一般为期4个学期，要求学生有足够强大的数学知识背景和一定的计算机科学基础知识，学习过微积分、线性代数、统计学、概率论以及计算机科学等读程。该项目仅秋季学期可以申请，截止日期为2月4日，无需GRE Subject数学科目考试成绩。该项目基本无奖学金。

纽约大学文理研究生院按学分收取学费，一般PhD要求修满72个以上的学分，硕士要求修满32-34个学分。按全日制授课项目，平均每年可修学分至少24个。此处为2016-17学年文理研究生院平均每个学分的学费标准，需要注意的是，该费用每年会有较小（不超过5%）的涨浮。

TOEFL：不低于100分，无单项要求，不接受IELTS成绩；数据科学硕士项目仅限秋季学期申请，申请截止日期为2月4日。课程设置：

该与业学制两年，总修36学分。

录取统计：我们从这个项目2013Fall 第一次招生的录取数据来看：打算要30个人，收到152封申请，发了50 个ad，刚好来了30个。 30个人里面，背景情况，undergraduate有11个，已经拿到一个 graduate的大概有10个（有1，2个phd，其余都是 master），剩下的就是已经工作了的。所以这 30个人是同时包括part-time和full-time 的。粗略分布： White10人，Asian20人吧，其中2个印度人，1个韩国人，1个日本人，1个台湾人，其余都是大陆的。average age=25. 大陆分布：10个左右美本，5个非美本吧。美本来源包括umn,uiuc,u of toronto, wisc-madison,git等等等等。感觉美本基本都是美国的数学强校，本科与业也都是math，stat，ieor，有几个cs ee econ的。非美本有 5个，其中一个港大，一个清华ee。当然随着Data Science的持续火热，未来的申请人数预测会增长到至少300人！知乎学长经验谈以下是NYU总体给我的感觉： NYU的优势是在于Data 的读太多了，DS自己的读不说，Cournat的CS也包含了一部分Big Data, NLP之类的读（同被DS的 Big Data坑= =，不过Cournat CS有门Real Time Big Data Analytics不知道会不会好些），Steinhard 的A3SR会有很多应用统计的读程，Stern有统计的PhD,还有 Info的偶尔也提供一些读程可以上， Tandon CS有可视化，CUSP 有城市数据分析（ML，Big Data这些的我们都开，不过和 DS的侧重不一样，还有通过传感器去采集数据，如何分析声音图像数据等等）Tisch的ITP还包含了一部分数据可视化（Data Art），前端（Creating API）和传感器的读程。除了Stern的读比较难选以外，其他学院的读基本开了就能选到。

4、普渡大学商业分析与信息管理专业（MS Business Analytics & Information Management, BAIM）

专业介绍：和麻省理工学院的MBA一样，该项目都有个单独的分支是商业分析，学生学习的基础读程涵盖高级商业分析、数据挖掘、数据管理等，选修课程可以从以下三个领域选择：

●商业分析咨询

●金融/财务咨询

●市场营销咨询

普渡大学官网申请大数据： USNEWS排名：47（商学院排名）GPA要求：3.0；TOEFL 要求：93；IELTS要求：7.5；GMAT要求： Required；工作经验要求：无；

可申请学期：夏季申请截止日期：1月16日-3月1 日学费：$46,000

申请说明：

普渡大学商业分析不信息管理硕士（MS Business Analytics & Information Management, BAIM）项目为期11个月，总计修36个学分。要求申请者本科毕业，不限与业背景，无前�...

大数据时代，数据科学家们是新一代的超级英雄。

麦肯锡公司（McKinsey）所做的一项研究预计，“到2018年，仅美国一国在深度分析类人才方面的供需缺口可能就将高达50%-60%。”此类人才奇缺的现状目前在各行各业都能够感受到。

*麦肯锡公司是世界级领先的全球管理咨询公司。

2014年4月，咨询公司埃森哲（Accenture）对客户做大数据策略方面的调查时，超过90%的客户表示，他们计划聘用更多的具备数据技术专长的员工，而且多数计划一年内就进行。而在1000多家回应调查的客户中，有41%的客户表示，这方面人才匮乏是一个主要障碍。

*埃森哲是全球最大的管理咨询、信息技术和业务流程外包的跨国企业。

数据分析是什么？

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极广泛的应用范围。

数据分析类岗位目前就业形势？

不管是中国还是国外，大数据相关的人才都是供不应求的局面。根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。

根据Linkedin《2016年中国互联网最热职位人才库报告》，数据分析人才被列为Top6的热门职位。

可以看出，这些职位都是当下任何互联网公司要建立发展必不可少的岗位，尤其是数据分析人才，伴随着大数据在互联网行业更多的应用而愈加重要。

在这份报告中，数据分析人才的供给指数最低，仅为0.05，相当于20个职位同时在竞争一个求职者。这在一定程度上反映了行业现状，很多互联网公司都逐渐意识到了数据的重要性，但却缺乏相关的专业人才来分析和管理数据。

很多学习数据分析的人会有一种困惑：“为什么学了那么多工具，还是不会数据分析？”，原因无外乎两个，一是只学到了碎片的知识，没有建立知识之间的连接，无法形成自己的知识体系，二是缺乏实践，导致无法形成“知行合一”的工作技能。

对于【UCSC Extension 位于硅谷中心地带，拥有得天独厚的地理位置，不但提供电子工业和计算机业的前沿科技动态和创新，而且为学生们创造了大量学以致用的工作机会】这一点就不需要再赘述了，除此之外，UCSC同样值得关注的是其数据库和数据分析证书课程，是真正意义上“知行合一”的教育方式。

UCSC数据库和数据分析证书课程

就读UCSC的数据库和数据分析证书课程可以学习处理业务数据和分析的原则，参与实践的过程，为希望将分析应用于商业决策的数据科学家、分析师、管理员和管理人员提供最新的培训，这个课程适合于寻求增强对最新数据库系统的理解的数据从业人员，以便适应当前的行业变化和不断变化的企业环境。

巨详细的课程介绍

（就算不仔细看全部，也一定要仔细看第11点）

1 、关系数据库设计和SQL编程

Relational Database Design and SQL Programming | 3 Units

关系数据库借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。UCSC的关系数据库设计课程就是教你如何设计这种表格。

SQL是结构化查询语言(Structured Query Language)，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。

UCSC本课程内容包括创建和操作表格的制作方法、使用SQL技能的管理方法以及在个人计算机上安装软件或数据库的能力。

2、商业智能解决方案

Business Intelligence Solutions | 2 Units

商业智能（Business Intelligence，简称：BI）指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

本课程以微软为例，对商业智能的基本原理进行了实践。学生将通过了解数据透视表、Power Pivot的特性，包括如何从SQL服务器加载数据并创建Powe View仪表盘、图表和地图。

*PowerPivot 指的是一组应用程序和服务，使用 PowerPivot 加载项可以更快速地在桌面上分析大型数据集，能以极高的性能处理大型数据集。处理数百万行和几百行的性能基本相同。

3、预测分析：机器学习的应用

Predictive Analytics: Applications of Machine Learning | 3 Units

机器学习的应用专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能并运用到实际生活中。

本课程介绍了机器学习方法，包括回归、分类和推荐系统，以及它们在实际中的应用。构建预测模型所涉及的步骤，包括数据收集、特征选择、算法和评估。

这是一种统计或数据挖掘解决方案，可为预测、优化、预报和模拟等许多其他用途而部署，也可为规划流程提供各种信息，并对企业未来提供关键洞察。

4、数据分析概述

Introduction to Data Analysis | 3 Units

本课程介绍了数据分析项目的不同方法，并组织学生进行分析实践。采用流行的数据分析工具进行分析，学习如何获取和操作原始数据。它涵盖了基本的探索性分析和常见的数据分析技术，如回归、模拟和估计。

5、大数据：概述、工具和案例分析

Big Data: Overview, Tools and Use Cases | 3 Units

这是一个用于处理大数据的数据库管理系统，从中可以学习如何获取、清理和规范化大数据。探索NoSQL的关键概念、模式、数据访问和方法，在大数据中学习技术基础设施。

*NoSQL，泛指非关系型的数据库。

6、数据建模简介

Data Modeling, Introduction | 3 Units

数据建模学习的是如何对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型后，在VISIO或ERWin 等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。

* VISIO一般指Microsoft Office Visio，是一款便于IT和商务专业人员就复杂信息、系统和流程进行可视化处理、分析和交流的软件。

* ERWin 的全称是ERwin Data Modeler，是数据建模工具，支持各主流数据库系统。

本课程提供了在数据建模和设计中的知识和实践操作，学生将研究事务系统、数据集市和企业数据仓库的数据模型的真实实例。

7、NoSQL数据库概述

Introduction to NoSQL Databases | 3 Unit

本课程介绍了NoSQL数据库的特性，以及为什么它们适合大数据，包括流行的NoSQL数据库的类型和类别。NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。UCSC Extension十分重视培养学生的全新思维能力。

8、机器学习&数据挖掘概述

Introduction to Machine Learning & Data Mining | 3 Units

在所有类型的数据中，机器控制自动识别复杂的模式。这个实践课程涵盖了各种数据挖掘方法的概念和原理，并包括用统计语言编写的机器测试示例。

学生可以在本课程学习如何从大量的数据中通过算法搜索隐藏于其中信息。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

9、Oracle PL / SQL概述

Oracle PL/SQL, Introduction | 2 Units

Oracle公司（甲骨文）是全球最大的信息管理软件及服务供应商，该公司开发的关系数据库产品因性能卓越而闻名，许多大型网站也选用了Oracle系统，是世界最好的数据库产品。研究其产品成为了数据库与数据分析专业的重点课题。

PL/SQL也是一种程序语言，叫做过程化SQL语言（Procedural Language/SQL）。PL/SQL是Oracle数据库对SQL语句的扩展。在普通SQL语句的使用上增加了编程语言的特点，所以PL/SQL就是把数据操作和查询语句组织在PL/SQL代码的过程性单元中，通过逻辑判断、循环等操作实现复杂的功能或者计算的程序语言。

这门课程适用于不同版本的Oracle 系统比如Oracle8i、Oracle9i、Oracle 10g和Oracle 11g用户。它向学生介绍了PL / SQL，并深入解释了这种编程语言的优点。

10、仪表盘和数据可视化

Dashboards and Data Visualization | 2 Units

学生在本课程可以学习仪表盘相关知识，了解一般商业智能都拥有的实现数据可视化的模块，学会运用这种向企业展示度量信息和关键业务指标（KPI）现状的数据虚拟化工具。

与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。学生需要掌握图形、图像处理、计算机视觉以及用户界面的使用，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。

这门课程将让学生懂得如何选择数据源、提取所需数据、使用示例工具执行数据分析，以及在仪表盘上直观地显示结果。

11、无薪实习

Internships (unpaid) | 3 Units

UCSC数据库与数据分析专业的学生每季度至少参加90个小时的实习，把课堂上学习到的理论知识真正运用到实际中。同时，UCSC的实习指导员也会对学生实习公司、岗位等等进行指导，以便学生获得最好的实习机会。

*美国大学与雇主协会”的官方数据统计表明，56%雇主的偏好那些通过实习的方式积累经验的求职者。这就非常直接地证明了，实习机会对每一个要找工作的人而言，实在是太重要了！

显然，UCSC Extension的职业资格证书课程，是学习数据库与数据分析专业最好的选择之一，所有的课程设置都是紧跟行业发展的步伐，甚至站在行业的前沿。

近期收到微博中收到很多家长发来询问信息，那就是大学专业的选择。有的家长和学生为了挤进那些名牌大学，甚至在当时选着了一些冷门的专业，或者分值第一点的专业。毕竟现在的社会还是看学历的，拥有哪些名牌大学的毕业证，就像是镀了一层金，身份也会高出一大截。2018年度高考已经落幕一段时间了，虽然部分报考二本和专科的考生还未收到录取通知书。

今天小编依据网络调查，发现这样一科专业是家长们备受欢迎，从就业平均水平来看，这也证实了他们的就业非常高，对于这样的专业你知道是什么吗？那就来看看以下几位网友的观点吧！

医学行业吃香的因素

网友一：医生是高薪行业

10个网友家长中，有9个认为“医生高薪行业，金饭碗”。那么就有一位家长站出来透漏“实情”了，她的一个朋友或者亲戚，在某某医院是什么主治大夫，月入多少多少，还有什么医药分成，反正就是不低，都超过大部分公务员平均水平。

好了，在这位家长口中，我们得出了：医生平均工资高！

网友二：有个医生，看病方便

很多人都喜欢家里（或者不太远的亲戚关系里）有个医生，看病方便。但是作为医生，我绝不让自己的孩子以医学为专业，我会教自己的孩子一些基本医学常识，碰到亲人出现情况，会紧急处理（非亲人请直接打120），但作为职业就算了。

网友三：荣誉的身份，医生行业高大尚

有的家长将“有个医生，看病方便”看成了荣誉，不管你多大的官都会生病，不管你多有钱也会生病，你只要生病，就会来求医。成为名医的家长就被荣誉加身了，成为万众瞩目的

网友四：毕业工作有保证，医保系统完善，医疗队伍扩大

医学高校的分数不是很高，但毕业后就业有保障，有些分数低的，报了医学，希望将来分配父母有些人脉，好分配工作。目前国家的医保系统逐步完善，医疗队伍还有很大的职位空缺。这也是医科专业，好就业的最大的原因之一，家长们认为的”金饭碗“

医学行业的苦水

一点：中国普通的人和专业的人观念薪酬反差最大的一个行业

作为医生还得养很多行政闲人，自己工资水平却被这些人控制的死死的，什么医保超标了，什么病历上交晚了，什么任务没达到，还得被扣钱，真是呵呵了，我们本职工作是治病救人，这些任务没完成是对病人的健康造成影响了？真是本末倒置，所以主要是那些家长不了解医学，以为能发财，比如拿回扣啥的，能不破产就已经很好了。

二点：医生地位愈来愈低，列入高危行业

医生比较辛苦，节假日少，风险还大，社会偏见多。一般人不生病是想不到医生的，有的人生了病找医生还疑神疑鬼，总觉得医生与回扣是划等号的。殊不知医改了，医生想多开药也开不成的，电脑软件设置死了。现在有医保限额和各种占比问题，医生不好当，突破限额要自己掏腰包。这不是干一行怨一行的问题。

三点：人情世故冷淡，各种情被淡薄

医生自己和小家庭付出太多，方便所谓亲戚，还不一定会落好，经典台词是“是亲戚我才找你……”、“看在亲戚面上……”、“你怎么对自家人也这样……”、“上次那个事，我看在我们这么近的关系上没说什么，这次……”。其实所谓医患矛盾，就是过高的期望值与现实的落差太大，找认识的医生就是因为怕没交情说不上话（提要求），本质并没有变，期望值甚至更高。

四点：累，成了他们的宗旨。

急诊室，想来很多家长没有去过，谁会没事去那个地方呢？在那里你可以看到很那种群的病人，都急切的等着求救。再看看那些医疗人员，面临这么多的病人，急切的心情让他们顾不上自己身体。在这里”累“，成了他们的宗旨。

看了这么多，那你们还感觉学习医学好吗？那选择什么专业好？你有空看看今年的几所医科大学就知道现在学医有多火了。

总评：医学是个技术活，并且当医生太辛苦，上班时间长，夜班多，加班多。没周末，没假期，精神紧张，工资也不一定很丰厚。

不过小编还是希望大家越来越多的人加入医生行列，为社会做贡献，造福更多的人，也让医生护士们轮流休息。毕竟每个人的身体最重要！欢迎各位读者评论交流。

这个时代是大数据时代，也是大数据人才稀缺的时代。由于中国人才缺口比较大，大数据也迅速成为行业和市场的热点，更多的企业无论是对大数据人才的招聘都成了刚需，这也促使大数据人才的薪资在同岗位中是最高的，掌握大数据技术，工资提升40%左右是很常见的。

大数据的就业领域是很宽广的，不管是科技领域，还是食品产业，零售业等等，都是需要大数据人才进行大数据的处理，以提供更好的用户体验，以及优化库存，降低成本，预测需求。下面跟小编一起看看大家今后可以从事的工作岗位及未来发展方向。

大数据分析九大热门工作岗位

一、BI工程师

1：负责BI数据仓库的规划，搭建报表平台

2：参与需求分析，数据仓库建模，功能设计及评审

3：与业务部门沟通协调需求并提出各种新的数据分析项目或方案

4：负责日常业务运营提供数据支撑,对分析结果进行报表开发设计

5：负责数据仓库的日常管理与维护

6：负责BI模型设计、报表开发和数据平台门户界面开发

7： 根据项目的数据分析需求进行BI的设计和项目开发

8： 对数据进行挖掘、整理和分析，提取数据进行系统建模

9：根据需求进行数据仓库模型设计，进行程序的开发，构建企业级数据中心

二、数据仓库工程师

1：负责对应业务线数据建模及数据仓库相关产品的设计、开发、测试

2：元数据的搭建和ETL设计、开发、测试

3：构建本行业大数据中心，创建OLAP多维分析模型并组织数据，开发数据集市

4：参与大数据平台数据仓库的建设工作

三、ETL工程师

1：遵循开发任务的计划与目标，服从项目经理的工作安排，参与或负责项目的详细设计、ETL开发等工作，保证项目的顺利研发及推广

2：负责数据中心建模、业务运营数据的导入、数据预处理的设计和开发

3：负责数据中心ETL流程的优化及解决ETL相关技术问题。

4：具备良好的ETL实施经验，能够按要求完成ETL设计和开发工作

四、数据分析师

1：深入理解业务数据分析需求，支持面向业务的数据服务

2：进行数据产品的算法研究和实现，并定期优化迭代

3：数据分析的流程、规范和方法建立，及相关文档的撰写

4：通过API收集数据，进行数据清洗并保存到数据库

五、数据库开发工程师

1：负责数据库系统日常架构，开发，部署，维护，备份和运行方案设计

2：负责软件开发项目中的数据库设计工作

3：负责数据库日常运维程序的编写

4：根据业务需求设计数据库结构，编写表、存储过程、触发、函数等脚本，及性能优化、疑难问题的解决

六、报表开发工程师（Cognos、MSTR）

1：按照要求使用ETL工具对数据进行清洗和整理

2：针对SQLSERVER或者ORACLE数据库编写存储过程

3：使用COGNOS或MSTR等报表工具进行模型创建和报表开发

七、软件实施工程师

1：负责BI项目的需求调研与分析工作

2：负责BI项目的方案设计、实施或项目管理工作

3：了解岗位范围内的硬件、软件、网络的状况，实施维护或更新计划、确保正常使用

4：负责上线企业的BI系统维护，提供技术支持对接服务

5：接受上级领导工作安排，完成其它临时性或突发性任务

八、运维工程师

1：负责BI系统的日常维护、故障排查、性能调优

2：负责系统的日常监测与维护、故障处理、性能分析与优化

3：负责系统模块部署、配置、维护、备份与监测

4：负责服务器维护和监控

5：负责系统的相关文档编写、运维信息统计等

九、软件测试工程师

1：根据产品需求完成测试计划、测试设计以及测试用例的编写，完成测试报告的分析与输出

2：对系统bug进行跟踪、推动解决，保障产品质量

3：根据需要完成关键模块的白盒测试工作

以上就是容大教育小编对数据分析专业可任职九大工作岗位整理，容大教育IT培训机构，专业数据分析培训机构，能够为你提供良好的技术学习，能够更好地了解每个学习者的需求，根据每个学习者特定的需求为其配置最合适的资产组合，无疑更加符合学习者的需求。

很多院校有大数据课程和方向，关联度较高的专业有：软件工程、计算机科学、信息管理、应用数学/数学与统计。大数据应用有三个主要层面（即数据管理、系统开发、海量数据分析与挖掘），这三个层面系统地帮助企业掌握大数据应用中的各种典型问题的解决办法。

大数据的核心技术：（1）大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQL Database技术的原理与应用；分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。（2）关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。（3）分布式数据处理。详细介绍分析Map/Reduce计算模型和Hadoop Map/Reduce技术的原理与应用。（4）海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash, Jaccard and Cosine similarity，TF-IDF数据挖掘算法–聚类算法；以及数据挖掘技术在行业中的具体应用。（5）物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。（6）文件系统（HDFS）。详细介绍HDFS部署，基于HDFS的高性能提供高吞吐量的数据访问。（7）NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。

8月，全国各地大中专院校陆续开始报名。对于还没明确人生方向的初高中生来说，选学校、选专业是决定未来职业方向，甚至是决定前途命运的大事。2018年学什么专业好就业？现在的热门专业有哪些？哪些专业工资待遇更高，未来发展前景更好呢？

有关数据显示：产品需求量越大的行业，人才紧缺越严重的行业，发展前景越广阔的行业，就业后薪资起点就越高，个人未来的职业发展前景也就越好。

某权威网站显示：截止2017年底，全国汽车保有量达2.17亿辆，与2016年相比，全年增加2304万辆，增长11.85%。再加上高速路网和物流行业的快速发展，中国已经成为名副其实的「车轮上的国家」。

同时，根据甘肃万通汽车学院在上百名汽修行业大师、企业技术总监，以及千余家校企合作单位中的大量调研，结果显示，在我国已经成为汽车大国的背景下，汽车后服务市场人才缺口却高达300万！形势可以说十分严峻，并且随着汽车行业的不断壮大，这种人才缺口还在不断扩大中。

因此，我们可以负责任地说，2018年从事汽车后服务市场，前景广阔！

确定了学什么专业，还要到专业的学校学习才能确保教学质量，确保学得会，用得上。因此，初高中生要学汽修技术，最重要的择校标准就是选择「专业」、「专门」、「专注」于汽车职业技能教育的院校，在这方面，甘肃万通汽车学院可以说是上上之选。

首先，甘肃万通汽车学院与省内高校定向合作，招生范围为初高中生，选择两年或三年制长期专业学习后，实现技能+学历双丰收。

其次，万通汽车教育专业教学三十年，是央视推荐汽车教育品牌，千余家汽车名企建立校企合作关系，学生没有毕业就被企业预定了

权威分析：2018年什么专业就业前景好？

总之，汽车行业发展的火热，严重的用工荒，广泛的就业空间，光明的职业前景，都对2018年学什么专业就业前景好，做出了最佳注脚。

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享 IT 技术和行业经验，请关注-技术学派。

在回答“从事数据分析师学什么专业”这个问题之前，小编想先给大家介绍下数据分析这师的就业现状！

一个优秀的数据分析师可以帮助企业根据现有数据做出科学、合理的分析，在前行中准确定位，为企业排除干扰，创造价值。数据分析师这个岗位的可以从事相关数据的职位有很多，如业务数据分析师、数据挖掘师、数据科学家、数据工程师等等。

业务/商业数据分析师（BA）是完全的咨询师设定，核心价值在分析框架+报告；

数据科学家是完全的算法设定，核心价值在算法+数学；

数据工程师是完全的程序员设定，核心价值在程序；

其他还有建模分析师、数据架构师、数据产品等等；

可以说数据分析师的就业面非常之广，在公司产生的价值与被重视程度不言而喻。

小编从各大招聘网站找到国内三家大企业的招聘，从中可以发现企业对数据分析人才专业要求是怎样的。

可以看到职责描述里，第七条，数学、统计学、信息管理、计算机专业等。

岗位要求里，第一条：本科以上学历，统计学、数学、电子商务、计算机、市场营销等相关专业。

任职要求，第一条可以看到数学、统计学、数量经济学、计算机、营销学等相关专业。

这几条招聘启事专业要求有数学、统计学、信息管理、计算机、电子商务、市场营销、数量经济学专业。这些专业具体都学些什么内容呢？

数学

随着科技事业的发展，数学专业和其他专业的联系也越来越紧密，所以数学专业知识也得广泛的应用。

数据分析师需要有专业的数学功底和严密的逻辑思维，而严密的逻辑思维则来源于扎实的数学功底。 学数学的同学更注重理论的完备性和逻辑链的完整性，即对于在分析过程中出现的任何一些命题，都要能证明它是正确的还是错误的。

统计学

统计学贯穿数据分析的全过程，没有统计学基础，很难有专业的数据分析。数据分析的 各个步骤，都要用到统计学的知识。

信息管理

信管专业主要对各种“系统”进行分析、设计与实现，技术与管理的有机结合。学习内容：财务、系统数据分析、IT技术，可以说信管专业非常对口数据分析师职位，从信息中 发掘财富。与计算机结合，使计算机作为工具， 信息管理更加有效和实用，随着企业经营规模的现代化，对信息管理 的要求越来越强烈。

例如铁路订票系统，就是对车票这种信息的查询和管理系统。可以说软件开发的最主要面向的客户就是 帮助企业制作良好的信息管理系统。

计算机

学习计算机专业同学可以从事数据研发/开发工程师，数据挖掘/机器学习工程师，对编程技术上的要求高一些。

电子商务

电子商务专业培养具备管理、经济、法律及网络技术、计算机技术、市场营销、电子商 务技术以及电子商务管理等方面的知识和基本技能，现在各大交易都在网站等网络平台 交易完成，数据分析在电商行业的应用非常广。

市场营销

数据分析师常要为企业的营销决策提供支持，这就要求懂营销。

具有营销背景的数据分析师思路会更清晰、更开阔。当让他做竞争分析时，他会想到波 特五个力；让他做环境分析时，他会想到PEST、让他做消费者偏好分析，他会想到科 特勒用户决策流程。

数量经济学

数量经济学是运用统计学、经济计量学、投入产出分析、最优规划方法、经济控制论和计算技术等各种手段，对各种经济问题进行理论分析、经验检验和政策分析的一门应用经济学科。数量经济学更偏技术类，相比其他经济学金融类专业，数经的优势是统计软件够独立编程。