中企动力 > 商学院 > 大数据分析属于什么专业
  • ?

    大数据专业,未来就业的潜力股!你可了解?

    孤芳魂

    展开

    2017年高考已经顺利结束,接下来考生也应该为填志愿好好准备了,今天小编为大家解读一下最近最热门的专业-大数据科学与大数据技术,供高三毕业生填志愿时参考大数据专业产生的背景

    21世纪中国互联网经济的兴起,特别是以电商为主的商业平台的兴起以及智能手机的普及,各行业强化与互联网的结合,各行业产生的大量数据需要收集、处理、分析以及云数据库的兴起等都需要大量的大数据人才。

    另一方面,随着互联网的发展,网络安全和个人隐私的保护都需要大量的人才进行数据的保护。而我国开设大数据相关专业的高校少之又少。所以各高校从2016年才起积极申请开设大数据相关的专业,第一批招生从2017年6月开始

    “大数据”专业学什么?

    大数据领域三个大的技术方

    方向一、Hadoop大数据开发方向

    方向二、数据挖掘、数据分析&机器学习方向

    方向三、大数据运维&云计算方向

    该专业包括基础课程、核心课程及选修课程三大模块。其中专业基础部分侧重为语言和专业基础方面的课程,包括《大数据的Python基础》、《Linux系统基础》、《大数据的统计基础》等。专业核心部分涵盖了数据采集、存储与处理方面的内容,包括《数据存储(MySQL)》及《数据清洗》等课程。专业选修部分以大数据分析、开发及应用为重点,开设包括《数据分析导论》、《大数据行业应用导论》、《数据可视化》、《Hadoop大数据平台基础》等课程。

    开设大数据专业的高校

    在教育部公布的高校新增专业名单中,有35所高校成为第成功申请“数据科学与大数据技术”本科新专业的高校,第一批三所高校为:北京大学、对外经济贸易大学、中南大学

    第二批高校清单如下:

    大数据专业培养本科生的目标

    “大数据技术与应用”专业强调培养具有大数据实践能力的大数据人才。该专业重点培养具有以下两方面素质的人才:一是工具的掌握,掌握数据采集和数据分析的基本工具;二是数据分析能力,掌握实用数据分析和初步数据建模能力。

    大数据专业毕业生的发展前景

    随着工业生产的智能化、互联网技术对各行业的渗透,未来大数据专业人才的就业面会更广阔,晋升的速度也会相对较快;据全球咨询公司麦肯锡的报告显示:预计到2018年大数据人才的岗位需求会激增,特别是在中国,需求缺口会更大。这些都为大数据专业的毕业生提供很好的就业前景

    填报建议

    高三毕业生在选择大数据及其相关专业时,最好与自身的兴趣相结合,不要因为大数据专业热门而盲目地填报;大数据专业一般只招收理科生,学习大数据的理论知识及其技术需要很强的逻辑思维和长久的坚持;如果在大学期间没有学到真技术,毕业后也会面临失业的危险!

  • ?

    大数据时代,数据分析师的报考条件是什么?

    小骚情

    展开

    随着互联网的迅速发展,人已经进入大数据时代,在大数据时代,数据分析、数据挖掘工作面临着机遇与挑战,特别是近几年,大数据已逐渐走进商业、政府、科研、教育、医疗等各行业。同时,也给商业、政府、科研、教育、医疗等各行业带来了不小的危机感。那么什么是大数据,大数据时代,数据分析师的报考条件是什么呢?

    大数据时代

    什么是大数据?

    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    数据无处不在。在网络上、在报纸上、书籍上。在家用电脑的磁盘上,在我们的脑海里,数据大量且广泛的存在。围绕数据,人类已经做了很多数据科学的研究和应用工作,其中最为基础的就是数据的存储、传输。数据的价值在于数据上承载的信息,信息的价值在于消除不确定性的成本及其直接和间接的作用,而这一系列的价值使得我们对数据的价值予以空前的重视。

    什么是数据分析师?

    数据分析师是指基于各种分析手段对大数据进行科学分析、挖掘、展现并用于决策支持的过程,大数据分析师就是从事此项职业的从业人员称呼,国内已有商务部对大数据分析师进行等级认证。

    大数据时代,数据分析师的培养

    (1)培养核心技术人才,确保长期竞争力。美国在建立全国医疗系统时,将系统外包给了加拿大的一家公司,系统运行的第一天就出现了崩溃。美国政府为此对该模式进行了反思,概括起来有三点:①外包公司设计时只顾满足甲方的眼前利益,不会为甲方的长远利益考虑;②项目外包造成美国技术骨干人员断层,导致出现问题后自身无法解决;③采用该模式导致美国没有了核心技术。

    因此,在采用项目外包模式的同时,需要掌握其核心技术。在大数据时代,从数据分析、信息管理、IT技术三个方面保持核心竞争力。需要培养和保持业务、产品设计、数据分析、数据架构等方面的骨干队伍。

    (2)建立专业化的大数据分析团队。大数据分析的核心是数学建模,基础是实际业务,结果是自动化程序。在实际工作中需要正确、合理的使用数学建模的思维,构建以数学模型做为基础的数据分析,建立量化管理风险的理念。深刻认识并正确驾驭大数据分析,大数据分析的方法是处于不断发展过程中的,需要根据实际问题,结合实际数据,灵活构建模型。

    通过上述内容我们了解到什么是大数据,大数据对社会生活带来方方面面的影响,下面让我们一起来看看大数据时代,数据分析师的报考条件是什么吧?

    数据分析

    数据分析师的报考条件是什么?

    自2018年起,考生通过全部课程考试并成绩合格,初、中、高级通过实践应用能力考核,经审核后,获得数据分析师身份认证,并由中国商业统计学会颁发“数据分析师证书(BDA)”。初、中、高级证书申请条件如下:

    1.初级数据分析师:

    (1)具有大专以上学历,或从事统计工作的人员;

    (2)通过初级笔试、上机考试、报告考核,成绩全部合格。

    2.中级数据分析师:

    (1)具有本科及以上学历,或初级数据分析师证书,或从事相关工作一年以上;

    (2)通过中级笔试、上机考试,成绩全部合格;

    (3)通过中级实践应用能力考核。

    3.高级数据分析师:

    (1)研究生以上学历,或从事相关工作五年以上;

    (2)获得中级数据分析师证书。

    (3)通过高级笔试、报告考核后,获取准高级数据分析师证书;

    (4)考生在获得准高级证书后,在专业领域工作五年,并撰写一篇专业数据分析论文,经答辩合格,获取高级数据分析师合格证书。

  • ?

    严谨一点说大数据专业和计算机专业有什么区别?哪个更好一些?

    张二民

    展开

    严谨一点说大数据专业和计算机专业有什么区别?哪个更好一些?

    首先严谨一点说,大数据专业是指“数据科学与大数据技术”,而且今天说的计算机专业,也是提指“计算机类”专业。以下简要说明二者的区别与关系:

    一、计算机类属于工学的0809,是大类,还可以细分,其中901的计算机科学与技术,是计算机类专业的鼻祖。其它的902至910都是2000年以后细分增设的。详细专业如下:

    二、计算机科学与技术,国内最早开设的高校是清华大学的电子计算机专业1956年、北京大学1955年的计算数学专业;1956年交通大学(上交前身)也支援电子电气类13人去清华大学(与清华的电子电气类、机械电子类抽取的15名)共同27人组建新专业电子计算机,原计划是1958提毕业,但当时由于国家需要,就1957毕业了,同时交通大学也派出5人赴北京计算机训练班【中科院计算所举办】学习,因56、57年学校西迁,学成学员落户西安。1957年4月17日,教育部批准交通大学(西安)增设电子计算机专业。

    三、真正的大数据专业——数据科学与大数据技术,是2016年教育部第一批新增三所大学,分别是北京大学、对外经济贸易大学、中南大学;2017年新增在32所、到2018年新增248所,其计283所。

    四、关于数据科学与大数据技术专业,早于2016年前,中南大学于2015年就进行过试点招生:计算机科学与技术(大数据方向)。且中南大学有医疗方面的资源,标志性事件:2017年“医疗大数据应用技术国家工程实验室(中南大学)”揭牌,标志“医疗大数据应用技术国家工程实验室(中南大学)”建设正式启动。

    五、虽然数据科学与大数据技术开设的院校比较多,但报考时,依然得参考计算机科学与技术专业强势的院校,其中有两个区域,顺便要说一下,山西、贵州,山西有百度的百度云基地、贵州呢,近两年大数据比较抢眼,苹果数据中心、华为数据中心,这两省的同学,如果不出省门,相对来说会有相关的实践基础,本身大数据是计算机科学、数学、统计学的交叉学科。实践性也特别强。

    以上是我关于两个专业的分析也说明,有不同意见的在下方留言讨论。

    ------------------------------------------------------------

  • ?

    大数据专业怎样,就业好吗?

    钱宫苴

    展开

    每一个大学都设立了很多的专业,供学生们自由选择适合自己的专业。学生们比较偏向于选择一些较为热门的专业,希望能够对日后的就业有所帮助。专业的选择是很重要的,除了看重个人兴趣之外,还要考虑就业前景。有些学生想选择大数据专业,但是不知道大数据专业怎样,就业好吗?

    什么是大数据?很多学生对大数据专业并不是很了解,这个专业听起来很高大上的样子。所谓的大数据是指将多种渠道收集到的数据进行采集、存储、整合、分析、控制从而得到的数据。多渠道得到的数据进行加工处理,目的是为了更好地为决策服务,得到的数据更加有用。

    大数据行业在这几年来非常火爆,许多高校都开设了大数据专业,很多学生选择报考这个专业。毕业生的就业方向也是比较广泛的,可以根据个人兴趣选择适合自己的工作岗位。大数据专业的毕业生就业方向有:大数据应用开发类、大数据系统研究类、大数据分析类等等。从事的工作岗位有:大数据工程师、大数据分析师等等。

    大数据领域里面蕴含有三个技术方向,第一个是大数据运维与云计算方向,第二个是数据挖掘、数据分析与机器学习方向,第三个方向是Hadoop大数据开发方向。毕业生们可以尝试着熟练掌握三者之一,当然全部掌握了是最好的。要是精通其一的话,那么将来的就业前景会是比较好的,而且薪酬待遇也是较为理想的。

    现在是大数据时代,我们国家正在大力发展大数据,现在社会也是很需要这方面人才的。大数据方面的人才紧缺,很多企业高薪聘请有能力的大数据高级应用人才。大数据是一个热门的行业,要是学生们想选择大数据专业的话,那么需要好好扎实专业知识,为了日后更好地在大数据行业中获得较好的发展。

  • ?

    什么叫大数据分析

    醉薇

    展开

    大数据行业发展如火如荼,国家政策利好,互联网大佬纷纷在大数据行业布局,我们想让自己的职业生涯在一个朝阳行业发展,肯定又要学习相关技术,让自己与时俱进,但是难就难在大数据是一个新兴事物,目前我国大学的专业里面还鲜少有这个专业,国家刚批的大数据专业,全国目前35个高校,但是从17年开始招生,2021年才有第一批毕业生进入职场,在四年期间,是大数据行业发展的飞速时期,没有行业发展是等着人才进入的,而是需要要虚位以待、蓄势待发,所以在没有高等教育准备好的大数据教育,如何高效的学习大数据,如何快速的与行业发展想契合,那么需要我们成为第一个吃螃蟹的人,作为一个随着大数据行业成长的职业人,首先要知道大数据是个啥?

    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    那来帮大家分析下:如何高效的学习大数据。

    经常有初学者会问,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高……首先,如果你确定了想往这个方面发展,先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器?软件专业——软件开发、编程、写代码?还是数学、统计学专业——对数据和数字特别感兴趣?

    那么你能找师傅带吗?

    但凡有这种想法的人,或多或少都会存有侥幸之心,或者叫做“天真,单纯”。希望不花一分钱,就能更快速的学到更优质,更实用的技能。

    关于这一点,我只想反问一句你:“如果你是大师,你凭什么愿意带我?”

    其实这就是想告诉你大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

    先说一下大数据的4V特征:

    数据量大,TB->PB

    数据类型繁多,结构化、非结构化文本、日志、视频、图片、地理位置等;

    商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来;

    处理时效性高,海量数据的处理需求不再局限在离线计算当中。

    现如今,正式为了应对大数据的这几个特点,开源的大数据框架越来越多,越来越强,先列举一些常见的:

    文件存储:Hadoop HDFS、Tachyon、KFS

    离线计算:Hadoop MapReduce、Spark

    流式、实时计算:Storm、Spark Streaming、S4、Heron

    K-V、NOSQL数据库:HBase、Redis、MongoDB

    资源管理:YARN、Mesos

    日志收集:Flume、Scribe、Logstash、Kibana

    消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ

    查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

    分布式协调服务:Zookeeper

    集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager

    数据挖掘、机器学习:Mahout、Spark MLLib

    数据同步:Sqoop

    任务调度:Oozie

    ······

    第一步:初识Hadoop

    1.1 学会百度与Google

    不论遇到什么问题,先试试搜索并自己解决。

    Google首选,翻不过去的,就用百度吧。

    1.2 参考资料首选官方文档

    特别是对于入门来说,官方文档永远是首选文档。

    相信搞这块的大多是文化人,英文凑合就行,实在看不下去的,请参考第一步。

    1.3 先让Hadoop跑起来

    Hadoop可以算是大数据存储和计算的开山鼻祖,现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

    关于Hadoop,你至少需要搞清楚以下是什么:

    · Hadoop 1.0、Hadoop 2.0

    · MapReduce、HDFS

    · NameNode、DataNode

    · JobTracker、TaskTracker

    · Yarn、ResourceManager、NodeManager

    自己搭建Hadoop,请使用第一步和第二步,能让它跑起来就行。

    建议先使用安装包命令行安装,不要使用管理工具安装。

    另外:Hadoop1.0知道它就行了,现在都用Hadoop 2.0.

    1.4 尝试使用Hadoop

    · HDFS目录操作命令;

    · 上传、下载文件命令;

    · 提交运行MapReduce示例程序;

    · 打开Hadoop WEB界面,查看Job运行状态,查看Job运行日志。

    · 知道Hadoop的系统日志在哪里。

    1.5了解它们的原理

    MapReduce:如何分而治之;

    HDFS:数据到底在哪里,什么是副本;

    Yarn到底是什么,它能干什么;

    NameNode到底在干些什么;

    ResourceManager到底在干些什么;

    1.6 自己写一个MapReduce程序

    仿照WordCount例子,自己写一个(照抄也行)WordCount程序,

    打包并提交到Hadoop运行。

    不会Java的话,Shell、Python都可以,有个东西叫Hadoop Streaming。

    如果能认真完成了以上几步,恭喜你,你的一只脚已经进来了。

    第二步:更高效的WordCount

    2.1 学点SQL吧

    如果不懂数据库的童鞋先学习使用SQL句。

    2.2 SQL版WordCount

    在1.6中,你写(或者抄)的WordCount一共有几行代码?

    如果用SQL的话:

    SELECT word,COUNT(1) FROM wordcount GROUP BY word;

    这便是SQL的魅力,编程需要几十行,甚至上百行代码,SQL一句就搞定;使用SQL处理分析Hadoop上的数据,方便、高效、易上手、更是趋势。不论是离线计算还是实时计算,越来越多的大数据处理框架都在积极提供SQL接口。

    2.3 安装配置Hive

    Hive算是数据仓库工具,安装不难,网上有很多教程,配置完成后,可以正常进入Hive命令行。

    2.4 试试使用Hive

    尝试在Hive中创建wordcount表,并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

    明明写的是SQL,为什么Hadoop WEB界面中看到的是MapReduce任务?

    2.5 学会Hive的基本命令

    创建、删除表;加载数据到表;下载Hive表的数据;并学习更多关于Hive的语法和命令。

    0和Hadoop2.0的区别

    MapReduce的原理(还是那个经典的题目,一个10G大小的文件,给定1G大小的内存,如何使用Java程序统计出现次数最多的10个单词及次数);

    HDFS读写数据的流程;向HDFS中PUT数据;从HDFS中下载数据;

    自己会写简单的MapReduce程序,运行出现问题,知道在哪里查看日志;

    会写简单的SELECT、WHERE、GROUP BY等SQL语句;

    Hive SQL转换成MapReduce的大致流程;

    Hive中常见的语句:创建表、删除表、往表中加载数据、分区、将表中数据下载到本地;

    从上面的学习,你已经了解到,HDFS是Hadoop提供的分布式存储框架,它可以用来存储海量数据,MapReduce是Hadoop提供的分布式计算框架,它可以用来统计和分析HDFS上的海量数据,而Hive则是SQL On Hadoop,Hive提供了SQL接口,开发人员只需要编写简单易上手的SQL语句,Hive负责把SQL翻译成MapReduce,提交运行。

    第三步:把别处的数据搞到Hadoop上

    此处也可以叫做数据采集,把各个数据源的数据采集到Hadoop上。

    3.1 HDFS PUT命令

    put命令在实际环境中也比较常用,通常配合shell、python等脚本语言来使用。建议需熟练掌握。

    3.2 HDFS API

    HDFS提供了写数据的API,自己用编程语言将数据写入HDFS,put命令本身也是使用API。

    实际环境中一般自己较少编写程序使用API来写数据到HDFS,通常都是使用其他框架封装好的方法。比如:Hive中的INSERT语句,Spark中的saveAsTextfile等。

    可以尝试了解原理,试着写几个Demo。

    3.3 Sqoop

    Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

    就像Hive把SQL翻译成MapReduce一样,Sqoop把你指定的参数翻译成MapReduce,提交到Hadoop运行,完成Hadoop与其他数据库之间的数据交换。

    自己下载和配置Sqoop(建议先使用Sqoop1,Sqoop2比较复杂)。

    了解Sqoop常用的配置参数和方法。

    使用Sqoop完成从MySQL同步数据到HDFS;

    使用Sqoop完成从MySQL同步数据到Hive表;

    PS:如果后续选型确定使用Sqoop作为数据交换工具,那么建议熟练掌握,否则,了解和会用Demo即可。

    3.4 Flume

    Flume是一个分布式的海量日志采集和传输框架,因为“采集和传输框架”,所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志,并传输到HDFS上。因此,如果你的业务有这些数据源的数据,并且需要实时的采集,那么就应该考虑使用Flume。

    下载和配置Flume。使用Flume监控一个不断追加数据的文件,并将数据传输到HDFS;

    PS:Flume的配置和使用较为复杂,如果你没有足够的兴趣和耐心,可以先跳过Flume。

    3.5 阿里开源的DataX

    之所以介绍这个,是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具,就是之前基于DataX开发的,个人感觉非常好用。现在DataX已经是3.0版本,支持很多数据源。你也可以在其之上做二次开发。

    PS:有兴趣的可以研究和使用一下,对比一下它与Sqoop。

    至此,你的“大数据平台”应该是这样的:

    第四步:把Hadoop上的数据搞到别处去

    前面介绍了如何把数据源的数据采集到Hadoop上,数据到Hadoop上之后,便可以使用Hive和MapReduce进行分析了。那么接下来的问题是,分析完的结果如何从Hadoop上同步到其他系统和应用中去呢?

    其实此处的方法和第三步基本一致的。

    4.1 HDFS GET命令

    把HDFS上的文件GET到本地。需要熟练掌握。

    4.2 HDFS API

    原理同3.2。

    4.3 Sqoop

    原理同3.3。

    使用Sqoop完成将HDFS上的文件同步到MySQL;

    使用Sqoop完成将Hive表中的数据同步到MySQL;

    4.4 DataX

    原理同3.4

    此时,“你的大数据平台”应该是这样的:

    走完第三步和第四步的流程,那么你应该已经具备以下技能和知识点:

    · 知道如何把已有的数据采集到HDFS上,包括离线采集和实时采集;

    · 知道sqoop(或者还有DataX)是HDFS和其他数据源之间的数据交换工具;

    · 知道flume可以用作实时的日志采集;

    至此,对于大数据平台,应该已经掌握如何搭建Hadoop集群,把数据采集到Hadoop上,使用Hive和MapReduce来分析数据,把分析结果同步到其他数据源。

    接下来的问题就是,Hive使用的越来越多,你会发现很多不愉快的地方,特别是速度慢,

    大多情况下,明明我的数据量很小,它都要申请资源,启动MapReduce来执行。

    第五步:快一点吧,我的SQL

    其实大家都已经发现Hive后台使用MapReduce作为执行引擎,实在是有点慢。因此SQL On Hadoop的框架越来越多,按我的了解,最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存,提供了SQL接口来快速查询分析Hadoop上的数据。

    目前我们的方案使用的是SparkSQL,至于为什么用SparkSQL,原因大概如下:

    · 使用Spark还做了其他事情,不想引入过多的框架;

    · Impala对内存的需求太大,没有过多资源部署;

    5.1 关于Spark和SparkSQL

    什么是Spark,什么是SparkSQL。

    Spark有的核心概念及名词解释。

    SparkSQL和Spark是什么关系,SparkSQL和Hive是什么关系。

    5.2 如何部署和运行SparkSQL

    Spark有哪些部署模式?

    如何在Yarn上运行SparkSQL?

    使用SparkSQL查询Hive中的表。

    PS:Spark不是一门短时间内就能掌握的技术,因此建议在了解了Spark之后,可以先从SparkSQL入手,循序渐进。

    第六步:一夫多妻制

    其实我想说的是数据的一次采集、多次消费。

    在实际业务场景下,特别是对于一些监控日志,想即时的从日志中了解一些指标(关于实时计算,后面步节会有介绍),这时候,从HDFS上分析就太慢了,尽管是通过Flume采集的,但Flume也不能间隔很短就往HDFS上滚动文件,这样会导致小文件特别多。

    为了满足数据的一次采集、多次消费的需求,这里要说的便是Kafka。

    6.1 关于Kafka

    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    6.2 如何部署和使用Kafka

    使用单机部署Kafka,并成功运行自带的生产者和消费者例子。

    使用Java程序自己编写并运行生产者和消费者程序。

    Flume和Kafka的集成,使用Flume监控日志,并将日志数据实时发送至Kafka。

    至此,“大数据平台”应该扩充成这样:

    这时,使用Flume采集的数据,不是直接到HDFS上,而是先到Kafka,Kafka中的数据可以由多个消费者同时消费,其中一个消费者,就是将数据同步到HDFS。

    总结:

    为什么Spark比MapReduce快。

    使用SparkSQL代替Hive,更快的运行SQL。

    使用Kafka完成数据的一次收集,多次消费架构。

    自己可以写程序完成Kafka的生产者和消费者。

    前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能,而这其中的每一步,都需要一个任务(程序)来完成,各个任务...

  • ?

    就业前景极好的大数据专业,你了解吗?

    深蔚蓝

    展开

    当下,人工智能、大数据等热门词汇频频出现在人们的视野中。作为万物分析的大数据更是站在互联网的风口浪尖上,直接催热了大学里的大数据专业。

    从IT时代进入DT时代,高校在大数据方向上设置了什么专业,具体学什么,就业怎么样,作为新兴专业,考生如何报考?今天,就来谈一谈这个大家关注的热门专业。

    1.什么叫大数据?

    进入互联网时代,中国的网民人数已超7亿,大数据的应用涉及到生活的方方面面。例如,你在网站上买书,商家就会根据你的喜好和其他购书者的评价给你推荐另外的书籍;手机定位数据和交通数据可以帮助城市规划;甚至用户的搜索习惯和股市都有很大关系。

    在谈到大数据的时候,人们往往知道的就是数据很大,但大数据≠大的数据。大数据,就是存储在各种存储介质中的海量的各种形态数据,具有5V特点,即:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。大数据之“大”,不仅在于其“大容量”,更在于其“大价值”,并已成为除人力、土地、财务、技术之外的另一种重要的基础资源。对各种存储介质中海量信息的采集、存储、分析、整合、控制而得到的数据就是大数据。大数据技术的意义不在于掌握庞大的数据信息,而在于对这些数据进行专业化处理,通过“加工”实现数据的“增值”,更好地辅助决策。

    2.数据科学与大数据技术专业

    本科专业中和大数据相对应的是“数据科学与大数据技术”专业,它是2015年教育部公布的新增专业。2016年3月公布的《高校本科专业备案和审批结果》中,北京大学、对外经济贸易大学和中南大学3所高校首批获批开设“数据科学与大数据技术”专业。随后第二年又有32所高校获批“数据科学与大数据技术”专业。两次获批的名单中显示,该专业学制为四年,大部分为工学。

    数据科学与大数据技术是个交叉性很强的专业,很难说完全归属于哪个独立的学科。所以,不同的学校有的是信息学院申报,有的是计算机学院牵头申报,有的设在统计学院,还有的在经管学院。像北京大学这个专业是放在理学下,授予理学学位。大多数是设在工学计算机门类下,授予的是工学学位。数据科学很早就存在,是个比较经典的学科,现在和大数据技术结合形成了这个专业。目前教育部设定的本科专业名称为“数据科学与大数据技术”,专科名称是“大数据技术与应用”。

    3.数据科学与大数据技术学什么?

    以对外经济贸易大学该专业为例,专业知识结构包括数学、统计、计算机和大数据分析四大模块,具体课程设置如下:

    数学:数学分析一、数学分析二、高等代数、离散数学。统计学:概率论与数理统计、多元统计分析、随机过程。计算机:数据机构、计算机组成原理、操作系统、数据库系统原理、C++程序设计、Java程序设计、Python与大数据分析、科学计算与Matlab应用、R语言等。大数据分析:数据科学导论、机器学习与数据挖掘、信息检索与数据处理、自然语言处理、智能计算、推荐系统原理、大数据分析技术基础、数据可视化、大数据存储与管理、大数据分析实践等课程。

    数据科学与大数据技术是一门实践性很强的新兴交叉复合型学科:以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。根据各校偏重的专业方向,课程设置有所差异,感兴趣的同学可以具体查看各校的专业和课程设置情况。

    1.行业增速快 人才缺口大

    随着移动互联网和智能终端的普及,信息技术与经济社会的交汇融合,引发了数据迅猛增长。新摩尔定律认为,人类有史以来的数据总量,每过18个月就会翻一番。而海量的数据蕴含着巨大生产力和商机。

    2011年至2014年四年间,我国大数据处于起步阶段,每年均增长在20%以上。2015年,大数据市场规模已达到98.9亿元。2016年增速达到45%,超过160亿元。预计2020年,我国大数据市场规模将超过8000亿元,有望成世界第一数据资源大国。但数据开放度低、技术薄弱、人才缺失、行业应用不深入等都是产业发展中亟待解决的问题。

    根据领英发布《2016年中国最热职位人才报告》显示,有六类热门职位的人才当前都处于供不应求状态,稀缺程度各有不同,其中,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。

    目前的当务之急是解决大数据人才瓶颈问题,相关调查显示,未来3-5年大数据人才缺口达到150万之多。,但截至目前,中国大数据从业人员只有约30万人。同时,大数据行业选才的标准也在不断变化。初期,大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域,以IT、计算机背景的人才居多。随着大数据往各垂直领域延伸发展,对统计学、数学专业的人才,数据分析、数据挖掘、人工智能等偏软件领域的需求加大。

    数据分析师现在需求就很旺盛了,2年工作经验的月薪可达到8K,硕士学历的数据分析师月薪可达到12K,5年工作经验的可达到40万至60万元。

    2.大数据主要就业方向

    2015年9月国务院印发《促进大数据发展行动纲要》,系统部署大数据发展工作。《纲要》明确提出了七方面政策机制,其中第六条就是加强专业人才培养,建立健全多层次、多类型的大数据人才培养体系。目前,大数据主要有三大就业方向:大数据系统研发类、大数据应用开发类和大数据分析类。具体岗位如下:

    1.大数据系统架构师

    大数据平台搭建、系统设计、基础设施。

    2.大数据系统分析师

    面向实际行业领域,利用大数据技术进行数据安全生命周期管理、分析和应用。

    3.hadoop开发工程师。

    解决大数据存储问题。

    4.数据分析师

    不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。

    作为一名数据分析师,至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。总之,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。

    5.数据挖掘工程师

    做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。

    6.大数据可视化工程师

    随着大数据在人们工作及日常生活中的应用,大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势,再到阿里云推出县域经济可视化产品,大数据技术和大数据可视化都是幕后的英雄。

    1.院校开设情况

    大数据人才的典型胜任特征:善于做需求分析、写代码;善于与人沟通,喜欢探索未知;需要根据数据推演、分析、提出解决方案,有数据思维;需要持续保持学习状态;内性格上能动能静。

    不同办学层次的院校开设此专业,培养模式会有差异。例如,高职类院校学生由于数学基础相对薄弱,会跟多偏向于工具的使用,如数据清洗、数据存储以及数据可视化等相关工具的使用;本科院校会倾向于大数据相关基础知识全面覆盖性教学,在研究生段则会专攻某一技术领域,比如数据挖掘、数据分析、商业智能、人工智能等。

    在“教育部2015年度普通高等学校本科专业备案和审批结果”中北京大学、中南大学、对外经贸大学成为首批开设 “数据科学与大数据技术”本科专业的高校,随后中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。至去年上半年,我国已有35所高校获批“数据科学与大数据技术”本科专业。经过一年的发展,申请院校成井喷式的增长,全国高校大数据教育联盟通过教育部公示的申请2017年“数据科学与大数据技术”专业的院校来看,2017年申请院校高达263所,其中工学190所,理学73所。

    数据科学与大数据技术是个交叉性强、跨学科的专业,很难说是完全归属与那个独立的学科。高校牵头申报的学院不同,培养重点和授予的学位可能不一样。因为课程来自于不同的学院,也有高校是联合一些学院单独成立机构来申报。从名单可以看出,在大部分开设院校中该专业都属于工学类,有个别院校将其归属在理学门类,授予理学学位。

    有志于学习数据科学与大数据技术专业的学生,可以从大学的传统优势领域和行业背景考虑选择。比如,复旦大学的大数据技术本科专业是设在大数据学院下;北京大学是在数学院开设了该专业,偏数学的内容更多一些。对外经济贸易大学该专业设在信息学院,因为财经是学校传统优势,专业还会偏重经济、金融等相关学科领域的知识。

    2.报考注意事项

    了解了大数据行业和大数据专业后,对于考生填报与大数据相关的热门专业,需要注意以下几点:

    1.报考热门专业和就业热的专业并不一定是重合的,比如软件、计算机、金融,这些专业的就业率实际并没有那么高,地质勘探、石油、遥感等专业,虽然报考时是冷门,但行业需求大,就业率更高。

    2.选择热门专业,更需要考虑就业质量。专业就业好,是统计学意义,指的是平均收入水平高,比如金融专业的收入,比其他纯文科专业的平均收入较高,但落实到个体层面,就业情况就不一样了,尤其像金融专业是典型的名校高学历好就业,但对于考试成绩较低的同学来说,如果去一些普通院校、专科院校学习金融,最后就业情况可能还不如会计专业。

    3.志愿填报,除了专业,城市因素也很重要:如果想从事金融、互联网的工作,更适合去一线城市,如果是去三、四线大学的学生可以考虑应用面比较广的专业,就是各行各业都能用到的专业,比如会计专业,专科层次的会计和985层次的会计都有就业渠道。如果先选择报考城市,也可以针对所在城市的行业特点选择专业,比如沿海城市外贸相对发达,选择国际贸易、外语类专业就业情况更好,比如武汉有光谷,选择光电类专业更好就业。

    4.最终家长和考生更需要考虑个人与专业匹配的问题,金融、计算机等热门专业不是所有人都适合学,好专业不见得对所有个体都是好的。

    5.最后,考生报考时要注意,有的高校大数据专业是按大类招生,即按计算机大类,且只招理科生。

    下面是人大、北邮、中南大学三校2017年数据科学与大数据技术专业在五个省市的录取数据。其中,人大的大数据专业归统计学大类;北邮的大数据专业归计算机大类。

  • ?

    大数据时代,什么专业火的一塌糊涂?

    邵难破

    展开

    随着大数据,电商的兴起,在近十年来统计硕士申请,就业,招聘相关热度持续升温。特别是很多学校开始了商业分析和数据科学的项目,吸引了大量申请人,其实这两个方向的课程结构也有一半以上的统计课程。那么统计有哪些就业领域呢?

    在国内,统计学就业主要集中在政府部门及金融领域。比如统计局,文学情报中心,标准化研究院及国家信息中心这类政府机构。此外还有,咨询公司,各公司的市场研究部门,制造业,市场营销,工业企业的质量检测部门等企业事业单位。

    一、金融领域

    中国统计专业学生多面的的就业前景,就业形势还是非常不错的,银行,保险公司,证券公司等金融部门都是统计学可以考虑的方向。

    1、量化投资方向,包括卖方金工、买方量化投研,量化控股。但由于门槛太高,不偏好应届生,进入较难。

    2、信用卡中心也是一个大量需要统计的地方。工作相对安逸,但是工资真的不低。

    3、P2P行业去做P2P信贷。

    4、省分行。支行很多人都想回家,而回家有没有什么大公司。所以省分行,支行就是最好的选择。

    5、其他金融岗位。比如投行,行研,固收销售交易,银行管培,券商管培,非量化风险等等,也有很多人会签。

    另外,大数据很火,京东阿里给 数据挖掘之类的岗位的起薪不低,但是纯统计学想要做数据挖掘难度还是比较大。

    二、其他行业

    医疗卫生方向就业可以考虑去研究公司工作,想ppd就是全球最大的cro。在做新药研究临床试验方面这个职位还是有蛮大的需求的。

    对于学校比较有感情,可以继续读Phd,然后各大高校也是选择之一,毕竟薪火需要有人传嘛。另外可以去政府机关,也可以靠公务员,主要岗位:卫生监督、食药监、出入境等。

    三、统计专业就业因素

    统计的就业方面可以说广的不行,而最终回去做什么工作,取决于:能去什么样的岗位;本科背景;个人性格偏好等

    看完这些特点,你对统计学真的感兴趣吗?

    很多同学是因为拥挤专业更容易找工作而选择统计,实际上并不能去从统计的专业中感受到乐趣。那么看了上面统计的就业领域,是不是觉得作为一门实用工具,统计专业亦能给你别样的探索世界的乐趣呢?

  • ?

    大数据分析,不要错过这些最有“前途”的专业

    樊若冰

    展开

    图片来源于网络

    又到了一年一度的毕业季,高考在即,很多的学子面临着选择专业的问题,虽然说兴趣很重要,但是家长们考虑更多的是将来的就业和生活问题。而那些准备毕业的大学生们,也都在考虑从事一个什么样的专业能够最有“钱途”。

    下面的这则报道可能会对你有所帮助

    近日,麦可思研究院近日对外发布了一份关于中国大学毕业生收入状况的调查报道。报告显示,在2016年的应届本科毕业生从事的职业中,“互联网开发及应用”在职业高薪榜上独领风骚,毕业半年后的平均月薪就达到了5679元!而紧随其后的分别是“计算机与数据处理”(5636元)和“房地产经营”(5057元)。

    图表数据来自麦可思研究院

    据悉,这份针对大学毕业生收入情况的调查结论,基于麦可思对2016届本科毕业生毕业半年后,以及2013届毕业生毕业3年后的跟踪调查。

    2016届大学生毕业生回收到的全国总样本约28.9万份,其中本科生样本约14.7万,高职高专生样本约14.2万。对2013届大学生毕业3年后的连续跟踪调查,回收全国总样本约5万。

    对于上述高收入职业,报告分析,当前,互联网行业的迅速发展促进了有关职业的旺盛需求,让计算机、软件工程等专业毕业生收入较高。

    上述调查研究除了调查了2016届毕业生毕业半年后的收入情况,还调查了2013届大学毕业生毕业3年后的收入变化情况。

    数据显示,2013届本科生毕业三年后月收入涨幅最大的职业类是“律师/律政调查员”(半年后:3388元,三年后:7656元),涨幅为126%,其次为“医疗保健/紧急救助”(半年后:2908元,三年后:6407元),涨幅为120%。“农/林/牧/渔”(半年后:3001元,三年后:6579元)位列第三,涨幅为119%。

    除了本科生,调查显示,2013届高职高专生毕业三年后月收入涨幅最大的职业类是“经营管理”(半年后:3185元,三年后:7133元),涨幅为124%,其次是“计算机与数据处理”(半年后:3015元,三年后:6564元),涨幅为118%,“房地产经营”(半年后:3257元,三年后:7078元)位列第三,涨幅为117%。

    从这份报告中不难看出,计算机与数据处理、互联网开发及应用、经营管理、房地产经营等行业在收入方面都有很大的优势。而诸如医疗保健/紧急救助和农/林/牧/渔等职业,虽然起薪平平,但是中、长期薪酬待遇也有不错的发展。

    盛景哥温馨提示:收入不应是职业和专业选择的唯一衡量标准,在选择专业和职业时,考生或者毕业生还要将社会需求量、个人兴趣爱好等因素都考虑在内。

  • ?

    什么叫大数据专业?读毕业后干啥?哪些大学有大数据专业?

    雪莲

    展开

    什么叫大数据专业?

    大数据浪潮,汹涌来袭,与互联网的发明一样,这绝不仅仅是信息技术领域的革命,更是在全球范围加速企业创新、引领社会变革的利器。现代关系学之父德鲁克有言,预测未来最好的方法,就是去创造未来。而“大数据战略”,则是当下领航全球的先机。“大数据”(Big Data)指一般的软件工具难以捕捉、管理和分析的大容量数据。“大数据”之“大”,并不仅仅在于“容量之大”,更大的意义在于:通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值,带来“大知识”、“大科技”、“大利润”和“大发展”。“大数据”能帮助企业找到一个个难题的答案,给企业带来前所未有的商业价值与机会。大数据同时也给企业的IT系统提出了巨大的挑战。通过不同行业的“大数据”应用状况,我们能够看到企业如何使用大数据和云计算技术,解决他们的难题,灵活、快速、高效地响应瞬息万变的市场需求。

    大数据属于数学一类的专业。相关专业名称有:“信息与计算科学”、“数学与应用数学”、“统计学”等。大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法。大数据包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等,实际提升企业解决实际问题的能力。大数据领域对于人才的需求总量大、层次多、范围广,产业对于人才的需求呈井喷式增长,相关行业拥有海量的岗位需求。大数据领域的人才成为大家趋之若鹜的“香饽饽”。大数据领域的职位薪资,比相同级别的其它职位高出20%以上。

    概括为:统计学+数学+计算机=大数据

    毕业后干啥?

    大数据人才的工作是,把海量信息采集、存储、分析,挖掘出信息背后更多的价值,以更好地辅助企业、政府机关做出决策。

    哪些大学有大数据专业?

    2016年2月,教育部公布增设“数据科学与大数据技术”专业。北京大学、中南大学、对外经贸大学等3所高校率先开设本科的大数据专业。

    2017年,中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。

    2018年,中国传媒大学等248所高校获批开设该专业,增长呈井喷之势。

  • ?

    大数据属于什么专业?

    明媚

    展开

    很多院校有大数据课程和方向,关联度较高的专业有:软件工程、计算机科学、信息管理、应用数学/数学与统计。大数据应用有三个主要层面(即数据管理、系统开发、海量数据分析与挖掘),这三个层面系统地帮助企业掌握大数据应用中的各种典型问题的解决办法。

    大数据的核心技术:(1)大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQL Database技术的原理与应用;分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。(2)关系型数据库技术。详细介绍关系型数据库的原理,掌握典型企业级数据库的构建、管理、开发及应用。(3)分布式数据处理。详细介绍分析Map/Reduce计算模型和Hadoop Map/Reduce技术的原理与应用。(4)海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash, Jaccard and Cosine similarity,TF-IDF数据挖掘算法–聚类算法;以及数据挖掘技术在行业中的具体应用。(5)物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。(6)文件系统(HDFS)。详细介绍HDFS部署,基于HDFS的高性能提供高吞吐量的数据访问。(7)NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。

大数据分析属于什么专业

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP