中企动力 > 商学院 > 大数据采集与管理专业
  • ?

    “数据科学与大数据技术”专业人才培养的方向有哪些?前景如何?

    Marks

    展开

    “数据科学与大数据技术”专业是近两年才设立的新专业。“数据科学与大数据技术”专业有着很好的就业前景并且就业的宽度广,就业薪资待遇水平高,缺点可能在于专业设立较新,教学课程设置上可能无法跟上大数据人才培养的技能需求。以数据中国“百校工程”产教融合创新项目为例,在课程的设置上校企共建专业人才培养方案,对接培养大数据技能型人才,在大数据与人工智能领域设立了以下的人才培养方向。

    “数据科学与大数据技术”专业的人才培养方向

    分析类岗位

    分析类工程师。使用统计模型、数据挖掘、机器学习及其他方法,进行数据清洗、数据分析、构建行业数据分析模型,为客户提供有价值的信息,满足客户需求。

    算法工程师。大数据方向,和专业工程师一起从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题;人工智能方向,根据人工智能产品需求完成技术方案设计及算法设计和核心模块开发,组织解决项目开发过程中的重大技术问题。

    研发类岗位

    架构工程师。负责Hadoop集群架构设计开发、搭建、管理、运维、调优,从数据采集到数据加工,从数据清洗到数据抽取,从数据统计到数据分析,实现大数据全产业线上的应用分析设计。

    开发工程师。基于hadoop、spark等构建数据分析平台,进行设计、开发分布式计算业务,负责机器学习、深度学习领域的开发工作。

    运维工程师。负责大数据基础平台的运维,保障平台的稳定可用,参与设计大数据自动化运维、监控、故障处理工具。

    管理类岗位

    产品经理。负责大数据平台产品的设计工作,主导数据产品的功能规划、体验设计,与研发、数据分析、算法团队紧密合作,挖掘数据价值,形成数据产品,包括部分数据可视化的产品设计等。

    运营经理。根据业务特点,结合业务发展需求,设立数据监控模型,搭建数据分析架构,理解业务方向和战略,为业务战略决策、业务方向提供决策支持,竞争分析及建议。

    “数据科学与大数据技术”专业的就业前景

    人才需求方面,腾讯研究院于2017年12月发布了《2017年全球人工智能人才白皮书》,数据显示,中国592家公司中约有4万位员工,而中国对于人工智能人才的需求数量已经突破百万,人才严重短缺,迫使企业不断降低工作经验门槛,甚至不惜从零培养人才。人工智能人才掌握的技能宽度和深度均在逐渐提高。2017年求职的人工智能人才中,有68%的人掌握至少3种技能,简历中最常出现的技能包括spark、深度学习、算法研究、Hadoop,Python等。而人工智能工程师的招聘主要集中在算法与开发两个大类, 本科学历及以上人才目前是人工智能领域的主力军,同时,就业人群在快速年轻化。

    在薪资待遇方面,可参考IT行业类的专业,2016届本科应届毕业生就业薪资最高的10个专业中软件工程、计算机科学与技术、电子信息工程稳进前十,薪资待遇分布在7K到9K之间,IT行业的薪资待遇非常高。人工智能以及大数据技术的岗位人才需求逐步上升,未来可能会发展为就业前景最好的专业之一。

  • ?

    就业前景极好的大数据专业,你了解吗?

    Laila

    展开

    当下,人工智能、大数据等热门词汇频频出现在人们的视野中。作为万物分析的大数据更是站在互联网的风口浪尖上,直接催热了大学里的大数据专业。

    从IT时代进入DT时代,高校在大数据方向上设置了什么专业,具体学什么,就业怎么样,作为新兴专业,考生如何报考?今天,就来谈一谈这个大家关注的热门专业。

    1.什么叫大数据?

    进入互联网时代,中国的网民人数已超7亿,大数据的应用涉及到生活的方方面面。例如,你在网站上买书,商家就会根据你的喜好和其他购书者的评价给你推荐另外的书籍;手机定位数据和交通数据可以帮助城市规划;甚至用户的搜索习惯和股市都有很大关系。

    在谈到大数据的时候,人们往往知道的就是数据很大,但大数据≠大的数据。大数据,就是存储在各种存储介质中的海量的各种形态数据,具有5V特点,即:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。大数据之“大”,不仅在于其“大容量”,更在于其“大价值”,并已成为除人力、土地、财务、技术之外的另一种重要的基础资源。对各种存储介质中海量信息的采集、存储、分析、整合、控制而得到的数据就是大数据。大数据技术的意义不在于掌握庞大的数据信息,而在于对这些数据进行专业化处理,通过“加工”实现数据的“增值”,更好地辅助决策。

    2.数据科学与大数据技术专业

    本科专业中和大数据相对应的是“数据科学与大数据技术”专业,它是2015年教育部公布的新增专业。2016年3月公布的《高校本科专业备案和审批结果》中,北京大学、对外经济贸易大学和中南大学3所高校首批获批开设“数据科学与大数据技术”专业。随后第二年又有32所高校获批“数据科学与大数据技术”专业。两次获批的名单中显示,该专业学制为四年,大部分为工学。

    数据科学与大数据技术是个交叉性很强的专业,很难说完全归属于哪个独立的学科。所以,不同的学校有的是信息学院申报,有的是计算机学院牵头申报,有的设在统计学院,还有的在经管学院。像北京大学这个专业是放在理学下,授予理学学位。大多数是设在工学计算机门类下,授予的是工学学位。数据科学很早就存在,是个比较经典的学科,现在和大数据技术结合形成了这个专业。目前教育部设定的本科专业名称为“数据科学与大数据技术”,专科名称是“大数据技术与应用”。

    3.数据科学与大数据技术学什么?

    以对外经济贸易大学该专业为例,专业知识结构包括数学、统计、计算机和大数据分析四大模块,具体课程设置如下:

    数学:数学分析一、数学分析二、高等代数、离散数学。统计学:概率论与数理统计、多元统计分析、随机过程。计算机:数据机构、计算机组成原理、操作系统、数据库系统原理、C++程序设计、Java程序设计、Python与大数据分析、科学计算与Matlab应用、R语言等。大数据分析:数据科学导论、机器学习与数据挖掘、信息检索与数据处理、自然语言处理、智能计算、推荐系统原理、大数据分析技术基础、数据可视化、大数据存储与管理、大数据分析实践等课程。

    数据科学与大数据技术是一门实践性很强的新兴交叉复合型学科:以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。根据各校偏重的专业方向,课程设置有所差异,感兴趣的同学可以具体查看各校的专业和课程设置情况。

    1.行业增速快 人才缺口大

    随着移动互联网和智能终端的普及,信息技术与经济社会的交汇融合,引发了数据迅猛增长。新摩尔定律认为,人类有史以来的数据总量,每过18个月就会翻一番。而海量的数据蕴含着巨大生产力和商机。

    2011年至2014年四年间,我国大数据处于起步阶段,每年均增长在20%以上。2015年,大数据市场规模已达到98.9亿元。2016年增速达到45%,超过160亿元。预计2020年,我国大数据市场规模将超过8000亿元,有望成世界第一数据资源大国。但数据开放度低、技术薄弱、人才缺失、行业应用不深入等都是产业发展中亟待解决的问题。

    根据领英发布《2016年中国最热职位人才报告》显示,有六类热门职位的人才当前都处于供不应求状态,稀缺程度各有不同,其中,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。

    目前的当务之急是解决大数据人才瓶颈问题,相关调查显示,未来3-5年大数据人才缺口达到150万之多。,但截至目前,中国大数据从业人员只有约30万人。同时,大数据行业选才的标准也在不断变化。初期,大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域,以IT、计算机背景的人才居多。随着大数据往各垂直领域延伸发展,对统计学、数学专业的人才,数据分析、数据挖掘、人工智能等偏软件领域的需求加大。

    数据分析师现在需求就很旺盛了,2年工作经验的月薪可达到8K,硕士学历的数据分析师月薪可达到12K,5年工作经验的可达到40万至60万元。

    2.大数据主要就业方向

    2015年9月国务院印发《促进大数据发展行动纲要》,系统部署大数据发展工作。《纲要》明确提出了七方面政策机制,其中第六条就是加强专业人才培养,建立健全多层次、多类型的大数据人才培养体系。目前,大数据主要有三大就业方向:大数据系统研发类、大数据应用开发类和大数据分析类。具体岗位如下:

    1.大数据系统架构师

    大数据平台搭建、系统设计、基础设施。

    2.大数据系统分析师

    面向实际行业领域,利用大数据技术进行数据安全生命周期管理、分析和应用。

    3.hadoop开发工程师。

    解决大数据存储问题。

    4.数据分析师

    不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。

    作为一名数据分析师,至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。总之,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。

    5.数据挖掘工程师

    做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。

    6.大数据可视化工程师

    随着大数据在人们工作及日常生活中的应用,大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势,再到阿里云推出县域经济可视化产品,大数据技术和大数据可视化都是幕后的英雄。

    1.院校开设情况

    大数据人才的典型胜任特征:善于做需求分析、写代码;善于与人沟通,喜欢探索未知;需要根据数据推演、分析、提出解决方案,有数据思维;需要持续保持学习状态;内性格上能动能静。

    不同办学层次的院校开设此专业,培养模式会有差异。例如,高职类院校学生由于数学基础相对薄弱,会跟多偏向于工具的使用,如数据清洗、数据存储以及数据可视化等相关工具的使用;本科院校会倾向于大数据相关基础知识全面覆盖性教学,在研究生段则会专攻某一技术领域,比如数据挖掘、数据分析、商业智能、人工智能等。

    在“教育部2015年度普通高等学校本科专业备案和审批结果”中北京大学、中南大学、对外经贸大学成为首批开设 “数据科学与大数据技术”本科专业的高校,随后中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。至去年上半年,我国已有35所高校获批“数据科学与大数据技术”本科专业。经过一年的发展,申请院校成井喷式的增长,全国高校大数据教育联盟通过教育部公示的申请2017年“数据科学与大数据技术”专业的院校来看,2017年申请院校高达263所,其中工学190所,理学73所。

    数据科学与大数据技术是个交叉性强、跨学科的专业,很难说是完全归属与那个独立的学科。高校牵头申报的学院不同,培养重点和授予的学位可能不一样。因为课程来自于不同的学院,也有高校是联合一些学院单独成立机构来申报。从名单可以看出,在大部分开设院校中该专业都属于工学类,有个别院校将其归属在理学门类,授予理学学位。

    有志于学习数据科学与大数据技术专业的学生,可以从大学的传统优势领域和行业背景考虑选择。比如,复旦大学的大数据技术本科专业是设在大数据学院下;北京大学是在数学院开设了该专业,偏数学的内容更多一些。对外经济贸易大学该专业设在信息学院,因为财经是学校传统优势,专业还会偏重经济、金融等相关学科领域的知识。

    2.报考注意事项

    了解了大数据行业和大数据专业后,对于考生填报与大数据相关的热门专业,需要注意以下几点:

    1.报考热门专业和就业热的专业并不一定是重合的,比如软件、计算机、金融,这些专业的就业率实际并没有那么高,地质勘探、石油、遥感等专业,虽然报考时是冷门,但行业需求大,就业率更高。

    2.选择热门专业,更需要考虑就业质量。专业就业好,是统计学意义,指的是平均收入水平高,比如金融专业的收入,比其他纯文科专业的平均收入较高,但落实到个体层面,就业情况就不一样了,尤其像金融专业是典型的名校高学历好就业,但对于考试成绩较低的同学来说,如果去一些普通院校、专科院校学习金融,最后就业情况可能还不如会计专业。

    3.志愿填报,除了专业,城市因素也很重要:如果想从事金融、互联网的工作,更适合去一线城市,如果是去三、四线大学的学生可以考虑应用面比较广的专业,就是各行各业都能用到的专业,比如会计专业,专科层次的会计和985层次的会计都有就业渠道。如果先选择报考城市,也可以针对所在城市的行业特点选择专业,比如沿海城市外贸相对发达,选择国际贸易、外语类专业就业情况更好,比如武汉有光谷,选择光电类专业更好就业。

    4.最终家长和考生更需要考虑个人与专业匹配的问题,金融、计算机等热门专业不是所有人都适合学,好专业不见得对所有个体都是好的。

    5.最后,考生报考时要注意,有的高校大数据专业是按大类招生,即按计算机大类,且只招理科生。

    下面是人大、北邮、中南大学三校2017年数据科学与大数据技术专业在五个省市的录取数据。其中,人大的大数据专业归统计学大类;北邮的大数据专业归计算机大类。

  • ?

    大数据技术与应用专业的就业前景、就业待遇如何呢?

    亦玉

    展开

    大数据(big data)

    指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

    是需要新处理模式分布式处理技术、存储技术和感知技术从采集、处理、存储到形成结果的整个过程。

    从而拥有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    专业背景

    近几年来,互联网行业发展风起云涌,而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前,人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别,数据将逐渐成为重要的生产因素,人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代,专业的大数据人才必将成为人才市场上的香饽饽。

    当下,大数据从业人员的两个主要趋势是:

    1、大数据领域从业人员的薪资将继续增长;

    2、大数据人才供不应求。

    图示说明:2012-2020年全球数据产生量预测

    专业发展现状

    填补大数据技术与应用专业人才巨大缺口的最有效办法无疑还需要依托众多的高等院校来培养输送,但互联网发展一日千里,大数据技术、手段日新月异,企业所需要的非常接地气的人才培养对于传统以培养学术型、科研型人才为主要使命的高校来说还真有些难度。

    幸好这个问题已经被全社会关注,政府更是一再提倡产教融合、校企合作来创办新型前沿几乎以及“互联网+”专业方向,也已经有一些企业大胆开始了这方面的创新步伐。据我了解,慧科教育就是一家最早尝试高校校企合作的企业,其率先联合各大高校最早开设了互联网营销,这也是它们的优势专业,后来慧科教育集团又先后和北京航空航天大学、对外经济贸易大学、贵州大学、华南理工大学、宜春学院、广东开放大学等高校在硕、本、专各个层次开设了大数据专业方向,在课程体系研发、教学授课及实训实习环节均有来自BAT以及各大行业企业一线的技术大拿参与,所培养人才能够很好地满足企业用人需求。

    那大数据有哪些应用领域呢?

    1.顾客需求分析。

    2.改善生活。

    3.业务流程优化。

    4.客户体验优化。

    5.医疗优化。

    6.结果预测。

    而且工资也给的不低

    最后,需要特别指出的是:大数据专业都采用的校企合作专业共建的形式办学,并且由于是新兴前沿专业,更加注重对技能的要求和掌握,所以大家在选择就读学校的时候不仅要注意学校的层次和水平,也要注意企业的资质和经验等。

  • ?

    什么叫大数据专业?读毕业后干啥?哪些大学有大数据专业?

    梦剑

    展开

    什么叫大数据专业?

    大数据浪潮,汹涌来袭,与互联网的发明一样,这绝不仅仅是信息技术领域的革命,更是在全球范围加速企业创新、引领社会变革的利器。现代关系学之父德鲁克有言,预测未来最好的方法,就是去创造未来。而“大数据战略”,则是当下领航全球的先机。“大数据”(Big Data)指一般的软件工具难以捕捉、管理和分析的大容量数据。“大数据”之“大”,并不仅仅在于“容量之大”,更大的意义在于:通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值,带来“大知识”、“大科技”、“大利润”和“大发展”。“大数据”能帮助企业找到一个个难题的答案,给企业带来前所未有的商业价值与机会。大数据同时也给企业的IT系统提出了巨大的挑战。通过不同行业的“大数据”应用状况,我们能够看到企业如何使用大数据和云计算技术,解决他们的难题,灵活、快速、高效地响应瞬息万变的市场需求。

    大数据属于数学一类的专业。相关专业名称有:“信息与计算科学”、“数学与应用数学”、“统计学”等。大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法。大数据包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等,实际提升企业解决实际问题的能力。大数据领域对于人才的需求总量大、层次多、范围广,产业对于人才的需求呈井喷式增长,相关行业拥有海量的岗位需求。大数据领域的人才成为大家趋之若鹜的“香饽饽”。大数据领域的职位薪资,比相同级别的其它职位高出20%以上。

    概括为:统计学+数学+计算机=大数据

    毕业后干啥?

    大数据人才的工作是,把海量信息采集、存储、分析,挖掘出信息背后更多的价值,以更好地辅助企业、政府机关做出决策。

    哪些大学有大数据专业?

    2016年2月,教育部公布增设“数据科学与大数据技术”专业。北京大学、中南大学、对外经贸大学等3所高校率先开设本科的大数据专业。

    2017年,中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。

    2018年,中国传媒大学等248所高校获批开设该专业,增长呈井喷之势。

  • ?

    数据采集做不好,何谈大数据!

    Ona

    展开

    在数字经济时代,未来每个企业都可能是数字企业。数字企业则必须有自己完整的大数据体系。上期小编邀请数据大牛为大家解析了大数据底层架构(资深数据大牛深度解析:大数据底层架构!),而今天我们介绍的,便是每个企业大数据体系中最基础和最根本的部分——数据采集。

    数据采集是一切有效分析的前提。如:数据接入;数据传输;数据建模/存储;数据查询;数据可视化等。总体上可以将企业大数据体系分成:

    采集与存储平台:主要职责是对企业的相关大数据进行收集,并将收集到的数据进行存储。以便与企业管理及运用,同时也是未来数字企业的最重要资产之一。

    分析与挖掘平台:主要职责是对企业采集到的数据进行专门的分析、BI等,以及在此基础上进一步的数据挖掘、人工智能等。

    洞察与决策平台:主要职责是利用大数据分析的结果,通过自动加人工双重决策,更高效的运用到产品,业务,商业等环节以及相应的行动等。

    覆盖全局数据安全平台:主要职责是负责确保数据的安全性,保证企业的数据资产不受到损害,例如数据不丢失、不损坏、不被窃、不被改等。

    数据采集与存储平台将占据非常重要的位置。将来自各种数据源的原始大数据采集、分析、存储等。通常中小企业也可以不用自己拥有专门的大数据分析与挖掘平台,选择与相对专业的企业合作。

    面对来源各异、以结构化/半结构化为主的数据,拍拍信使用linkedin开源的camus来采集消息类数据,使用kettle来采集RMDB的数据,具有以下优势:

    1提高采集效率,降低工程成本;

    2支持Web、iOS、Android、HTML等多种平台;

    3采集全面属性、维度、指标等,使数据资源更优质;

    4建立预测模型,实时智能监控、分析、预测用户行为;

    5支持代码埋点,和全(无)埋点,按需选择,灵活运用。

    采集方案:客户端(前端);服务器日志;业务数据库;历史数据;第三方数据等。

    数据采集与存储平台一般也可以分为三个层次,即数据采集层、预处理层和存储层。同时,大数据采集平台还需要一个覆盖全局的数据安全体系。

    采集层负责采集企业各种来源的大数据;预处理层负责对采集回来的数据进行一些规范化的处理;存储层则是将预处理后的大数据进行存储,将企业大数据资产用一种方式保存起来。数据安全体系即数据安全平台。值得注意的是,当存储技术足够好、存储设备成本足够低容量足够大时,预处理层或可以选择忽略。

    本期对大数据采集的分享就到这里啦,欢迎大家联系探讨。

    (小编的鸡腿就靠各位老板啦(づ ̄ 3 ̄)づ)

    感谢您对拍拍信的认可与支持

    我们一直在路上

  • ?

    “数据科学与大数据技术”专业(专业代码080910T)课程体系

    卡斯特利翁

    展开

    2016年2月,教育部公布新增“数据科学与大数据技术”本科专业,首批北京大学、对外经济贸易大学和中南大学获批。

    “数据科学与大数据技术”专业(专业代码080910T)强调培养具有多学科交叉能力的大数据人才。该专业重点培养具有以下三方面素质的人才:一是理论性的,主要是对数据科学中模型的理解和运用;二是实践性的,主要是处理实际数据的能力。三是应用性的,主要是利用大数据的方法解决具体行业应用问题的能力。

    该专业包括基础课程、核心课程及选修课程三大模块。其中专业基础课程涵盖了数学、统计学、计算机科学等理论知识。专业核心课程侧重数据分析、计算、计算机技术以及大数据应用等方面的内容,包括了《数据科学导引》、《数据采集》及《大数据应用导论》等课程。专业选修课程在专业核心课程的基础上深入学习,包括《深度学习》、《大数据分析的算法》、《云计算与大数据平台》等,同时也在应用方面开设了新兴的行业课程,例如《金融大数据应用》、《健康医疗大数据:理论与应用》、《交通大数据:理论与应用》等。

    培养目标:

    “数据科学与大数据技术”专业,培养德、智、体、美全面发展,掌握数据科学的基础知识、理论、及技术,包括面向大数据应用的数学、统计,计算机等学科基础知识,数据建模、高效分析与处理, 统计学推断的基本理论、基本方法和基本技能。对自然科学和社会科学等应用领域中大数据的了解,具有较强的专业能力和良好外语运用能力,能胜任数据分析与挖掘算法研究和大数据系统开发的研究型和技术型人才。

    “数据科学与大数据技术”课程体系

    2016年9月,教育部公布新增“大数据技术与应用”专科专业

    “大数据技术与应用”专业(专业代码610215)强调培养具有大数据实践能力的大数据人才。该专业重点培养具有以下两方面素质的人才:一是工具的掌握,掌握数据采集和数据分析的基本工具;二是数据分析能力,掌握实用数据分析和初步数据建模能力。

    该专业包括基础课程、核心课程及选修课程三大模块。其中专业基础部分侧重为语言和专业基础方面的课程,包括《大数据的Python基础》、《Linux系统基础》、《大数据的统计基础》等。专业核心部分涵盖了数据采集、存储与处理方面的内容,包括《数据存储(MySQL)》及《数据清洗》等课程。专业选修部分以大数据分析、开发及应用为重点,开设包括《数据分析导论》、《大数据行业应用导论》、《数据可视化》、《Hadoop大数据平台基础》等课程。

    “大数据技术与应用”专业,培养掌握数据科学的基础知识及大数据相关技术,掌握大数据清洗和分析常用工具的使用,具有卓越的实践能力,能胜任数据清洗、数据存储、数据分析与挖掘、大数据系统开发与构建等工作的专业应用型人才。

    “大数据技术与应用”专业课程体系

    目前全国各类高校、高职院校已陆续开始围绕大数据专业建设展开研究并申报大数据专业。

    作为交叉型学科,大数据的相关课程涉及数学、统计和计算机等学科知识,需要系统的大数据专业教材讲义支撑教学。

    博雅大数据学院编写了《大数据分析的Python基础》《数据清洗》《数据科学导论》《数据采集与网络爬虫》《大数据应用导论》《金融征信》《大数据的数学基础》《数据可视化》《深度学习:算法与应用》《健康医疗大数据:理论与应用》《交通大数据:理论与应用》等课程。

    由欧高炎、朱占星、董彬和鄂维南合著的《数据科学导论》即将由高等教育出版社出版。

    由陈永东撰写的《赢在新媒体时代:内容、产品、市场与管理的革命》已由人民邮电出版社出版,由陈永东与赵旭隆合编的《智能营销:数字生态下的营销革命已出版。

    由阳翼撰写的《大数据营销》一书也于近期出版。

  • ?

    大数据时代,到底什么样的专业人才相对吃香?

    麦克

    展开

    北京马拉松,在地图通过GPS上可以很清楚的看到城市交通拥堵路线以及赛事路线,查看到人流量的热点分布图,从而引导人们出行保证畅通。这当中运用的就是通过大数据的对人流以及车辆信息进行收集并且快速的处理来完成的。

    大数据的运用已经渗入到我们生活的方方面面。但是长久以来 “大数据”一直是以高冷的形象出现在大众面前,面对大数据,大多数人都处于懵懂状态。今天小南就来给大家讲一讲,大数据时代下社会需要什么样的专业人才,学习大数据又能干什么呢?

    一、大数据有什么用

    了解用户特征

    通过大数据,百度掌握你的隐私,微信知道你的社交圈子,淘宝了解你的购物习惯,移动电信联通三大运营商存有你的 通话记录和上网记录……

    给企业和商业带来巨大价值

    网络浏览历史记录以及使用的应用等数据销售给广告客户。当用户距离商家很近时,就有可能收到该商家提供的折扣很大的电子优惠券等等。

    为个人带来福利

    大数据可以辅助临床诊断和用药决策;为公共卫生机构提供及时的统计分析;以及为药品研发、治疗方案设计提供数据分析。随着大数据的发展,广大公众的生活也将变得更加便利。

    二、大数据需要什么样的专业

    计算机类

    计算机学科侧重于大数据采集、存储和管理,统计学科则强调面向应用问题的大数据分析。中国人民大学将联手北大、中国科学院大学、中央财经和首经贸联合培养大数据分析硕士。

    到2018年,美国大数据人才缺口有14万人到19万人。据业界专家估算,中国大数据市场的人才需求量至少有100万人。

    三、统计学

    统计学主要培养在企事业单位和经济、管理部门从事统计调查、统计信息管理、或在科研、教育部门从事研究的高级专门人才。

    大数据时代,带火了统计学专业。如今这股“统计学”的热潮已从研究生蔓延到本科,北航、北交大、北工商等高校纷纷开设了“统计学”专业。随着社会对统计学专业人才的需求量逐渐增大,应用型统计人才成为各高校统计学专业的培养目标。

    四、大数据类

    大数据时代则对从业人员素质的要求越来越高,因为数据处理变得越来越复杂,数据人才的竞争也越来越激烈,很多大公司都在寻找尖端人才。而且,大到国防、金融,小到跟生活息息相关的物流、购物、医疗、交通等,都日益需要大数据的支撑。大数据正在成为一门“显学”。

    企业需要什么样的人才

    企业需要两类大数据人才,一是数据平台建设人才;二是数据挖掘应用人才。大数据是因应结合应用来体现其价值……例如推动大数据技术在金融、气象、行政管理等领域的应用,推进基于大数据技术的个人信贷和医疗保健等。

    三种能力成就大数据人才

    一是技术相关人才,包括IT、系统、硬件和软件;二是数量相关人才,包括统计、数学、建模、算法;三是业务,就是要有一定的专业领域知识。建立大数据的数据存储本身需要技术能力,但是怎么通过数据去做分析?这就需要数量能力。

    大数据时代热门职业

    1、数据规划师

    在一个产品设计之前,为企业各项决策提供关键性数据支撑,实现企业数据价值的最大化,更好地实施差异化竞争,帮助企业在竞争中获得先机。

    2、数据工程师

    大数据基础设施的设计者、建设者和管理者,他们开发出可根据企业需要进行分析和提供数据的架构。同时,他们的架构还可确保系统能够平稳运行。

    3、数据架构师

    擅长处理散乱数据、各类不相干的数据,精通统计学的方法,能够通过监控系统获得原始数据,在统计学的角度上解释数据。

    4、数据分析师

    职责是通过分析将数据转化为企业能够使用的信息。他们通过数据找到问题,准确地找到问题产生的原因,为下一步的改进找到关键点。

    5、数据应用师

    将数据还原到产品中,为产品所用。他们能够用常人能理解的语言表述出数据所蕴含的信息,根据数据分析结论推动企业内部做出调整。

    6、数据科学家

    大数据中的领导者,具备多种交叉科学和商业技能,能够将数据和技术转化为企业的商业价值。

    报考建议

    计算机类专业:

    全国有近千所本科高校开设计算机专业,该专业各个高校在培养特色和优势研究方向上都有很大不同。如北京大学计算机科学与技术专业属于信息科学技术学院。南京大学其优势领域包括软件自动化与形式化方法,息安全等。有的侧重于软件,有的侧重于硬件,有的侧重于计算机网络,方向的选择可能直接影响未来的就业。

    大数据类专业

    截止到今年4月份,教育部公布了高校新增专业名单,有32所高校成为第二批成功申请“数据科学与大数据技术”本科新专业的高校。加上此前第一批成功申请该专业的北京大学、对外经济贸易大学和中南大学,中国科学院大学等,已共有35所高校成功申请大数据专业。

    统计学

    招收统计学专业的院校主要集中在综合性大学和财经类院校。其中,中国人民大学、北京大学和厦门大学是统计学专业实力最强的院校。

    需要提醒大家的是,统计学都是以数学为基础,要求学生同时具备较高的计算机分析处理能力。因此,绝大部分高校统计学专业只招理科生。

  • ?

    探码大数据助力培训机构智能化管理!

    Hobart

    展开

    大数据能通过全面、准确、系统地测量、收集、记录、分类、存储学生这些数据,再经过严格地统计、分析、检验这些数据,能为学生在教育培训活动中提供有利的数据支持,调整教学计划做到真正的因材施教。

    传统培训教育机构存在的问题

    缺少数据支持,无法做到专业性的培训计划

    教师人才可持续开发和培养的缺乏,导致机构的可持续发展充满不确定性,一旦某个名师或者icon离去,教学质量和口碑直线下降。按照我自己的粗浅理解,利用大数据做到体系化规范化科学化的的教学内容如果能够在不同地域的分支机构间得到落实的话,教师本身即使照本宣科,也起码不会让课程质量有太大差别。

    缺少数据分析,很难做到因材施教

    课上的两个小时内容,如何消化,如何复习巩固,如何应用,不是一周三次课就能解决的。我们如何从一个学生的学习信息区队他的学习计划做出调整,这是团队需要解决的当务之急。比如,今天给学生A讲了亚斯完型填空的细节题型,老师留了什么作业?什么时间完成?正确率是多少?这个题型掌握了多少,可以往下进行新内容的讲解吗?如果不能进行下一个教学任务,整体教学计划如何调整?没有数据的追踪,分析我们如何调整针对个别人的教学计划?所以,如何统筹好教学与课后的跟进,这才是所谓的培训服务的应该做好的服务,而不应该是几个名师讲完课拍拍屁股走人的作坊。

    探码科技根据教育培训行业所存在的问题,提出了教育培训行业大数据解决方案!

    培训机构大数据库

    探码科技已与国内外数十所培训机构开设大数据应用课程,通过简易,智能,无需编程的可视化大数据采集工具与文本挖掘工具,支持高校教学演示,让老师与学生通过探码Dyson采集系统快速获取数据,提升产学研效果,理论与实践相结合,提高教学质量。

    全面了解学生信息,做到特色办学

    探码科技通过Dyson大数据采集系统通过搜集学生平时的测试成绩、擅长学科、不足之处结合教育行情进行分析为学生选择最适宜的发展道路,做到真正的因材施教。

    高校课程数据库

    探码科技简单创建爬虫规则,利用Web大数据即可实现采集互联网公开数据,方便老师通过数据演示,进行理论与实践操作,更立体化地教授数据挖掘、市场营销分析等工科、商科课程,为培训师生数据挖掘、数据分析提供基础数据源与应用场景支持。

    大数据舆情分析

    探码科技通过Dyson数据采集系统,采集互联网上相关培训机构的舆情信息进行分析,倾听学生的声音,预测和减少对培训机构的影响。让培训机构及时做好工作上的调整。

    Dyson数据采集流程

    总结,行业数据的缺乏,正确的数据分析是新时代培训机构欠缺的所在。探码科技走在大数据和人工智能的新领域,一直致力于大数据与高新技术的钻研。探码科技自主研发的Dyson大数据系统能够将很好的帮助培训机构解决“数据荒”的问题。助力培训机构进行数据化与资产化的转型!

    文章转自:探码科技

  • ?

    大学念什么专业好?2017年最被看好的三大科技专业

    幽兰香

    展开

    我一直觉得选专业是一件让人头大的事,每年专业的热度都在变化,如何选择一个好的专业至关重要,因为直接影响日后的人生轨迹。如果能够看懂未来的趋势,从五年后看今天,那么关于现在如何选择专业将会一目了然。我对科技领域比较了解,科技领域相关的专业待遇也一直是各个行业中的翘楚,所以今天盘点了一些科技专业中最被看好的三个专业。

    1.大数据采集与管理专业

    大数据浪潮,汹涌来袭,与互联网的发明一样,这绝不仅仅是信息技术领域的革命,更是在全球范围加速企业创新、引领社会变革的利器。对于企业而言数据采集与分析的重要性不言而喻,马云不只在一次公开场合说过,未来是大数据时代,未来的科技是靠数据驱动的。这样的人才将在日后非常的紧俏。建立在海量的数据上,从不同的角度去分析能够精准解读出各种用户行为,据说,天猫的大数据能够预测出未来几个月哪些商品将卖得紧俏。

    2.智能科学与技术专业

    这个专业就是依托计算机专业,然后学习数据挖掘、机器学习和数据仓库相关的知识。人工智能,绝对是未来的主流,也是当下的热门,人工智能所涉及到的知识及其广泛。阿尔法狗完虐世界顶级棋手。百度的智能语音,以后将替代人工客服。银行的自助收银系统,现在已经开始慢慢普及很多超市已经在试点,之后超市收银这样的岗位将会被机器所替代。看看知乎上的回答就知道了,这是火得不行的专业,就业质量要比计算机编程都要好。

    怎么样,是不是有种如果是念这个专业,毕业后就能屌丝逆袭高富帅,轻松迎娶白富美。

    3.计算机科学与技术专业

    现在程序员的薪资真的是高的无话可说,ios开发、安卓开发、php等等,在一线城市,实习的时候,工资就是六七千,转正后薪资更是达到了八九千,甚至上万元,程序员在今后很长的一段时间内也会一直火下去。因为虚拟化是一大趋势。每年都有许多传统行业的从业者跳槽到IT领域,他们有的自学编程,有的花钱到培训机构学习,所以,现在计算机专业是相当火的一个行业,不过,有些人对编程感兴趣,有些人则天生对编程无感,一看到代码就头晕。

    从个人有限的经验来看,选择适合自己的专业要比选择好的大学更重要,再好的大学,企业过来招聘也是看专业是否对口,而不是看这个大学的排名。以上这三个专业,是在科技领域中比较火的专业,将来就业的方向能够贴合时代的潮流,所以今后的待遇也是不错的。

  • ?

    哪些大学可报考大数据专业?2017年大数据专业就业前景

    黛布拉

    展开

    作者|笑面虎 (本文为36大数据专稿)

    十二年寒窗苦读,一朝踏上高考路,一举成名天下知。

    高考,对于每一个学子都是一场无烟的战场,十几年的努力拼搏,只为这一刻能够走进自己梦想的校园。高考就像是鲤鱼跃龙门中的龙门一样,跃过去的学子就可以欢欢喜喜进入梦想大学校园,开启人生新的篇章,用知识改变命运。在距离2017年高考时间还剩下不到48小时的时间里,36大数据想和你谈谈目前炙手可热的大数据专业以及与高考相关的大数据。

    据教育部数据显示,目前,全国已有35所高等院校开通了大数据专业。也就是说,高考报志愿可直接报大数据专业的学校了。那么,哪些大学可以报考大数据专业呢?大数据专业的就业前景如何呢?

    全国有哪些高校开通了大数据专业呢?

    从统计表可以看出,开通了大数据专业的学校主要分布在一线城市(北京、上海、广州)以及云南、贵州和四川三个西南地区。

    高校填报志愿,过来人的建议,通常情况下:城市比学校更重要,学校比专业更重要。当然,考生也可以根据自己的实际情况(所在地、分数)来进行选择。

    专业介绍

    计算机科学与技术(数据科学与大数据技术方向)主要培养大数据科学与工程领域的复合型高级技术人才。毕业生具有信息科学、管理科学和数据科学基础知识与基本技能,掌握大数据科学与技术所需要的计算机、网络、数据编码、数据处理等相关学科的基本理论和基本知识,熟练掌握大数据采集、存储、处理与分析、传输与应用等技术,具备大数据工程项目的系统集成能力、应用软件设计和开发能力,具有一定的大数据科学研究能力及数据科学家岗位的基本能力与素质。毕业后能从事各行业大数据分析、处理、服务、开发和利用工作,大数据系统集成与管理维护等各方面工作,亦可从事大数据研究、咨询、教育培训工作。

    专业名称:计算机科学与技术专业(数据科学与大数据技术方向),本科四年制;

    2017年大数据专业就业前景

    大数据人才稀缺

    据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

    据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。

    根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT企业招聘的职位里,60%以上都在招大数据人才。

    大数据专业就业三大方向

    大数据主要的三大就业方向:大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

    在此三大方向中,各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

    大数据专业人才就业薪资

    1、基础人才-数据分析师

    北京数据分析平均工资: 10630/月,取自 15526 份样本,较 2016 年,增长 9.4%。

    数据分析师岗位职责

    业务类别:技术

    业务方向:数据分析

    工作职责:

    1. 根据公司产品和业务需求,利用数据挖掘等工具对多种数据源进行诊断分析,建设征信分析模型并优化,为公司征信运营决策、产品设计等方面提供数据支持;

    2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等,通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测;

    3. 参与数据挖掘模型的构建、维护、部署和评估;

    4. 整理编写商业数据分析报告,及时发现和分析其中变化和问题,为业务发展提供决策支持;

    5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控;

    6. 参与编写项目相关文档。

    教育背景:

    学历:本科其它:

    经验要求:工作经验:3-5年

    任职要求:

    1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历;有扎实的数据统计和数据挖掘专业知识;

    2. 熟练使用数理统计、数据分析、数据挖掘工具软件(SAS、R、Python等的一种或多种),能熟练使用SQL读取数据;

    3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法;

    4. 3年以上数据分析工作经验,征信从业背景人员优先;

    5. 具有金融行业项目经验的相关经验者优先考虑;

    6. 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。

    能力素养:

    良好的分析、归纳和总结能力,善于分析、解决实际问题; 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。

    2、大数据开发工程师

    北京大数据开发平均工资:30230/月。

    大数据开发工程师/专家 岗位指责(引自 滴滴出行):

    职位描述:

    1、构建分布式大数据服务平台,参与和构建公司包括海量数据存储、离线/实时计算、实时查询,大数据系统运维等系统;

    2、服务各种业务需求,服务日益增长的业务和数据量;

    3、深入源码内核改进优化开源项目,解决各种hadoop、spark、hbase疑难问题,参与到开源社区建设和代码贡献;

    岗位要求:

    1、计算机或相关专业本科以上学历(3年以上工作经验);

    2、精通C++/Java/Scala程序开发(至少一种),熟悉Linux/Unix开发环境;

    3、熟悉常用开源分布式系统,精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码;

    4、有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;

    5、具有良好的沟通协作能力,具有较强的分享精神;

    6、对Kudu、Kylin、Impala、ElasticSearch,github等系统有深入使用和底层研究者加分;

    3、Hadoop开发工程师

    北京hadoop平均工资: 20130/月,取自 1734 份样本。

    Hadoop开发工程师岗位职责(引自新浪网):

    职位描述:

    1.参与优化改进新浪集团数据平台基础服务,参与日传输量超过百TB的数据传输体系优化,日处理量超过PB级别的数据处理平台改进,多维实时查询分析系统的构建优化;

    2.分布式机器学习算法在数据平台的构建与优化(包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等);

    3.深入源码改进各种开源大数据项目(包括Hadoop、Spark、Kafka、HBase等)。

    任职要求:

    1.计算机或相关专业本科以上学历;

    2.熟悉Linux环境下开发,熟练掌握C++/Java/Scala等一种以上编程语言;

    3.熟悉Hadoop生态系统相关项目,精通以下项目之一的源码(Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin);

    4.具备良好的学习能力、分析能力和解决问题的能力。

    4、数据挖掘工程师

    北京数据挖掘平均工资:21740/月,取自 3449 份样本,较 2016 年,增长 20.3%;

    数据挖掘工程师招聘要求(引自蚂蚁金服集团技术部):

    工作职责:

    1、在分布式系统上进行数据计算、挖掘、和实现算法;

    2、数据仓库模型设计和建立;

    3、数据梳理流程的实现和维护;

    4、物流场景下的地址文本、空间属性研究和分析。

    任职资格:

    1、本科以上学历,有扎实的统计学,数据挖掘,机器学习,自然语言识别理论基础,一种或几种以上的实际使用经验。

    2、熟悉聚类、分类、回归等机器学习算法和实现,对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。

    3、深入理解Map-Reduce模型,对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。

    4、有扎实的计算机理论基础,至少熟悉一种编程语言,Java优先。

    5、有三年以上互联网公司或者海量数据处理工作经验,大数据挖掘、分析、建模经验

    5、算法工程师

    北京算法工程师平均工资: 22640/月,取自 10176 份样本。

    算法工程师 招聘要求(引自美团点评数据平台部):

    职位描述:

    互联网公司背景优先

    A、广告算法

    岗位职责:

    1.负责点击率预估等主要广告算法的技术选型;

    2.负责核心算法的开发;

    3.负责广告大数据处理流程的建设及相关工具的研发;

    4.负责广告技术研究项目的推进与管理;

    职位需求:

    1.计算机或相关专业本科以上学历,3年以上相关工作经验;

    2.熟练掌握一门开发语言;

    3.有机器学习、数据挖掘相关知识;

    4.在广告、搜索、推荐等相关领域之一有技术研究工作经验;

    5.有较强的沟通协调能力;

    B、推荐算法

    职位描述:

    1. 参与各个产品线的个性化推荐系统的研发;

    2. 分析用户行为数据,并设计合理的推荐算法模型及策略,并优化推荐排序;

    3. 通过对用户行为数据的挖掘,对用户进行建模,精准刻画用户各种属性;

    职位要求:

    1. 全日制本科及以上学历,计算机相关专业;

    2. 熟练掌握各类个性化推荐算法,并有开发个性化推荐系统的实际项目经验;熟练掌握各类回归及排序算法,能够利用相关算法进行推荐排序的优化;

    3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术,能够根据实际问题选择合适的模型和算法并进行相应的开发;

    4. 有较强的工程架构和开发能力,能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法;

    5. 掌握python、matlab等脚本语言,熟悉各类数据挖掘工具(如weka、Mahout),能够快速建立模型并进行验证;

    C、算法工程师

    岗位职责:

    1、开发和优化用户行为数据挖掘,文本分类和语义理解,社交网络分析,网页搜索,推荐系统等领域的特定算法

    2、能够很快学习和利用state-of-the-art的算法解决实际产品问题,提升产品用户体验

    任职资格:

    1、有一定的研究、实验的能力,优秀的分析问题和解决问题的能力

    2、理解自然语言处理、机器学习、网页搜索,推荐系统,用户数据分析和建模的基本概念和常用方法,有相关领域的实际项目研发或者实习经历者优先。

    3、熟悉C++, Java或Python,熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。

    4、对大数据处理平台和工具有一定经验者优先, 包括: Hadoop, Hive, Pig, Spark 等

    最后一个问题,哪些公司需求大数据人才?

    答:所有的公司。大到世界500强,BAT这样的公司,小到创业公司,他们都需求数据人才。

    马云爸爸说“我们已从IT时代进入了DT时代,未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统,并进行数据集成,数据将会让机器更“聪明”。DT时代,数据将成为主要的能源,离开了数据,任何组织的创新都基本上是空壳。”

    数据,未来的一切。

    本文数据来自职友集、拉勾网、全程无忧等多个招聘网站。

    End.

大数据采集与管理专业

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP