- ?
数据分析面试总结
利奥波特
展开
欢迎关注天善智能,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习,问答、求职一站式搞定!
本文作者:天善智能学院学员张龙祥。
原文地址:https://ask.hellobi/blog/zlx19930503/8745
本人于2018年6月份硕士毕业,2017年,为了找实习找工作四处奔波,前前后后投了100多次简历,面了30多家公司。在这期间,经历的丢手机从人间蒸发的惨状,也经历了两个半月减掉15g体重的神奇现象。总而来说,过程很艰辛,结果还是很美好。下面是我的面试经过。
第一个单位:北京互联网金融公司。一共有三面,第一面是技术面,是一个男同胞面试的我,首先是来了一个自我介绍,这个自我介绍也是很有讲究,干一行说一行,不相关的废话一字不要提。自我介绍完就开始技术面了,因为这是个金融公司,因此对于分类算法很是注重(大家在面试的时候要针对行业常用算法来进行准备,做到烂熟于心)。问题一:决策树算法中的信息熵具体阐述一下?问题二:决策树算法中ID3、C45、CART算法,根据自己的理解进行简要叙述,并且对剪枝问题进行叙述?问题三:阐述一下自己对过拟合的理解以及一些解决措施?问题四:叙述一下K-means算法的流程?问题五:阐述一下自己对逻辑回归的理解?问题六:模型评估的一些指标?问题七:数据结构中的排序算法说几个,以及时空复杂度?问题八:数据库的连接问题,叙述几个。
我的回答:前五个问题回答的都可以,我第六个问题说了ROC曲线,我的妈,他让我说横纵坐标,我不记得了,我很直接,就说这个我忘记了,看一下书就可以了,原理我晓得。对于第七个问题,我当时真的很无语,我直接说的“面试官,数据结构我学过,但是四年时间我不记得了,就连最简单的冒泡排序都不记得了,我工程方面用R和Python,如果您招的是要精通C的,那这个岗位不适合我”。最终一面通过。
第二天下午,是二面,是大数据部门的女总监面试的,先是自我介绍,后来是问了这么一个问题:你的职场规划是什么?讲真,这些问题我和专门的大神聊过,回答的也还不错,当然也是自己的内心想法,只是逻辑更加完善而已。然后就是技术面,一面的有的问题我就不再重复,说了一下组合算法,我实话实说:“当时对于三大组合算法看的还不是很细,马上会进入这方面的学习”,下一个问题是叙述PCA降维技术,我就从特征值、特征向量巴拉巴拉的说。之后女总监说“回去把组合算法搞一下,Python好好看看”我这边通过。
之后就是HR面,谈了薪资就没啥了。
总结:
①夯实一些名词的含义,比如:评价模型的指标。
②近期把组合算法搞定。
③过拟合发生的原因以及解决措施梳理一遍。
第二个单位:杭州互联网金融公司。第一面试的时候,我在无锡接的电话,是个男面试官,人很温和,我就不害怕了。首先自我介绍,之后又是分类算法搞了一圈,还有模型评价的指标,这里有一个KS指标被提到,这个在上面已经说了,就不在赘述。(当你面试较多的时候,你就有一种倒背如流的赶脚,但是你必须沉得住气,慢慢说,这样一二三四的你会更有逻辑性),一面就这样很愉快的结束了。
那个面试官让我从无锡去杭州面基,我正好第二天去杭州,我说可以的。但是中午到杭州的我和一个网易的朋友吃饭聊天的就超时了,又急急忙忙赶回上海,就错过了去公司的机会。我说明原因之后二面改为电话面试。
觉得二面的面试官真的很有质量,面试官的语速很快,搞得有点压抑,我适当笑一下,缓解一下气氛。他说了这么一句话我很佩服:我们先不谈别的,从数据处理到建模有一个很重要的特征选取,说一下对特征工程的理解,好高端,我当时有点冒冷汗呀。这个问题得谈了20分钟吧,“L1正则化可以进行特征筛选的原因:从几何和后验概率两个角度”“L1和L2正则化的区别”等等,后面,对于决策树的问题又来了一拨:“决策树算法中的剪枝,预剪枝和后剪枝,自己根据自己的理解来简单叙述”“决策树在连续型变量的处理方面的一些方法”,这方面我们聊得还是很开心,本来以为要结束了,面试官又问了我的研究方向,又被问的有点懵,最后又问了我分布式什么的,我直接说的不会。不过好在面试还是过了。
总结:把面试中提到的不懂的问题理清楚。
最后我总结以下几点:
①面试单位要看缘分,假如你准备的问题面试官都没问,面试官问的问题你都不会,孩子,这个单位不适合你。
②面试的时候,要把面试官引入自己擅长的领域,不要哪里不会点哪里。
③向面试官展示最真实的自己。
④保证足够的营养,我已经好多年没吃过药了,哇哈哈!
⑤重要的是查漏补缺,时间不等人,只争朝夕啊!
⑥给大家推荐天善智能,来进行学习,我也会陆续在里面发文章。
天善学院svip正火爆报名中!包含Excel BI、Python3爬虫案例、Python机器学习、Python数据科学家、大数据体系、数据分析报告、数据分析师体系、深度学习、R语言案例共10套课程,其他课程只需五折即可,欢迎大家关注报名!
- ?
作为数据分析师,鬼知道我经历了什么!
水蓝
展开
谨以此文献给所有数据从业苦逼之人,如有中伤之处,请自行戴好盔甲,以防中伤过深。同时也以此文献给后期对数据热情,想长期从事此行业的年轻人,希望对你们有所启发,并快速的调整思路和方向,以对自己的职业生涯有更好的发展。
最近听到一些段子,很有意思,分享给大家!
这些段子是很多数据分析人员的真实写照:
新招进公司做大数据分析师,好开心好兴奋好激动!!!然而...
入职第一天,老板给了我一张 50M 的 Excel 表说:
“你看我们有 100多万条用户信息,这么大的数据,来个大数据分析下!”
还没从震惊中恢复过来,业务部又神补一刀:
“我们准备跟星巴克合作,来预测下明年多少人喝咖啡,几千万的大项目,预测不准公司要亏很多钱的,你加油哈!”
面对这样的业务部,我只想说:“我要是未卜先知为啥不去炒股来给你打工”
IT大哥贼兮兮的说:“哥们你可来了,那失散到天涯的数据有娘啦!”
没法,最终还是把数据拼起来开始分析...
发现好有规律啊~好工整啊~这...是不是有坑?!
去业务部一问才知道,这些都是被经销商篡改操纵的数据...
后来拿到了全真实的数据!全部没有规律了!喜极而泣!!
擦干泪仔细一看,80%的记录缺失,10%记录不全,5%记录出错……
整完数据开始统计,然而领导觉得只做加减乘除太简单了,有没有更深度的方法(解读:需要纠正的是,有用为先,花哨次之,这种说法不太合理)
简单了就做个模型吧,然而检验值还没讲完领导表示太复杂搞不懂,能简单点不(解读:这个是解读能力的问题,跟领导没关系...没关系..没关系...)
改来改去已很多遍了!我已不太记得领导唠叨了什么,总之又听到一句:“再改一下,看看其他维度深入分析分析”,然后默默新建一个文件:《分析报告V16-8版》
输出结果和业务部的认知差不多,被评价为:
“我们都知道了啊,这大数据做了跟没做一样啊”
输出结果和业务部的认知差很多,被评价为:
“这个与业务经验完全不同,肯定是数据的问题,我们都十多年经验了,快回去检查数据,上次我去见XXX客户人家就不是这样的!一定是你错了!一定!”
此段子一出,群里都炸开了锅,大家都开始不断的煽风点火,各种数据背锅,各种吐槽,说尽了数据分析师的辛酸苦辣。
我做数据分析师的时候也经常遇到上面这些遭遇,乃至后来找到了一些规避这些问题的方法,希望对大家有所帮助。
同时,我也希望借此号召所有的数据从业者,在数据应用实践上能够深入思考并有所突破,在正确的轨道上更好的发挥出数据的价值,从而让数据从业者有更大的 ,不再拘泥于每天的抱怨和自怨自艾中。
数据之苦
进入正文,数据人之苦最苦的是:有好处想不到你,出了问题都是你的错
这句话的意思就是你做好是应该的,做得不好就得承担责任。这种痛苦完全命中了马云蜀黍对离职的两点看法:
心累(得不到价值肯定)、钱少(没业绩肯定哪来的升职加薪)
区分数据流程的不同阶段,数据人之苦又有所区分侧重不同,说一下我的个人浅见。
根据数据应用的不同阶段,我的划分方法如下,从数据底层到最后应用:
大数据平台
目前很火,数据源头,各种炫酷新技术,搭建 Hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂 Java,很多平台都是用 Java 开发的。
现在很多企业都把数据采集下来了。对于传统的业务,用传统的数据是完全够用的;可是对于用户行为和点击行为这些数据或者很多非结构化的数据,文本、图像和文本类的,由于数据量太大,很多公司都不知道怎么进行存储。
这里面要解决的是实时、近实时和离线的大数据框架如何搭建,各数据流之间如何耦合和解耦,如何进行容灾、平台稳定、可用是需要重点考虑的。
我的感觉是:最近两三年中,这块人才还是很稀缺的,因为大数据概念炒作的这么厉害,很多企业都被忽悠说,我们也来开始进入大数据行业吧。但是,进入的前提之一就是需要把数据存储下来,特别是很多用户行为方面的数据,对于业务的提升了比较明显的,如果你能很好的刻画用户,那么对你的产品设计、市场营销、开发市场都是有帮助的。
现阶段,很多公司都要做第一步:存储更多的数据。这也就是我们这块人员流动性比较高,因为都被高薪挖走了。
和传统的 SQL 不同的是,针对大数据量的非结构式数据,我们所想的就是:用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域,从目前来看有两个方向
分布式已经被证明是个很好的一个方式。云端会是个很好的方向。不是每个公司都养得起这么多这么贵的大数据平台开发人员和运维人员 OPS,从事这个行业的我们要有很好的危机意识,及时贡献出自己的价值,积极主动的学习新技术、否则你就要被淘汰了。
此外,花点钱把数据托管给云服务提供商对于创业公司或者一些传统的企业来说是个很好的思路,这样能够最快速地确定数据对你的价值是什么,而不用采购这么多的服务器、雇佣这么多的运维和网站开发人员。
说了以上这些,主要是想给未来会从事这块的人或者想存储数据的公司一点方向。我自己不做这块,体会不深,大家看看就行。
这块工作最被吐槽的一点就是:Hive 速度好慢,SQL 查询好慢,集群怎么又挂掉了,Hadoop 版本升级后,怎么数据跑出来不对了等等。
因此,在这个领域内工作,需要有强大的
攻坚能力。快速定位和解决 bug 的能力。因为有很多工具都是开源的。Java 开发能力。因为是开源的,所以会出现各种坑爹,甚至出现无法向下兼容的情况。
如果想在这块做的很好,还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力,可以打入开源社区,这样就可以随时 follow 最新的潮流和技术。
数据仓库-ETL
确实做仓库的人很辛苦,单单 Oncall 就会让人望而却步。有很多数据库工程师,晚上睡觉的时候经常被 Oncall 电话吵醒,因为数据流程出问题,需要第一时间去排查,是哪个数据源出问题,并且要立即解决,否则整个数据流程都会受到影响。
如果数据流程受到了影响,你就可能会被大领导一言不合叫到办公室说:我要的数据怎么还没有准备好,我的业务报表今天怎么没有发出来。
通过上面这个情景,我们可以知道:这是个很重要的岗位,因为数据流程很重要,决定了数据从源头杂乱无章的状况,通过 ETL 之后变成了整齐的数据,这些整齐一致性的数据可以让你很方便地把各业务的统计结果计算出来,并且能够统一口径。要不然就会变成有几个部门,就有几种统计结果,到时候 A 部门说业务增长了 5%,B 部门说业务涨了 10%,OMG,到底信谁?
至少在以下几点上,我觉得数据仓库人员是应该要做好:
数据字典的完整性,用的人都希望能够清晰的知道这个字段的逻辑是什么。字段要保持很好的一致性,不要同样一个字段在不同表里有不同的定义。核心流程的稳定性,不要让每天订单主表能够使用的时间很不稳定,有的时候很早,有的时候要中午才出来,如果不稳定就会导致使用数据的人对你很没有信心。仓库版本迭代不要过于频繁,要保持不同版本之间的兼容性。不要做好了仓库 1.0,很快就把原来的推倒重来,变成了 2.0。在数据仓库中需要考虑到延续性,主表的变动不要太频繁,否则使用的人会非常痛苦,好不容易才用习惯了 1.0 的表结构,没办法这么快进行切换。简单地说,要能向下兼容。在这点上,我是深有体会,之前出现过每来一个大领导都来换一次数据仓库的。保持各业务逻辑的统一性,不要出现同样的业务逻辑,同一个组别的人统计出来的结果不同。原因在于共同的逻辑没有落地成通用的东西,所以导致每个人写法不同。这点其实需要特别注意。
针对以上,这个岗位的技能要求是:不要成为仅仅会写 SQL 的人,现在工具都很发达,如果你的技能很单一的话,那么可替代指数是非常高的,并且你自身也没有什么成就感。这里并不是说会写 SQL 的人很 low,只是说应该多学一些技能,否则你很危险。
技能上,除了 SQL 熟练之外,还需要知道如何写 Transform,MapReduce,因为有很多业务逻辑用 SQL 实现起来非常复杂,但是如果你会其他脚本语言,那么就能给你提供便利,让你的效率提升很多。
另外好的仓库人员需要写 Java 或者 Scala,通过写 UDTF 或者 UDAF 来提升你的效率是很有必要的。
仓库人员应该要常常思考,如何进行架构设计是最合理的,你要考虑是否需要字段冗余、行存储还是列存储、字段如何扩展最有效,热数据和冷数据如何拆分等,所以需要有架构思维。
数据仓库人员也应该常常考虑自动化和工具化方面的事情,需要很好的工具或者模块的抽象能力,动手实现自动化的工具来提高整个组织效能。针对经常碰到的数据倾斜问题,需要很快定位问题并进行优化。
说完了数据存储这块,接下来是数据应用的几个关键职位,在此之前,我想说数据应用的一个最关键的前提是:数据质量、数据质量、数据质量!!在每次阐述你的观点、分析结论或者用算法的时候,都需要先检查,源头数据正确性,否则任何结论都是伪命题。
数据可视化
这是个很炫的工作,最好是能懂点前端,比如 js。
数据可视化人员需要有很好的分析思维,不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多,所以没有特别深入的感悟,不过我觉得这个岗位需要有分析的能力,才能把可视化做好。
另外一方面来说,做数据应用的人都应该懂点数据可视化,要知道观点表达的素材顺序是:图片>表格>文字,一个能够用图片来阐述的机会千万别用文字来描述,因为这样更易于让别人理解。要知道,给大领导讲解事情的时候,需要把大领导设想成是个“数据白痴”,这样才能把一件事情说的比较生动。
4
数据分析师
现在对数据分析的需求是很大的,因为大家都想着说:数据有了,但是能做些什么呢?这就需要有数据分析师, 。
对数据分析师吐槽最多的是:你分析出来的不就是正常的业务逻辑吗,还需要你分析什么?或者是你分析的结论不对,跟我们的业务逻辑不符合。
特别是 ABTest 的结果和当初设定的预期不相符合的时候,分析师会常常被拉过去说:分析一下,为什么我的 AB 实验结果不显著,里面肯定有原因的。
很多时候,宝宝的心里苦啊,你说这个转化率下降了,从数据上可以看出哪个细分渠道下降了,至于为什么客户不下单,我们得问用户去,很多时候,数据上也体现不出来为什么,只能告诉你现状是什么。
如果你一直在写分析报告,给结论中,持续周而复始,没有直接在业务中体现成绩的时候,数据分析师们该醒醒了,你该想想这个是你要的岗位吗?
对于数据分析师的定位:个人认为,成为优秀的数据分析师是非常难的,现在市面上也没有多少优秀的分析师。
我个人对数据分析师的技能要求除了会数据分析、提炼结论、洞察数据背后的原因之外,还需要了解业务,懂算法。只有这样,当面对一个业务问题时,数据分析师们才可以针对问题抽丝剥茧,层层递进去解决问题,再根据定位的问题进行策略的应对,比如是先做上策略进行测试还是应用算法进行优化,用算法用在哪个场景上,能不能用算法来解决问题。
一个优秀的数据分析师,是个精通业务和算法的全能数据科学家,不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。
我们都说分析要给出结论,优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施,同时很多需求是分析师去主动发现并通过数据来挖掘出来的。
从上述描述中,可以看到对数据分析师的要求是:
会写sql拉数据精通业务会数据洞察精通算法主动性强
如果你一直只是忙于应付日常分析需求,热衷于写华丽的报告,那么你要记得,你很危险,因为会有一堆人在那里质疑你存在的价值,特别是小公司。因为数据人员的薪资是个不小的支出。
大部分不落地的分析都是伪分析,有一些探索性的可行性研究可以不考虑落地,但是其他的特定业务需求的分析都需要考虑落地,然后通过实践来反推你的作用,如此反复,才能慢慢的给你价值的肯定,同时提升你的分析技能,也只有这样才能证明你作为分析师、数据落地者的价值。
数据挖掘/算法
这块的话,经过这三年的摸爬滚打,感触蛮多的。体会比较深的吐槽主要有以下几点:
一个规则搞定了,还用什么算法。你的准确率怎么这么低?!你的准确率可以到 99% 吗?你的推荐有价值吗?你不推荐客人也会下那个产品的订单的。帮我做个大数据预测他想要什么?
很多时候,不同的场景对准确率的要求是不同的,所以在一定合理的场景下和业务进行据理力争是必要,不要害怕让业务吐槽,更多的时候管理å¥...
- ?
想从事数据分析师应该学什么专业好呢?就业现状怎么样?
嵇正豪
展开
在回答“从事数据分析师学什么专业”这个问题之前,小编想先给大家介绍下数据分析这师的就业现状!
一个优秀的数据分析师可以帮助企业根据现有数据做出科学、合理的分析,在前行中准确定位,为企业排除干扰,创造价值。数据分析师这个岗位的可以从事相关数据的职位有很多,如业务数据分析师、数据挖掘师、数据科学家、数据工程师等等。
上海数据分析网业务/商业数据分析师(BA)是完全的咨询师设定,核心价值在分析框架+报告;
数据科学家是完全的算法设定,核心价值在算法+数学;
数据工程师是完全的程序员设定,核心价值在程序;
其他还有建模分析师、数据架构师、数据产品等等;
可以说数据分析师的就业面非常之广,在公司产生的价值与被重视程度不言而喻。
小编从各大招聘网站找到国内三家大企业的招聘,从中可以发现企业对数据分析人才专业要求是怎样的。
上海数据分析网可以看到职责描述里,第七条,数学、统计学、信息管理、计算机专业等。
上海数据分析网岗位要求里,第一条:本科以上学历,统计学、数学、电子商务、计算机、市场营销等相关专业。
上海数据分析网任职要求,第一条可以看到数学、统计学、数量经济学、计算机、营销学等相关专业。
这几条招聘启事专业要求有数学、统计学、信息管理、计算机、电子商务、市场营销、数量经济学专业。这些专业具体都学些什么内容呢?
数学
随着科技事业的发展,数学专业和其他专业的联系也越来越紧密,所以数学专业知识也得广泛的应用。
数据分析师需要有专业的数学功底和严密的逻辑思维,而严密的逻辑思维则来源于扎实的数学功底。 学数学的同学更注重理论的完备性和逻辑链的完整性,即对于在分析过程中出现的任何一些命题,都要能证明它是正确的还是错误的。
统计学
统计学贯穿数据分析的全过程,没有统计学基础,很难有专业的数据分析。数据分析的 各个步骤,都要用到统计学的知识。
信息管理
信管专业主要对各种“系统”进行分析、设计与实现,技术与管理的有机结合。学习内容:财务、系统数据分析、IT技术,可以说信管专业非常对口数据分析师职位,从信息中 发掘财富。与计算机结合,使计算机作为工具, 信息管理更加有效和实用,随着企业经营规模的现代化,对信息管理 的要求越来越强烈。
例如铁路订票系统,就是对车票这种信息的查询和管理系统。可以说软件开发的最主要面向的客户就是 帮助企业制作良好的信息管理系统。
计算机
学习计算机专业同学可以从事数据研发/开发工程师,数据挖掘/机器学习工程师,对编程技术上的要求高一些。
上海数据分析网电子商务
电子商务专业培养具备管理、经济、法律及网络技术、计算机技术、市场营销、电子商 务技术以及电子商务管理等方面的知识和基本技能,现在各大交易都在网站等网络平台 交易完成,数据分析在电商行业的应用非常广。
市场营销
数据分析师常要为企业的营销决策提供支持,这就要求懂营销。
具有营销背景的数据分析师思路会更清晰、更开阔。当让他做竞争分析时,他会想到波 特五个力;让他做环境分析时,他会想到PEST、让他做消费者偏好分析,他会想到科 特勒用户决策流程。
数量经济学
数量经济学是运用统计学、经济计量学、投入产出分析、最优规划方法、经济控制论和计算技术等各种手段,对各种经济问题进行理论分析、经验检验和政策分析的一门应用经济学科。数量经济学更偏技术类,相比其他经济学金融类专业,数经的优势是统计软件够独立编程。
- ?
大数据各岗位薪资收入水平多少?出路在哪里?
宣沂
展开
大数据是近年来最受关注之一的技术,大部分的互联网企业都离不开大数据相关岗位的人才。根据最新的大数据人才报告显示,全国仅有46万大数据人才,而未来3-5年预估缺口高达150万。
大数据的岗位可以分为三大类:大数据系统研发人员、大数据应用开发人才和大数据分析人才。英国领先的报告显示,数据分析师的供应指数低至0.05,这是非常稀缺的,而分析数据是跳槽速度同比其他最快,平均跳槽速度为19.8月。
在中国,随着大数据应用于各个行业,对于大数据相关岗位的需求也更大,据统计,中国未来的基础数据分析差距将达到1400万,在BAT企业招聘岗位中,有60%以上正在招聘大数据相关人才。
在大数据人员选择就业的方向中,最普遍同时需求也大的是大数据系统研发工程师、大数据应用开发工程师和数据分析师。在此也会有一个所有人都关心的问题,那就是什么岗位对应的薪资水平是多少呢?
1、数据分析师
全国数据分析师平均工资:11730/月,取自36179份样本
2、大数据开发工程师
全国大数据工程师平均工资:19420/月,取自84份样本
3、Hadoop开发工程师
北京hadoop开发工程师平均工资:22140/月,取自406份样本
4、数据挖掘工程师
全国数据挖掘工程师平均工资: 22060/月,取自 10027 份样本
5、算法工程师
深圳算法工程师平均工资:21160/月,取自8630份样本
大数据人才的出路在哪里?哪些公司需求大数据人才?
几乎所有公司都需要大数据相关人才,上到世界500强,BAT这样的巨头,小到刚创业的小公司,都对大数据相关人才求贤若渴。马云说:“我们已从IT时代进入了DT时代,未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统,并进行数据集成,数据将会让机器更“聪明”。DT时代,数据将成为主要的能源,离开了数据,任何组织的创新都基本上是空壳。”
科技的发展离不开数据的支撑,而数据,则是引导发展的趋势,引领科技的未来。如果你对大数据技术感兴趣,关注小鸟,私信领取大数据教程。
- ?
数据分析师、数据科学家、大数据专家三个职位的区别
冬云
展开
随着数据科学和大数据作为主流职业选择的出现,不少人对相关职位名称的内涵存在一定的混乱,有些人认为大数据等同于数据科学,另外有些人则认为大数据是数据科学的子集。数据科学已经存在了很长一段时间,而大数据则是相当新的,它源于数据科学。
下面是数据分析师,数据科学家和大数据专家之间的一点比较。
数据分析师
1. 定义
使用自动化工具,他们可以获取分离的数据和见解。他们定义数据集并进行广泛的人口统计分析以确定与业务和产品相关的策略。
2. 所需技能
编程,统计学和数学,机器学习,数据可视化和通信技术,数据处理和数据集定义
3. 适用领域
医疗保健,保险,旅游,行政,游戏,分布式系统
数据科学家
1. 定义
获取数据,构建和维护数据库,根据各种需求清理和分离数据,并从事数据可视化和分析工作。
2. 所需技能
SAS/R/类似工具,Python,Hadoop,SQL,重构数据,数据库构建和管理
3. 适用领域
搜索引擎,广告,自适应算法,AI系统
大数据专家
1. 定义
处理连续大量的数据,定义用于分析的参数和数据集,并编制分析系统,为企业提供战略见解。
2. 所需技能
数学和统计学,程序设计和计算机科学,分析技能,商业战略
3. 适用领域
零售,电子商务,金融服务,通信
正如所看到的,数据分析是这些选项中最基本的。数据分析师的工作有更广泛的应用,因此在不同的行业应用更加多样化。即使数据分析师的教育和学术要求也较低。
接下来是大数据工作,这些工作相当复杂,需要高级技能。有时候,大数据认证是获得大数据分析师工作的强制性要求。由于数字技术在各行业的普及,大数据工作的范围日益扩大。
最重要的是数据科学工作。数据科学认证是获得工作的必备条件。数据科学家的范围比大数据要低,这是由于数据科学不同的概况所致。
有了以上信息,数据分析师、数据科学家和大数据专家之间的差异应该清楚。这个信息可以用于在数据分析和商业战略领域制定更好的职业规划。
原文链接:https://blog.csdn/chszs/article/details/80658582
作者:chszs
- ?
数据分析专业可任职九大工作岗位
伊格纳缇伍兹
展开
这个时代是大数据时代,也是大数据人才稀缺的时代。由于中国人才缺口比较大,大数据也迅速成为行业和市场的热点,更多的企业无论是对大数据人才的招聘都成了刚需,这也促使大数据人才的薪资在同岗位中是最高的,掌握大数据技术,工资提升40%左右是很常见的。
大数据的就业领域是很宽广的,不管是科技领域,还是食品产业,零售业等等,都是需要大数据人才进行大数据的处理,以提供更好的用户体验,以及优化库存,降低成本,预测需求。下面跟小编一起看看大家今后可以从事的工作岗位及未来发展方向。
大数据分析九大热门工作岗位
一、BI工程师
1:负责BI数据仓库的规划,搭建报表平台
2:参与需求分析,数据仓库建模,功能设计及评审
3:与业务部门沟通协调需求并提出各种新的数据分析项目或方案
4:负责日常业务运营提供数据支撑,对分析结果进行报表开发设计
5:负责数据仓库的日常管理与维护
6:负责BI模型设计、报表开发和数据平台门户界面开发
7: 根据项目的数据分析需求进行BI的设计和项目开发
8: 对数据进行挖掘、整理和分析,提取数据进行系统建模
9:根据需求进行数据仓库模型设计,进行程序的开发,构建企业级数据中心
二、数据仓库工程师
1:负责对应业务线数据建模及数据仓库相关产品的设计、开发、测试
2:元数据的搭建和ETL设计、开发、测试
3:构建本行业大数据中心,创建OLAP多维分析模型并组织数据,开发数据集市
4:参与大数据平台数据仓库的建设工作
三、ETL工程师
1:遵循开发任务的计划与目标,服从项目经理的工作安排,参与或负责项目的详细设计、ETL开发等工作,保证项目的顺利研发及推广
2:负责数据中心建模、业务运营数据的导入、数据预处理的设计和开发
3:负责数据中心ETL流程的优化及解决ETL相关技术问题。
4:具备良好的ETL实施经验,能够按要求完成ETL设计和开发工作
四、数据分析师
1:深入理解业务数据分析需求,支持面向业务的数据服务
2:进行数据产品的算法研究和实现,并定期优化迭代
3:数据分析的流程、规范和方法建立,及相关文档的撰写
4:通过API收集数据,进行数据清洗并保存到数据库
五、数据库开发工程师
1:负责数据库系统日常架构,开发,部署,维护,备份和运行方案设计
2:负责软件开发项目中的数据库设计工作
3:负责数据库日常运维程序的编写
4:根据业务需求设计数据库结构,编写表、存储过程、触发、函数等脚本,及性能优化、疑难问题的解决
六、报表开发工程师(Cognos、MSTR)
1:按照要求使用ETL工具对数据进行清洗和整理
2:针对SQLSERVER或者ORACLE数据库编写存储过程
3:使用COGNOS或MSTR等报表工具进行模型创建和报表开发
七、软件实施工程师
1:负责BI项目的需求调研与分析工作
2:负责BI项目的方案设计、实施或项目管理工作
3:了解岗位范围内的硬件、软件、网络的状况,实施维护或更新计划、确保正常使用
4:负责上线企业的BI系统维护,提供技术支持对接服务
5:接受上级领导工作安排,完成其它临时性或突发性任务
八、运维工程师
1:负责BI系统的日常维护、故障排查、性能调优
2:负责系统的日常监测与维护、故障处理、性能分析与优化
3:负责系统模块部署、配置、维护、备份与监测
4:负责服务器维护和监控
5:负责系统的相关文档编写、运维信息统计等
九、软件测试工程师
1:根据产品需求完成测试计划、测试设计以及测试用例的编写,完成测试报告的分析与输出
2:对系统bug进行跟踪、推动解决,保障产品质量
3:根据需要完成关键模块的白盒测试工作
以上就是容大教育小编对数据分析专业可任职九大工作岗位整理,容大教育IT培训机构,专业数据分析培训机构,能够为你提供良好的技术学习,能够更好地了解每个学习者的需求,根据每个学习者特定的需求为其配置最合适的资产组合,无疑更加符合学习者的需求。
- ?
大数据工程师和数据分析师有何区别?
邱以南
展开
大数据并不是一种概念,而是一种方法论。简单来说,就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向,一个是精准化定制,第二个是预测。比如像通过搜索引擎搜索同样的内容,每个人的结果却是大不相同的。
随着大数据的愈演愈热,相关大数据的职业也成为热门,给人才发展带来带来了很多机会。数据工程师、数据分析师已经成为大数据行业最热门的职位。
数据分析师是什么?
数据分析师不同行业中获取数据,并通过获取到的数据对问题进行解答。最后还需要以合适的方式对结果进行展示,以辅助企业做出商业决策。一般来讲,数据分析师的任务是对数据进行清洗、分析以及可视化。
根据行业的不同,数据分析师的头衔也可能不同。比如:业务分析师、商业智能分析师、运营分析师、数据库分析师等等。不管头衔是什么,数据分析师都可谓是通才。他们能够胜任诸多岗位与团队角色,同时也能在极大程度上帮助企业做出基于数据的决策。
数据分析师所需技能
编程,统计学和数学,机器学习,数据可视化和通信技术,数据处理和数据集定义
数据工程师是什么?
在大数据的时代,数据工程师的角色愈发地重要。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。数据工程师是系统的构建者与优化者,所有公司正常运营的基础之一,数据工程师的职责就是保证数据在接收、转移的准确性,并且保证其它用户对数据的可访问性。
和数据分析师不同,他们不太关注统计、分析技能、建模等。他们的工作重点在于数据架构、计算、数据存储、数据流等。因此,数据工程师必须具备相当强的编程能力—包括编写数据查询程序的能力。也就是说,他们的能力必须达到开发运营高手的级别。
数据工程师还负责数据库设计、仓储数据库、建立数据库等。 这就意味着,他们必须十分熟悉现有的数据库技术和数据管理系统,比如和大数据有关的Hadoop与HBase 等。此外,非功能性的基础设施问题,如数据的可扩展性、可靠性、韧性、有效性,备份等也由数据工程师来负责。
数据工程师所需技能
数学和统计学,程序设计和计算机科学,分析技能,商业战略
对于招聘市场端在大数据工程师和大数据分析师二个方向所涉及的岗位具体名称如下图所示:
大数据工程师方向:
大数据分析师方向:
总结:
数据工程师的重心在“后端”,他们需要持续的优化数据通道,才能保证企业数据的准确性与可用性。同时还需确保在需要的时候能够顺畅地将数据提供给用户。
数据分析师则是通过使用数据工程师所构建的自定义API来提取新的数据集,并对其中的数据趋势进行识别,同时对异常数据进行分析。分析师们将会对结果进行总结,并以一种清晰直观的方式来展示这些结果,以便于其它非技术团队能够更好地了解他们目前的工作效果。
有了以上信息,数据分析师和大数据工程师之间的差异应该清楚。对于数据驱动的职位来说,通过数据来找到正确的问题,并据此进行更加精确的试验,这就是其最根本的工作内容。进一步的,数据科学领域将不断发展进步,同时也会对相关从业人员提出持续学习的要求。
分享 IT 技术和行业经验,请关注-技术学派。
- ?
数据分析师的分布、特征等概览
仲映阳
展开
; ; ; ; 随着大数据发展走入我们视野的职业,应该可以算得上是程序员的一个进化分支吧。跟着小编一起用大数据分析一下,高大上的数据分析师的“钱途”究竟如何!
分析师职位的行业分布情况
数据显示,数据分析师职位主要集中在互联网、金融、消费品、制药/医疗等行业,其中互联网和金融行业的分析师职位数占比超过了80%,这源于该几类行业已在短期内无论是产品端、用户端、运营端等都实现了大数据的原始积累,且数据增长速度依然可观。此外也说明“数据驱动决策”的趋势在当下变得尤为重要。
分析师职位的地区分布情况
从数据分析师职位的区域分布来看,“北上广深杭”等特大一线城市合计占据88.5%的职位份额,单单北京地区占比就超过四成。对于数据分析师的职业发展来说,“坚守而不是逃离一线城市”才是明智的选择。
互联网行业数据分析职位的特征
互联网行业数据分析的主要对象是产品、运营和用户,其次是市场和客户。以数据为依据,为产品策略、运营战术、用户研究、市场趋势、客户画像等企业关键领域提供必要决策支持。
金融行业数据分析职位的特征
金融行业普遍重视产品与运营层面的数据分析,除此之外最为重视对客户的分析。而对于风险、信用、信贷与投资领域的分析则是金融行业特色,反映出数据分析已在金融核心业务线上都发挥着重要作用。
企业为分析师职位提供的薪酬(上限)
无论是初级还是高级岗位,企业都愿意为分析师提供高于行业平均水平的薪酬。同时,随着工作年限的增加,分析师薪酬与行业平均薪酬的差距逐渐拉大,在15年工作年限时,薪资差距拉大到近20万。
高薪分析师职位在不同行业的分布
互联网行业年薪超过50万元的分析师职位数最多,占比超过五成;其次为金融行业的21%。巨大的数据量、复杂的数据结构以及结合不同业务而进行的复杂数据开发,造成了数据分析师高端岗位的紧俏。同时也反映出,越来越多的企业(具有大数据基础的)愿意付出高薪解决企业自身数据方面存在的问题。
高级分析师职位在不同地区的分布
年薪50万以上的分析师职位主要分布在北京、上海、深圳、杭州、广州。其中北京高端分析师职位最为集中。
分析师的教育专业背景
数据分析师从业者的专业背景中,计算机、统计、数学、信息管理等专业的占比相对较高,但其他专业也不少。从另外一个角度来看,无论你是学什么专业出身的,都有新专业、新领域的知识要学。
高级分析师职位的技能要求
小·结
大数据具有数量大(Volume)、高速率(Velocity)、多样性(Variety)、真实性(Veracity)等特点,这就要求从事中高端数据分析的人员除了具有高超的业务理解能力和沟通能力之外,;还必须具有以下四大综合性能力:
1.卓越的数据处理能力,包括收集、清洗、存储、查询技术等。
2.数据分析能力,如数学建模、算法设计、文本挖掘、机器学习、统计软件应用等。
3.数据可视化能力,如基于几何的技术、面向像素技术、基于图标的技术、基于层次的技术、基于图像的技术和分布式技术等。
4.数据变现能力,如企业运营、产品策略、市场研究、品牌管理、需求分析等。
据分析,到2018年,我国数据分析师的职位空缺将达到近40000人,而且各行各业均会对数据分析挖掘相关岗位产生很大的需求。
- ?
谈谈对数据分析师岗位的感想!
云曦
展开
在对数据分析岗位进行整理与研究时,通过对于这些岗位的企业性质、从事数据分析岗位职责、岗位要求及薪资待遇进行研究。我们对于未来的数据分析这个职业充满了希望,但是也对于这个职业二极分化充满了担忧。
一、数据分析职业概述
越来越多的企业将选择拥有项目数据分析师资质的专业人士为他们的项目做出科学、合理的分析,以便正确决策项目;越来越多的风险投资机构把项目数据分析师所出具的项目数据分析报告作为其判断项目是否可行及是否值得投资的重要依据;越来越多的企业把项目数据分析师课程作为其中高管理层及决策层培训计划的重要内容;越来越多的有志之士把项目数据分析师培训内容作为其职业生涯发展中必备的知识体系,数据分析这个职业应运而生,毫不夸张的说,数据分析师带给企业的不仅仅是一个个数据报告,更是一桶桶黄金,一片片亟待探索的蓝海。
二、数据分析职业现状分析
这个职位目前呈现是二八原则,好的数据分析师的收入是非常高,差不多平均水平在13k左右,但是处境不好的数据分析人员只能拿到跟内勤同等收入的水平。比如数据分析招聘中,185号岗位,这是一家公司需要大量招聘初级的数据分析师进行长期的培养广告公司;高级数据分析师在全国的范围内来说还是很少一个群体,主要承担对于某个数据分析项目进行建模与分析及算法研究等,这批人员一般的薪资待遇在16K以上,大多数在互联网与金融行业等利润率比较高的行业,数据分析招聘中,199号岗位,该岗位是杭州大型电商公司为其呼叫中心招聘数据分析师,待遇在P7左右,也就20-22K/月,还有盛大招聘数据分析师岗位也其实有很有代表性;最高端是一些互联网数据分析部门的管理层与数据科学家,一般是大型公司对于某个项目进行数据挖掘研究,全国也只有微软与阿里及一些从事数据挖掘公司里有这些数据科学家,一般的待遇差不多在50万以上年薪,这个大家可以关注一些互联网公司的招聘信息。
三、数据分析师的能力标准
格局是决定一个数据分析师的能力标准,一个好的数据分析师应该从行业的层面来分析公司现在所处的位置以及整个行业的分析,而且通过内外的数据得出富有逻辑性的结论,然后从这些结论中提供公司战略层面思考的策略,当然我也明白现在我们很多的分析师朋友都在沉浸在业务或者项目分析中,但是我认为格局观是决定一个数据分析师的能力标准。
数据分析师要做到基于内部与外部的数据结合通过严密的完整商业思考及严密逻辑推理,得出针对业务好坏的结论,并得出业务改进的策略。
什么内部与外部的数据的结合,我们即要看内部的数据还要结合行业的数据,而商业思考是做数据分析师通用的技能,那么结论是基本产出物,策略是分析师高级产出物。
四、数据分析师的三类素质
第一类是基本素质,第二类是通用技能,第三类是专业技能。
基本素质包括:1、聪明与好奇心;2、愿意学习并愿意能沉下心来付出;3、耐心与专注。
通用技能是核心思考能与展现自己的能力,第一点,结构化的思考能力与逻辑推理能力即智商不能差,如果是这样你看到的越多就做的越好,怎么来判断呢?第二点,良好商业感觉与商业判断能力;第三点,要有宏观思考能力,你要看到的格局要到;第四点,要有良好沟通能力。
专业能力从专业上要有基本统计学知识,从能力上要包括扎实数据分析能力与数据处理能力包括SAS\R\SPSS及tableau、FineBI等可视化表达的能力。那么高级数据分析师,我们应该更看中基本素质与通用能力,如果专业操作类分析师那么我们需要基本素质与专业技能。
五、企业要求及需备的知识点
大多数的互联网行业特别是电商行业对于数据分析师这块还是比较看重,主要的原因其主要的资产除了产品、人员就是长期积累的数据而这些海量的数据已经不能用人工经验来还原业务,这就需要数据分析师对于数据进行归纳与还原商业规则与逻辑,一般主要涉及商业分析、用户分析、产品分析、运唯支撑等这几块;从各家公司招聘信息来看,要求几乎雷同,同时也说明这个职业的互通性很强,说白了就是换个行业都可以在职场上存活下来;一般需要以下几个要求:
1、数据分析经验;
2、商业数据敏感度;
3、基本工具(SAS、SPSS、SQL、EXECEL等);
4、建模;
5、知识点(统计学、会编程);
六、如何获得数据分析知识点?
1、数据分析经验,大家可以每天浏览我们西线学院官网的文章,我们每天都会发布一些最新的分析实战文章;
2、基本工具类,我们西线学院帮助学员从零基础学会数据分析工具编程,丰富的知识扩展,实用性强,不掺杂无用讲解,只为给学员最极致的教学体验!
- ?
3大领域,4大方向,做好数据分析岗位的职业规划
烟雨茫
展开
编者按:本文来自公众号秦路(ID:tracykanc),作者秦路;36氪经授权发布。
最近有不少同学在后台问我数据分析的职业发展相关,这里先列一个简易大纲。它更多是以我所在的互联网行业展开的。
入门和职业规划应该从两个角度考虑:领域和路线。
领域是不少新人常忽略的要素,其实数据分析不会脱离业务存在。你进入哪个行业,很大程度会决定你初期的技能树和技能点。譬如金融领域的风控模型、营销领域的生命周期、广告领域的点击率预估等,各有各的特色。
如果是一位应届生,不妨多了解自己感兴趣的领域,和专业相关是最好的,并且积累相关的经验,为面试做准备。
如果已经有一定行业履历,只是想要转岗数据分析师,那么跨岗不跨行,避免跳到一个陌生的领域。
领域经验太宽泛,我给不了太多的指点,主要也就三点:1.自己感兴趣的,2.自己擅长的,3.有钱途的。从职场生涯看,成为某领域的数据专家,会是一个更好的筹码。
而路线大致可以划分成四大方向:
数据分析,数据挖掘,数据产品,数据工程。
数据分析/数据运营/商业分析
这是业务方向的数据分析师。
绝大部分人,都是从这个岗位开始自己的数据之路,也是基数最大的岗位。
因为基数大,所以这类岗位通常鱼龙混杂。有些虽然叫数据分析师,但是每天只需要和Excel打交道,完成leader布置的表格整理工作就行。混个几年,成为一位数据分析主管,给下面的新人继续布置Excel任务。
又有一种数据分析师,岗位职责要求你掌握常用的机器学习算法,面试首先推导一个决策树或者逻辑回归。入职后也是各类代码,和分析打交道的情况不多。
都叫数据分析师,其实天差地别。
这里更多指互联网行业,偏业务的数据分析师,一般属于运营部门。不少公司也称数据运营或者商业分析。
这类岗位的职位描述一般是:
负责和支撑各部门相关的报表;
建立和优化指标体系;
监控数据的波动和异常,找出问题;
优化和驱动业务,推动数据化运营;
找出可增长的市场或产品优化空间;
输出专题分析报告;
实际情况是,不少业务端的数据分析师,主要工作只做第一点。别管它用汇总、分析、数据支持什么修饰词,基本是跑SQL,做报表。硬生生活成了业务端的表哥。
这是很常见的情况,也是入门新人的第一个坑。因为从头到尾,这类分析师,都没有解决问题。
业务部门往往更关心,某个指标为什么下跌或者上升。产品的用户是什么样的?怎么能更好的完成自己的KPI。
以活跃指标的下跌举例:
活跃指标下跌了多少?是属于合理的数据波动,还是突发式?
什么时候开始的下跌?
是整体的活跃用户下跌,还是部分用户?
为什么下跌?是产品版本,还是运营失误?
怎么解决下跌的问题
这是一套标准的解决思维。分别对应what、when、who、why、how,每一部分都不是三言两语可以解释清楚。不要看它简单,例如你通过多维分析,发现某个地区的活跃下跌了,不要急着把它作为分析的结论,这是不合格的数据分析。某地区的活跃下跌,只是现象,不是原因,把它作为结论提交,肯定会被骂的。
你要解决的是,为什么这个地区的活跃下跌了。是该地渠道,是该地竞争对手,是该地市场环境?这些问题都是细化深入的范畴。并且,它们要能以量化解释,而不是我认为。
做好了这点,才是一个真正的业务端的数据分析师。
当然,这一点看的是leader。leader能否带你进入业务分析的大门,决定你将来是不是成为一个表哥。新人切记切记。
解决问题是一方面工作,另外一方面,数据分析师的职责是将业务数据体系化,建立一套指标框架。活跃下跌的问题,本质上也是指标问题。什么时候开始下跌,哪部分下跌,都能转化成对应指标,如日活跃用户数,新老用户活跃数,地区活跃数。
你不能衡量它,就无法增长它,指的就是指标体系。指标体系可以是业务部门建立,但数据分析师也挺合适。一方面他们比数据挖掘这类技术岗位更贴合业务,一方面不像业务岗位对数据抓瞎。
两者结合,这岗位也能称为数据运营。
指标体系如果工程化自动化,也就是BI,所以数据分析师可以算半个BI分析师,这里不包括BI报表开发。BI如果采购第三方,数据分析师负责BI没问题,如果自有开发,那么BI岗技术的色彩更浓厚。
数据分析思维和业务的理解,是分析师赖以生存的技能。很多时候,工具是锦上添花的作用。掌握Excel+SQL/hive,了解描述统计学,知道常见的可视化表达,足够完成大部分任务。机器学习这类能力,对此类数据分析师不是必须的,Python也一样,只是加分项。毕竟为什么下跌,你无法用数据挖掘解答。
数据分析师是一个基础岗位,如果专精于业务,更适合往管理端发展,单纯的工具和技巧很难拉开差距。数据分析的管理岗,比较常见的有数据运营经理/总监,数据分析经理等,相对应的能力是能建立指标体系,并且解决日常的各类「为什么」问题。
商业/市场分析是另外一个方向,更多见于传统行业。你要开一家超市,你得考虑哪里开,这就要考虑居民密度,居民消费能力,竞争对手的多寡,步行交通距离,开车交通距离等。这些数据是宏观的大指标,往往靠搜索和调研完成,这是和互联网数据分析师最大的差异。
若往其他分支发展,比如数据挖掘工程师,则要继续掌握Python和机器学习等。从业务型发展上来的好处是接地气,具备商业洞察力(天天搞报表,怎么可能不熟),这点是直接做数据挖掘,或者程序员转岗,所不具备的。
新人,比较普适的发展路线是先成为一位数据分析师。积累相关的经验,在一两年后,决定往后的发展,是数据挖掘,还是专精数据分析成为管理岗。
学习资料:
这里对学习资料不再多做推荐,看历史文章:如何七周成为数据分析师
数据挖掘/算法专家
这是技术向的数据岗,有些归类在研发部门,有些则单独成立数据部门。
数据挖掘工程师要求更高的统计学能力、数理能力以及编程技巧。
从概念上说,数据挖掘Data mining是一种方式,机器学习Machine Learning是一门方法/学科。机器学习主要是有监督和无监督学习,有监督又可划分成回归和分类,它们是从过去的历史数据中学习到一个模型,模型可以针对特定问题求解。
数据挖掘的范围则大得多,即可以通过机器学习,而能借助其他算法。比如协同过滤、关联规则、PageRank等,它们是数据挖掘的经典算法,但不属于机器学习,所以在机器学习的书籍上,你是看不到的。
除此之外,还有一个领域,属于最优化问题的运筹学。现实中的问题往往有很多约束,比如护士排班,一共有三班(早、中、晚),现在要求每班满足最低护士人数,每位护士尽量不能连班,每位护士不能连续工作5天。每位护士的夜班数要均衡,每位护士每月的班数要均衡…这些问题很难用机器学习的方法完成,而在最优化领域,则有遗传算法、模拟退火算法、蚁群算法等。
实际的应用场景中,如外卖行业,如何寻找骑手效率最大化的最优路径,同样属于最优化,也是数据挖掘的工作范畴。
数据挖掘工程师,除了掌握算法,同样需要编程能力去实现,不论R、Python、Scala/Java,至少掌握一种。模型的实施,往往也要求Hadoop/Spark的工程实践经验,精通SQL/Hive是必须的。
常见数据挖掘项目的闭环如下:
定义问题
数据抽取
数据清洗
特征选取/特征工程
数据模型
数据验证
迭代优化
单看环节,数据挖掘对分析能力没有业务型那么高。这不代表业务不重要,尤其在特征选取方面,对业务的理解很大程度会影响特征怎么选取,进而影响模型质量。用户流失是一个经典的考题,如何选取合适的特征,预测用户会否流失,能够考察对业务是否深刻洞察。
数据挖掘的业务领域一样可以细分。金融行业的信用模型和风控模型/反欺诈模型、广告模型的点击预估模型、电商行业的推荐系统和用户画像系统。从需求提出到落地,数据挖掘工程师除了全程跟进也要熟悉业务。
因为要求高,所以数据挖掘的平均薪资高于数据分析师。
一个分工明确的团队,数据分析师负责将业务需求抽象成一个具体的数据假设或者模型。比如,运营希望减少用户流失,那么设立一个流失指标,现在需要预测用户流失率的模型。模型可以是数据分析师完成,也能是数据挖掘工程师。最终由数据挖掘团队部署到线上。
在一些公司,高级数据分析师会等价于数据挖掘工程师(其实行业内,对Title并没有严格的标准),只是工程能力可以稍弱,模型部署由专门的工程团队完成。
数据挖掘工程师,往后发展,称为算法专家。后者对理论要求更严苛,几乎都要阅读国外的前沿论文。方向不局限于简单的分类或者回归,还包括图像识别、自然语言处理、智能量化投顾这种复合领域。这里开始会对从业者的学校和学历提出要求,名校+硕士无疑是一个大优势,也有很多人直接做数据挖掘。
深度学习则更前沿,它由神经网络发展而来,是机器学习的一个子集。因为各类框架开枝散叶,诸多模型百花齐放,也可以算一个全新的分支。除了要求熟悉TensorFlow, Caffe, MXNet等深度学习框架,对模型的应用和调参也是必备的,后者往往是划分普通人和大牛的天堑。
算法专家和深度学习专家,薪资level会更高一级,一般对应于业务型的数据运营/分析总监。
数据科学家是上述岗位的最终形态之一,要么理论能力非常强,往往担任研究院的一把手。要么工程能力突出,上述的系统都能完成平台化的部署。
这类岗位对基础知识要求扎实,所以书籍需要比较大的阅读量,而且要保持领域新论文的吸收。
统计知识,除了「商务与经济统计」外,国外有一本「The Elements of Statistical Learning」,评价不错。
机器学习的入门,李航的「统计学习方法」,周志华的「机器学习」都是好书,英文好也能看PRML。
Python入门书籍的推荐太多,略过。「用Python进行数据分析」是必备的,当然这本书有点老,活用官网最新文档和stackoverflow,基本无碍。Python可视化查阅文档也够了,不用看书。
再进一步,则是机器学习的代码实现,比较知名的有「集体智慧编程」,「机器学习实战」等。其实最近还有不少新书,「Python DataScience Handbook」等,我当然不可能都看过,所以也不好推(hu)荐(you)。
除了基础,行业领域的也别落下,诸如推荐系统实战、计算广告…按需学习。如果你们公司对于人才有较高的挑战(一个人当两个人用),大概Spark/Hadoop机器学习相关的框架也得了解。
数据产品经理
这个岗位比较新兴,它有两种理解,一种是具备强数据分析能力的PM,一种是公司数据产品的规划者。
前者,以数据导向优化和改进产品。在产品强势的公司,数据分析也会划归到产品部门,甚至运营也属于产品部。这类产品经理有更多的机会接触业务,属于顺便把分析师的活也干了,一专多能的典型。
他们会运用不同的数据源,对用户的行为特征分析和挖掘,达到改进产品。最典型的场景就是AB测试。大到页面布局、路径规划、小到按钮的颜色和样式,均可以通过数据指标评估。
下图的案例,就是弱化心愿单按钮的存在感,让用户更多的聚焦在直接购买而不是收藏,最终让销售额提高了35%。
俗话说,再优秀的产品经理也跑不过一半AB测试。此类数据产品经理,更多是注重数据分析能力,擅长用分析进行决策。数据是能力的一部分。
后者,是真正意义上的数据产品经理。在公司迈大迈强后,数据量与日俱增,此时会有不少数据相关的产品项目:包括大数据平台、埋点采集系统、BI、推荐系统、广告平台等。这些当然也是产品,自然需要提炼需求、设计、规划、项目排期,乃至落地。
我们不妨看几个数据产品经理要求:
负责大数据产品的设计,输出需求文档、产品原型;
负责推荐算法的产品策略,完成相关推荐及个性化推荐产品的需求分析;
负责分析和挖掘用户消费内容的行为数据,为改进算法策略提供依据;
负责客户端数据需求的对接,制定相关埋点规范及口径,相关业务指标验证;
报表展示工具的落地和应用;
和C端注重用户体验不同,数据产品,更注重整体的分析能力和逻辑。除了产品经理最基础的Axure、Visio、MindManager等工具。往往还需要很多技术型的能力。比如了解BI/DW原理和实施、了解常用的推荐算法、了解机器学习模型等。这也很容易理解,C端要求你了解用户需求,而在数据端,主要用户就是数据。
这当然不是说,用户体验不重要,拿推荐算法来说,除了满足用户最基本的感兴趣,也要考虑时效性,考虑新兴趣的挖掘,考虑无数据时的冷启动问题…这些一样是用户体验,只是解决方案也得从数据出发。再多思考一步,模型是离线还是实时,实时怎么实现它?技术细则不用å¤...
数据分析岗位
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并