- ?
稍不注意程序员和分析师都有可能是青春饭,35岁后职业停止!
景色
展开
随着大数据越来越多的应用,大数据职位也越来越多的受到青睐。在这些职位中大数据分析师和程序员是两个人员比较职位。这两个经常也被别人认为是吃青春饭的岗位,其实要说大数据分析师还不一定吃青春饭的。但一旦不努力,这两个岗位都有可能是吃青春饭的岗位。
程序员本来大数据开发和大数据分析岗位的方向是不一样的,相对来说大数据分析岗位在于对数据的分析,而开发则是对于方案的实现。
大数据分析的职责是通过运用数据分析的技术和方法,从海量的数据里面挖掘出数据潜在价值,并建立分析结果的模型及方法。就是从海量的数据中获得想要的宝物。其要依靠坚实的理论知识,比如数学的统计、概率等,如果具有超常经验的人更能洞察出数据的奥妙,能够挖掘出有价值的数据。
大数据分析师大数据程序员的职责则是运用设计及编程技术,把数据分析后的方案进行实现,把结果呈现出来。如果具有相当设计及开发的知识,能更好的实现数据分析结果,系统更高效代码更简洁有效。
大数据分析师随着进入大数据的人员越来越多,其竞争也是越来越大。如果不能把自己的能力提高到一定的高度,那就是相当危险。其实任何一种岗位道理都是一样的,没有扎实的基础过硬的能力,那都会存在职业的危险。目前35岁确实是很多职业的一个门槛,一旦35岁以后出现失业之类的,再就业就会出现问题。特别是程序员更是很多人都已经面临这个门槛,而大数据分析师目前来看还不太有这样的危机,但随着人员的大量涌入,长江后浪推前浪就会成为现实。
- ?
作为数据分析师,鬼知道我经历了什么!
卓安波
展开
谨以此文献给所有数据从业苦逼之人,如有中伤之处,请自行戴好盔甲,以防中伤过深。同时也以此文献给后期对数据热情,想长期从事此行业的年轻人,希望对你们有所启发,并快速的调整思路和方向,以对自己的职业生涯有更好的发展。
最近听到一些段子,很有意思,分享给大家!
这些段子是很多数据分析人员的真实写照:
新招进公司做大数据分析师,好开心好兴奋好激动!!!然而...
入职第一天,老板给了我一张 50M 的 Excel 表说:
“你看我们有 100多万条用户信息,这么大的数据,来个大数据分析下!”
还没从震惊中恢复过来,业务部又神补一刀:
“我们准备跟星巴克合作,来预测下明年多少人喝咖啡,几千万的大项目,预测不准公司要亏很多钱的,你加油哈!”
面对这样的业务部,我只想说:“我要是未卜先知为啥不去炒股来给你打工”
IT大哥贼兮兮的说:“哥们你可来了,那失散到天涯的数据有娘啦!”
没法,最终还是把数据拼起来开始分析...
发现好有规律啊~好工整啊~这...是不是有坑?!
去业务部一问才知道,这些都是被经销商篡改操纵的数据...
后来拿到了全真实的数据!全部没有规律了!喜极而泣!!
擦干泪仔细一看,80%的记录缺失,10%记录不全,5%记录出错……
整完数据开始统计,然而领导觉得只做加减乘除太简单了,有没有更深度的方法(解读:需要纠正的是,有用为先,花哨次之,这种说法不太合理)
简单了就做个模型吧,然而检验值还没讲完领导表示太复杂搞不懂,能简单点不(解读:这个是解读能力的问题,跟领导没关系...没关系..没关系...)
改来改去已很多遍了!我已不太记得领导唠叨了什么,总之又听到一句:“再改一下,看看其他维度深入分析分析”,然后默默新建一个文件:《分析报告V16-8版》
输出结果和业务部的认知差不多,被评价为:
“我们都知道了啊,这大数据做了跟没做一样啊”
输出结果和业务部的认知差很多,被评价为:
“这个与业务经验完全不同,肯定是数据的问题,我们都十多年经验了,快回去检查数据,上次我去见XXX客户人家就不是这样的!一定是你错了!一定!”
此段子一出,群里都炸开了锅,大家都开始不断的煽风点火,各种数据背锅,各种吐槽,说尽了数据分析师的辛酸苦辣。
我做数据分析师的时候也经常遇到上面这些遭遇,乃至后来找到了一些规避这些问题的方法,希望对大家有所帮助。
同时,我也希望借此号召所有的数据从业者,在数据应用实践上能够深入思考并有所突破,在正确的轨道上更好的发挥出数据的价值,从而让数据从业者有更大的 ,不再拘泥于每天的抱怨和自怨自艾中。
数据之苦
进入正文,数据人之苦最苦的是:有好处想不到你,出了问题都是你的错
这句话的意思就是你做好是应该的,做得不好就得承担责任。这种痛苦完全命中了马云蜀黍对离职的两点看法:
心累(得不到价值肯定)、钱少(没业绩肯定哪来的升职加薪)
区分数据流程的不同阶段,数据人之苦又有所区分侧重不同,说一下我的个人浅见。
根据数据应用的不同阶段,我的划分方法如下,从数据底层到最后应用:
大数据平台
目前很火,数据源头,各种炫酷新技术,搭建 Hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂 Java,很多平台都是用 Java 开发的。
现在很多企业都把数据采集下来了。对于传统的业务,用传统的数据是完全够用的;可是对于用户行为和点击行为这些数据或者很多非结构化的数据,文本、图像和文本类的,由于数据量太大,很多公司都不知道怎么进行存储。
这里面要解决的是实时、近实时和离线的大数据框架如何搭建,各数据流之间如何耦合和解耦,如何进行容灾、平台稳定、可用是需要重点考虑的。
我的感觉是:最近两三年中,这块人才还是很稀缺的,因为大数据概念炒作的这么厉害,很多企业都被忽悠说,我们也来开始进入大数据行业吧。但是,进入的前提之一就是需要把数据存储下来,特别是很多用户行为方面的数据,对于业务的提升了比较明显的,如果你能很好的刻画用户,那么对你的产品设计、市场营销、开发市场都是有帮助的。
现阶段,很多公司都要做第一步:存储更多的数据。这也就是我们这块人员流动性比较高,因为都被高薪挖走了。
和传统的 SQL 不同的是,针对大数据量的非结构式数据,我们所想的就是:用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域,从目前来看有两个方向
分布式已经被证明是个很好的一个方式。云端会是个很好的方向。不是每个公司都养得起这么多这么贵的大数据平台开发人员和运维人员 OPS,从事这个行业的我们要有很好的危机意识,及时贡献出自己的价值,积极主动的学习新技术、否则你就要被淘汰了。
此外,花点钱把数据托管给云服务提供商对于创业公司或者一些传统的企业来说是个很好的思路,这样能够最快速地确定数据对你的价值是什么,而不用采购这么多的服务器、雇佣这么多的运维和网站开发人员。
说了以上这些,主要是想给未来会从事这块的人或者想存储数据的公司一点方向。我自己不做这块,体会不深,大家看看就行。
这块工作最被吐槽的一点就是:Hive 速度好慢,SQL 查询好慢,集群怎么又挂掉了,Hadoop 版本升级后,怎么数据跑出来不对了等等。
因此,在这个领域内工作,需要有强大的
攻坚能力。快速定位和解决 bug 的能力。因为有很多工具都是开源的。Java 开发能力。因为是开源的,所以会出现各种坑爹,甚至出现无法向下兼容的情况。
如果想在这块做的很好,还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力,可以打入开源社区,这样就可以随时 follow 最新的潮流和技术。
数据仓库-ETL
确实做仓库的人很辛苦,单单 Oncall 就会让人望而却步。有很多数据库工程师,晚上睡觉的时候经常被 Oncall 电话吵醒,因为数据流程出问题,需要第一时间去排查,是哪个数据源出问题,并且要立即解决,否则整个数据流程都会受到影响。
如果数据流程受到了影响,你就可能会被大领导一言不合叫到办公室说:我要的数据怎么还没有准备好,我的业务报表今天怎么没有发出来。
通过上面这个情景,我们可以知道:这是个很重要的岗位,因为数据流程很重要,决定了数据从源头杂乱无章的状况,通过 ETL 之后变成了整齐的数据,这些整齐一致性的数据可以让你很方便地把各业务的统计结果计算出来,并且能够统一口径。要不然就会变成有几个部门,就有几种统计结果,到时候 A 部门说业务增长了 5%,B 部门说业务涨了 10%,OMG,到底信谁?
至少在以下几点上,我觉得数据仓库人员是应该要做好:
数据字典的完整性,用的人都希望能够清晰的知道这个字段的逻辑是什么。字段要保持很好的一致性,不要同样一个字段在不同表里有不同的定义。核心流程的稳定性,不要让每天订单主表能够使用的时间很不稳定,有的时候很早,有的时候要中午才出来,如果不稳定就会导致使用数据的人对你很没有信心。仓库版本迭代不要过于频繁,要保持不同版本之间的兼容性。不要做好了仓库 1.0,很快就把原来的推倒重来,变成了 2.0。在数据仓库中需要考虑到延续性,主表的变动不要太频繁,否则使用的人会非常痛苦,好不容易才用习惯了 1.0 的表结构,没办法这么快进行切换。简单地说,要能向下兼容。在这点上,我是深有体会,之前出现过每来一个大领导都来换一次数据仓库的。保持各业务逻辑的统一性,不要出现同样的业务逻辑,同一个组别的人统计出来的结果不同。原因在于共同的逻辑没有落地成通用的东西,所以导致每个人写法不同。这点其实需要特别注意。
针对以上,这个岗位的技能要求是:不要成为仅仅会写 SQL 的人,现在工具都很发达,如果你的技能很单一的话,那么可替代指数是非常高的,并且你自身也没有什么成就感。这里并不是说会写 SQL 的人很 low,只是说应该多学一些技能,否则你很危险。
技能上,除了 SQL 熟练之外,还需要知道如何写 Transform,MapReduce,因为有很多业务逻辑用 SQL 实现起来非常复杂,但是如果你会其他脚本语言,那么就能给你提供便利,让你的效率提升很多。
另外好的仓库人员需要写 Java 或者 Scala,通过写 UDTF 或者 UDAF 来提升你的效率是很有必要的。
仓库人员应该要常常思考,如何进行架构设计是最合理的,你要考虑是否需要字段冗余、行存储还是列存储、字段如何扩展最有效,热数据和冷数据如何拆分等,所以需要有架构思维。
数据仓库人员也应该常常考虑自动化和工具化方面的事情,需要很好的工具或者模块的抽象能力,动手实现自动化的工具来提高整个组织效能。针对经常碰到的数据倾斜问题,需要很快定位问题并进行优化。
说完了数据存储这块,接下来是数据应用的几个关键职位,在此之前,我想说数据应用的一个最关键的前提是:数据质量、数据质量、数据质量!!在每次阐述你的观点、分析结论或者用算法的时候,都需要先检查,源头数据正确性,否则任何结论都是伪命题。
数据可视化
这是个很炫的工作,最好是能懂点前端,比如 js。
数据可视化人员需要有很好的分析思维,不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多,所以没有特别深入的感悟,不过我觉得这个岗位需要有分析的能力,才能把可视化做好。
另外一方面来说,做数据应用的人都应该懂点数据可视化,要知道观点表达的素材顺序是:图片>表格>文字,一个能够用图片来阐述的机会千万别用文字来描述,因为这样更易于让别人理解。要知道,给大领导讲解事情的时候,需要把大领导设想成是个“数据白痴”,这样才能把一件事情说的比较生动。
4
数据分析师
现在对数据分析的需求是很大的,因为大家都想着说:数据有了,但是能做些什么呢?这就需要有数据分析师, 。
对数据分析师吐槽最多的是:你分析出来的不就是正常的业务逻辑吗,还需要你分析什么?或者是你分析的结论不对,跟我们的业务逻辑不符合。
特别是 ABTest 的结果和当初设定的预期不相符合的时候,分析师会常常被拉过去说:分析一下,为什么我的 AB 实验结果不显著,里面肯定有原因的。
很多时候,宝宝的心里苦啊,你说这个转化率下降了,从数据上可以看出哪个细分渠道下降了,至于为什么客户不下单,我们得问用户去,很多时候,数据上也体现不出来为什么,只能告诉你现状是什么。
如果你一直在写分析报告,给结论中,持续周而复始,没有直接在业务中体现成绩的时候,数据分析师们该醒醒了,你该想想这个是你要的岗位吗?
对于数据分析师的定位:个人认为,成为优秀的数据分析师是非常难的,现在市面上也没有多少优秀的分析师。
我个人对数据分析师的技能要求除了会数据分析、提炼结论、洞察数据背后的原因之外,还需要了解业务,懂算法。只有这样,当面对一个业务问题时,数据分析师们才可以针对问题抽丝剥茧,层层递进去解决问题,再根据定位的问题进行策略的应对,比如是先做上策略进行测试还是应用算法进行优化,用算法用在哪个场景上,能不能用算法来解决问题。
一个优秀的数据分析师,是个精通业务和算法的全能数据科学家,不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。
我们都说分析要给出结论,优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施,同时很多需求是分析师去主动发现并通过数据来挖掘出来的。
从上述描述中,可以看到对数据分析师的要求是:
会写sql拉数据精通业务会数据洞察精通算法主动性强
如果你一直只是忙于应付日常分析需求,热衷于写华丽的报告,那么你要记得,你很危险,因为会有一堆人在那里质疑你存在的价值,特别是小公司。因为数据人员的薪资是个不小的支出。
大部分不落地的分析都是伪分析,有一些探索性的可行性研究可以不考虑落地,但是其他的特定业务需求的分析都需要考虑落地,然后通过实践来反推你的作用,如此反复,才能慢慢的给你价值的肯定,同时提升你的分析技能,也只有这样才能证明你作为分析师、数据落地者的价值。
数据挖掘/算法
这块的话,经过这三年的摸爬滚打,感触蛮多的。体会比较深的吐槽主要有以下几点:
一个规则搞定了,还用什么算法。你的准确率怎么这么低?!你的准确率可以到 99% 吗?你的推荐有价值吗?你不推荐客人也会下那个产品的订单的。帮我做个大数据预测他想要什么?
很多时候,不同的场景对准确率的要求是不同的,所以在一定合理的场景下和业务进行据理力争是必要,不要害怕让业务吐槽,更多的时候管理å¥...
- ?
成为一名数据分析师需要会哪些技能?
彭塔雷纳斯
展开
上海数据分析网数据分析师这个职业越来越火,越来越多的人想往这个方向发展。
有在校生,也有转行的小伙伴来咨询数据分析师这个职业的相关问题。
从大部分情况来看,大家对于数据分析师的职业发展和技能非常关心。
那么别的先不说,数据分析入门到底要学什么?怎么学?
Excel
作为数据分析师,Excel是必备技能。Excel 是经过检验的可靠的数据分析工具,它广泛存在,非程序人员也能便捷操作,所以大多数企业即使也使用其他工具,但 Excel 工具还是他们的不二选择。
统计学
统计学同样是数据分析师的必备技能之一,你只有学好了统计学才能谈得上数据分析。统计知识会要求我们以另一个角度看待数据。当你知道AB两组的差异用平均值看是多傻的事情,你的分析技巧也会显著提高。如果你想成为一名出色的数据分析师,那么你就必须要会统计学。
推荐图书:《深入浅出统计学》
上海数据分析网大概是最啰嗦的深入浅出系列,从卖橡皮鸭到赌博机的案例,囊括了常用的统计分析如假设检验、概率分布、描述统计、贝叶斯等。书本注重应用和趣味性,数学推理一般。
SQL
sql是所有数据库查询的语言,sql非常容易入手。
针对不同的数据库,如mysql、sqlserver、oracle等,sql语法会有所不同,但是总体上大同小异,只是细微处的差别。
而且如果你有数据库基础的话,只需要找些sql查询的习题来做一下,就会很快的得到提高。
推荐图书:《MySQL必知必会》
上海数据分析网学习 SQL 的入门书,薄册子一本,看起来很快。SQL 是个性价比很高的技能,简单而强大。任何想进一步提高自己数据分析技能的产品/运营/分析师 同学,都建议点亮 这个技能点。
数据分析思维
作为一名数据科学家需要很挑剔,并且善于发现他人会遗漏的东西。那么我们应该如何做到像数据科学家一样思考呢?
梳理分析思路,并搭建分析框架,把分析目的分解成若干个不同的分析要点,即如何具体开展数据分析,需要从哪几个角度进行分析,采用哪些分析指标(各类分析指标需合理搭配使用)。同时,确保分析框架的体系化和逻辑性。
推荐图书:金字塔原理
上海数据分析网金字塔的基本结构是:中心思想明确,结论先行,以上统下,归类分组,逻辑递进。先重要后次要,先全局后细节,先结论后原因,先结果后过程。
行业知识
对于数据分析师来说,业务的了解比数据方法论更重要。而且业务学习没有捷径。这一部分也没有什么书可以看的了,基本都靠搜索,总结,思考,再搜索,总结,思考。
- ?
Excel的作用之一:数据分析,做运营人员要懂点
Joe
展开
随着数据量的增大,数据统计分析的计算量和复杂性也随之剧增,所以需要借助各种统计分析软件来提高运算效率与分析准确性。
Excel也提供一组数据分析工具,包含常用的数据统计分析工具,能够满足基本的数据分析需求。只需为每一个分析工具提供必要的数据和参数,该工具就会使用适宜的统计或工程函数,在输出表格中显示相应的结果,某些工具在生成输出表格时还能同时生成图表。
一、常用的函数
1、Vlooup():它可以帮助你在表格中搜索并返回相应的值。让我们来看看下面Policy表和Customer表。在Policy表中,我们需要根据共同字段 “Customer id”将Customer表内City字段的信息匹配到Policy表中。这时,我们可以使用Vlookup()函数来执行这项任务。
2、CONCATINATE():这个函数可以将两个或更多单元格的内容进行联接并存入到一个单元格中。例如:我们希望通过联接Host Name和Request path字段来创建一个新的URL字段。
3、LEN()-这个公式可以以数字的形式返回单元格内数据的长度,包括空格和特殊符号。
4、LOWER(), UPPER() and PROPER()—这三个函数用以改变单元格内容的小写、大写以及首字母大写(即每个单词的第一个字母)。
5、TRIM():这是一个简单方便的函数,可以被用于清洗具有前缀或后缀的文本内容。通常,当你将数据库中的数据进行转储时,这些正在处理的文本数据将会保留字符串内部作为词与词之间分隔的空格。并且,如果你对这些内容不进行处理,后面的分析中将产生很多麻烦。
二、由数据得出结论
1. 数据透视表:每当你在处理公司的数据时,你需要从“北区分公司贡献的收入是多少?”或“客户购买产品A订单的平均价格是多少?”以及许多类似的其它问题中寻找答案。
创建数据透视表的方法: 第一步:点击数据列表内的任何区域,选择:插入—数据透视表。EXCEL将会自动选择包含数据的区域,包括标题名称。如果系统自动选择的区域不正确,则可人为的进行修改。建议将数据透视表创建到新的工作表,点击New Worksheet(新工作表),然后点击OK。
第二步:现在,你可以看到数据透视表的选项板了,包含了所有已选的字段。你要做的就是把他们放在选项板的过滤器中,就可以看到在左边生成相应的数据透视表。
从上图可以看到,我们将“Region”放入行,“Productid”放入列中,“Premium”放入值中。现在,数据透视表中展示了“Premium”按照不同区域、不同产品费用的汇总情况。你也可以选择计数、平均值、最小值、最大值以及其他的统计指标。
2.创建图表:在EXCEL里面创建一个图表,你只要选择相应的数据,然后按F11,就会自动生成系统默认的图表。除此之外,你可以手工改变不同的图表类型。如果你倾向于在当前工作表中生成图表,可以按ALT+F1,而不是F11。
当然,在任何一种情况下,只要你创建了图表,就可以通过定义特定数据源来展示期望的信息。
三、数据清洗
1.删除重复值:EXCEL有内置的功能,可以删除表中的重复值。它可以删除所选列中所含的重复值,也就是说,如果选择了两列,就会查找两列数据的相同组合,并删除。
如上图所示,可以看到A001 和 A002有重复的值,但是如果同时选定“ID”和“Name”列,将只会删除重复值(A002,2)。
按照下列步骤操作可以删除重复值:选择所需数据-转到数据面板-删除重复值
2.文本分列:假设你的数据存储在一列中,如下图所示:
如上如所示,我们可以看到A列中单元格内容被“;”所区分。我们需要将其进行分列,建议使用EXCEL的文本分列功能。按照下面的步骤可以实现分列:1.选择A1:A62.点击:数据—分列
上图中,有两个选项,“分隔符号”和“固定宽度”。我选择“分隔符号”是因为有分隔符“;”。如果我们希望按照宽度分列,例如:前四个字符为第一列,第五到第十个字符为第二列,则可以选择按固定宽度分列。3.点击下一步—点击“分号”,然后下一步,然后点击完成。
评语:EXCEL作为使用最广泛的数据统计分析软件,无论你是小白还是资深用户,总会有一些东西值得你去学习。
- ?
最热门的大数据分析工作,你知道多少?
yamasaki
展开
数据科学家
大数据和分析正在改变我们的工作方式。许多人力资源经理甚至减少了岗位职责和职位描述的任务清单的审查和修订过程,以反映数据分析扮演了积极的角色。
在职人员应当采取措施,以提高自己的技能,分析,随着越来越多的员工将有望在这方面的工作。对于个人寻求一份更好的工作,一个分析工作经历可以添加到您的简历中。
大数据和分析的繁荣也导致了新的就业机会。
数据科学家都很难找到 ; 此外,许多企业不能承担聘请之一。其结果是谁没有在数据科学或工程的正式学位,但谁需要在开发复杂的算法和数据,可以产生突破查询的衣钵了“公民”数据科学家,一个从组织解析才华横溢的诞生该公司的信息。
在2015年4月,Gartner的研究分析师亚历山大·林登说明公民的数据科学家作为“人在业务方面可能有一些数据的技巧,可能来自数学,甚至社会科学学位,并把他们的工作探索和分析数据。” 肖恩·罗杰斯,首席研究官戴尔STATISTICA,补充说,“我认为2016年可能是公民的数据科学家的一年,因为用户在整个企业希望有一个更加民主的方式,以大数据和分析。不是每家公司都能买得起的数据科学家,这是一个很大的原因,公民科学家的数据将成为数据生态系统的一个重要组成部分,它的发展。“
物联网专家
在那里机正在使用可能很快就这一涉及来自传感器在这些机器收获信息,然后移动所述基于传感器的输入到软件和系统的角色是跑步机企业的“边缘”的制造工程师等机器操作人员和技术,协调基于机器的操作和切换,以及机器运行状况检查。
其他物联网的角色将包括参与和编程先进的机器人,甚至固定的基于现场的感应器,在远程位置上的环境样品报告。物联网将改变基于现场的技术人员和工程工作超出反馈到现场和远程,集中式系统的设备维护和运行到数据采集和基于软件的分析当前的边界。
数据卫生员
想想为您的电子牙刷第二它做了不错的工作,但总有那些你必须照顾好自己去难以到达的地区。大数据是没有什么不同。有工具,用于大数据清洗,整理,擦洗,重复数据删除等,但要真正得到的数据业务精密组织希望的水平,随着业务的第一手知识型员工必须用手细化数据。
辅助专职人员分析
分析机像IBM沃森已经与医疗诊断和法律研究协助。在法律,医学等领域,这些分析研究产生新的工作形式的辅助人员(例如,医师助理,律师助理等)的企业将最有可能执行。
教师机
作为分析的机器像IBM沃森在组织中发挥更大的作用,他们将不得不继续“教”,使他们可以做他们的工作做得更好。在许多情况下,机器学习可以由机器来完成,但在某些情况下,这将学习已经被新一代的业务分析师和企业内部的主题专家队伍扑杀“老师”的指导。
- ?
数据分析师的就业方向,一位过来人的职业规划告诉你!
车映萱
展开
随着大数据时代的到来,各个行业对数据价值越来越重视,他别是近两年,数据分析师岗位的需求激增,数据分析师已成为当今最具发展潜力的职业,人才缺口达到150万,在生活中很多想转行数据分析师培训的从业人员纷纷报名数据分析师培训机构,来增强自己的技能因此转行高薪行业。那么数据分析师的就业方向是什么,一位过来人的职业规划之路告诉你!
大数据时代数据分析师作为一个出现时间不长的工种,大数据时代下,成为螺丝钉还是成为龙头,需要尝试新的可能。
数据分析师的职业规划
数据分析师手中拥有一座宝藏。作为滴滴出行数据分析团队的负责人,刘普成发现了数据分析师通往卓越的秘诀:视野。数据分析提供了这样一种可能:它不是简单的技术工种,它是最具有潜力的一项工作,背后蕴藏着相当多的机会。刘普成是中国最懂互联网数据分析的人之一。北大ccer硕士出身,做过公务员,这位业界资深的大牛,曾先后任职于百度、豆瓣、豌豆荚,对产品、设计、运营等互联网业务有着深刻的理解。现在,他担任滴滴出行数据分析团队的负责人,统筹这家体量巨大的公司随时产生的海量数据。作为一个成长经历颇为不同的资深大牛,他认为,推动一个人进步的本质原因是开放的心态和兴趣。硕士毕业后,他没有像大多数同学那样出国读博,或顺理成章进入金融业,而是选择在中国互联网界进行数据方面的探索,寻找一些“新”的东西。随着专业能力的提升,又开始深入学习互联网行业的其他技能,拓展自己的知识领域。
在八年时间,从一名普通的数据分析师,成长为精通技术和业务的数据科学家,刘普成发现,数据分析师在不同阶段需要掌握不同的能力,本质上,是让自己的视野更开阔。
数据分析师数据分析师不能只成为一个技术专家,要成为可以影响公司运作的人。结合自身经历,刘普成认为数据分析师在进阶的道路上有如下选择:
1、成为数据技能超强的产品经理
2、成为数据指导业务的运营VP
3、成为管理或战略
4、成为博学广识的数据科学家
而关于数据分析师的职业规划,小编认为主要是从两个方面表现,一个方向是偏文一些(即运营分析),另一个方向则偏理一些(即挖掘分析)。不管是文的还是理的,可能你都需要掌握一些入行的行规,例如Excel技能、数据库操作(MySQL/SQL Server/Oracal/Hive等)、Tableau可视化、R或Python的编程能力等。这些都是用人单位在招聘数据分析师时提到最多的“任职资格”,其实这也都是技能门槛。如果这些你还没有接触过,可以在准备入行前花3~6个月去充充电,可以选择闭关修炼、或观看学习视频、甚至可以挑选口碑比较好的数据分析师培训班。而不管是数据运营分析师和数据挖掘工程师,它们在企业中都属于技术岗。根据工作人员的能力,会匹配相应的段位,一般来说,较高的技术段位,也可以对标到相应的管理岗。最后,就看你希望往哪个方向去发展,然后在这个方向上去努力,如果顺利的话你可以成为高级总监。
以上有关数据分析师的就业方向,一位过来人的职业规划之路告诉你的内容介绍,到这里就结束了,更多数据分析师相关信息可关注容大教育。
- ?
谈谈对数据分析师岗位的感想!
CU
展开
在对数据分析岗位进行整理与研究时,通过对于这些岗位的企业性质、从事数据分析岗位职责、岗位要求及薪资待遇进行研究。我们对于未来的数据分析这个职业充满了希望,但是也对于这个职业二极分化充满了担忧。
一、数据分析职业概述
越来越多的企业将选择拥有项目数据分析师资质的专业人士为他们的项目做出科学、合理的分析,以便正确决策项目;越来越多的风险投资机构把项目数据分析师所出具的项目数据分析报告作为其判断项目是否可行及是否值得投资的重要依据;越来越多的企业把项目数据分析师课程作为其中高管理层及决策层培训计划的重要内容;越来越多的有志之士把项目数据分析师培训内容作为其职业生涯发展中必备的知识体系,数据分析这个职业应运而生,毫不夸张的说,数据分析师带给企业的不仅仅是一个个数据报告,更是一桶桶黄金,一片片亟待探索的蓝海。
二、数据分析职业现状分析
这个职位目前呈现是二八原则,好的数据分析师的收入是非常高,差不多平均水平在13k左右,但是处境不好的数据分析人员只能拿到跟内勤同等收入的水平。比如数据分析招聘中,185号岗位,这是一家公司需要大量招聘初级的数据分析师进行长期的培养广告公司;高级数据分析师在全国的范围内来说还是很少一个群体,主要承担对于某个数据分析项目进行建模与分析及算法研究等,这批人员一般的薪资待遇在16K以上,大多数在互联网与金融行业等利润率比较高的行业,数据分析招聘中,199号岗位,该岗位是杭州大型电商公司为其呼叫中心招聘数据分析师,待遇在P7左右,也就20-22K/月,还有盛大招聘数据分析师岗位也其实有很有代表性;最高端是一些互联网数据分析部门的管理层与数据科学家,一般是大型公司对于某个项目进行数据挖掘研究,全国也只有微软与阿里及一些从事数据挖掘公司里有这些数据科学家,一般的待遇差不多在50万以上年薪,这个大家可以关注一些互联网公司的招聘信息。
三、数据分析师的能力标准
格局是决定一个数据分析师的能力标准,一个好的数据分析师应该从行业的层面来分析公司现在所处的位置以及整个行业的分析,而且通过内外的数据得出富有逻辑性的结论,然后从这些结论中提供公司战略层面思考的策略,当然我也明白现在我们很多的分析师朋友都在沉浸在业务或者项目分析中,但是我认为格局观是决定一个数据分析师的能力标准。
数据分析师要做到基于内部与外部的数据结合通过严密的完整商业思考及严密逻辑推理,得出针对业务好坏的结论,并得出业务改进的策略。
什么内部与外部的数据的结合,我们即要看内部的数据还要结合行业的数据,而商业思考是做数据分析师通用的技能,那么结论是基本产出物,策略是分析师高级产出物。
四、数据分析师的三类素质
第一类是基本素质,第二类是通用技能,第三类是专业技能。
基本素质包括:1、聪明与好奇心;2、愿意学习并愿意能沉下心来付出;3、耐心与专注。
通用技能是核心思考能与展现自己的能力,第一点,结构化的思考能力与逻辑推理能力即智商不能差,如果是这样你看到的越多就做的越好,怎么来判断呢?第二点,良好商业感觉与商业判断能力;第三点,要有宏观思考能力,你要看到的格局要到;第四点,要有良好沟通能力。
专业能力从专业上要有基本统计学知识,从能力上要包括扎实数据分析能力与数据处理能力包括SAS\R\SPSS及tableau、FineBI等可视化表达的能力。那么高级数据分析师,我们应该更看中基本素质与通用能力,如果专业操作类分析师那么我们需要基本素质与专业技能。
五、企业要求及需备的知识点
大多数的互联网行业特别是电商行业对于数据分析师这块还是比较看重,主要的原因其主要的资产除了产品、人员就是长期积累的数据而这些海量的数据已经不能用人工经验来还原业务,这就需要数据分析师对于数据进行归纳与还原商业规则与逻辑,一般主要涉及商业分析、用户分析、产品分析、运唯支撑等这几块;从各家公司招聘信息来看,要求几乎雷同,同时也说明这个职业的互通性很强,说白了就是换个行业都可以在职场上存活下来;一般需要以下几个要求:
1、数据分析经验;
2、商业数据敏感度;
3、基本工具(SAS、SPSS、SQL、EXECEL等);
4、建模;
5、知识点(统计学、会编程);
六、如何获得数据分析知识点?
1、数据分析经验,大家可以每天浏览我们西线学院官网的文章,我们每天都会发布一些最新的分析实战文章;
2、基本工具类,我们西线学院帮助学员从零基础学会数据分析工具编程,丰富的知识扩展,实用性强,不掺杂无用讲解,只为给学员最极致的教学体验!
- ?
招商品数据分析人员却不知道让他干嘛?看这里就知道了
詹纹
展开
什么是数据分析
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
数据分析你做全了吗?
采集
提取
分析(研究、概括、总结)
结论
判断
行动
支持
采集——ERP?!
提取——数据加工(目的、设计、制表、展现)
分析——研究、概括、总结
结论——问题、问题点
判断——是否重点、怎么解决
行动——谁做、做什么、怎么做
商品数据分析的目的
支持
支持什么?
销售?成本?利润?品牌形象?
企划分析(组盘、采买……)
订货分析/采购分析
调整分析(调拨、组合、动作)
商品决策分析(补、折、上、下、甩……)
运营分析(门店、运营、线上、竞品……)
盈利分析(盈亏)
市场分析(现有市场、潜在市场、VIP……)
商品分析框架步骤(3,4,5为初级,6,7,8为高级)
1.分析目的
2.设计表格/制式表格
3.数据采集
4.数据加工
5.制表
6.数据分析
7.分析结论略高
9.操作方案
8.综合判断
10.效果跟踪
- ?
年薪50万以上的数据分析师都有什么特点
秀豆豆
展开
今天准备聊一聊数据分析师,这个高大尚的职业,先用一个网上看到的段子来开头,先聊一下什么是数据分析师。
一个哥们,有次聚会时说自己买了很多条IPhone数据线,家里每个房间插一条,走到哪儿都能随时充电。。。。。在场的姑娘都当成是段子笑笑就过去了,只有个细心的姑娘悄悄问他买了多少条,他说42条。现在她和他在北京三环内总共42个房间的数套豪宅愉快地生活,下个月结婚。
程序员看数据分析师
从这个段子里是不是可以看出来,数据分析威力巨大,而且数据分析师最擅长的就是数据分析,他们的工作就是用数据来证明观点,从而指导公司发展或业务方向之类的问题。我平常的工作会和很多分析师打交道。我了解到的分析师这个群体大多是在投行、一线咨询公司这样提供专业服务的乙方公司工作。曾听人这么说过,这些公司大概是世界上智力密度最高的地方。
不同行业和公司之间都有鄙视的食物链,像我们这种本身就自带清高属性的程序员,和他们之间的鄙视关系我就不多说了(我老板居然是个分析师)。有一类分析师,经常被我们鄙视,他们经常说自己做事是有方法论的,当遇到一个问题,要先怎么分析,然后怎么拆解,再找什么数据来论证,最后下结论写成PPT。当我刚刚接触数据分析这一行的时候,我经常问自己一个问题:“这帮分析师可以做‘公司医生’,帮公司解决各种问题,制定战略,那他们为什么自己不去当老板,自己干呢?”
强大的数据分析师为什么不自己创业
不过到现在,我渐渐可以回答这个问题了。打个比方,这就好像军师为什么不去做皇帝。这个比喻可能不是那么的恰当,我只是想表达一下,去创业自己开公司需要多方面的能力,和咨询投行的思维和工作方式、工作内容都有很大的差异。假设你找到了一个产品做不好的原因或者说你知道了应该要怎么样才能做好一个产品,这也并不表示你亲自去执行的时候就一定可以成功。
再举个例行,如果有个咨询公司的分析师帮助一个卖啤酒的公司分析受众用户,制定方案提升品牌效果,最终实现了业绩的大幅提升,那么这个分析师之后就可以自己去卖啤酒赚钱了吗?这显然不行吧,零售行业还有自己的渠道,自己的销售体系,这些都是很复杂的,但这些确是创业必不可少的。
说了这么多分析师不好,再说以后我就没法混了,接下来我要说一下他们的优势了。
数据分析师特点
我先说他们的特点,大多数拥有高学历,海归的优秀背景,特别出色的逻辑思维能力(当然我认为程序员的逻辑能力是最强的,哈哈)以及异常善于表达。大多数程序员的表达能力都比较弱,用10分当满分,可能大部份程序员都会不及格,但是对于分析师来说,可能需要9.5分起步了,就是这么夸张。
分析师们还有一个特质,对数字异常敏感。之前听说我们上面有个老板,每个月都会看我们提交的月报,用来分析产品的数据趋势,只要有一个数字,在两次报告中不一样,不管这中间间隔了一个月还是几个月,她马上就能发现数字不一样。这种能力也是不得不服。
我还发现,分析师大多都有很强的个性,在讨论中都有自己鲜明的观点,这可能和他们的工作有关,工作中就一直在论证不同观点的正确与否。所以我平常决对不会和分析师在某件事上去争辩,因为我相信,就算去争,也不会有结果。
欢迎关注我,公共号也有,狂奔的豆沙包
- ?
送给业务数据分析人员的5个建议
Mi
展开
多一分谨慎,就多一分回报。数据分析也需要审慎看待,拿得起也放得下,多转换角度,或许就会有更多的精彩降临。
1、不能为了分析而分析
数据分析如今是个热词,大到集团公司,小到业务部门的各级管理人员、业务人员都比较喜欢挂在嘴边。这个时候对于数据分析人员,最易出现的问题就是“为了分析而分析”!什么方法最新、最体面、最深奥就用什么方法进行数据分析,往往是“就目前这个问题,我能不能用到某某技术”,很有可能忽略业务问题的本质。滥用数据分析方法,不注重业务实际情况,值得每一个数据分析人员深思的。
2、有时“拍脑袋”未必就不能解决问题
如果领导倚重你的理由是“很有工作经验”,在面对紧急业务问题时,过大的数据分析思路将耗费宝贵时机。或许“拍脑袋”是最快的、有效的途径。这里所说的“拍脑袋”是指有丰富经验的前提。“拍脑袋”的领导会认同自己有预见性,洞察力,而数据分析也可以实现遇见与洞察。可以说一个刚入职的新人在职场打拼的资本或许就是你有数据分析的能力。因为数据分析能够帮助你迅速了解和形成工作经验,当工作经验上升到理论或者方法时,或许就可以等同于数据分析了。
3、做数据分析需要耐得住寂寞
数据分析过程,包括定义业务问题-采集相关数据-预处理分析-建模-验证-实施等。按二八原则,80%的时间用于数据的准备、清洗,只有20%是分析结果。持续时间最久、花费心思最大的一块是前期准备工作。此时态度要端正,数据的质量是保证问题得以解决的基础。要不断反问数据的真实性和即将采用的数据分析逻辑是否达到要求,这是一个枯燥乏味的过程。等到建模后,还需要不断的验证模型的能力,甚至要返回重新做过,一次次考验的是耐心,经受枯燥考验是数据分析人员需要的一大挑战。
4、数据分析工具不如思路重要,但了解得多一些却总是好的
数据分析的意识、思路,态度,对业务问题的把握,这些都比用什么工具更重要,所以,不要太纠结用Python、R、还是SPSS或者SAS,甚至Excel,哪怕一个表格、一张图,如果你有精力,有需求,掌握更多总不是什么坏事。
5、能不能表达出来同样重要
在学校里甚至有一句话叫做“做没做不是关键,能不能用PPT表达出来最重要“,做研究论文,你可能花费了比别人更多的精力,可在答辩时却没法表达出来,有人甚至没有做,却用PPT“做”出了效果。不是鼓励大家拼口才造假,重点在于希望能认识到表达的重要性,我们的结果如果一直只留在自己的心里,那永远都是你的,而不是大家的,你做到了,就要能表达出来,没表达出来,也可以说没做。演讲、表达、可视化的东西是每一个数据分析师应该关注的。
(更多文章/百度搜“数据小兵”)
数据分析员
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并