- ?
数据分析都用什么工具
吉觅翠
展开
欢迎关注天善智能,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习,问答、求职一站式搞定!
本文是上一篇文章《全国及重点城市“数据分析”岗位需求量及工资水平分析》的续篇,从“数据分析”职位招聘单位给出的职位描述中分析各种工具的热门程度。
1.整体概览
经常看见有网友争论R和python谁才是主流的数据分析工具,网友们分门别派各抒己见。今天我们从实际需求出发,在招聘单位的职位描述中用正则表达式匹配统计常用的数据分析工具出现的频率,看看谁才是你最应该掌握的工具。
话不多说,先上图
毫无疑问,excel才是最主流的数据分析工具,在招聘单位的职位描述中出现频率远远高于其他工具(实际上居第八位的office也含有excel,其真实数据应该比这还高),作为最基础的工具,excel是一个数据分析工作者的必备技能。excel之后的4门工具分别是sqlsever、spss、sas和r,其中排名第二位的sqlsever频率高出另外两门主流数据库语言mysql、oracle近两倍,spss作为无需编程的专业统计软件也在职位描述中有较高的频率,sas则是编程类统计软件的代表,今年来火热的r语言也水涨船高,另一门火热的程序语言python在数据分析方面则要稍稍落后。
2.各职位具体情况
数据分析也有细分很多具体职位,那么不同的职位以上各种工具的要求是否存在差异呢?
表中数据显示“大数据分析师”需掌握的工具主要是r、python、hadoop、spark和java;“数据分析工程师”需要掌握的工具主要是sqlsever、r、python和hadoop,这两个职位都很看重编程开发能力。
“数据分析经理”、“高级数据分析师”和“数据分析师”需要掌握的工具大体一致,均为excel、sqlsever、spss、sas和r。
“数据分析主管”、“数据分析”、“数据分析专员”和“数据分析员”等职位对基础技能的要求更为突出,excel、ppt、word等office办公软件出现的频率较其他工具明显更高。
作为一名数据分析从业者或者想转行过来的人来说,要想有好的职业发展,首先,必须熟练掌握office办公软件,尤其是excel(不要瞧不起excel,你不一定玩得转);其次,还需要学习一门数据库语言,sqlsever是不错的选择(mysql、oracle与sqlsever较为类似,通一门后,其他的学起来也很容易);专业的统计分析工具也需要掌握一门,如果讨厌编程,可以选择spss,如果有编程能力那么sas和r可以选择一个学习,如果你精通python也可以用python做统计分析;如果想往大数据方向发展,或者是做数据分析工程师那就还需要掌握python、hadoop等工具。
最后附上一张数据分析职位描述的词云图,可以看出招聘单位除了看重工具的使用外,也很注重分析、业务、经验、沟通、团队等方面的能力。
本文作者:Mr.Hu,转自:一胡诌先生
- ?
成为一名数据分析师需要会哪些技能?
垃圾王
展开
上海数据分析网数据分析师这个职业越来越火,越来越多的人想往这个方向发展。
有在校生,也有转行的小伙伴来咨询数据分析师这个职业的相关问题。
从大部分情况来看,大家对于数据分析师的职业发展和技能非常关心。
那么别的先不说,数据分析入门到底要学什么?怎么学?
Excel
作为数据分析师,Excel是必备技能。Excel 是经过检验的可靠的数据分析工具,它广泛存在,非程序人员也能便捷操作,所以大多数企业即使也使用其他工具,但 Excel 工具还是他们的不二选择。
统计学
统计学同样是数据分析师的必备技能之一,你只有学好了统计学才能谈得上数据分析。统计知识会要求我们以另一个角度看待数据。当你知道AB两组的差异用平均值看是多傻的事情,你的分析技巧也会显著提高。如果你想成为一名出色的数据分析师,那么你就必须要会统计学。
推荐图书:《深入浅出统计学》
上海数据分析网大概是最啰嗦的深入浅出系列,从卖橡皮鸭到赌博机的案例,囊括了常用的统计分析如假设检验、概率分布、描述统计、贝叶斯等。书本注重应用和趣味性,数学推理一般。
SQL
sql是所有数据库查询的语言,sql非常容易入手。
针对不同的数据库,如mysql、sqlserver、oracle等,sql语法会有所不同,但是总体上大同小异,只是细微处的差别。
而且如果你有数据库基础的话,只需要找些sql查询的习题来做一下,就会很快的得到提高。
推荐图书:《MySQL必知必会》
上海数据分析网学习 SQL 的入门书,薄册子一本,看起来很快。SQL 是个性价比很高的技能,简单而强大。任何想进一步提高自己数据分析技能的产品/运营/分析师 同学,都建议点亮 这个技能点。
数据分析思维
作为一名数据科学家需要很挑剔,并且善于发现他人会遗漏的东西。那么我们应该如何做到像数据科学家一样思考呢?
梳理分析思路,并搭建分析框架,把分析目的分解成若干个不同的分析要点,即如何具体开展数据分析,需要从哪几个角度进行分析,采用哪些分析指标(各类分析指标需合理搭配使用)。同时,确保分析框架的体系化和逻辑性。
推荐图书:金字塔原理
上海数据分析网金字塔的基本结构是:中心思想明确,结论先行,以上统下,归类分组,逻辑递进。先重要后次要,先全局后细节,先结论后原因,先结果后过程。
行业知识
对于数据分析师来说,业务的了解比数据方法论更重要。而且业务学习没有捷径。这一部分也没有什么书可以看的了,基本都靠搜索,总结,思考,再搜索,总结,思考。
- ?
数据分析怎么学习,要学习什么内容?数据分析学习路线
林子
展开
就数据分析学习而言,需要的技能模块有统计基础+数据库知识+编程能力。其以后的的职业发展方向,一个是业务层面的方向,一个是数据挖掘层面的方向。今天科多大数据和你们一起来谈谈关于数据分析的学习。
1.统计基础
理工科的学生在本科阶段学习过概率论与数理统计,单从做数据分析的角度已经够用。其他方面,可以根据需要查看相关书籍,随时进行查漏补缺即可。个人推荐《深入浅出统计学》,可以让统计理论的学习有趣又自然。
2.数据库知识
关系型数据库很重要。在学习数据分析的初期甚至很长一段时间,你接触到的数据都存储在关系型数据库中,需要学习SQL语言进行数据查询。关于SQL语言,强力推荐《SQL必知必会》,整本书通俗易懂,是学习SQL语言的不二之选。
学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通,比如:SQL中对data进行group by的操作,这个在Excel里类似于透视表,在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程,你会接触到分布式数据库和所对应的no-SQL语句。
3.编程能力
Excel。 透视表(Pivot Table)是做数据分析的必备技能。透视表可以帮你迅速汇总数据,看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶,Excel自带的函数、各种插件,以及VBA也是很好的工具。
Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时,需要学些hardcore技能,即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python,一是代码简单易懂,容易上手;二是学习资料多,降低学习成本。推荐《利用Python进行数据分析》,涵盖了利用Python做数据清洗,数据可视化及分析的技能点,可以作为一本工具书随时查阅。
Python 是目前科多大数据分析课程里面非常重要的一项内容,下面这张图更能直观反映学习内容
当然需要特别指出,数据分析课程学习内容肯定不止python这一项内容,还包括数据分析基础,互联网电子商务、经济学基础,数据产品(可视化报表)等各个板块的学习。
- ?
AI入门指南——有哪些必学的数据分析知识?
卫斯理
展开
在先进技术逐渐融入自然学科的过程中,学科交叉现象已是大势所趋。
上次我们谈到了机器学习方向的
统计学知识
的学习方法:
机器学习入门——我的统计学该从哪里补起?
而对于数据分析在人工智能领域的应用,本次
竹间智能 数据科学家 张旭
,将分享一些AI方向必学的数据分析课程和相关知识,希望对有意进入该领域的同学有所帮助。
学习数据分析(AI方向)的课程前提,需要明确数据分析(Data Analysis)和数据科学(Data Science)的区别。数据分析算作数据科学的一个分支,除了机器学习(Machine Learning)外,还有很多偏重数据分析的内容,所以如果对于数据科学的各个分支都学的话,可能会因为学的太宽泛而导致多个课程都较难取得突破。
学习数据分析的重点,不仅仅是通过课程来学习知识,更是需要通过课程来培养数据的敏感性,利用数据来激发出更深远的洞察(insights)。
数据分析是一个实践性很强并容易运用于各个领域的专业技能,所以为了有效地学习数据分析,我们需要了解数据分析所涉及的几个重要环节,然后根据兴趣点来学习相关课程。
首先数据分析可以分为:
一、
处理数据(数据准备工作)
在训练模型(train model)前或者整理所需要的数据时,最重要的就是
数据的清洗处理
工作。可能多数情况下我们都在讨论各种Machine Learning的模型,但是如果训练集这一基础环节出现了问题的话,模型也不会很好。人工智能方向训练模型所需要的数据量比较大、维度也甚广,通常这些数据会有各种各样的问题,所以需要花时间清洗、整理数据。比如,处理缺失值、重复值、异常值等等,尽量将海量数据转换为自己想要的规范格式。
二、训练数据(数据分析过程中
)
在处理完数据后,可以做可视化处理(visualization),观察数据的趋势然后思考模型的运用,从回归模型(regression model)到神经网络,都要进行各种参数的检验工作,这一部分偏重
模型的学习
。
三、数据验证、测试、展现(数据后勤工作)
模型训练完后,会准备测试集去检测模型是否准确,根据测试结果找出其精确率(Precision)和召回率(Recall),并根据结果调参优化;同时考虑数据的拟合性。当获得数据分析的结果后,接下来重要的一点是如何将数据展现给他人。
如上面的总结,数据分析的前中后期,都可作为数据分析的不同核心点来进行课程学习,因此对于可能需要学习的课程和补充的知识,我从
理论知识
和
编程课程
两个维度总结如下:
1.
统计学、数学:
从代数、微积分、概率论等做入门功课,再到学习线性回归(Linear Regression)、Classification、决策树(Tree-Based Methods),再到支持向量机SVM(Support Vector Machine)、无监督学习(Unsupervised Learning)及流行的各种神经网络;
AI行业知识:
数据分析要有产品思考,所以你需要了解感兴趣的某一个人工智能分领域或人工智能与某个行业相结合的领域知识(对话、图像识别、语音、金融等)。
2.
Python、R等:
Python、R是Kaggle平台上用到的主要工具,也是最流行的数据分析软件;很多咨询公司会用SAS、SPSS、MATLAB等,因此看对哪个软件有兴趣,再去学习编程课程以及和数据分析相关的有趣的package;
SQL、NoSQL:
数据分析通常都需要掌握结构化查询语言SQL (Structured Query Language)的query语句来进行数据库的操作;通常会有mongodb、hbase等NoSql数据库,因此这些也可当做一门课程去学习;
Spark or Hadoop:
用分布式系统处理大数据也是数据分析的一个亮点,将编程运用到MapReduce进行海量数据挖掘处理;另外,能将数据存储在HDFS上,同样是个加分项;
Office及其他图形化软件:
要熟练掌握PPT、Excel等基础技能,将获取的结果用简洁易懂的方式呈现给看的人;做数据分析visualization很重要,需要学会使用各种可视化图形工具。
图片来源于网络。
竹间智能Emotibot以类脑对话系统和情感计算为核心,希望以人工智能技术助力更多行业、机构及个人拥抱AI时代,分享AI发展的红利。
如需转载,请联系竹间智能Emotibot,并注明出处。
相关阅读:
作为面试官,如何判断一个面试者的深度学习水平?
- ?
大数据开发运维工程师(非数据分析挖掘)需要掌握哪些技能
孙幻丝
展开
分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享干货,包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程,欢迎初学和进阶中的小伙伴。
大数据开发运维工程师(非数据分析挖掘)需要掌握的技能:
了解各种常用集群的搭建及性能调优
Hadoop集群,storm集群,spark集群
其实会hadoop的搭建,其它就很容易了
这里有时会涉及硬件管理或网络管理,具体看项目
这里需要到的技能是:对Linux系统的常用操作,包括对shell脚本语言的开发使用, 硬件管理(磁盘,内存,CPU等),网络
2. 学会集群的各类组件的原理和使用及配置
这块内容比较多也比较杂,一般来说常用的组件有Hive, Yarn, Hdfs, Hbase, Zookeeper等
能够理解和使用Mapreduce算法框架
如果是做实时处理需要掌握Flume, Kafka, Redis等的使用
3. 会使用至少两种主流开发语言
包括 Java,Scala,Python,Java的话至少要掌握Java基础,J2ee一般可不考虑(具体看公司招聘需求)
数据分析挖掘工程师:
技能:传统SQL, HiveQL开发, Scala(对应Spark), R语言,Shell, 基础Linux操作,有的还需要一到两种主流开发语言(以上不一定要求都懂,具体看项目需求)
要会使用分析工具,包括spss等
要懂常用机器学习算法的适用场景及使用方法,包括聚类分析,逻辑回归等等
以上是我之前接触到的在大数据项目中会使用到的技术和工具,
不得不说,以上任何一个技术点单拎出来都能写一本书 。。。
而且大数据生态圈组件非常多,我们只是使用到了其中一部分,同时大数据相关技术更新也很快,
总体来说,Java或者Python程序员转大数据相对要容易些。
- ?
数据分析师应该具备哪种基本能力?
南霜
展开
在互联网时代,数据是重要的资源,随着数据的持续增长和大数据技术的成熟,数据分析变得越来越重要,要看清楚瞬息万变的网络世界,要知道表象背后的真相,非靠数据分析不可,不管是大数据分析还是传统数据分析,其本质是一样的。数据分析是为了通过对数据现象的查看来完成对产品,营销策略,运营策略的优化。达到最低成本,最优效果。因此,数据分析师对应的要求也越来越高。那么,作为一名优秀的数据分析师,需要有哪些基本能力,才能完成数据分析目标,保证结果的正确性?
商业数据分析的根本目的就是要洞察数据背后的规律,基于此,企业可以制订决策、并采取相应措施和行动,进而达成想要的结果。这是商业数据分析的最大价值所在。
数据分析的四个能力
1. 对业务的理解能力
数据分析之前,首先要进行的是业务梳理。只有在实践领域从事过数据分析工作,就会明白所有分析的重中之重都是业务知识本身。而业务知识的学习和掌握,需要的积累之深,培养一个业务专家,需要的周期之长,都远远超过后面所说的那些基本技能,成为业务专家实属不易,数据分析师其实是之于业务专家之上的更深层次的思考和总结,否则,谁指导谁都是个问题。业务学习的方式很多,比如将以前的分析报告和取数案例都拿过来研究一下,不懂就问,总是一个渐进的过程,但需要时间和行业的沉淀。数据分析师最需要不断提升的能力就是行业和业务知识,没有之一。
提升业务理解能力有几个方法
多使用产品本身,只有不断的尝试产品,体验和了解各种产品,才能在分析时有直观的思考和总结;与 产品相关的业务和技术同学沟通,尤其在进行数据理解和运营理解的时候,需要知道数据元素的含义以及当前运营的方式和形成这种运营方式的原因;多思考产品的内在逻辑,多问几个为什么,这样才不至于做分析方案的时候,遗漏其它的业务流程,或者进行错误的数据模型设计。2.有耐心,善于沟通
数据处理和逻辑梳理需要足够的耐心,尤其是在各种数据格式不统一,数据表存放混乱,以及业务流程/逻辑异常复杂的情况下,作为数据分析师,一定要有足够的耐心,沉下来进行全面的数据流程确认,画出对应的流程图,理清分析重点。
同时,数据分析贯穿BIT、数据、技术、业务整个链条,数据分析师将BIT最终转化成决策者理解的语言,跨越的流程很长,你需要面对不同的岗位,碰到不同的角色,采用不同的语言,表达你的要求和获得你需要的东西,成为数据和业务的桥梁,没有足够的沟通能力很难。所以,需要具备一定的沟通能力。在沟通之前,需要清楚的知道本次沟通的目的是什么,以及如何通过对方来达成自己有效数据分析的目标。与技术沟通,是理解参数含义,与运营沟通,是理解分析目标,与产品沟通,则是强调产品逻辑以及背后的思考。同时,如果你容易听取他人的意见,特别是智者的意见,则可以帮你找到另一条出路,你犯错的概率就会降低,相应的,你的分析就更有力量和说服力。
3. 数据分析的技术
数据分析有很多技术可以支持,包括SQL,Excle,SPSS,Matlab、Python等等,这些都是通过编程完成基本的数据分析语言编写,然后进行执行得出结果。
因此,数据分析师必须掌握并精通一两种数据分析编程技巧。包括从数据仓库中获取数据,对数据进行清洗,简化,或者补全,处理数据,计算数据,最后进行可视化的表达。这样才能完成数据分析的目标。这种技术对产品和运营人员也非常重要,只有学会处理数据,分析数据,才能在每个决策上面有据可依。
但在公司的数据分析中,你在看案例时,往往接触到的数据或使用的数据是局部的,因此,你的视野会受局限,在大多数公司里,很多数据分析师其实缺乏全局的数据视野,因为他不知道到底有多少数据,因此,永远只能在已知的数据里转圈圈,
当然,大多数数据分析师可能不需要进行系统数据学习,在实践中慢慢熟悉就好了,但自顶向下的数据学习方式可以让你有一个更好的基础和更全局的数据视野。
4.独立思考的能力
数据分析并不仅仅是为了完成一些业务上面的数据需求和论证。数据分析者应该在理解业务的基础上,扩大自己的思考范围,提升洞察力。
成为一个优秀的数据分析师,需要在不同的业务中进行磨练,同时需要足够的耐心和深入业务的思考进行决策支撑。一种客观,理性,同时又科学的数据分析心态是非常重要的,对于公司和产品的发展也是必需。
数据总是在那里,它不会说话,你不仅要基于业务能力理解它,还要学会推演和分析,从中发现规律,迅速定位某个商业问题的关键属性和决定因素,形成自己独创性的见解,所谓心思缜密,滴水不漏,没有思考逻辑没有数据分析。而要形成独特的见解,则来自于个人不断的学习和思考,这里的学习更多的强调是跨领域和专业,思考则是更多的强调养成思考的习惯。思考本身就是一种实践,它可以将你的知识更加系统化和深入化,数据分析在一定程度上是用来验证思路和启发灵感的,“数据分析”从来不是“数据分析”本身,而是以“数据分析”为手段和表象,对业务的深刻理解、思考和判断。
数据分析的四个层次
描述性分析(Descriptive Analysis)诊断性分析(Diagnostic Analysis)预测性分析(Predictive Analysis)处方性分析(Prescriptive Analysis)描述性分析——发生了什么?
如题目名字一样,该层次主要是对已经发生的事实用数据做出准确的描述。比如某企业本月订单签约额比上月增加2000万,至5500万,但是订单履约率从上月的98%下降到了95%,库存周转率从上月的0.8下降到了0.7。那么,这就是发生了什么?就需要去描述性分析。
诊断性分析——为什么会发生?
知道发生了什么,对我们的帮助不大,更重要的是,我们要明白为什么发生。比如经过分析,发现在描述性分析中提到的订单履约率下降的原因是成品生产不出来,无法完成交付。而成品生产不出来的原因则是部分原材料的供应商未能按时送货,导致原材料不齐套,无法开始生产。那么,这就是诊断性分析。
预测性分析——可能会发生什么?
基于上述两个层次的分析,我们发现了其中的规律,即原材料供应商的未能及时送货会影响成品订单的履约率。假如上月某原材料供应商A送货及时率只有70%,通过建模,我们可以预测本月该供应商会使我们的订单履约率下降2%。那么,这就是预测性分析。
处方性分析——我们该做些什么?
有了预测性分析的结果后,我们无需再做事后诸葛亮,而可以运筹帷幄,在事前就采取措施。上述中,供应商A会导致本月我们的订单履约率下降,我们可能采取的措施就是把A换掉,但是现在有B和C两个供应商供我们选择,该选择哪个呢?通过分析和计算得出:选用供应商B会比选C的订单履约率高1%,因此建议选择供应商B。这就是处方性分析。
四个层次层层递进,经过这四个层次的分析以后,可以对企业的决策和行动提供有力支撑。
分享 IT 技术和行业经验,请关注-技术学派。
- ?
大数据分析知识技能
Timothy
展开
大数据分析师是指基于各种分析手段对大数据进行科学分析、挖掘、展现并用于决策支持的人员,在国内顶尖互联网公司,大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%,且颇受企业重视。现在魔据教育大数据培训专家就来和大家说一说,一个大数据分析师需要掌握的知识技能。
大数据分析师的能力体系
如下图:
1.数学知识
数学知识是大数据分析师的基础知识。对于初级大的数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分项。对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于大数据挖掘工程师,除了统计学以外,各类算法也需要熟练使用,对数学的要求是最高的。
2.分析工具
对于初级大数据分析师,玩转Excel是必须的,数据透视表和公式使用必须熟练,VBA是加分。另外,还要学会一个统计分析工具,SPSS作为入门是比较好的。对于高级大数据分析师,使用分析工具是核心能力,VBA基本必备,SPSS/SAS/R至少要熟练使用其中之一,其他分析工具(如Matlab)视情况而定。对于大数据挖掘工程师……嗯,会用用Excel就行了,主要工作要靠写代码来解决呢。
3.编程语言
对于初级大数据分析师,会写SQL查询,有需要的话写写Hadoop和Hive查询,基本就OK了。对于高级大数据分析师,除了SQL以外,学习Python是很有必要的,用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。对于大数据挖掘工程师,Hadoop得熟悉,Python/Java/C++至少得熟悉一门,Shell得会用……总之编程语言绝对是大数据挖掘工程师的最核心能力了。
4.业务理解
业务理解说是大数据分析师所有工作的基础,大数据的获取方案、指标的选取、乃至最终结论的洞察,都依赖于大数据分析师对业务本身的理解。对于初级大数据分析师,主要工作是提取大数据和做一些简单图表,以及少量的洞察结论,拥有对业务的基本了解就可以。对于高级大数据分析师,需要对业务有较为深入的了解,能够基于大数据,提炼出有效观点,对实际业务能有所帮助。对于大数据挖掘工程师,对业务有基本了解就可以,重点还是需要放在发挥自己的技术能力上。
5.快速学习
无论做大数据分析的哪个方向,初级还是高级,都需要有快速学习的能力,学业务逻辑、学行业知识、学技术工具、学分析框架……
魔据教育大数据培训专家告诉大家:大数据分析领域中有学不完的内容,需要大家有一颗时刻不忘学习的心。
- ?
一个合格的数据分析师应该具备的潜质
湘江2001
展开
随着大数据时代的来临,越来越多行业需要大量的数据分析师。以达到公司对于市场、产品、客户有能深刻的了解,从而在制定营销策略和运营策略的时候,数据导向是一个很有力的指导推力。
如我们所知,数据分析的重要性,那么要作为一个合格的数据分析师的话。我们应该具备哪些潜质。
第一:理解能力高
要对公司的业务有很强的理解能力。每个业务都是由很多规则和基本元素组成的。比如公司要达到某一款产品的市场营销推广,那我们首先要通过数据来分析出来,我们的目标受众是什么样的?分布的地域在哪里?年龄阶段?性别?行业等等这些都是我们首先要对业务有一个了解。就是我们的营销目的什么。理解配合的具体业务。与 产品相关的业务和技术同学沟通,尤其在进行数据理解和运营理解的时候,需要知道数据元素的含义以及当前运营的方式和形成这种运营方式的原因;
第二:沟通表达能力强,有充分的耐心
数据分析师日常在做一些工作的时候,通常会面对在各种数据格式不统一,数据表存放混乱,以及业务流程/逻辑异常复杂。这个时候,我们一定要有足够的耐心,沉下来进行全面的数据流程确认,画出对应的流程图,理清楚分析重点。
如我们所知数据分析贯穿了数据仓库,技术,产品,业务等多个环节,这就涉及到我们需要和很多人沟通。沟通能力就显得尤为重要。在沟通之前,需要清楚的知道本次沟通的目的是什么,以及如何通过对方来达成自己有效数据分析的目标。与技术沟通,是理解参数含义,与运营沟通,是理解分析目标,与产品沟通,则更强调产品逻辑以及背后的思考。
第三:善于借助工具和事物
现在网络工具很多,有很多都可以帮助我们解决繁琐的数据问题,帮助我们建立数据模型,例如:SQL,Excle,SPSS,Matlab、Python等等
因此,数据分析师必须掌握并精通一两种数据分析编程技巧。包括从数仓取数据,对数据进行清洗,简化,或者补全,处理数据,计算数据,最后进行可视化表达。这样才能完成数据分析目标。这种技术对产品和运营人员也非常重要,只有学会处理数据,分析数据,才能在每个决策上面有据可依。
第四:独立思考的能力
作为一个高级的数据分析师,不光只会分析数据,还应该能够以现有的数据做出结论,给予相关执行人员参考方向。数据分析者应该在理解业务的基础上,扩大自己的思考范围,提升洞察力。
数据分析师是大数据衍生出来的一个岗位,也在实际的营销运营上起着至关重要的作用。种客观,理性,同时又科学的数据分析心态是非常重要的。
- ?
一个工作3年的数据分析师,所具备的能力有哪些?
Jucaro
展开
文 | 邹昕-知乎
来源:再生谈|reborn_chat
受本人背景和知识水平所限,本答案局限性如下(包括但不限于):
1. 更适用于中大型公司;
2. 更适用于互联网公司;
3. 可能更适用于美国的工作环境。
个人以为,一个三年工作经验的数据分析师应该具备以下方面的能力:对技术的掌握,对产品的理解,对数据的敏锐性,数据和产品之间互相转化的能力,分析思维的广度、深度和速度,数理统计的能力,沟通的能力,辅导新人的能力,面试把关的能力。
以下分开来说,同时举例的时候假设这个数据分析师是知乎这个产品的,目的是为了增长活跃用户。
【1】对技术的掌握
不一定需要非常高深的技术,但是基本的一定要过关。比如针对互联网行业的数据分析,SQL 是一定要过关的。在这基础之上,掌握公司惯用的BI工具或者报表工具,譬如帆软系列;Python / R 可以提高长期的工作效率,但在初期并不一定需要。
简单来说,技术能力决定了一名数据分析能力的下限,而对产品和业务的理解则决定了上限。
如果缺乏技术的支持,那就只能去当 CEO 了。
就好比在电影 Margin Call 里,底下的小兵负责分析数据,各种模型预测金融危机什么时候会发生。
而对于 CEO 来说,他的任务就是猜。
【2】对产品的理解
数据分析的目的是为了改进产品。如果缺乏对产品的理解,那么技术再好,也有可能像是无头苍蝇到处乱撞。
或者是变成 data dump,提供一堆一堆的图表,但其中有互相什么关联,能说明什么问题,提供什么样的建议,却并没有好的想法。
如果是初入行的话,这还是问题不大的。
因为新人可以有老板带着,或者是老人带着,但是如果想要更进一步,那就必须能够自己独立的做项目。
尤其是在互联网行业更是如此,除了新人之外,对大多数人的基本要求都是能单兵作战,不需要详细的指导。
同时在很多情况下,问题是很开放性的,对于如何解决并没有一个非常固定的套路,或者是因为这完全就是一个新的问题,或者因为不同产品之间套路无法直接套用,需要做大量的调整和创新。
比如这里面增长的例子,哪些是可以借用于知乎的,哪些是需要调整的,哪些是完全不适用的?
【3】对数据的敏锐性
对数据的敏锐性体现在两方面,一是在结果还不是那么清晰的时候,甚至根本就没有什么数据的时候,能够大致感觉往哪个方向深挖是更有可能出成果的;二是在数据出问题的时候,能够反应出来,及时找出原因。
比如做知乎的数据分析,目的是为了增长活跃用户,可以做的地方有很多,比如增加获新、增加内容、增加用户关注话题数、增加用户关注人数等等。一个经验丰富的老司机可以快糙猛的大概估算一下各个方面的机会有多大,大致的实施难度如何,风险是大是小,产品哪些方面是有缺陷可以改进的。
另一方面,是人就会犯错,最大的区别在于有的人可以很好的纠错,而有的人则需要别人提醒,还有的人即使别人提醒了也反应不过来。
【4】数据和产品之间互相转化的能力
在互联网行业,多数时候问题是很不清晰的,比如说问题可能是2017年新用户留存远差于2015年的用户,如何解决?
对数据分析师来说,并不会有一个详细的单子来告诉你都有哪些步骤,而是需要自己灵活处理。
一方面这些问题本身就比较新,虽然会有一个大致的套路,比如 AARRR 模型,解决增长需要先解决留存等等;然而再往下具体的时候,套路就没有那么固定了,因为不同的产品之间可以差别很大。
即使像是 Quora 和知乎这样理应非常类似的产品,也可能因为一些或大或小的差异,导致给分析数据也带来差别。
比如 Quora 的 upvote 并不完全代表赞同,而更多带有传播的意味。
而对于知乎来说,点赞即是赞同,传播只是副产品而已。
如果只懂数据不懂产品的话,很容易进入一个误区,要么产品/业务方追着问数据,要么没活儿干。
【5】分析思维的广度、深度和速度
速度这个比较好理解,尤其是在互联网行业,讲究快糙猛,没有时间精细打磨。
比如一个项目可以花两个月时间做出 95%,也可以花两周时间做 80%,那么多数时候都会是后者。
广度:产品的各个方面之间总是互相牵扯的。最简单的例子,如果知乎的拉新做得非常好,那么留存就有可能降低,用户活跃度也有会降低。
如何分析各者之间的关系,如何保持一个合理的平衡,如何增加其中一个不过于负面影响其它,这些数据分析都需要在广度上有一定的了解。
深度:有些问题一个人解决不了或者很难,多几个人就可以了,比如说搬砖,十人人搬总会比一个人搬快得多,哪怕不是十倍速度。而有些问题,靠堆人力是没用的。
【6】数理统计的能力
这一部分跟 1,3,5 是相关的。不一定需要特别高精尖,但是对于分析问题会有很大的帮助。比如说如何识别数据分析里可能出现的错误。
【7】沟通的能力
除非兼任软件工程师和产品经理的职,否则数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力。
有了好的结果是第一位,如何影响合作伙伴,让他们接受自己的建议甚至比有好的结果还重要。
毕竟,没有声音,再好的戏也出不来。
【8】辅导新人的能力
毛主席说过,人多力量大,要把敌人淹没在人民战争的汪洋大海中。
辅导新人,不只是团队 leader/manager 的要求,对于独立贡献者(inpidual contributor)也是一样重要的。
闻道有先后,术业有专攻。
一个人的力量终究是有限的,如果把自己的能力复制到整个团队甚至整个公司,是增大自己影响力最有效的办法之一。
【9】面试把关的能力
大多数人应该都希望自己的公司处于一个增长的状况,如果是高速增长那就更好不过了。
有增长,就必然要招人。
而招人并不是简单的招人来干活,而是招来更优秀的人进一步提高团队的水平。
这对于高速增长的团队来说是一个很大的挑战,所以提高面试技能和精准的判断面试者的能力,无疑是有效的扩张团队的不二法则。
【10】少睡的能力
比如说七周不睡觉,快速成为数据分析师(开玩笑的)。
- ?
成为一名数据分析师,必须掌握的技术,学会了你就是大神
杭安珊
展开
一:编程能力
是否会编程是区别初级数据分析师和高级数据分析师的分水岭。在这里,我定位的是高级数据分析师,所以编程能力尤为重要,我把它放在了第一位。
有关数据分析的编程语言有Python和R语言。R语言倾向于统计分析、绘图等。统计学家或者学统计学的喜欢用R语言,而我推荐学习Python,因为Python是面向未来的语言,无论从流行度、可用性还是学习难度来讲,Python都是最好的入门语言。
当然,如果可以的话,再掌握一下R语言是最好不过的,学习嘛,永无止尽。
书籍推荐《Python编程:从入门到实践》 豆瓣评分:9.0
当然,只有Python基础肯定是不够的,既然是学习数据分析,肯定就要有数据才行,数据从哪里来,肯定是从互联网上来。互联网上的信息何其之多,必须要对其加以过滤处理,提取我们想要的信息。这就要用到Python爬虫,这也是学Python一个很重要的目的和作用。
学习Python爬虫肯定比学习Python基础要困难一下,但好在网上的学习资源十分丰富,努力学习必定会有收获的。
关于Python爬虫的书籍,目前我还没有较好的书籍推荐,如果说实在要推荐的话,我推荐三本书:
《Python网络数据采集》 豆瓣评分:7.7
《Python爬虫开发与项目实战》 豆瓣评分:8.1
《精通Scrapy网络爬虫》 这是十月份出的新书,豆瓣上还没有评分。
知乎里面有很多爬虫大神,没事多逛逛知乎总会有收获的。
关于编程能力,是一个很深的概念,需要靠大量的撸代码积累经验。先暂且说到这些。
二:SQL
学习数据分析,最难最重要的就是编程能力,熬过去了,后面的就稍微简单一些了。
既然是跟数据打交道,就免不了要使用数据库。
目前主要有四种数据库:
1:SQLite 是一个文件型轻量级数据库,它的处理速度很快,在数据量不是很大的情况下,可以使用SQLite。
2:MySQL 是一个应用极其广泛的关系型数据库,它是开源免费的,可以支持大型数据库,很多中小型企业都是用的MySQL。
3:MongoDB 是一个面向文档的非关系型数据库,它功能强大、灵活、易于拓展。
4:Redis 是一个使用ANSI C 编写的高性能key-value数据库,使用内存作为主存储器。
它们各有优点,可以灵活使用,如果说非要选一个的话,我建议使用MySQL,因为它使用最广泛。学习最主流的技术,可以在一定程度上发挥更大的作用。
关于SQL的学习资源:
购买书籍推荐《SQL基础教程》作者:MICK
豆瓣评分:9.0,好像这本书出了第二版了,建议购买最新版的。
三:数据分析能力
前面说了那么多,都是为了数据分析做准备。数据分析就好比亲手做一顿美食,现在食材有了(通过Python爬虫采集),盛放美食的容器也有了(数据库)。现在就差开火做饭了,写到这感觉肚子饿了,哎呀,忍住。
对于数据分析,我还没有过多的涉足,总之,多看书,多做项目。
这里我推荐几本书(都是放在我购物车里还没有买的书)
学习数据分析必看的书单:
《Python数据分析基础》八月份的新书,豆瓣上还没有评分。
《利用Python进行数据分析》2013年的老书,豆瓣评分:8.5
《Python数据处理》六月份的新书,豆瓣上没有评分。
《用数据讲故事》 豆瓣评分:8.7
虽然我还没来得及看这几本书,但是我想认真看了之后,对于数据分析的理解肯定会更加深刻的。
四:数据可视化
现在美食做好了,但不能一股脑的装在碗里吧,美食讲究色香味俱全。所以要给它作一个漂亮的造型,呈现在客人面前。这就是数据可视化。
数据可视化需要借助工具,什么工具呢?那就是大名鼎鼎的tableau!
什么?你没有听说过tableau?现在听我说了也不迟,哈哈。
tableau是一款世界级的商业智能工具软件,tableau可以帮助我们快速的分析、可视化并分享信息。在福布斯2017年公布的《10大需求增长最快的职场技能》报告中,tableau高居第三,成为数据分析和可视化的职场必杀技。
说了这么多,咱们还是好好聊聊怎么学习tableau吧。tableau是一款收费软件,先看一下它的价格吧:
image
果然优秀的软件都是收费的,而且还贵的要死。
但是,tableau的良心之处在于:学生和教师可以免费使用tableau,只需要用我们的学生证信息去免费申请一个序列码,然后就可以下载激活该软件,有效期为1年,如果一年后还是学生的话,还可以用学生证再去申请一个序列号,然后再免费用一年。
数据分析需要掌握的技术
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并