- ?
马云说:数据分析师会被人工智能替代,大家怎么看?
爱飞
展开
在2017年的世界物联网大会上,马云的一段演讲很引人注目,他的原话是这样的:未来的数据分析师都将被人工智能取代。
马云说作为一个数据分析刚刚入行的新人,听到这句话时顿时感觉恐慌,自己即将要被替代掉了吗?
这篇文章写写给那些已经入行数据分析,或者准备入行数据分析的人,希望我的一些看法能对你有所帮助,如有谬误,期待您的指教:
本文想讨论的主要有以下几个方面的问题:
1.数据分析这个职位到底是什么?
2.人工智能可以替代掉的是哪些人?
3.作为数据分析人,我们应当如何避免自己被替代?
1.数据分析这个职位到底是什么?
从去年开始,随着大数据概念的兴起,数据分析这个词也逐渐火了起来。在微信公众平台,我们能看见非常多有关数据分析,数据挖掘方面学习的文章;在知乎社区里,也是各种爬虫教程,数据分析教程.......
上面这个趋势图师在百度是关键词“数据分析师”的一个搜索趋势,从这个趋势我们可以看出来,从2015年开始,这个词的关注量就产生了一个跳变,并且在2016,2017这两年也都在稳步的增长着。当然这只是在百度这个入口的搜索趋势,关注数据分析的人群多是一些高校学生,或者互联网行业的从业者们,他们信息获取的聚集平台知乎和微信公众平台的数据这里还没有统计,这里就暂时以百度指数作为一个范本吧。
既然都在说数据分析,那么这个数据分析师到底是什么呢?这里给一段来自百科的解释:
从上面的词条中我们可以提炼出以下几个关键词:数据搜集,数据整理,分析,研究,评估。而对于这个词我个人的理解是:利用数据帮助企业实现增长。我们的最终目的是实现企业的增长,这个增长可能是企业利润的增长,产品用户的增长等等,这是我们分析的最终目的,而数据仅仅只是我们作为数据分析师这个职位,切入增长工作的一个入口或者说手段而已。
我在拉钩上找了一个比较有代表性的企业招聘需求,我们来看一看企业需要的数据分析师是什么样的?
从上面的招聘需求描述我们可以看出来,企业需要的的是通过数据产出对企业发展有驱动价值的信息。而数据分析师则充当了中间的这个信息转换的角色,将数据信息转化为发展决策信息。
说道这里,不只你对数据分析这样一个角色的认识是否清晰了呢?
2.人工智能可以替代掉的是哪些人?
人工智能作为一门计算科学,它所做的事就是从过去的事物之间找到一定的规律,并以此来确定当下自己面临的事应该如何去做,它的决策基础是数据,是概率(个人理解,欢迎指教)。
因此对于很多重复性的工作,人工智能可以很快的学会。通过我们过往的一些操作数据,人工智能可以就可以以此来当做自己的经验,飞速学习,然后掌握这个技能。
就比如说之前百科词条里面的数据收集,整理,这些可以说都是一些内容相对固定,切重复性高的工作,人工智能可以轻松学会。包括我们的一些简单的分析,比如趋势分析展示,简单的数据报告等都可以被人工智能取代。
举一个简单的例子,小王是某公司的一名数据分析师,每天他都需要向领导出一份数据报告,报告今天产品的数据波动。于是乎,小王通过数据库,提取了今天的用户活跃数据,然后将这些数据导入了Excel当中,通过Excel他做了一份统计图表,反映今天的用户活跃时长同比,环比,各个渠道的转化情况等,然后递交给领导,日复一日。突然有一天领导指着用户增长数据表上的一个数据下降拐点问小王,这个点的数据是怎么回事啊?小王一脸懵逼,只知道数据说本身本身就是这个样子。
后来一个月后,小王被辞退了,公司购买了一套BI报表系统,日报,周报,月报,实时数据后可以看,老板觉得这个BI系统好用多了,就这样小王这个数据分析师就被人工智能替代了。(以上故事纯属虚构,仅做说明之用)
上面的场景我想当下也正在上演着,未来也会有更多类似的场景上演,那些重复性的劳动迟早都会被人工智能替代的。
我们反观一下自己的工作,有哪些是高重复性的呢?包括取数,做报表,一些简单的回归预测等等,人工智能完全可以做的更好。
3.作为数据分析人,我们应当如何避免自己被替代?
上面提到的人工智能它是基于数据和概率产生的,凡是可被数据化,高重复性的工作都是可被替代的。那么什么才是不可被替代的呢?
我们人和人工智能最大的区别就在于我们人是有情感和思想的,而机器没有(起码现在没有)。因此想要在人工智能手下不被取代,我们的工作重心应该是向人靠拢的。我个人认为,不会被替代的有以下两点:
1>对业务的理解
就像上面的那个例子一样,当数据出现下滑拐点时,一定是有原因的,而这个原因是由我们的业务变化引起的,这个时候相关的东西就多了,可能是我们公司竞品的上线,广告策略的调整或者说某个社会热点事件的发生等等。这些内部或外部因素的发生才引起了数据的变化,只有深刻理解我们的业务,我们才能在这多个因素之间快速定位到问题的根本原因,并产出解决的方案,为企业的下一步动作进行决策支持。
在这一点上,目前的人工智能还是无法学习的,因为它所涉及的因素太多,随机性太强,它需要人的思考与判断。
2>对人性的理解
不管是什么行业,我们都是在做一个为人服务的行业。我们所服务的用户是活生生的人,我们企业的数据变化产生时,我们反思业务上的原因。更应该思考的是用户为什么会产品这样的行为,用户的情感发生了哪些变化。人有七情六欲,用户的每一个行为,都是其内心活动变化的体现。
在人性这一点上,我相信计算机在可见的未来还是无法超越人类的,这也是我们最大的优势。
那么,作为数据分析师,我们应该如何做,从而避免自己被替代呢?
1.拓宽自己的知识面,既要走进数据当中去,又要大胆从数据中走出来:
数据是客观的,而理解数据则是主观,当我们对业务,对行业,对用户有不一样的理解时,我们解读数据的角度和深度也是自然不一样,而这些所依靠的就是一个广阔的知识面。产品,运营,营销,技术都了解一点,不断拓宽自己的认知,让自己从数据中走出来。
2.营销学,社会心理学的知识多了解一些,加深自己对用户行为的理解:
不夸张的讲,我们今天看到的很多概念,很多用户模型,策略等等,基础都来自于营销以及社会心理学,它所诠释的是“用户为什么会这样做?”通过拓宽这些知识,并不断加以应用,我们对用户的理解自然会加深,我们也更加能明白用户行为以及背后的为什么?
3.拥抱新技术,新变化,用新技术武装自己:
人工智能是一门系统的学问,我们不能说随随便便的就掌握它。但是我们可以去了解它,应用它。比如当下比较火的机器学习,作为数据分析师,我们可能无需深刻理解它的含义,但我们可以学会使用它。一些编程语言,如Python就有很好的扩展包支持,我们仅需要一些编程基础,并加以练习,便可以让新技术为我所用。
总之,如果你想依靠某个固定的技能或者职位在今天变化的世界生存,基本是不现实的。唯有不断升级,不断学习才能跟上变化越来越快的时代(ps:莫畏科技是上海技术为主导的科技创新型企业,主要专注于APP开发设计制作,计算机软件开发,有关于互联网开发业务)。
- ?
合格的数据分析师是怎么做分析的?
山柏
展开
在依靠数据驱动的商业世界中,数据分析已经是 IT 互联网、咨询、广告等行业从业者必备的职业技能。而随着大数据时代的到来,如今90%的企业都想利用数据分析为其带来更便利的服务,数据分析师这类人才可谓供不应求。
那么如何成为一名合格的数据分析师?首先先来了解一下数据分析师的发展阶段。
数据分析师发展的四个阶段:
1、数据专员
此时的数据分析师就是给领导或者同事导出产品运营的数据报表,整合下出个报告。统计学知识基本用不上,因为领导和同事也看不懂,他们只需要某个数据能够反馈出产品改进、运营的效果即可,所以这类数据分析师的工作比较机械,但是对于自己所在的行业产品还是很熟悉的。
2、数据专员-数据分析师
第二个阶段是数据专员-数据分析师的转变过程。
这个阶段必须学会SQL,熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析的结果就没有太大的使用价值。
数据库对初级的小白来说还没有入职前可以学习MySQL,入职后如果不一样就看公司用什么,你就学什么。
3、数据分析师
此阶段的分析师熟练掌握了数据库与统计学,统计学主要学会主成分分析、假设检验、描述性统计、贝叶斯、回归、广义线性回归这几个概念,也可根据自己想去的行业选择性学习,比如时间序列、非参之类以及线性代数等学习方向。
4、前景选择
最后一个阶段就是自我裂变、向上生长的过程。
当你的基地打造牢固以后,就可以建高楼了。这时有很多方向可以供你选择,数据分析师可选择的方向:
数据分析师(数据科学家)、BI、ETL工程师、大数据工程师、数据工程师、数据挖掘、爬虫工程师、可视化工程师
精进统计学,熟悉业务,机器学习会使用(调参+选模型+优化),取数、ETL、可视化等等基本都懂的就是数据科学家。当然这个阶段工具的使用也不容忽视。
数据分析流程
作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结构。大数据时代,数据分析对于企业决策和发展起到越来越重要的作用。
1、明确目的和思路
梳理分析思路,并搭建分析框架,把分析目的分解成若干个不同的分析要点,即如何具体开展数据分析,需要从哪几个角度进行分析,采用哪些分析指标(各类分析指标需合理搭配使用)。同时,确保分析框架的体系化和逻辑性。
2、数据采集
了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程,避免由于违反数据采集规则导致的数据问题;同时,对数据采集逻辑的认识增加了数据分析师对数据的理解程度,尤其是数据中的异常变化。
在数据采集阶段,数据分析师需要更多的了解数据生产和采集过程中的异常情况,如此才能更好的追本溯源。另外,这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。
3、数据分析
数据分析相对于数据挖掘更多的是偏向业务应用和解读,当数据挖掘算法得出结论后,如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义,如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。
常用的数据分析工具,掌握Excel的数据透视表,就能解决大多数的问题。需要的话,可以再有针对性的学习SPSS、SAS等。
数据挖掘是一种高级的数据分析方法,侧重解决四类数据分析问题:分类、聚类、关联和预测,重点在寻找模式与规律。
4、数据可视化
一般情况下,数据是通过表格和图形的方式来呈现的。常用的数据图表包括饼图、柱形图、条形图、折线图、气泡图、散点图、雷达图等。进一步加工整理变成我们需要的图形,如金字塔图、矩阵图、漏斗图、帕雷托图等。
那么如何成为数据分析师?
当前我国数据分析师由中国商业联合会数据分析专业委员会以及工信部教育考试中心共同考核认证,通过培训考核,工信部教育考试中心颁发《数据分析师职业技术证书》,数据分析行业协会颁发《数据分析师证书》,此证书是申请成立数据分析事务所的必备条件之一。
- ?
一起聊聊数据分析师的那些技能(硬功夫)
伍水蓝
展开
在前面写了《聊聊我的R语言学习路径和感受》一文,很多朋友在公众号后台给我留言,问如何学习数据分析、如何转行数据分析、如何快速的掌握数据分析技能等等类似的问题。为了回答这些问题,就在这里跟大家聊聊我个人从事数据分析行业后的一些感受和建议。也欢迎各位看官提出你自己的想法和经验,帮助到其他同行的朋友。
感受1:SQL很重要
SQL很重要!SQL很重要!SQL很重要!重要的事说三遍,数据库查询对于一个数据分析师来说真的是必备技能。没有它,你的工作真的非常难找,往往在面试的时候,对方都会出一些数据库相关的问题。数据库之所以重要,那是因为你工作中所需要分析的数据基本都是来自于数据库,如果你不会从数据库查询,就等同于“巧妇难为无米之炊”。
学习建议
数据库目前在市面是有很多种,如Oracal、SQL Server、MySQL、Hive等,并不是都要一一学个遍,因为它是结构化的查询语言,各种数据库的语法都非常相似,可以说是一通百通。如果你想从事数据分析岗,但又没有接触过数据库(学生或准备换行的朋友),建议你下载一个MySQL的社区版本(https://dev.mysql/downloads/mysql/),然后买一本相对实战且基础的书籍(《SQL必知必会》)进行学习。这本书一共介绍了30个章节的内容,你只需重点吸收数据库的查询、修改、删除、插入、存储过程等知识点,我认为通过这些知识点的吸收和应用,基本上可以满足数据分析岗的面试要求了。当然对于老手来说,这本书里面也有很多其他值得学习和实战的例子(如存储过程、游标、事件、性能等)。
感受2:可视化显水平
数据可视化的技能,也是数据分析师的必备要求,因为枯燥的数据表肯定不如一张张图更吸引眼球,更何况这些报表更多的是给那些业务繁忙的Boss看。那报表的展现方式总不能每次发一个PPT给对方吧,如何让对方随时随地的查看到你的报表呢?Tableau!
它有两个强大的版本,一个是DeskTop版,即分析人员的可视化设计版本;另一个是Server版,即通过DeskTop将设计好的可视化报表上传至服务器,实现随时查阅报表的功能,而这两个版本的结合就能恰到好处的满足随时随地查报表。最大的好处是你无需编程即可完成高质量的可视化任务,只需通过简单的托拉拽,就让数据可视化想怎么玩就怎么玩。目前越来越多的企业,在招聘时,都会要求或注明有Tableau的使用经验。
学习建议
这里推荐《Tableau数据可视化从入门到精通》一书,这也是我看的众多Tableau书籍中比较好的一本,而且该书籍在售书平台上的评价也非常棒。该书一共16个章节,从基础的工具简介、数据读取、字段操作、函数使用到可视化实操,讲到了很多细节方面的内容,最后还以两个案例作为压轴戏,分别是“网上超市运营分析”和“网站流量统计分析”。这两个主题抓的非常贴切,一个从电商运营角度来思考常见的可视化问题;另一个则从网站运营角度来分析有哪些核心指标可供选择和及对应的展现方式。这两个角度都顺应了互联网时代下的需求,我相信当你读完并操作完数里面的案例,会对你的可视化能力有一个质的提升,也是进入数据分析行业的加分项。
感受3:Excel很普及
作为一个数据分析师或BI,其实很多工作内容都可以通过SQL提数和Excel的加工就可以任务完成,困难的是如何梳理好SQL的提数逻辑和灵活的应用Excel减轻你的工作量。之所以说它应用很普及,是因为它不仅仅是个装数据的容器,更多的是会借助于强大函数、可视化等帮你完成工作。
各式各样的字符串函数(LEFT、RIGHT、MID、LEN、REPLACE、TRIM、FIND、SEARCH、CONCATENATE、REPT等)、数值函数(ABS、EXP、LOG、POWER、SQRT、CEILING、FLOOR、MOD、ROUND、SIGN等)、日期函数(DATE、YEAR、MONTH、DAY、WEEKDAY、WORKDAY、TODAY等)、统计函数(MIN、MAX、AVERAGE、MEDIAN、VAR.S、SUM、SUMIFS、COUNT、SKEW、NORM.DIST等)、匹配函数(ROWS、COLUMNS、MATCH INDEX、VLOOKUP)等可以让你在数据处理过程中变的非常简单而轻松;强大的可视化功能(如饼图、条形图、柱状图、折线图、面积图、散点图、气泡图、雷达图等)也会为你的数据分析助一臂之力,但面对大数据量时就显得非常捉急,这也是无法跟Tableau媲美的;灵活的宏功能,可以避免我们不断的做重复性工作,从而节约时间,提高我们的工作效率,宏语句是由一系列的命令和函数组织起来的,尽管它在工作中用的并不是那么的频繁,但一有机会,你去用它来开发报表或表计算的话,会大大提高你的成就感,当然,我希望你能够会一些宏语句,这样你身边的朋友或同事都会觉得你很了不起呢!
学习建议
这里向大家推荐《Excel函数与公式速查手册》和《Excel2016宝典》两本书。第一本书涵盖了近600个函数的讲解,而且这些函数都是借助于一个个实例来完成的,有助于读者的操作和理解,可以说,读完这本关于函数的书就可以在工作中使用函数时显得游刃有余;第二本光从书名就知道是一本知识点比较全面的书籍,该书涉及Excel的公式和函数、图表可视化以及Excel的各种设置。个人建议可以把这两本书当作工具来使用,没必要系统的过一遍,当你需要某个知识点时,从目录去查找相关关键词,然后操作几遍就记得如何使用了。
数据挖掘秀肌肉
我相信,当你找数据分析相关的工作岗位时,基本上都会看见对方要求你会数据挖掘或数据建模方面的能力,同时也会附上一条熟练使用Python、R等工具。此时你会掂量掂量自己,这方面的技能我会吗?工具使用的熟悉程度能够达到对方的预期吗?我有哪些相关的建模经验?
在面试或工作中比较常见的数据挖掘算法有四类,分别是预测、分类、聚类和关联,个人觉得前两类的使用频率会更高一些。这里提几个重要的挖掘算法:线性回归、Logistic回归、决策树、贝叶斯、SVM、随机森林、K均值和关联规则。希望不熟或不会数据挖掘的朋友可以先从这几个着手学习,而且学习的时候先通过代码完成落地,然后再去慢慢研究其理论知识。
学习建议
如果你是统计学或经济学等类似专业的朋友,建议你去学习R语言,而如果你是计算机专业或理工科的朋友,则建议你去学习Python。因为这两个工具的思维有一点点差异,毕竟R语言是由统计学家创建的(偏向于函数概念),而Python是由计算机学家创建的(偏向于类概念)。而且又有一些相似性,同时学习的话会比较容易混淆。如果你选择R语言的话,这里推荐《R语言实战》和《机器学习与R语言》这两本书,前一本书偏向于语法编程,同时也会含有案例来说明统计学方面的知识点,后一本则通过实战的方式来介绍常用的数据挖掘技术,能够助你快速的进入R语言的挖掘状态;如果你选择Pythond的话,同样介绍两本书,即《利用Python进行数据分析》和《Python数据分析与挖掘实战》,第一本更多的是介绍数据分析方面的Python库,如numpy、pandas和matplotlib,这也是一本基础书,第二本则是教你如何按部就班地完成每一个实战案例,具有代入感,让读者学习起来很顺畅;如果你还想补一补数据挖掘的理论知识,则推荐《数据挖掘概念与技术》,个人看了好几遍,不是很难,有比较好的操作性。
OK,如上就是我从事数据分析岗位的一些学习经验和感悟,希望对各位读者有一点点的帮助。学习是一种投资,需要耐得下性子,坐得住板凳,敲得住键盘,同时,还要不断的坚持。只有这样,我相信一定会成为数据分析或挖掘的强者。
End.
作者:刘顺祥(中国统计网特邀认证作者)
点击下面链接 查看历史文章
一文综述数据科学家必备的10大统计技术:线性回归、分类、无监督学习...
【漫画版】12星座程序员写代码
怎样成为知乎大V?爬取张佳玮138w+知乎关注者:数据可视化
一步一步教你分析消费者大数据
- ?
一张图检测你的数据分析等级
Yu
展开
大数据是一个非常好的发展方向。科学的数据统计与分析上至国家、企业,下至个人,都能提供出莫大的帮助,“不怕乱如麻,只怕不调查”数据是反馈一个集体或者个人以往表现最有力的证明。沧桑话巨变,数据铸辉煌。数据能力的强弱也能决定发展方向是否客观真实,决定了未来的可能成就。本文主要讲述数据分析等级是根据哪些方面划分的以及数据分析的日常工作。
1、数据分析师的日常工作内容是什么?
数据分析师这个职位,不同的公司,不同的行业,对于它的理解和工作内容都有所不同。在有些传统行业,数据分析师工作重点是做行业报告等;在阿里巴巴等大型互联网公司,职位区分比较明确,数据分析师大部分时间只做产品和运营的分析工作,至于基础数据处理、搭建数据产品等等不涉及;在创业公司等相对小型公司,数据分析师要干的活可能要不仅仅是产品和运营分析,基础数据采集和处理,数据产品搭建都属于数据分析师的工作范围。
明确了数据分析师的工作范围,大概也就清楚了每天要做些什么,比如:
产品和运营的数据提供(正常分析师工作)
基础数据采集和处理(类似ETL工作)
数据产品的思考和搭建(类似数据产品经理工作)
数据价值的挖掘(类似数据挖掘工程师工作)
2、数据分析师需要会什么?
①、数据分析理论要求及对数字的敏感性,包括统计学知识、市场研究、模型原理等。
②、工具使用,包括挖掘工具、数据库、常用办公软件(excel、PPT、VBA、word、脑图)等。
③、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解,因为数据分析的出发点就是要解决商业的问题,只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求。
④、汇报和图表展现能力。这是临门一脚,做得再好的分析模型,如果不能很好地展示给领导和客户,成效就大打折扣,也会影响到数据分析师的职业晋升。
3、数据分析师的成长阶段
①第一阶段(一般岗位叫数据专员)
基本学会excel(VBA最好学会;会做透视表;熟练用筛选、排序、公式),做好PPT。这样很多传统公司的数据专员已经可以做了
②第二阶段
这一阶段要会SQL,懂业务,加上第一阶段的那些东西。大多数传统公司和互联网小运营、产品团队够用了。
③第三阶段(数据分析师)
统计学熟练(回归、假设检验、时间序列、简单蒙特卡罗),可视化,PPT和excel一定要溜。这些技术就够了,能应付大多数传统公司业务和互联网业务。
④第四阶段(分裂)
数据分析师(数据科学家)、BI等:这部分一般是精进统计学,熟悉业务,机器学习会使用(调参+选模型+优化),取数、ETL、可视化啥的都是基本姿态。
4.数据分析师就业方向
数据分析师 – 偏向商业化的数据分析,运营广告等活动效果分析,销售额或利润预测,用户特征描述等,需要较好的统计知识,需要懂1-2门数据分析工具如SAS、R等;
咨询顾问 – 面向客户,为客户提供数据抓取、数据分析、出数据报表、改进建议落实等咨询服务,需要有较好的沟通能力,需要懂1-2门数据分析工具如SAS、R等(咨询顾问其实也分技术和非技术,技术类的主要是为客户搭建数据平台)
数据产品经理 – 一般是互联网公司独有,数据量大的公司会有自己的数据产品,如阿里巴巴的数据魔方等,主要是针对数据产品从产品立项、提开发需求、跟进产品开发、测试一直到产品上线等工作(相对来说并不需要对从业者要求很高的数据分析或统计能力,属于目前市场上为数不多但高工资的职位)
- ?
经典:深入浅出之数据分析师
韶炎彬
展开
音乐作伴,轻松阅读!【文末有数据分析系列文章集】
今天飞机回程途中,遇到位北海道银行来中国出差的女生;途中聊起了各自的职业;一直聊到北京,全程让我很苦恼的是数据分析、数据分析师这些玩意如何很容易的介绍给她;
比如说她,是银行的一名普通职员,每天的任务是结算、结汇,从早到晚都在跟数据打交道;因为只用整理好的数据,所以自然不在乎也不注意,数据是如何来的;整个总结下来是,用数据的人不知道数据哪里来的,做数据的人不知道数据有什么用处;回忆了下,这还真是一个普遍的现象;
这个问题造成的后果就是,开数据会经常打架,A业务线给出的数据说xx 指标提升了,B业务给出的刚好是另外一种结论,指标在下降;等讨论完毕数据口径,会议结束,大家都感到无力。各人不禁感叹,这个会又白开了;脑袋一拍,目标就来,各种活动方案的目标基本是上拍脑袋,直接10-20倍,各自又忙活一阵子;数据快到我碗里来,昨天要的数据需求好了吗?明天老板开会,给几个数据吧;某某DLU指标掉了,看是不是数据有问题;今天push,明天Push,push ctr嗷嗷的高,同一拨用户群嗷嗷的高,用户投诉还不断;
既然业务上有这么多的问题,数据分析师是具体的解决什么样的问题呢?
Sample:
1.回答发生了什么?频率是多少?为什么会发生?
2.具体的业务问题是什么?
3.现在应该采取什么样的行动?
4.未来的趋势是什么?是否错过了机会?哪些问题(路子)是错误的、正确的,把错误的去掉,只留下正确的;
数据只有结合了业务才是有价值的,数据体现可以用四个字词概括,看数据、用数据、依赖数据、数据变现。稍微详细解释如下:
看数据,能然让业务准确、及时、完整的看到数据, 落地是在报表、取数等;
用数据,业务上通过数据做出决策 ,落地是异常监控/专题分析;
依赖数据,数据嵌入到业务的日常流程中,通过数据挖掘高价值信息推进业务,落地点在数据产品,数据挖掘产品;
数据变现,利用数据来赚钱了,落地点可在外部数据平台,数据产品上;
在这整个环节中”数据分析师“是做什么呢?我们从分析师的日常工作来分析看,临时需求、报表、数据分析与模型、数据产品,数据挖掘这几个角度来聊一下;
临时需求不必说了,就是解决业务的一次性,临时的数据需求;报表呢,是根据业务的需要,对于常规且定期查看与分析的数据,形成report;
数据分析与模型,与业务一起沟通,分析业务上的各种问题,提供一些业务上的建议与取舍,根据业务需要搞一些挖掘模型等;
数据产品,是通过可视化的方式解决一些结构化(固化)业务问题;把数据分析模型、分析思路与数据结合、面向定向业务提供分析产品;
数据挖掘,数据直接作用到业务上,比如作弊用户、标签推荐、用户行为的定向引导;
以上列举的这几类,前两类是实现看数据的,后三类是挖掘数据价值的;
数据分析师在工作时,在寻求答案的过程中,有一个很重要的衔接点,就是思考。
很多时候,分析师会受到固有问题的影响,如果不去变通,不懂得如何去提炼核心的话,就会产生思考的盲点,就注定问不出一些非常关键的问题;有时答案不重要,思考的角度才是很重要;比如在搞临时需求时,不要把临时需求当成一个取数的工作,学会梳理,学会管理;通过思考,可以发现很多业务上的问题; 了解业务,熟悉业务流程,总结与沉淀自己对业务的理解,知道行业的发展,才能提高自己;
END
关联阅读
原创系列文章:
1:从0开始搭建自己的数据运营指标体系(概括篇)
2 :从0开始搭建自己的数据运营指标体系(定位篇)
3 :从0开始搭建自己的数据运营体系(业务理解篇)
4 :数据指标的构建流程与逻辑
5 :系列 :从数据指标到数据运营指标体系
6:实战 :为自己的公号搭建一个数据运营指标体系
数据运营 关联文章阅读:
运营入门,从0到1搭建数据分析知识体系
推荐 :数据分析师与运营协作的9个好习惯
干货 :手把手教你搭建数据化用户运营体系
推荐 :最用心的运营数据指标解读
干货 : 如何构建数据运营指标体系
从零开始,构建数据化运营体系
干货 :解读产品、运营和数据三个基友关系
干货 :从0到1搭建数据运营体系
数据分析、数据产品 关联文章阅读:
干货 :数据分析团队的搭建和思考
数据分析师必需具备的10种分析思维。
如何构建大数据层级体系,看这一文章就够了
干货 : 聚焦于用户行为分析的数据产品
80%的运营注定了打杂?因为你没有搭建出一套有效的用户运营体系
从底层到应用,那些数据人的必备技能
读懂用户运营体系:用户分层和分群
做运营必须掌握的数据分析思维,你还敢说不会做数据分析
商务合作|约稿 请加qq: 365242293
更多相关知识请回复:“ 月光宝盒 ”;
数据分析(ID : ecshujufenxi )互联网科技与数据圈自己的微信,也是WeMedia自媒体联盟成员之一,WeMedia联盟覆盖5000万人群。
- ?
干货|如何七周成为数据分析师
觅露
展开
寻道君
寻道君前天失足掉下悬崖,捡了本秘籍。
这等好东西自然不可私藏,特地分享出来助大家打通任督二脉,早日成为一代宗师(误)。
写这个系列,是希望在当初知乎某一个回答的基础上,单独完善出针对互联网产品和运营们的教程。不论对数据分析或数据运营,我都希望它是一篇足够好的教材。
得承认我有标题党之嫌,更准确说,这是一份七周的互联网数据分析能力养成提纲。
我会按照提纲针对性的增加互联网侧的内容,比如网站分析,用户行为序列等。我也不想留于表面,而是系统性讲述。比如什么是产品埋点?在获得埋点数据后,怎么利用Python/Pandas的shift()函数将其清洗为用户行为session,进而计算出用户在各页面的停留时间,后续如何转换成统计宽表,如何以此建立用户标签等。
这是一份入门到熟练的指南,并不包含数据挖掘等高阶内容。可也足够让产品和运营们获得进步。
第一周:Excel学习掌握
如果Excel玩的顺溜,你可以略过这一周。不过介于我入行时也不会vlookup,所以有必要讲下。
重点是了解各种函数,包括但不限于sum,count,sumif,countif,find,if,left/right,时间转换等。
Excel函数不需要学全,重要的是学会搜索。即如何将遇到的问题在搜索引擎上描述清楚。
我认为掌握vlookup和数据透视表足够,是最具性价比的两个技巧。
学会vlookup,SQL中的join,Python中的merge很容易理解。
学会数据透视表,SQL中的group,Python中的pivot_table也是同理。
这两个搞定,基本10万条以内的数据统计没啥难度,80%的办公室白领都能秒杀。
Excel是熟能生巧,多找练习题。还有需要养成好习惯,不要合并单元格,不要过于花哨。表格按照原始数据(sheet1)、加工数据(sheet2),图表(sheet3)的类型管理。
下面是为了以后更好的基础而附加的学习任务。
了解单元格格式,后期的数据类型包括各类timestamp,date,string,int,bigint,char,factor,float等。
了解数组,以及怎么用(excel的数组挺难用),Python和R也会涉及到list。
了解函数和参数,当进阶为编程型的数据分析师时,会让你更快的掌握。
了解中文编码,UTF8和ASCII,包括CSV的delimiter等,以后你会回来感谢我的。
这一周的内容我会拆分成两部分:函数篇和技巧篇。
这是一道练习题,我给你1000个身份证号码,告诉我里面有多少男女,各省市人口的分布,这些人的年龄和星座。如果能完成上述过程,那么这一周就直接略过吧。(身份证号码规律可以网上搜索
第二周:数据可视化
数据分析界有一句经典名言,字不如表,表不如图。数据可视化是数据分析的主要方向之一。除掉数据挖掘这类高级分析,不少数据分析就是监控数据观察数据。
数据分析的最终都是要兜售自己的观点和结论的。兜售的最好方式就是做出观点清晰数据详实的PPT给老板看。如果没人认同分析结果,那么分析也不会被改进和优化,不落地的数据分析价值又在哪里?
首先要了解常用的图表:
Excel的图表可以100%完成上面的图形要求,但这只是基础。后续的进阶可视化,势必要用到编程绘制。为什么?比如常见的多元分析,你能用Excel很轻松的完成?但是在IPython只需要一行代码。
其次掌握BI,下图是微软的BI。
BI(商业智能)和图表的区别在于BI擅长交互和报表,更擅长解释已经发生和正在发生的数据。将要发生的数据是数据挖掘的方向。
BI的好处在于很大程度解放数据分析师的工作,推动全部门的数据意识,另外降低其他部门的数据需求(万恶的导数据)。
BI市面上的产品很多,基本都是建立仪表盘Dashboard,通过维度的联动和钻取,获得可视化的分析。
最后需要学习可视化和信息图的制作。
这是安(zhuang)身(bi)立(jia)命(xin)之本。这和数据本事没有多大关系,更看重审美、解读、PPT、信息化的能力。但值得花一点时间去学习。
数据可视化的学习就是三个过程,了解数据(图表),整合数据(BI),展示数据(信息化)。
第三周:分析思维的训练
这周轻松一下,学学理论知识。
好的数据分析首先要有结构化的思维,也就是我们俗称的金字塔思维。思维导图是必备的工具。
之后再了解SMART、5W2H、SWOT、4P理论、六顶思考帽等框架。这些框架都是大巧不工的经典。
分析也是有框架和方法论的,我会主要围绕三个要点展开:
一个业务没有指标,则不能增长和分析;
好的指标应该是比率或比例;
好的分析应该对比或关联。
举一个例子:我告诉你一家超市今天有1000人的客流量,你会怎么分析?
这1000人的数量,和附近其他超市比是多是少?(对比)
这1000人的数量比昨天多还是少?(对比)
1000人有多少产生了实际购买?(转化比例)
路过超市,超市外的人流是多少?(转化比例)
这是一个快速搭建分析框架的方法。如果只看1000人,是看不出分析不出任何结果。
优秀的数据分析师会拷问别人的数据,而他本身的分析也是经得起拷问,这就是分析思维能力。需要确切明白的是,一周时间锻炼不出数据思维,只能做到了解。数据思维是不断练习的结果,我只是尽量缩短这个过程。
第四周:数据库学习
Excel对十万条以内的数据处理起来没有问题,但是互联网行业就是不缺数据。但凡产品有一点规模,数据都是百万起。这时候就需要学习数据库。
越来越多的产品和运营岗位,会在招聘条件中,将会SQL作为优先的加分项。
SQL是数据分析的核心技能之一,从Excel到SQL绝对是数据处理效率的一大进步。
学习围绕Select展开。增删改、约束、索引、数据库范式均可以跳过。
主要了解where,groupby,orderby,having,like,count,sum,min,max,distinct,if,join,leftjoin,limit,and和or的逻辑,时间转换函数等。
如果想要跟进一步,可以学习row_number,substr,convert,contact等。另外不同数据平台的函数会有差异,例如Presto和phpMyAdmin。
再有点追求,就去了解Explain优化,了解SQL的工作原理,了解数据类型,了解IO。以后就可以和技术研发们谈笑风生,毕竟将“这里有bug”的说话,换成“这块的数据死锁了”,逼格大大的不同。
SQL的学习主要是多练,网上寻找相关的练习题,刷一遍就差不多了。
第五周:统计知识学习
很遗憾,统计知识也是我薄弱的地方,可这是数据分析的基础。
我看过很多产品和运营相关的数据分析文章,没有多少提及统计知识。这是不严谨的。
比如产品的AB测试,如果产品经理并不清楚置信度的含义和概念,那么好的效果并不意味着真正的好。尤其是5%这种非显著的提高。
比如运营一次活动,运营若不了解检验相关的概念,那么如何去判别活动在数据上是有效果还是没有效果?别说平均数。
再讨论一下经典的概率问题,如果一个人获流感,实验结果为阳性的概率为90%;如果没有获流感,实验结果为阳性的概率为9%。现在这个人检验结果为阳性,他有多少几率是得了流感?
如果你觉得几率有50%、60%、70%等等,那么都犯了直觉性的错误。它还和得病的基础概率有关。
统计知识会教我们以另一个角度看待数据。如果大家了解过《统计数据会撒谎》,那么就知道很多数据分析的决策并不牢靠。
我们需要花一周的时间掌握描述性统计,包括均值、中位数、标准差、方差、概率、假设检验、显著性、总体和抽样等概念。
不需要学习更高阶的统计知识,谁让我们是速成呢。只要做到不会被数据欺骗,不犯错误就好。
以Excel的分析工具库举例(图片网上找来)。在初级的统计学习中,需要了解列1的各名词含义,而不是停留在平均数这个基础上。
第六周:业务知识
(用户行为、产品、运营)
这一周需要了解业务。对于数据分析师来说,业务的了解比数据方法论更重要。当然很遗憾,业务学习没有捷径。
我举一个数据沙龙上的例子,一家O2O配送公司发现在重庆地区,外卖员的送货效率低于其他城市,导致用户的好评率降低。总部的数据分析师建立了各个指标去分析原因,都没有找出来问题。后来在访谈中发觉,因为重庆是山城,路面高低落差比较夸张,很多外卖人员的小电瓶上不了坡…所以导致送货效率慢。
这个案例中,我们只知道送货员的送货水平距离,即POI数据,根本不可能知道垂直距离的数据。这就是数据的局限,也是只会看数据的分析师和接地气分析师的最大差异。
对业务市场的了解是数据分析在工作经验上最大的优势之一。不同行业领域的业务知识都不一样,我就不献丑了。在互联网行业,有几个宽泛的业务数据需要了解。
产品数据分析,以经典的AAARR框架学习,了解活跃留存的指标和概念(这些内容,我的历史文章已经涉及了部分)。
并且数据分析师需要知道如何用SQL计算。因为在实际的分析过程中,留存只是一个指标,通过userId关联和拆分才是常见的分析策略。
网站数据分析,可以抽象吃一个哲学问题:
用户从哪里来(SEO/SEM),用户到哪里去(访问路径),用户是谁(用户画像/用户行为路径)。
虽然网站已经不是互联网的主流,但现在有很多APP+Web的复合框架,朋友圈的传播活动肯定需要用到网页的指标去分析。
用户数据分析,这是数据化运营的一种应用。
在产品早期,可以通过埋点计算转化率,利用AB测试达到快速迭代的目的,在积累到用户量的后期,利用埋点去分析用户行为,并且以此建立用户分层用户画像等。
例如用贝叶斯算法计算用户的性别概率,用K聚类算法划分用户的群体,用行为数据作为特征建立响应模型等。不过快速入门不需要掌握这些,只需要有一个大概的框架概念。
除了业务知识,业务层面的沟通也很重要。在业务线足够长的时候,我不止一次遇到产品和运营没有掌握所有的业务要点,尤其涉及跨部门的分析。良好的业务沟通能力是数据分析的基础能力。
第七周:Python/R学习
终于到第七周,也是最痛苦的一周。这时应该学习编程技巧。
是否具备编程能力,是初级数据分析和高级数据分析的风水岭。数据挖掘,爬虫,可视化报表都需要用到编程能力(例如上文的多元散点图)。掌握一门优秀的编程语言,可以让数据分析师事半功倍,升职加薪,迎娶白富美。
以时下最热门的R语言和Python为学习支线,速成只要学习一条。
我刚好两类都学过。R的优点是统计学家编写的,缺点也是统计学家编写。如果是各类统计函数的调用,绘图,分析的前验性论证,R无疑有优势。但是大数据量的处理力有不逮,学习曲线比较陡峭。Python则是万能的胶水语言,适用性强,可以将各类分析的过程脚本化。Pandas,SKLearn等各包也已经追平R。
学习R,需要了解数据结构(matrix,array,data.frame,list等)、数据读取,图形绘制(ggplot2)、数据操作、统计函数(mean,median,sd,var,scale等)。高阶的统计暂时不用去涉及,这是后续的学习任务。
R语言的开发环境建议用RStudio。
学习Python有很多分支,我们专注数据分析这块。需要了解调用包、函数、数据类型(list,tuple,dict),条件判断,迭代等。高阶的Numpy和Pandas在有精力的情况下涉及。
Python的开发环境建议Anaconda,可以规避掉环境变量、包安装等大部分新手问题。Mac自带Python2.7,但现在Python3已经比几年前成熟,没有编码问题,就不要抱成守旧了。
对于没有技术基础的运营和产品,第七周最吃力,虽然SQL+Excel足够应付入门级数据分析,但是涉及到循环迭代、多元图表的分析部分,复杂度就呈几何上升。更遑论数据挖掘这种高阶玩法。
我也相信,未来了解数据挖掘的产品和运营会有极强的竞争力。
到这里,刚刚好是七周。如果还需要第八周+,则是把上面的巩固和融会贯通,毕竟这只是目的性极强的速成,是开始,而不是数据分析的毕业典礼。
最后还需要补充,如果希望数据分析能力更近一步,或者成为优秀的数据分析师,每一周的内容都能继续学习至精通。实际上,业务知识、统计知识仅靠两周是非常不牢固的。
再往后的学习,会有许多分支。比如偏策划的数据产品经理,比如偏统计的机器学习,比如偏商业的市场分析师,比如偏工程的大数据工程师。
到这里,刚刚好是七周。如果还需要第八周+,则是把上面的巩固和融会贯通,毕竟速成是以转岗或拿offer为目的。有机会,我会专门写文章讲解每一周的具体知识,并且用爬虫爬一些数据做练习和案例。成为数据分析师后,坑才刚刚开始,努力吧。如果你靠七周的练习最终拿到了offer,告诉我一下,我很欣慰了。
本文作者秦路,来源:秦路(ID:tracykanc)
- ?
蚂蚁金服美女分析师告诉你:从数据分析到数据洞察,是这么玩儿的
江山槐
展开
图丨蚂蚁金服数据分析师刘培(Faerie)数据洞察之我见
在数据分析这个行业里,大家经常会谈论未来是大数据的时代,未来的竞争就是数据的竞争。
而麦肯锡的一项对700+家企业的调查显示,许多公司、尤其是传统公司还没有从大数据项目获得预期的结果,或者还没有获得相当高的投资回报率。大数据项目投入后收入平均仅增加了6%。我想一个很大的原因是传统企业大多是业务流程驱动,数据更多是作为一个报表使用。他们很少挖掘数据价值对企业流程的驱动,而是依靠个人经验进行决策。即使在使用数据分析的公司也多是停留在验证假设、监控效果的层面,通过数据分析获得洞察的很少,用分析直接指导行动的案例更是少之又少。Forrester的一项调研报告显示,有74%的公司希望通过数据驱动,但是只有29%把分析结论和运营动作建立了联系。
要从数据中得到价值,首先得弄清楚数据分析和洞察的区别。有很多作者讨论过这个话题,包括刚才上面贴的那篇forbes上面的文章,简言之,数据是没有经过过多的处理的原始信息,数据分析是从这些信息中发现的规律、趋势等,而数据洞察则是通过数据分析得出的价值,包括决策运营、预测机会等。
ConnectedInsight项目由来
作为客户服务及权益保障事业部智能运营中心的数据运营团队,我们的职责是支撑各服务线、智能调度中心及互联网渠道的数据分析。
虽然每条线都有几名数据分析同学做支持,但是由于数据分析需求往往都是由一个或小部分场景出发而提出,并未全局考虑数据和分析结果在整个业务线运营链路中的作用以及能为运营决策带来的影响,导致需求往往零散、冗杂且重复。同学们在不成体系的需求下熬夜跑代码、做报表、写分析报告也很艰难。
车品觉的《决战大数据》一书中写到:“大数据的力量来自触类旁通的关联。我们以前总是用数据来证明或企图说服工作上的盲点,而如今的数据不再是一加一的依据,而是具备了预测和开创新机的能力”。
书中还提到,“把分析的理念和框架变成数据产品,本质上是一个数据泛化的过程。这个过程非常重要,因为数据报告的需求会越来越多,如果没有泛化数据给使用数据的人,分析团队将永远被冗杂和重复的工作所困”。
由此智能运营中心的数据运营团队和平台系统团队一起提出了ConnectedInsight项目,目的是为了从业务描述,业务诊断,业务预测,决策支持等方面,一步步完成从散点数据走到数据洞察。
基于此,我们和CTO 线人工智能部的AI运营团队以及CTO 线数据平台部DeepInsight产品团队做了共建,我们提供业务指标框架和分析思路,产品由AI运营团队主导开发,由DeepInsight提供后台能力,最终呈现在新客服数智产品上。
任重而道远,为了避免闭门造车,写下这篇分享,想吸引更多有相同想法的同学或者团队一起来探讨更好的解决方案。
ConnectedInsight项目“洞察”了什么
下面分别讲讲ConnectedInsight这个数据分析产品的四部分分别实现了或者将要实现的价值:
业务描述:描述业务上发生了什么。
服务线要了解自己的服务做得好不好,首先是需要看描述性的数据,过去我们是靠一张张报表实现这种描述功能的。但是单个的KPI报表是散的,比如我们分别看了一条服务线服务流程各个点上的数据报表,并不能直观的拼成一条链路图来了解整个业务流程的运营情况。基于此,我们开发了可定制化的业务数据流程图和异常高亮及预警功能,让用户能对业务现状一目了然,实现了从“点”延伸到“线面体”。
业务诊断:诊断为什么发生。
服务线看到数据流程图描述出来的某些环节做得不太好,就需要了解原因或者能改善的点。在此需求背景下,我们的产品开发了单指标多维度拆解和多指标相关贡献度拆解,实现了诊断指标异常定位原因,让运营同学能更高效的找到运营点。
业务预测:预测将要发生什么。
服务线要部署人工服务方案,必须提前知道服务量,我们通过预测产品化的方式让运营同学能高效的使用预测功能,合理的分配服务人力资源,同时也大大提升了分析同学预测产出时效。
决策支持:决策要做什么。
目前服务线运营同学在决定下个周期的派单部署方案时仍需靠人工重复、机械的统计历史数据和预测数据进行局部优化的方案选择,而我们的产品将实现用相关因子自动计算出全局最优的派单部署方案,大幅提高运营效率和准确率。
1、业务描述
业务背景
业务描述就像汽车仪表盘,实时告诉你发生了什么,并适时警报提示等。分析师要做的事情就是搭建指标体系,进行各种维度的统计分析。我们过往的大量工作就是做这个,目前市面上很多BI产品也都能够满足这个层次的数据运营需求。
拿客户服务及权益保障事业部的国际线来举例,以往业务线运营同学看到的是拿老版Alisis搭建的各KPI的图表,如下图(图表数据非真实数据,仅用于展示),给出的是业务监控体系里散的“点”,并没有从业务全链路的角度给出用户能一眼看出业务整体有什么异常的大图。
痛点
这么搭建业务监控的结果是什么呢?有没有发现业务看完数据后,经常会基于此提出额外的数据需求?
一般来讲,想看数据的人潜意识里是要成“体”的数据的,只是沟通过程中变成了“点”的需求,因为“点”简单容易讲明白,但是,这次给不了“体”的数据,下次还会围绕“体”的数据提各种“点”的需求,这个时候我们需要延伸一下,提前想需求方之所想,就不用来回往复了。
解决方案
AI运营团队开发了流程图、树图、星环图等个性化分析组件,分析师使用这些组件完成产品内容搭建,并在我们的产品平台上配置各服务线的分析页面。
拿国际服务线举例,服务流程上用户可以拨打95188或者淘海外电话等进入热线人工服务,需要升级的提交工单,用户也可以进入支付宝钱包,英文钱包或PC端自助服务,未解决问题可以接入在线人工服务,需要升级的提交工单。
以往运营同学看的是各个环节的数据点报表,在我们构建的分析产品中,业务同学看到的是随业务流程变化的全链路图,整个链路图可定制、指标节点可设置预警高亮,从用户使用自助服务,到拨打热线电话,进入智能派单环节,再到人工客服接起,转入转出,升级提交工单,整个链路上哪一个节点出现异常一目了然。
一个节点可以配置多个指标,主指标和相关指标。鼠标悬浮于节点可展示主指标及相关指标的趋势图,如果想进一步分析,可点击详情分析进入指标的下钻分析页面。
节点也可以配置堆积柱状图,这种配置在想展示业务占比等场景的时候非常好用。
2、业务诊断
数据之间是存在因果联系的,这些联系有些容易通过业务来解释,而有些恰恰是业务无法直接看到,需要通过数据发现联系。在这个层面,需要数据分析师从整个业务链路和数据之间的联系出发,通过关联分析,波动分析,平衡计分卡等方法,找到数据变动的原因。
痛点
过去我们提供给业务同学报表,用于日常指标的监控和原因分析。但通过报表找原因会存在两方面的问题:
沟通成本高、原因获取效率低:业务同学使用报表在众多指标中寻找原因,过程不熟练,分析师需要花时间和业务同学一起解读数据和寻找原因。
数据的落地性差:业务同学在面对需要立即解决问题的压力与大部分数据具有滞后性矛盾的背景下,往往是选择在没有数据分析结果时,先根据过往的运营经验采取措施,导致数据对实际指导的价值不高。
解决方案
在ConnectedInsight的业务诊断里,我们进行了分析思路产品化。把分析师常用的分析思路和过程沉淀下来,用产品化的形式呈现,避免重复劳动,改善原因定位的时效性;业务同学不需要了解背后复杂的计算逻辑,直接看到分析结果,并且可以指派给专人负责。
在初版产品中包含两种类型的业务诊断分析:单指标多维度型和多指标相关型。
单指标多维度型的业务诊断,我们要找出的是在一个指标能拆分成的多层树状结构中,具体是哪一层的哪一个节点的波动对这个指标的波动贡献度最大。
以服务线FCR(First Call Resolution,首次呼叫解决率,衡量客户服务及权益保障事业部解决客户问题能力的重要指标,一般为24小时内未重复来访的服务量占比)这个指标为例,通过下图所示的树状结构梳理安全服务线的服务量和FCR,拆解成一级业务,二级业务,三级业务的服务量和FCR的波动对整体FCR波动的贡献度,找出导致FCR波动的最主要的业务。如本例中限权咨询业务对当日FCR下降的贡献度为96.3%,运营同学应该着重关注该业务。
(*以下截图为demo,数据也非真实,最终版正在开发。)
多指标相关型的业务诊断,我们要找出的是在一个指标有多个影响它的指标时,具体是哪一个指标的波动对这个指标的波动贡献度最大。这里多指标之间的不是简单的加减关系,而是转换为复杂的影响因子,通过影响因子量化指标之间的贡献度。
比如对热线接通率进行业务诊断,接通率分母是热线流入量,流入量是客户需求通过自助、转人工等,直到流转到热线处理环节的咨询量,因此流入量相关的影响因素有:产品、自助、智能派单、转接等;接通率的分子为热线应答量,应答量和通话时长、排班人数(人员)、现场运营效率(产能)等有关。通过下图把指标之间的关系环状表达出来,当选中某一指标后,该指标相关的影响指标也会高亮。而后台计算出的分析结果会给出指标波动的影响因子和各因子的贡献度。
(*以下截图为demo展示。)
3、业务预测
业务背景
服务线的小二对接了蚂蚁所有业务线的服务量,随着业务不断拓展和复杂度的叠加,需要的咨询和审核小二人数不断增加,此时服务量如果可预测,就能基于现有资源做好排兵布阵,为业务线人员排班、人员招聘、和预算提供决策参考,在保证接通率、工单处理时效、进而提升用户体验的前提下,最大化人力资源利用,降低人力成本。
服务量包括:
咨询服务量,比如话务量,支付宝使用中电话咨询客服小二。
审核服务量,比如工单审核量,账户被冻结要上传身份证、人工审核。
痛点
我们业务线分析师在过去对服务量的人工预测流程如下,需要3个分析师每周20+小时的工作,才能按时的完成预测工作。
以上流程存在一些问题:
效率低:每条业务线的预测都要重复以上流程,这些因素涉及到多团队多部门协同,效率低下。随着公司业务的拓展及业务复杂性的增加,预测的工作量越来越大,铺人的方式解决不了根本问题。
预测标准不统一:预测分析师人肉做出预测,诸多零散个人经验贯穿其中,不同分析师预测结果会有偏差,不利于形成统一的方法和标准。
人工干预信息无法统一沉淀、不利于总结经验:各环节的线下沟通信息无统一沉淀,不利于事后评估产品事件影响、渠道调控,无法为后续预测调优提供指导。
解决方案
我们的ConnectedInsight中的预测功能,把预测融合模型(简单理解,既多个预测模型自动寻优)产品化,通过傻瓜式的点击按钮,让运营的同学可以自己做预测,把分析师的时间解放出来进一步优化模型。这个产品不仅大大的提升了预测产出时效(从1周到5分钟),更提高了预测的稳定性和准确率。
预测模型特征分解和产品框架如下图:
最终的预测产品如下,运营可以选择自己所在的小组(技能组)、和预测时间窗口(常规锁定预测、排班修正预测)。
即可出现如下所示的话务量趋势图,并且可以根据自己掌握的信息对模型结果进行修正,修正后备注原因,便于模型的学习和调优,让后续预测结果更加精准。
4、决策支持
无论是上面讲的业务诊断还是业务预测,都是通过数据,对业务运营做决策支持。在这个环节,我们关注的从洞察到行动的过程,将数据洞察的结论提炼出来,告诉运营同学如何去行动是when、where、who and whom,指导业务的行动方向。例如,在我们通过多指标相关性分析发现影响接通率变化的因素有1. 业务量变化;2. 预测准确率;3.排班准确率。这三个因素都是insights,但是只有第2个和第3个因素是Actionable insights,而第一个因素,业务量的变化,这个更多是受业务发展的影响,并不是我们客户服务及权益保障事业部能够采取行动而改变的。在运营方根据我们的分析结果,做出实际运营动作之后,我们的产品会通过数据回流,进行action前后效果对比,从而形成数据化运营的闭环。
更进一步的决策支持和决策自动化我们已经在规划,细节期待有共同发展方向的团队一起协作探讨。
心得和鸣谢
最后,说一点这些年做数据分析的感悟。数据分析师每天都会被大量的业务需求压得喘不过起来,如果不能做到真正的数据驱动运营,分析师们慢慢的会对手头的工作疲惫而倦怠。而做好数据运营的关é...
- ?
作为数据分析师,鬼知道我经历了什么!
布拉内斯
展开
谨以此文献给所有数据从业苦逼之人,如有中伤之处,请自行戴好盔甲,以防中伤过深。同时也以此文献给后期对数据热情,想长期从事此行业的年轻人,希望对你们有所启发,并快速的调整思路和方向,以对自己的职业生涯有更好的发展。
最近听到一些段子,很有意思,分享给大家!
这些段子是很多数据分析人员的真实写照:
新招进公司做大数据分析师,好开心好兴奋好激动!!!然而...
入职第一天,老板给了我一张 50M 的 Excel 表说:
“你看我们有 100多万条用户信息,这么大的数据,来个大数据分析下!”
还没从震惊中恢复过来,业务部又神补一刀:
“我们准备跟星巴克合作,来预测下明年多少人喝咖啡,几千万的大项目,预测不准公司要亏很多钱的,你加油哈!”
面对这样的业务部,我只想说:“我要是未卜先知为啥不去炒股来给你打工”
IT大哥贼兮兮的说:“哥们你可来了,那失散到天涯的数据有娘啦!”
没法,最终还是把数据拼起来开始分析...
发现好有规律啊~好工整啊~这...是不是有坑?!
去业务部一问才知道,这些都是被经销商篡改操纵的数据...
后来拿到了全真实的数据!全部没有规律了!喜极而泣!!
擦干泪仔细一看,80%的记录缺失,10%记录不全,5%记录出错……
整完数据开始统计,然而领导觉得只做加减乘除太简单了,有没有更深度的方法(解读:需要纠正的是,有用为先,花哨次之,这种说法不太合理)
简单了就做个模型吧,然而检验值还没讲完领导表示太复杂搞不懂,能简单点不(解读:这个是解读能力的问题,跟领导没关系...没关系..没关系...)
改来改去已很多遍了!我已不太记得领导唠叨了什么,总之又听到一句:“再改一下,看看其他维度深入分析分析”,然后默默新建一个文件:《分析报告V16-8版》
输出结果和业务部的认知差不多,被评价为:
“我们都知道了啊,这大数据做了跟没做一样啊”
输出结果和业务部的认知差很多,被评价为:
“这个与业务经验完全不同,肯定是数据的问题,我们都十多年经验了,快回去检查数据,上次我去见XXX客户人家就不是这样的!一定是你错了!一定!”
此段子一出,群里都炸开了锅,大家都开始不断的煽风点火,各种数据背锅,各种吐槽,说尽了数据分析师的辛酸苦辣。
我做数据分析师的时候也经常遇到上面这些遭遇,乃至后来找到了一些规避这些问题的方法,希望对大家有所帮助。
同时,我也希望借此号召所有的数据从业者,在数据应用实践上能够深入思考并有所突破,在正确的轨道上更好的发挥出数据的价值,从而让数据从业者有更大的 ,不再拘泥于每天的抱怨和自怨自艾中。
数据之苦
进入正文,数据人之苦最苦的是:有好处想不到你,出了问题都是你的错
这句话的意思就是你做好是应该的,做得不好就得承担责任。这种痛苦完全命中了马云蜀黍对离职的两点看法:
心累(得不到价值肯定)、钱少(没业绩肯定哪来的升职加薪)
区分数据流程的不同阶段,数据人之苦又有所区分侧重不同,说一下我的个人浅见。
根据数据应用的不同阶段,我的划分方法如下,从数据底层到最后应用:
大数据平台
目前很火,数据源头,各种炫酷新技术,搭建 Hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂 Java,很多平台都是用 Java 开发的。
现在很多企业都把数据采集下来了。对于传统的业务,用传统的数据是完全够用的;可是对于用户行为和点击行为这些数据或者很多非结构化的数据,文本、图像和文本类的,由于数据量太大,很多公司都不知道怎么进行存储。
这里面要解决的是实时、近实时和离线的大数据框架如何搭建,各数据流之间如何耦合和解耦,如何进行容灾、平台稳定、可用是需要重点考虑的。
我的感觉是:最近两三年中,这块人才还是很稀缺的,因为大数据概念炒作的这么厉害,很多企业都被忽悠说,我们也来开始进入大数据行业吧。但是,进入的前提之一就是需要把数据存储下来,特别是很多用户行为方面的数据,对于业务的提升了比较明显的,如果你能很好的刻画用户,那么对你的产品设计、市场营销、开发市场都是有帮助的。
现阶段,很多公司都要做第一步:存储更多的数据。这也就是我们这块人员流动性比较高,因为都被高薪挖走了。
和传统的 SQL 不同的是,针对大数据量的非结构式数据,我们所想的就是:用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域,从目前来看有两个方向
分布式已经被证明是个很好的一个方式。云端会是个很好的方向。不是每个公司都养得起这么多这么贵的大数据平台开发人员和运维人员 OPS,从事这个行业的我们要有很好的危机意识,及时贡献出自己的价值,积极主动的学习新技术、否则你就要被淘汰了。
此外,花点钱把数据托管给云服务提供商对于创业公司或者一些传统的企业来说是个很好的思路,这样能够最快速地确定数据对你的价值是什么,而不用采购这么多的服务器、雇佣这么多的运维和网站开发人员。
说了以上这些,主要是想给未来会从事这块的人或者想存储数据的公司一点方向。我自己不做这块,体会不深,大家看看就行。
这块工作最被吐槽的一点就是:Hive 速度好慢,SQL 查询好慢,集群怎么又挂掉了,Hadoop 版本升级后,怎么数据跑出来不对了等等。
因此,在这个领域内工作,需要有强大的
攻坚能力。快速定位和解决 bug 的能力。因为有很多工具都是开源的。Java 开发能力。因为是开源的,所以会出现各种坑爹,甚至出现无法向下兼容的情况。
如果想在这块做的很好,还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力,可以打入开源社区,这样就可以随时 follow 最新的潮流和技术。
数据仓库-ETL
确实做仓库的人很辛苦,单单 Oncall 就会让人望而却步。有很多数据库工程师,晚上睡觉的时候经常被 Oncall 电话吵醒,因为数据流程出问题,需要第一时间去排查,是哪个数据源出问题,并且要立即解决,否则整个数据流程都会受到影响。
如果数据流程受到了影响,你就可能会被大领导一言不合叫到办公室说:我要的数据怎么还没有准备好,我的业务报表今天怎么没有发出来。
通过上面这个情景,我们可以知道:这是个很重要的岗位,因为数据流程很重要,决定了数据从源头杂乱无章的状况,通过 ETL 之后变成了整齐的数据,这些整齐一致性的数据可以让你很方便地把各业务的统计结果计算出来,并且能够统一口径。要不然就会变成有几个部门,就有几种统计结果,到时候 A 部门说业务增长了 5%,B 部门说业务涨了 10%,OMG,到底信谁?
至少在以下几点上,我觉得数据仓库人员是应该要做好:
数据字典的完整性,用的人都希望能够清晰的知道这个字段的逻辑是什么。字段要保持很好的一致性,不要同样一个字段在不同表里有不同的定义。核心流程的稳定性,不要让每天订单主表能够使用的时间很不稳定,有的时候很早,有的时候要中午才出来,如果不稳定就会导致使用数据的人对你很没有信心。仓库版本迭代不要过于频繁,要保持不同版本之间的兼容性。不要做好了仓库 1.0,很快就把原来的推倒重来,变成了 2.0。在数据仓库中需要考虑到延续性,主表的变动不要太频繁,否则使用的人会非常痛苦,好不容易才用习惯了 1.0 的表结构,没办法这么快进行切换。简单地说,要能向下兼容。在这点上,我是深有体会,之前出现过每来一个大领导都来换一次数据仓库的。保持各业务逻辑的统一性,不要出现同样的业务逻辑,同一个组别的人统计出来的结果不同。原因在于共同的逻辑没有落地成通用的东西,所以导致每个人写法不同。这点其实需要特别注意。
针对以上,这个岗位的技能要求是:不要成为仅仅会写 SQL 的人,现在工具都很发达,如果你的技能很单一的话,那么可替代指数是非常高的,并且你自身也没有什么成就感。这里并不是说会写 SQL 的人很 low,只是说应该多学一些技能,否则你很危险。
技能上,除了 SQL 熟练之外,还需要知道如何写 Transform,MapReduce,因为有很多业务逻辑用 SQL 实现起来非常复杂,但是如果你会其他脚本语言,那么就能给你提供便利,让你的效率提升很多。
另外好的仓库人员需要写 Java 或者 Scala,通过写 UDTF 或者 UDAF 来提升你的效率是很有必要的。
仓库人员应该要常常思考,如何进行架构设计是最合理的,你要考虑是否需要字段冗余、行存储还是列存储、字段如何扩展最有效,热数据和冷数据如何拆分等,所以需要有架构思维。
数据仓库人员也应该常常考虑自动化和工具化方面的事情,需要很好的工具或者模块的抽象能力,动手实现自动化的工具来提高整个组织效能。针对经常碰到的数据倾斜问题,需要很快定位问题并进行优化。
说完了数据存储这块,接下来是数据应用的几个关键职位,在此之前,我想说数据应用的一个最关键的前提是:数据质量、数据质量、数据质量!!在每次阐述你的观点、分析结论或者用算法的时候,都需要先检查,源头数据正确性,否则任何结论都是伪命题。
数据可视化
这是个很炫的工作,最好是能懂点前端,比如 js。
数据可视化人员需要有很好的分析思维,不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多,所以没有特别深入的感悟,不过我觉得这个岗位需要有分析的能力,才能把可视化做好。
另外一方面来说,做数据应用的人都应该懂点数据可视化,要知道观点表达的素材顺序是:图片>表格>文字,一个能够用图片来阐述的机会千万别用文字来描述,因为这样更易于让别人理解。要知道,给大领导讲解事情的时候,需要把大领导设想成是个“数据白痴”,这样才能把一件事情说的比较生动。
4
数据分析师
现在对数据分析的需求是很大的,因为大家都想着说:数据有了,但是能做些什么呢?这就需要有数据分析师, 。
对数据分析师吐槽最多的是:你分析出来的不就是正常的业务逻辑吗,还需要你分析什么?或者是你分析的结论不对,跟我们的业务逻辑不符合。
特别是 ABTest 的结果和当初设定的预期不相符合的时候,分析师会常常被拉过去说:分析一下,为什么我的 AB 实验结果不显著,里面肯定有原因的。
很多时候,宝宝的心里苦啊,你说这个转化率下降了,从数据上可以看出哪个细分渠道下降了,至于为什么客户不下单,我们得问用户去,很多时候,数据上也体现不出来为什么,只能告诉你现状是什么。
如果你一直在写分析报告,给结论中,持续周而复始,没有直接在业务中体现成绩的时候,数据分析师们该醒醒了,你该想想这个是你要的岗位吗?
对于数据分析师的定位:个人认为,成为优秀的数据分析师是非常难的,现在市面上也没有多少优秀的分析师。
我个人对数据分析师的技能要求除了会数据分析、提炼结论、洞察数据背后的原因之外,还需要了解业务,懂算法。只有这样,当面对一个业务问题时,数据分析师们才可以针对问题抽丝剥茧,层层递进去解决问题,再根据定位的问题进行策略的应对,比如是先做上策略进行测试还是应用算法进行优化,用算法用在哪个场景上,能不能用算法来解决问题。
一个优秀的数据分析师,是个精通业务和算法的全能数据科学家,不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。
我们都说分析要给出结论,优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施,同时很多需求是分析师去主动发现并通过数据来挖掘出来的。
从上述描述中,可以看到对数据分析师的要求是:
会写sql拉数据精通业务会数据洞察精通算法主动性强
如果你一直只是忙于应付日常分析需求,热衷于写华丽的报告,那么你要记得,你很危险,因为会有一堆人在那里质疑你存在的价值,特别是小公司。因为数据人员的薪资是个不小的支出。
大部分不落地的分析都是伪分析,有一些探索性的可行性研究可以不考虑落地,但是其他的特定业务需求的分析都需要考虑落地,然后通过实践来反推你的作用,如此反复,才能慢慢的给你价值的肯定,同时提升你的分析技能,也只有这样才能证明你作为分析师、数据落地者的价值。
数据挖掘/算法
这块的话,经过这三年的摸爬滚打,感触蛮多的。体会比较深的吐槽主要有以下几点:
一个规则搞定了,还用什么算法。你的准确率怎么这么低?!你的准确率可以到 99% 吗?你的推荐有价值吗?你不推荐客人也会下那个产品的订单的。帮我做个大数据预测他想要什么?
很多时候,不同的场景对准确率的要求是不同的,所以在一定合理的场景下和业务进行据理力争是必要,不要害怕让业务吐槽,更多的时候管理å¥...
- ?
5个常见的SEM数据分析报表,你真的懂吗?
未蓝
展开
如果你作为一名SEMer,每天80%的工作时间是打开后台,监控核心关键词的排名,每天去调整价格,调整移动比例,否定一些垃圾流量的话,那么我会觉得,你与一名优秀的SEMer人员之间,还有很大的提升空间。
因为一名优秀的SEMer,每天应该有80%的工作时间在做数据分析,20%的工作时间是最后将数据分析出的结果进行后台操作。有人问过我,你认为SEM推广的核心是什么?我以多年的经验总结出两个因素:“行业市场分析”与“数据分析”。
数据分析基于推广数据的筛选与总结。数据报表也分为两种:一种是 后台数据报表(账户报告、关键词报告、地域数据报告、搜索词数据报告等等),这些报表可以后台直接下载筛选使用;
还有一种是 基于第三方统计平台与代码标记的数据报表(关键词跟踪报表、url转化报表、各平台流量占比数据报表等等)。接下来我就给大家分享一下如何筛选适合自己推广数据报表以及如何筛选数据有价值信息。
一、账户报告
数据分析重要程度:★★★★
阐述:账户报告是推广数据分析最基本数据报告,账户报告可以清楚显示出账户推广的展现量、点击量、消费量、点击率、平均点击价格。做日报表或周报表可以做出环比数据值,可以清楚分析整体账户推广情况。
要根据自己账户推广设定限值,当环比数据达到限值得时候,就要重点关注分析。即使环比数据是正向发展,也可以分析出来原因,这样也可以明确效果提升的原因。
例如:推广账户数据环比展现量限值5%,既展现量环比增长5%还是降低5%都要明确分析,如发现今天账户推广数据环比昨天降低7%,既触发限值,结合实际调整操作可分析得知,昨天核心词有调整匹配方式,有4%的长尾关键词昨日没有置左展现,所以根据数据可以清楚知道账户环比降低原因。
根据原因作出相应正向调整即可。而且账户报告,每天的PC与移动的消费占比也一定重视,账户的效果波动可能也多数与PC与移动消费占比有关。
二、搜索词报告
数据分析重要程度:★★★★★
阐述:搜索词报告是作为数据分析与sem优化最为重要的数据报告之一。推广流量精准度与否都可以利用这个搜索词报告一目了然。
但是搜索词报告大部分人都是基于后台搜索词报告直接进行否词操作,而且有很多人都是看见一个不相关的搜索词马上否定掉。最后会发现我们计划否词数或者单元否词数不够用了。
其实 对于搜索词报告我们一般都是将每天搜索词报告做一份excel透视报表,可以透视清楚哪些搜索词垃圾流量触发点击数最多的,超过2次以上点击垃圾流量进行否定处理。触发一次搜索垃圾流量一周集中累计再集中做出透视数据分析,最后看出那些单次点击一周内累计垃圾流量多次触发的搜索词再进行否定关键词。
搜索词报告另外一个数据作用,将有检索搜索词有效添加到投放关键词中。这个也是拓展有效关键词最有效的数据支持。
三、关键词报告
数据分析重要程度:★★★★★
阐述:关键词是sem推广投放核心,关键词数据报告也是所有关键词报告数据分析的最重要的参考数据。但是关键词报告一定是要结合其他数据报告一起分析,才能筛选出我们有效的数据,下面就给大家分析几种比较实用的数据报告结合分析组合。
1)关键词报告与搜索词报告:根据搜索词报告可以 拓展有检索关键词;其次搜索词报告匹配出垃圾流量,不一定要做否定关键词,有部分单次点击垃圾搜索词可以结合关键词报告数据,对于关键词进行匹配方式调整。
2)关键词报告与咨询转化报表:每天结合咨询平台中有效咨询所触发的关键词报表与搜索词报表进行 核算每个关键词转化成本,这样我们可以集中投放高转化关键词,控制高消费低转化关键词消费。
3)关键词报告与账户报告:关键词报告与账户报告关系是包含于关系。即账户数据异常要排查到关键词报表中关键词,所以 账户报告要与关键词报告对应查看与分析。
四、地域报告数据
数据分析重要程度:★★★
阐述:地域数据报表主要作用是明确各地域消费占比与各个地域推广数据。如果对于此数据调整,可以结合后端转化数据进行调整。
调整各个地域消费占比依据:
1、根据后端转化效果进行地域消费占比调整;
2、根据业务地域需求度,进行地域消费占比调整。
五、url跟踪转化代码数据
数据分析重要程度:★★★★★
阐述:url跟踪转化代码数据是定制型数据报表,适用于多平台推广及转化统计。
这类代码与url部署后数据优点:
1、各个平台转化有区分;
2、url部署有利于监控着落页表现;
3、关键词转化id可以直接统计转化词。
4、如果推广有项目区分,可以另行标记区分。
这样统计出来数据可以区分:
1、关键词转化监控
2、地域转化监控
3、项目转化监控
4、平台推广转化
最后,想说跟大家分享了这些比较常用数据报表与数据的分析方式,只是比较 有代表性与实用性的数据报表。SEM 数据分析还有很多需要大家深入研究与专研的。我个人也给予大家几点 SEM 数据分析注意事项:
1、所有数据报表要坚持多维度相结合进行分析处理;
2、数据分析一定要作为日常优化流程,不要账户出现问题才进行数据分析排查问题,日数据异常要积极分析与调整,才能让账户推广效果稳定;
3、数据筛选是数据分析的基础,大量的数据要筛选出有效的价值,依据有大量数据的分类、筛选、过滤等环节进行数据提炼,这个最好要有良好的Excel技能支撑才会高效的进行。
数据分析是我们SEM推广调整的支撑,如果你是一名好的数据分析师,那么还会玩转不了SEM推广吗?
|来源:艾奇学院
百家号-【袁帅数据分析运营】:袁帅,互联网数据分析运营实践者,会点网事业合伙人,运营负责人。CEAC国家信息化计算机教育认证:网络营销师,SEM搜索引擎营销师,SEO工程师。数据分析师,永洪数据科学研究院MVP。中国电子商务协会认证:中国电子商务职业经理人,畅销书《互联网销售宝典》联合出品人之一。中国国际贸易促进委员会:今日会展会员联盟VIP个人会员,全经联园区委秘书处成员,中国低碳智慧园区联盟理事,周五咖啡媒体人俱乐部发起合伙人。百度VIP认证站长,百度文库认证作者,百度经验签约作者,百家号/一点资讯/大鱼号/搜狐号/头条号/知乎专栏/艾瑞专栏等媒体平台入驻作者,互联网数据官(iCDO)原创作者,互联网营销官CMO原创作者。
- ?
一个工作3年的数据分析师,所具备的能力有哪些?
占文昊
展开
文 | 邹昕-知乎
来源:再生谈|reborn_chat
受本人背景和知识水平所限,本答案局限性如下(包括但不限于):
1. 更适用于中大型公司;
2. 更适用于互联网公司;
3. 可能更适用于美国的工作环境。
个人以为,一个三年工作经验的数据分析师应该具备以下方面的能力:对技术的掌握,对产品的理解,对数据的敏锐性,数据和产品之间互相转化的能力,分析思维的广度、深度和速度,数理统计的能力,沟通的能力,辅导新人的能力,面试把关的能力。
以下分开来说,同时举例的时候假设这个数据分析师是知乎这个产品的,目的是为了增长活跃用户。
【1】对技术的掌握
不一定需要非常高深的技术,但是基本的一定要过关。比如针对互联网行业的数据分析,SQL 是一定要过关的。在这基础之上,掌握公司惯用的BI工具或者报表工具,譬如帆软系列;Python / R 可以提高长期的工作效率,但在初期并不一定需要。
简单来说,技术能力决定了一名数据分析能力的下限,而对产品和业务的理解则决定了上限。
如果缺乏技术的支持,那就只能去当 CEO 了。
就好比在电影 Margin Call 里,底下的小兵负责分析数据,各种模型预测金融危机什么时候会发生。
而对于 CEO 来说,他的任务就是猜。
【2】对产品的理解
数据分析的目的是为了改进产品。如果缺乏对产品的理解,那么技术再好,也有可能像是无头苍蝇到处乱撞。
或者是变成 data dump,提供一堆一堆的图表,但其中有互相什么关联,能说明什么问题,提供什么样的建议,却并没有好的想法。
如果是初入行的话,这还是问题不大的。
因为新人可以有老板带着,或者是老人带着,但是如果想要更进一步,那就必须能够自己独立的做项目。
尤其是在互联网行业更是如此,除了新人之外,对大多数人的基本要求都是能单兵作战,不需要详细的指导。
同时在很多情况下,问题是很开放性的,对于如何解决并没有一个非常固定的套路,或者是因为这完全就是一个新的问题,或者因为不同产品之间套路无法直接套用,需要做大量的调整和创新。
比如这里面增长的例子,哪些是可以借用于知乎的,哪些是需要调整的,哪些是完全不适用的?
【3】对数据的敏锐性
对数据的敏锐性体现在两方面,一是在结果还不是那么清晰的时候,甚至根本就没有什么数据的时候,能够大致感觉往哪个方向深挖是更有可能出成果的;二是在数据出问题的时候,能够反应出来,及时找出原因。
比如做知乎的数据分析,目的是为了增长活跃用户,可以做的地方有很多,比如增加获新、增加内容、增加用户关注话题数、增加用户关注人数等等。一个经验丰富的老司机可以快糙猛的大概估算一下各个方面的机会有多大,大致的实施难度如何,风险是大是小,产品哪些方面是有缺陷可以改进的。
另一方面,是人就会犯错,最大的区别在于有的人可以很好的纠错,而有的人则需要别人提醒,还有的人即使别人提醒了也反应不过来。
【4】数据和产品之间互相转化的能力
在互联网行业,多数时候问题是很不清晰的,比如说问题可能是2017年新用户留存远差于2015年的用户,如何解决?
对数据分析师来说,并不会有一个详细的单子来告诉你都有哪些步骤,而是需要自己灵活处理。
一方面这些问题本身就比较新,虽然会有一个大致的套路,比如 AARRR 模型,解决增长需要先解决留存等等;然而再往下具体的时候,套路就没有那么固定了,因为不同的产品之间可以差别很大。
即使像是 Quora 和知乎这样理应非常类似的产品,也可能因为一些或大或小的差异,导致给分析数据也带来差别。
比如 Quora 的 upvote 并不完全代表赞同,而更多带有传播的意味。
而对于知乎来说,点赞即是赞同,传播只是副产品而已。
如果只懂数据不懂产品的话,很容易进入一个误区,要么产品/业务方追着问数据,要么没活儿干。
【5】分析思维的广度、深度和速度
速度这个比较好理解,尤其是在互联网行业,讲究快糙猛,没有时间精细打磨。
比如一个项目可以花两个月时间做出 95%,也可以花两周时间做 80%,那么多数时候都会是后者。
广度:产品的各个方面之间总是互相牵扯的。最简单的例子,如果知乎的拉新做得非常好,那么留存就有可能降低,用户活跃度也有会降低。
如何分析各者之间的关系,如何保持一个合理的平衡,如何增加其中一个不过于负面影响其它,这些数据分析都需要在广度上有一定的了解。
深度:有些问题一个人解决不了或者很难,多几个人就可以了,比如说搬砖,十人人搬总会比一个人搬快得多,哪怕不是十倍速度。而有些问题,靠堆人力是没用的。
【6】数理统计的能力
这一部分跟 1,3,5 是相关的。不一定需要特别高精尖,但是对于分析问题会有很大的帮助。比如说如何识别数据分析里可能出现的错误。
【7】沟通的能力
除非兼任软件工程师和产品经理的职,否则数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力。
有了好的结果是第一位,如何影响合作伙伴,让他们接受自己的建议甚至比有好的结果还重要。
毕竟,没有声音,再好的戏也出不来。
【8】辅导新人的能力
毛主席说过,人多力量大,要把敌人淹没在人民战争的汪洋大海中。
辅导新人,不只是团队 leader/manager 的要求,对于独立贡献者(inpidual contributor)也是一样重要的。
闻道有先后,术业有专攻。
一个人的力量终究是有限的,如果把自己的能力复制到整个团队甚至整个公司,是增大自己影响力最有效的办法之一。
【9】面试把关的能力
大多数人应该都希望自己的公司处于一个增长的状况,如果是高速增长那就更好不过了。
有增长,就必然要招人。
而招人并不是简单的招人来干活,而是招来更优秀的人进一步提高团队的水平。
这对于高速增长的团队来说是一个很大的挑战,所以提高面试技能和精准的判断面试者的能力,无疑是有效的扩张团队的不二法则。
【10】少睡的能力
比如说七周不睡觉,快速成为数据分析师(开玩笑的)。
数据分析师报表
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并