- ?
数据分析师告诉你数据分析的结构体系
海秋
展开
大数据从几年前的概念演变为现在是落地数据,越来越多的人感受的数据的价值,目前全国各大高校同样陆续开设数据科学与大数据专业,企业也已开展招聘数据分析相关的职位。
之前想成为数据分析师的人大致有三类:
第一类是非计算机专业的在校生,不知道怎么回事,反正就是对数据感兴趣了,然后想毕业之后从事相关工作,但对职位要求、该做什么准备一无所知,处于懵懂期; 第二类是互联网公司的产品经理和运营经理,及少数的市场经理。这些人在实际工作中,发现确实数据很有用,但对自己的数据分析能力感到不满意,进而想做出提升;
第三类是传统企业的业务人员,也是不知道怎么就对数据感兴趣了,想要从事数据分析相关的岗位,但缺少时间系统学习,工作经历又不足以支撑自己跳到数据分析职位。
而现如今随着互联网大数据应用的广泛展开,越来越多的企业、政府机构等开始设立数据相关的角色以及职责。
围绕数据分析工作,也划分了几类职责区域。从平台建设线上,包括:
数据平台工程师:负责数据平台的研发,牵涉到从数据采集到分析的相关组件开发。
数据挖掘工程师:利用机器学习/数据挖掘相关技术,研发算法模型,用于个性化推荐、用户画像、精准广告等。
数据产品经理:把数据相关的需求抽象为数据平台的功能产品。
从数据流向的角度,包括:
ETL 工程师:把工程团队的模块产生的数据,不管是日志、数据表,还是埋点的数据,进行清洗、转换,建模成利于数据分析的数据。ETL 是 Extract – Transform – Load 的缩写。
数据分析师:利用 ETL 工程师处理好的数据,满足业务人员的数据需求。
业务人员:产品、运营、市场、管理层等,因为产品改进、运营活动、商业决策等,有数据需求。
数据分析师的基本要求
对数据感兴趣:是不是看到一行行的数字就头大,选择直接跳过?还是愿意花些时间研究这些数字背后意味着什么?如果你看苹果的发布会的话,会看到乔布斯的幻灯片里出现最多的就是数字,卖了多少部,分了多少钱,厚度减少到多少毫米之类的,他相信数字简单明了。
如果对数据不感兴趣,这个角色一定不适合你。
良好的理解和抽象能力:把业务人员说的只言片语,抽象为明确的数据需求,清楚怎么从基础数据中实现出来。还有把一些重复性的需求,抽象出模式来,用机器来替代。
良好的表达能力:数据分析师有个天然的优势,能够直接和老板打交道,这就要求你能站在老板的层面来表达。把一堆堆的数据,很好的呈现给业务人员,帮助他们做出正确的决策。
快速动手能力:业务人员提的数据需求,巴不得下一秒都拿到。
数据分析的专业能力。
兴趣是可以培养的,既然愿意看这篇文章,说明有兴趣。理解、表达、动手能力,是要有意识的训练。数据分析的专业能力,是可以通过学习提升的。
作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结构。
1. 数据采集
了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程,避免由于违反数据采集规则导致的数据问题;同时,对数据采集逻辑的认识增加了数据分析师对数据的理解程度,尤其是数据中的异常变化。
2.数据存储
无论数据存储于云端还是本地,数据的存储不只是我们看到的数据库那么简单。
3.数据提取
数据提取是将数据取出的过程,数据提取的核心环节是从哪取、何时取、如何取。
o 从哪取,数据来源——不同的数据源得到的数据结果未必一致。
o 何时取,提取时间——不同时间取出来的数据结果未必一致。
o 如何取,提取规则——不同提取规则下的数据结果很难一致。
4.数据挖掘
数据挖掘是面对海量数据时进行数据价值提炼的关键,以下是算法选择的基本原则:
o 没有最好的算法,只有最适合的算法,算法选择的原则是兼具准确性、可操作性、可理解性、可应用性。
o 没有一种算法能解决所有问题,但精通一门算法可以解决很多问题。
o 挖掘算法最难的是算法调优,同一种算法在不同场景下的参数设定相同,实践是获得调优经验的重要途径。
5.数据分析
数据分析相对于数据挖掘更多的是偏向业务应用和解读,当数据挖掘算法得出结论后,如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义,如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。
6.数据展现
数据展现即数据可视化的部分,数据分析师如何把数据观点展示给业务的过程。数据展现除遵循各公司统一规范原则外,具体形式还要根据实际需求和场景而定。
7.数据应用
数据应用是数据具有落地价值的直接体现,这个过程需要数据分析师具备数据沟通能力、业务推动能力和项目工作能力。
数据沟通能力。深入浅出的数据报告、言简意赅的数据结论更利于业务理解和接受,打比方、举例子都是非常实用的技巧。
- ?
CPDA数据分析师:一个完整的数据分析流程
Scarlett
展开
大数据在国内已经火热了一段时间,无论是政府还是企业都已开始重视大数据,纷纷设立大数据部门,数据之于企业的重要性不言而喻。因此优秀的企业为了分析收集来的海量数据,会毫不犹豫地雇佣专业级的数据分析师来帮助公司进行决策,创造价值。
据某招聘网站调查,一名有经验的数据分析师的年薪不低于20万。而数据工程师、数据科学家等则收入更高。作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结构。大数据时代,数据分析对于企业决策和发展起到越来越重要的作用。
1.数据采集
了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程,避免由于违反数据采集规则导致的数据问题;同时,对数据采集逻辑的认识增加了数据分析师对数据的理解程度,尤其是数据中的异常变化。
在数据采集阶段,数据分析师需要更多的了解数据生产和采集过程中的异常情况,如此才能更好的追本溯源。另外,这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。
2.数据的加工整理
在明确数据分析目标基础上收集到的数据,往往还需要进行必要的加工整理后才能真正用于分析建模。数据的加工整理通常包括数据缺失值处理、数据的分组、基本描述统计量的计算、基本统计图形的绘制、数据取值的转换、数据的正态化处理等,它能够帮助人们掌握数据的分布特征,是进一步深入分析和建模的基础。
3.数据分析
数据分析相对于数据挖掘更多的是偏向业务应用和解读,当数据挖掘算法得出结论后,如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义,如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。
4.数据展现
数据展现即数据可视化的部分,数据分析师如何把数据观点展示给业务的过程。数据展现除遵循各公司统一规范原则外,具体形式还要根据实际需求和场景而定。基本素质要求如下:
工具:PPT、Excel、Word甚至邮件都是不错的展现工具,任意一个工具用好都很强大。
形式:图文并茂的基本原则更易于理解,生动、有趣、互动、讲故事都是加分项。
原则:领导层喜欢读图、看趋势、要结论,执行层欢看数、读文字、看过程。
场景:大型会议PPT最合适,汇报说明Word最实用,数据较多时Excel更方便。
最重要一点,数据展现永远辅助于数据内容,有价值的数据报告才是关键。
5.数据应用
数据应用是数据具有落地价值的直接体现,这个过程需要数据分析师具备数据沟通能力、业务推动能力和项目工作能力。
数据沟通能力。深入浅出的数据报告、言简意赅的数据结论更利于业务理解和接受,打比方、举例子都是非常实用的技巧。
业务推动能力。在业务理解数据的基础上,推动业务落地实现数据建议。从业务最重要、最紧急、最能产生效果的环节开始是个好方法,同时要考虑到业务落地的客观环境,即好的数据结论需要具备客观落地条件。
项目工作能力。数据项目工作是循序渐进的过程,无论是一个数据分析项目还是数据产品项目,都需要数据分析师具备计划、领导、组织、控制的项目工作能力。
数据分析师技能要求
1、数理统计基础
作为一名数据分析师,一定要掌握一些基础的、成熟的数学模型算法。例如:回归分析、因子分析、聚类分析、决策树、关联规则、神经网络等。同时建议多看一些博文,看别人对于这个方法的理解,怎么在实际业务中应用,以及如何优化等等。在算法上可以不做到用软件编写算法,但是一定要知道原理,知道怎么应用,怎么调整参数,参数的含义等等。
2、工具
对于一个初级的数据分析师要掌握的基础工具,Excel,SPSS,数据库(如mysql等),随着大数据的来临,传统的一些软件已经不足以支撑数据分析、数据挖掘了,随着工作年限的增长,工作内容的加深,R和Python一定要会一个,目前流行的很多机器学习算法要这些软件才能实现。现在机器学习很火,建议多研究一下这方面的内容,不论是对于自身的提升还是对职业发展都是非常有利的。
3、对行业的了解程度
对特定行业的了解可以帮助数据分析师尽快进入状态,加速决策的过程。如果缺少这一前提,你的数据分析师可能不得不花时间来先对整体行业有一个大概地认知,学习相关知识,然后才能投入其中。
4、沟通能力
现代社会,工作通常要通过分工合作来完成。沟通成为其中必不可少的一环。所以你想要雇佣的数据分析师在这方面有所建树的话,可以极大地提升工作效率。另外,拥有良好沟通能力的专家懂得合理地呈现数据可视化成果并且讲好数据故事。
要成为高级数据分析师的话,一方面是要强化对业务的理解,最好是做到通过数据分析帮助公司决策方向,或者说促进企业快速增长。另一方面,要加强机器学习/数据挖掘的专业知识学习,将机器学习成为数据分析的手段。最后,要强调的是,数据分析师是一个实践的职位,要在实际项目中不断的训练。
- ?
深入浅出学习大数据:详解大数据产业特点及现状!
屈夜安
展开
今天主要介绍大数据产业特点及现状,新朋友可以翻阅我前面的文章,跟上学习大数据的步伐。希望大家持续学习,每天关注,我会连续更新文章,让大家系统学习和认识大数据。
一、大数据产业分类及特点
1.1 大数据产业分类
产业分类目前对于大数据产业的分类并没有统一规定,依据不同角度可以总结为以下几种:
(1)二分法 。主要依据占有大数据的情况,分为大数据产业和大数据衍生产业。大数据产业主要指自身生产数据或者获取数据的存储、分析、应用类产业。大数据衍生产业主要指从事大数据产业所需要的基础设施和技术支持类产业。
(2)三分法 。主要依据数据的营销模式将大数据产业分为3类:①应用大数据进行用户信息行为分析,实现企业自身产品和广告推介的产业;②通过对大数据进行整合,为用户提供从硬件、软件到数据整体解决方案的企业;③出售数据产品和为用户提供具有针对性解决方案的服务产业。
(3)五分法。 按照产业的价值模式分为大数据内生型价值模式、外生型价值模式、寄生型价值模式、产品型价值模式和云计算服务型价值模式(见表)。
1.2 大数据产业特点
(1)产业数据资产化 。在大数据时代,数据渗透到每个行业,逐渐成为企业资产,也成为大数据产业创新的核心驱动力。自身生产数据的互联网企业具有得天独厚的优势,其可以利用其丰厚的数据资产,挖掘数据的潜在价值,洞察用户的信息行为,推动产业利用数据实现精准和个性化的生产、营销和获利模式。
(2)产业技术的高创新性 。创新是大数据产业发展的基石。世界上每天都在生成海量数据,如何有效地获取数据、存储数据、整合数据和服务用户,需要大数据产业技术不断革新。具体来讲,包括对大数据的去冗降噪技术、高效率低成本的大数据存储与有效融合技术、非结构化和半结构化数据的高效处理、适合不同行业的大数据挖掘分析工具和开发环境、大幅度降低数据处理、存储和通信能耗等技术的不断优化和创新,为用户提供高效、高质量、个性化的服务。
(3)产业决策智能化 。大数据产业在推动企业决策智能化发展中起到领头羊的作用。首先是产业自身决策智能化的发展,其次是为行业决策智能化提供数据、技术与管理平台。赛迪的研究报告显示:过去,企业对数据的关注只是存储和传输,而企业利用的数据不足其获得数据的5%,在数据量每年约60%增长的情况下,企业平均只获取其中25%~30%的数据,作为企业战略的数据还远未得到挖掘。随着大数据产业的发展,分布式计算的大数据推动生产组织向去中心、扁平化、自组织、自协调方向演化,促进劳动与资本一体化,并且在决策过程中极大地克服人类的有限理性,推动决策朝着智能化、科学化的方向发展。
(4)产业服务个性化。 Monetate公司的调查报告显示,与未利用数据分析的企业相比,投入并分析数据的企业增长率为49%,而通过可量化的个性化实现在线销售额的增长率为19%。因而,基于数据的分析成为大数据产业提供个性化服务的重要工具。这些产业通过数据挖掘用户的兴趣和偏好,针对个体需求开展个性化定制与云推荐业务,提升产品服务质量,满足用户更高级别的需求,以获得更高的经济收益。
二、我国大数据产业发展现状
2.1 政策与法律层面
(1)虽然我国大数据产业目前缺乏国家层面的政策,但是在相关的国家战略中已经涉及大数据技术与发展规划。例如《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化;《物联网“十二五”发展规划》也将信息处理技术列为4项关键技术创新工程之一,其中包括海量数据存储、数据挖掘、图像视频智能分析,另外3项关键技术创新工程包括信息感知技术、信息传输技术、信息安全技术,这些也是大数据产业的重要组成部分,与大数据产业发展密切相关。但这些只是大数据产业链的部分环节,尚缺乏系统性、整体性、纲领性的大数据产业政策。
(2)开放数据是指非专有的、机器可读的、免费的数据,任何人可以不受法律或技术限制来使用、重复使用、操作和传播这些数据。公布政府数据的目的不仅是为了接受监督,还可以激发创意,通过数据再处理来增加数据价值。政府部门所拥有的数据占整个社会数据的绝大部分,而政府数据开放政策的制定会进一步推动大数据产业的深入发展。与国外相比,我国在政府数据开放方面还没有相应的政策、法规出台,在一定程度上制约了我国大数据产业的发展。
(3)大数据环境下,关于信息主权的界定和网络用户隐私的保护将对国家安全和数字经济的发展创造良好环境。目前我国关于网络用户隐私保护的问题在相关法律中有所涉及。例如《计算机信息网络国际联网安全保护管理办法》第7条规定:“用户的通信自由和通信秘密受法律保护。任何单位和个人不得违反法律规定,利用国际联网侵犯用户的通信自由和通信秘密。”《计算机信息网络国际联网管理暂行规定实施办法》第18条规定:“不得擅自进行未经许可的计算机操作,篡改他人信息,冒用他人名义发出信息,侵犯他人隐私。”大数据环境下,这些法律条款在用户隐私保护方面虽然起到一定的作用,但远远不够,目前我国并没有制定关于网络用户隐私安全的单行法律,这是我国大数据产业发展的一个重要制约因素。
2.2 产业层面
(1)产业区位。 我国大数据产业集聚区位于经济比较发达的地区,北京、上海依旧是发展的核心地区,这些地区的信息技术产业基础良好,并且已经形成了较完备的产业链,产业规模也在不断扩大,吸纳了全国比较优秀的信息技术人才,为相关企业向大数据产业迅速转型奠定了良好基础。同时,在这些地区也涌现出很多初创的公司加入到数据存储和数据分析的开发和研究中来。
(2)产业结构 。根据赛迪顾问云计算产业研究中心发布的报告,2012年,我国大数据产业链雏形已经初显。大数据产业链主要涉及数据的收集、存储、分析和应用等几个主要环节,国内很多信息技术企业也纷纷开始转型,向数据的管理、应用和服务转型。这种转型带来的变化主要有:①企业更加注重自身的数据开放和应用,提高企业决策效率和完善产品、服务营销策略;②硬件企业的升级和转型。例如联想通过与全球知名的存储公司EMC合作,正式进入大数据的企业级应用领域;③互联网企业提高数据分析能力。例如阿里巴巴利用大数据提供阿里信用贷款与淘宝数据魔方,百度已经建成百度指数、司南等5大数据体系平台和消费者画像、品牌探针等技术分析方法。
2.3 人才层面
大数据产业迅速发展,数据科学家的概念应运而生。根据哈佛商业评论所言:数据科学家将成为21世纪最性感的职业。数据科学家是采用科学方法、运用数据挖掘工具寻找新的数据洞察的工程师。数据科学家除应具备好奇心和怀疑的精神外,还应具有分析能力、技术能力、沟通与合作能力(见表)。数据科学家是复合型高端人才。麦肯锡预计,到2018年,仅在美国市场,数据科学家人才缺口就将达到14~19万,而相关方面的管理人才缺口将达到150万。人才短缺也是制约我国大数据产业发展的重要因素。
今天介绍了大数据产业特点及现状,后面会继续带你认识不一样的大数据。
如果您想长期获取科技信息的解读,记得关注我,我会每天更新,谢谢。同时如果您有什么意见和建议,欢迎评论。
本文来自巨头挖掘机,创业家系授权发布,略经编辑修改,版权归作者所有,内容仅代表作者独立观点。
- ?
深入浅出多维数据分析(二)核心概念之Member、Level、Hierarchy
庞怜容
展开
此文接上一篇《深入浅出多维数据分析(一)核心概念之Cube、Dimension、Measure》
今天介绍Member、Level、Hierarchy三个概念。
Member(又称维度成员或成员)
在前一篇文章中已经讲过维度的概念了,维度就是业务角度。
日期这个业务角度就可以被看做一个维度,日期维度中具体的年份、季度、月份、日就是日期维度成员,如:2018年、2018年3季度、2018年10月份、2018年10月1日都是日期维度成员。
对于地区维度来说,其对应的成员是中国、华北地区、北京市、天津市、河北省等。
Level(又称成员级别或维度成员级别)
Level表示的是维度成员的级别信息。以日期维度为例,2018年9月份、2018年10月份、2018年11月份表示的都是具体的月份,所以它们的Level是月份。2018年1季度、2018年2季度、2018年3季度表示季度信息,它们的Level是季度。显然月份Level比季度Level具有更细的粒度级别。
Hierarchy(又称维度层级或层级)
将日期维度的成员用图形结构表示出来,如下所示:
图1、年 - 季度 - 月份 - 日一年有365天,大约52周,但是如果将周加入到上图就会造成混乱,因为有些周是跨月份和季度的。
如果需要对周信息进行分析,则可以将日期维度成员的关系以另外一种结构表示,如下图所示:
图2、年 - 周 - 日图1以【年 - 季度 - 月份 - 日】结构来表示日期维度成员结构,图2则是以【年 - 周 - 日】来表示日期维度成员结构,这就是两个不同的Hierarchy。
Hierarchy并不常用。
其他多维数据分析相关概念将会在后续文章中讲解。
----------------------------------------------
关注小编可以获得更多数据分析知识分享。
点赞、评论、转发,然后私信小编还能获得地表最强多维分析工具Phoenix Analytics的下载地址。
Phoenix Analytics - ?
深入浅出多维数据分析(一)核心概念之Cube、Dimension、Measure
芷雪
展开
多维数据分析的概念非常容易引起疑惑,它常常让人联想到超越三维的更高维空间中的一些几何概念。其实这是完全没有必要的,多维数据分析概念本质上是极为简单和容易理解的,今天小编就用深入浅出的方式介绍这几个概念。
多维数据结构概念一:Cube(又称多维数据集或数据立方体)
举个例子,您在超市结账后会得到一个小票,上面有时间、店铺、商品类别、商品单价、购买数量、消费金额等信息,如果把某个地区全部消费者的小票收集到一起,那么这些购物小票中的数据就形成了一个关于消费者超市购物行为的数据集,这就是一个Cube。
Cube就是面向同一业务主题的数据集合,同理,一个港口的进出口数据集合、一个贸易公司的渠道销售数据集合、近几年各省份户籍变动数据都可以视为一个个Cube。
概念二:Dimension(又称维度)
超市小票的Cube里隐含着很多信息,如:
哪些商品呈现出季节性消费规律?不同区域店铺的顾客购买力如何?哪几个店铺的顾客平均购买力最强?不同年龄段消费者最爱购买的商品有没有差别?哪些商品由于不受年轻消费者欢迎可能会被渐渐淘汰?由上可见,这个超市小票Cube可以由商品、时间、区域、店铺、顾客等业务角度来描述,这些业务角度就是维度。
同理,贸易公司的渠道销售Cube可以由时间、渠道、产品、分公司、客户等业务角度所描述,那么它所关联的维度就是时间、渠道、产品、分公司、客户。
我们还可以看到,小票Cube和渠道销售Cube都关联了时间这个维度,那么这两个Cube是可以联合起来进行跨行业、跨领域数据分析的。
概念三:Measure(又称度量)
在Cube中,除了维度所代表的业务角度信息外,还有度量这个能够被精确量化的数值信息。
小票Cube中的商品购买数量、商品单价、消费总额就是度量。
今天讲解了Cube、Dimension、Measure这三个多维数据分析中的核心概念,其他概念将会在后续文章中讲解。
关注小编可以获得更多数据分析知识分享。
- ?
数据分析师的入门书单,请收好
翱翔1981
展开
数据分析是一门专业且跨越多个领域的学科,电商行业的数据分析师要了解的业务,一定和金融行业的有很大不同。所以相应的业务知识也是大不相同。这份书单,只是在初学数据分析的思维模式、统计学和应用工具上,为大家进行一个整理,如果大家有更好的,可以推荐给小编!
《深入浅出数据分析》HeadFirst系列书籍,对新手非常友好。用生动的语言来讲解案例,但弊端就是——啰嗦。这一点被无数人疯狂吐槽,但它依旧经典。本书涉及的基础概念很广泛,还包含一点统计学知识。学下来会对数据分析的思维有一个大致了解。
《精益数据分析》这一系列也属于“网红”级别的书了,几乎每个数据分析的书单都会提到。如果想从事互联网相关,这本书是一个非常好的选择。此书介绍了不同领域的指标,以及产品不同时期的侧重点和分析技巧。不过这本书的阅读门槛要比第一本稍高一些,适合有些数据分析经验的人阅读。
《深入浅出统计学》从卖橡皮鸭到赌博机的案例,囊括了常用的统计学知识。例如概率计算、泊松分布、正态分布、统计抽样、置信区间、假设检验,等等。非常适合大学没有学习过统计学的人,但是缺点依旧是——啰嗦。
《商务与经济统计》这本书是国外的经典教材,里面有很多丰富有趣的案例。看了这本书,你会发现,原来统计学在生活和工作竟然有如此深刻而有效的应用。闲下来的时候,慢慢看吧。
《SQL必知必会》数据库有很多种,例如Oracle,MySQL,SQL Server,等等。但是现在招聘JD上,要求最多的还是MySQL。而且以后涉及Hadoop时,与Hive最接近的也是MySQL。因此分析君建议大家学习SQL时,可以MySQL入手。
这本书涉及了包括上面提到的很多主流数据库。语言通俗易懂,内容循序渐进,非常适合彻底的SQL小白。
《深入浅出Python》眼熟不?对,又是HeadFirst系列,对新手小白非常友好的一个系列~ 不过,分析君想提醒大家的是,编程学习不同于其他知识,在学习的过程中,一定会遇到一些知其然不知其所以然的问题。但一定要记住,我们学习的是数据分析,而不是计算机科学,所以暂时不用刨根问底,掌握就好。
《利用Python进行数据分析》不适合小白,而更适合有了一些Python基础的人阅读。这本书的作者就是Pandas的作者,因此可以说,这本书就是最佳的Pandas使用指南。不过此书的中文新版据说翻译得……emmm……,所以英文水平OK的朋友们可以去看看英文原版~
《R语言实战》R语言的入门书籍,更侧重实践,涉及了从数据读取到各类统计函数的使用。以实际项目讲解R的很多常见应用场景,避免了学会一堆语法,却不知道具体怎么应用的新手入门常见大坑。
以上就是全部的新手入门推荐书单。好书不嫌多,但是能踏实下来读透一本,却是不容易。自学数据分析绝对不是一件容易的事情,坚持下来才会得到想要的结果,不过自学之路,一定要坚持
- ?
数据分析师必备的5项能力!
Cowes
展开
一、数据工具
作为一名数据分析师,EXCEL是必须掌握的,EXCEL的图形表达能力够强大,也能提高你的工作效益,如果你能懂HADOOP,那就离大数据更近了。
如果你不想你依赖IT人员获取数据,可以学会SQL,SQL是为统计取数而生的方便工具,图形化的透视方式SQL也能表达的淋漓尽致。
二、分析能力
可以分广度、深度、速度来分析理解
速度:互联网发展快速,明明可以一个月的项目,你却花了两个月,这就是在浪费时间与人力。
广度:每个产品的用户拉新做的好,那么用户留存就会降低,活跃度也会因此降低,所以并不是每个产品都适合一上线就大量拉新,要分析各者之间的关系,保持一个平衡度,这些数据分析在广度上有一定的了解。
深度:有些问题一个人解决不了或者很难,多几个人就可以了,比如说搬砖,十人人搬总会比一个人搬快得多,哪怕不是十倍速度。而有些问题,靠堆人力是没用的。
三、技术能力
作为一名数据分析师,统计学是你的必备基础,然后用高级模型来解决实际业务,学了这些理论知识,你就需要一些工具辅助你,而P和PYTHON是很有名的数据分析工具,而数据分析师是一定跟数据打交道的,而数据都是储存在数据库里面的,所以掌握数据库技术也是必要的。
如果不知道从哪里找资料学习,推荐《统计学》《R IN ACTION》《深入浅出数据分析》这三本书,会对你很有帮助。
四、沟通能力
数据分析贯穿BIT、数据、技术、业务整个链条,通过对产品数据分析的结果从而说服产品和工程方面来改变产品,产生效应。这时候就得展现你的沟通能力了,你能清晰表达并让他们接受,这个过程就靠你自己的语言组织了。实操练习“以上都是理论和工具,但是实践才是出真知,不管是刚接触数据分析的职场人,还是专业学习数据挖掘分析的你,在学习以上内容的同时,多参加一些比赛,学习同领域的专业大神,自己操控一些项目,提升自己的专业能力,积累经验。
- ?
经典:深入浅出之数据分析师
皮一一
展开
音乐作伴,轻松阅读!【文末有数据分析系列文章集】
今天飞机回程途中,遇到位北海道银行来中国出差的女生;途中聊起了各自的职业;一直聊到北京,全程让我很苦恼的是数据分析、数据分析师这些玩意如何很容易的介绍给她;
比如说她,是银行的一名普通职员,每天的任务是结算、结汇,从早到晚都在跟数据打交道;因为只用整理好的数据,所以自然不在乎也不注意,数据是如何来的;整个总结下来是,用数据的人不知道数据哪里来的,做数据的人不知道数据有什么用处;回忆了下,这还真是一个普遍的现象;
这个问题造成的后果就是,开数据会经常打架,A业务线给出的数据说xx 指标提升了,B业务给出的刚好是另外一种结论,指标在下降;等讨论完毕数据口径,会议结束,大家都感到无力。各人不禁感叹,这个会又白开了;脑袋一拍,目标就来,各种活动方案的目标基本是上拍脑袋,直接10-20倍,各自又忙活一阵子;数据快到我碗里来,昨天要的数据需求好了吗?明天老板开会,给几个数据吧;某某DLU指标掉了,看是不是数据有问题;今天push,明天Push,push ctr嗷嗷的高,同一拨用户群嗷嗷的高,用户投诉还不断;
既然业务上有这么多的问题,数据分析师是具体的解决什么样的问题呢?
Sample:
1.回答发生了什么?频率是多少?为什么会发生?
2.具体的业务问题是什么?
3.现在应该采取什么样的行动?
4.未来的趋势是什么?是否错过了机会?哪些问题(路子)是错误的、正确的,把错误的去掉,只留下正确的;
数据只有结合了业务才是有价值的,数据体现可以用四个字词概括,看数据、用数据、依赖数据、数据变现。稍微详细解释如下:
看数据,能然让业务准确、及时、完整的看到数据, 落地是在报表、取数等;
用数据,业务上通过数据做出决策 ,落地是异常监控/专题分析;
依赖数据,数据嵌入到业务的日常流程中,通过数据挖掘高价值信息推进业务,落地点在数据产品,数据挖掘产品;
数据变现,利用数据来赚钱了,落地点可在外部数据平台,数据产品上;
在这整个环节中”数据分析师“是做什么呢?我们从分析师的日常工作来分析看,临时需求、报表、数据分析与模型、数据产品,数据挖掘这几个角度来聊一下;
临时需求不必说了,就是解决业务的一次性,临时的数据需求;报表呢,是根据业务的需要,对于常规且定期查看与分析的数据,形成report;
数据分析与模型,与业务一起沟通,分析业务上的各种问题,提供一些业务上的建议与取舍,根据业务需要搞一些挖掘模型等;
数据产品,是通过可视化的方式解决一些结构化(固化)业务问题;把数据分析模型、分析思路与数据结合、面向定向业务提供分析产品;
数据挖掘,数据直接作用到业务上,比如作弊用户、标签推荐、用户行为的定向引导;
以上列举的这几类,前两类是实现看数据的,后三类是挖掘数据价值的;
数据分析师在工作时,在寻求答案的过程中,有一个很重要的衔接点,就是思考。
很多时候,分析师会受到固有问题的影响,如果不去变通,不懂得如何去提炼核心的话,就会产生思考的盲点,就注定问不出一些非常关键的问题;有时答案不重要,思考的角度才是很重要;比如在搞临时需求时,不要把临时需求当成一个取数的工作,学会梳理,学会管理;通过思考,可以发现很多业务上的问题; 了解业务,熟悉业务流程,总结与沉淀自己对业务的理解,知道行业的发展,才能提高自己;
END
关联阅读
原创系列文章:
1:从0开始搭建自己的数据运营指标体系(概括篇)
2 :从0开始搭建自己的数据运营指标体系(定位篇)
3 :从0开始搭建自己的数据运营体系(业务理解篇)
4 :数据指标的构建流程与逻辑
5 :系列 :从数据指标到数据运营指标体系
6:实战 :为自己的公号搭建一个数据运营指标体系
数据运营 关联文章阅读:
运营入门,从0到1搭建数据分析知识体系
推荐 :数据分析师与运营协作的9个好习惯
干货 :手把手教你搭建数据化用户运营体系
推荐 :最用心的运营数据指标解读
干货 : 如何构建数据运营指标体系
从零开始,构建数据化运营体系
干货 :解读产品、运营和数据三个基友关系
干货 :从0到1搭建数据运营体系
数据分析、数据产品 关联文章阅读:
干货 :数据分析团队的搭建和思考
数据分析师必需具备的10种分析思维。
如何构建大数据层级体系,看这一文章就够了
干货 : 聚焦于用户行为分析的数据产品
80%的运营注定了打杂?因为你没有搭建出一套有效的用户运营体系
从底层到应用,那些数据人的必备技能
读懂用户运营体系:用户分层和分群
做运营必须掌握的数据分析思维,你还敢说不会做数据分析
商务合作|约稿 请加qq: 365242293
更多相关知识请回复:“ 月光宝盒 ”;
数据分析(ID : ecshujufenxi )互联网科技与数据圈自己的微信,也是WeMedia自媒体联盟成员之一,WeMedia联盟覆盖5000万人群。
- ?
学习数据分析,推荐你几本数据分析师该读完的书籍
Pearl
展开
来源:CPDA 数据分析师
1. 《数据之美:一本书学会数据可视化设计》
这是一本教大家如何制作一张精美的可视化图表、挖掘大数据背后意义、足够系统的数据可视化入门书。书中,作者提供了丰富的可视化信息及探索数据的多元视角,他避开了一些技术性细节,从宏观和感性的角度介绍如何将数据转变为直观可视的图形,并且深入浅出地介绍了数据可视化的步骤和思想,丰富了读者对数据及可视化的认知。
上海数据分析网2. 《数据之魅:基于开源工具的数据分析》
作者在书中详细分享了他从事数据分享工作的丰富经验,阐述了数据分析所涉及的概念和方法。包括如何用图形及表格来观察数据、如何建模分析数据等。书中的主题部分介绍了该如何进行数据挖掘,并包含了大量的模拟过程及结果分析。
上海数据分析网3. 《社交网站的数据挖掘与分析》
目前,各类社交网站已经渗入大家日常生活中的各个角落,它们无时无刻不在产生着大量宝贵的社交数据,而这本书中便告诉了大家如何利用这些社交网络数据并通过可视化技术来挖掘出数据背后更深层次的价值。
书中分章节系统地介绍了如何在不同社交网络中应用数据挖掘技术。需要特别指出的是,阅读并学习这本书需要一定的编程知识及学习基本 Python 工具的意愿。
上海数据分析网4.《数据挖掘技术》
这本书是数据挖掘领域的经典著作之一,自 1997 年第一版出版以来便经久不衰。书中从技术、应用两个方面系统、全面地介绍了数据挖掘的商业环境、及其在商业环境中的应用。本书的包含了数据挖掘技术的核心内容,包括:
决策树、神经网络、协同过滤、关联规则、链接分析、聚类和生存分析等,极具技术深度与广度。
上海数据分析网5.《大数据时代》
《大数据时代》一书在大数据研究领域具有举足轻重的地位,作者维克托 迈尔 舍恩伯格认为大数据的核心就是预测,并前瞻性地指出,大数据带来的信息风暴正在颠覆我们的生活、工作和思维,大数据开启了一次重大的时代转型。
全书用三个部分讲述了大数据时代的思维、商业、管理变革。
上海数据分析网6. 《集体智慧编程》
此书是 Web 开发者、构架师、应用工程师的绝好读物。书中以机器学习和计算机统计为背景,着重讲述如何挖掘和分析 Web 上的数据和资源。包括协作过滤技术、集群数据分析、所搜引擎核心技术、社交网络的信息匹配技术。
读书最好的时候是学生时期,其次是现在。有不少人求小编给推荐数据分析入门或者自我成长的书籍,今天刚好有空闲,小编就从入门级到高级的书籍循序渐进推荐给大家,大家根据自己的水平挑选,如果有更好的书,欢迎大家留言给小编!
以下为入门级书籍
适合对数据分析的入门者,对数据分析没有整体概念的人,常见于应届毕业生,经验尚浅的转行者。
Excel
《谁说菜鸟不会数据分析》
上海数据分析网知名度比较高的一套书,适合新手,优点是它和数据分析结合,而不是单纯地学习函数。学会函数适用的场景和过程比它本身更重要。
这本书不仅讲解了一些常见的分析技巧,并附带 Excel 的一些知识以及数据分析在公司中所处的位置,对职场了解亦有一定帮助。这本是入门篇,还有一本是专门介绍工具篇的,有兴趣的同学可以看看。
数据分析
《深入浅出数据分析》
上海数据分析网HeadFirst 类的书籍,一向浅显易懂形象生动,可以对分析概念有个全面的认知。
数据可视化
数据可视化的书不多。市面上多以编程为主,面向新手和设计的教程寥寥无几。 如果只是了解图表,看 Excel 的书籍也管用。
《鲜活的数据》
上海数据分析网内容很丰富,涉及可视化的方方面面,也囊括更类编程语言和设计软件:Python+JS+R+Excel。作者还有另外一本书《数据之美》。
可视化是一门侧重灵感的学科,有一种入门技巧是从他人设计中学习,从模仿开始,了解他人是如何设计的,这个网络上有大量的信息图可以参考。当然数据分析师更需要的是如何发现,别只学习展示。
《赤裸裸的统计学》
上海数据分析网本书的主旨,结合生活讲解统计知识,生动有趣。可以避免统计学一上来就大讲贝叶斯概率和随机分析的枯燥。
进阶版
具有一定的行业针对性,要求具备一定的分析常识,适合网站分析师,商业分析师以及数据产品经理。
《数据化管理:洞悉零售及电子商务运营》
上海数据分析网本书讲述了两个年轻人在大公司销售、商品、电商、数据等部门工作的故事,通过大量案例深入浅出地讲解了数据意识和零售思维。作者将各种数据分析方法融入到具体的业务场景中,最终形成数据化管理模型,从而帮助企业提高运营管理能力。书内全部案例均基于 Excel,每个人都能快速上手应用并落地。
统计学
统计学是比较大的范围,分析师往后还需要学线性代数和矩阵、关系代数等。初学者不需要掌握所有公式定理的数学推导,懂得如何应用就行用。
《深入浅出统计学》
上海数据分析网大概是最啰嗦的深入浅出系列,从卖橡皮鸭到赌博机的案例,囊括了常用的统计分析如假设检验、概率分布、描述统计、贝叶斯等。书本注重应用和趣味性,数学推理一般。
SQL
数据库有很多种,常见有 Oracle,MySQL,SQL Server 等。我推荐学习 MySQL,这是互联网公司的主流数据库。以后学习 Hadoop 生态时,MySQL 也是最接近 Hive 语法的语言。
MySQL 不需要专门看书学习,因为数据分析师以查询为主,不需要考虑数据性能、数据安全和架构的问题。
《MySQL 必知必会》
上海数据分析网学习 SQL 的入门书,薄册子一本,看起来很快。SQL 是个性价比很高的技能,简单而强大。任何想进一步提高自己数据分析技能的产品 / 运营 / 分析师 同学,都建议点亮 这个技能点。
《网站分析实战》
上海数据分析网互联网不再是网站的天下,但是移动端依旧有 Web,我们在朋友圈看到的所有 H5 活动、第三方内容等,都是依托网页实现。网站的数据分析依旧有存在空间,网站的数据指标还是能够指导我们运营。
Python/R
欢迎来到数据分析的最后殿堂,Python 和 R 都是大分支,基本是前面所有内容的实现。Python 的学习以 PY3 为前提,毕竟 2017 年了,我实在想不出不用 Python3 的理由。
除了书籍,Python/R 更多依靠博客和文档学习。Python 的学习路径不陡峭,新手水平取决于查询能力,所以也请学会如何高效搜索。
《深入浅出 Python》
上海数据分析网还是深入浅出系列,完全适合零基础的新人。需要注意的是,编程学习不同于其他知识,如果计算机基础不稳固,在使用中会遇到各类问题。知其然不知其所以然,这是本书缺点:能掌握,但是 Bug 比较多。
《Python 学习手册》
上海数据分析网对于拥有编程基础的人,这本书系无巨细的有些啰嗦,不过对新人,可以避免不必要的坑。把它当作一本工具文档吧,当遇到不理解的内容随时翻阅。这是纸质书比电子书好的优势之一。
《Python Cookbook》
上海数据分析网Python 的进阶书,如果想要掌握更好的编程能力,这是一本经典,值得时时翻阅。注意,它更偏向程序员。
《R 语言实战》
上海数据分析网R 语言的入门书籍,从数据读取到各类统计函数的使用。虽然没有涉及机器学习,依靠这本书入门 R 是绰绰有余了。
《统计学:从数据到结论》
上海数据分析网这本书是将 R 语言和统计学结合的教材,可以利用这本书再复习一遍统计知识。缺点是书本后面的内容质量不如前部分。
到这里,入门到进阶级别的书籍推荐完毕,当然好书不嫌多,例如《数学之美》、《集体智慧编程》、《统计学习方法》等,有兴趣不妨阅读。上面的内容都吃透,不论是成为一名数据分析师,还是往后向机器学习、数据科学家、数据产品发展、都有了良好的基础。
希望小伙伴们都能沉下心阅读。
- ?
书单 | 从入门到精通,数据分析不得不看的10本「好书」!
映梦
展开
1、深入浅出数据系列书籍
深入浅出数据分析
入门级别,比较简单,但基本的内容涉及全面,讲解的比较清晰,最后谈到了R语言。以下两本是同一系列。
深入浅出统计学
深入浅出SQL
2、资料之美:优雅资料解决方案的幕后秘籍
知识普及性的书籍,集结了39位数据处理领域的翘楚,现身说法,分享他们如何开发各种简约而优雅的解决方案克服各种挑战,每章都解决一个具体问题,对理解数据分析的应用领域和具体做法很有帮助。
3、R 语言实战
全面而细致的R指南,高度概括了该软件和它的强大功能,展示了使用的统计示例,且对于难以用传统方法处理的凌乱、不完整和非正态的数据给出了优雅的处理方法。
4、数据之魅-基于开源工具的数据分析
包含大量的模拟过程及结果展示,并通过实例来阐述如何使用开源工具来进行数据分析。通过本书的阅读,读者可以清楚地了解这些方法的实际用法及用途。
5、数据挖掘技术:应用于市场营销、销售与客户关系管理
如何利用最新的数据挖掘方法和技术来解决常见的业务问题。
比如提高营销活动的响应率,识别新的客户群并估算信用风险。此外,它涵盖更多高级主题,如准备分析数据以及为公司数据挖掘创建必要的基础架构。
6、Python数据科学手册
每章介绍一到两个Python数据科学中的重点工具包。适合有编程背景,并打算将开源Python工具用作分析、操作、可视化以及学习数据的数据科学研究人员。对于需要处理大量数据的人而言,这是一本非常有价值的工作书,可以有效率地处理每天面对的问题,像是操作、转换,以及清理数据、可视化不同形式的数据,建立统计学或机器学习的模型等等。
7、用数据讲故事
通过大量案例研究介绍数据可视化的基础知识,以及如何利用数据创造出吸引人的、信息量大的、有说服力的故事,进而达到有效沟通的目的。如何充分理解上下文,如何选择合适的图表,如何消除杂乱,如何聚焦受众的视线,如何像设计师一样思考,以及如何用数据讲故事。
8、利用Python进行数据分析
提供了大量的实践案例研究,展示如何使用Python库(如NumPy,pandas,matplotlib, IPython等)有效解决一系列数据分析问题。
9、机器学习实战
用简单的语言把复杂难懂的机器学习算法解释清楚了,它将机器学习的基础理论与日常数据分析的实际工具相结合。使用灵活的Python编程语言来构建实现数据分类、预测、建议以及汇总和简化等更高级功能的算法的程序。
10、机器学习系统设计
比较简单,使用Python进行机器学习并开始构建自己的机器学习项目。本书适用于机器学习初学者的Python程序员,但希望学习机器学习。
最后,花时间将这些中外文书籍吃透,数据分析理论部分就基本入门了,实践方面就需要根据企业业务需求来进行系统的练习和学习!
深入浅出数据分析数据
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并