- ?
大数据分析知识技能
齐若魔
展开
大数据分析师是指基于各种分析手段对大数据进行科学分析、挖掘、展现并用于决策支持的人员,在国内顶尖互联网公司,大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%,且颇受企业重视。现在魔据教育大数据培训专家就来和大家说一说,一个大数据分析师需要掌握的知识技能。
大数据分析师的能力体系
如下图:
1.数学知识
数学知识是大数据分析师的基础知识。对于初级大的数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分项。对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于大数据挖掘工程师,除了统计学以外,各类算法也需要熟练使用,对数学的要求是最高的。
2.分析工具
对于初级大数据分析师,玩转Excel是必须的,数据透视表和公式使用必须熟练,VBA是加分。另外,还要学会一个统计分析工具,SPSS作为入门是比较好的。对于高级大数据分析师,使用分析工具是核心能力,VBA基本必备,SPSS/SAS/R至少要熟练使用其中之一,其他分析工具(如Matlab)视情况而定。对于大数据挖掘工程师……嗯,会用用Excel就行了,主要工作要靠写代码来解决呢。
3.编程语言
对于初级大数据分析师,会写SQL查询,有需要的话写写Hadoop和Hive查询,基本就OK了。对于高级大数据分析师,除了SQL以外,学习Python是很有必要的,用来获取和处理数据都是事半功倍。当然其他编程语言也是可以的。对于大数据挖掘工程师,Hadoop得熟悉,Python/Java/C++至少得熟悉一门,Shell得会用……总之编程语言绝对是大数据挖掘工程师的最核心能力了。
4.业务理解
业务理解说是大数据分析师所有工作的基础,大数据的获取方案、指标的选取、乃至最终结论的洞察,都依赖于大数据分析师对业务本身的理解。对于初级大数据分析师,主要工作是提取大数据和做一些简单图表,以及少量的洞察结论,拥有对业务的基本了解就可以。对于高级大数据分析师,需要对业务有较为深入的了解,能够基于大数据,提炼出有效观点,对实际业务能有所帮助。对于大数据挖掘工程师,对业务有基本了解就可以,重点还是需要放在发挥自己的技术能力上。
5.快速学习
无论做大数据分析的哪个方向,初级还是高级,都需要有快速学习的能力,学业务逻辑、学行业知识、学技术工具、学分析框架……
魔据教育大数据培训专家告诉大家:大数据分析领域中有学不完的内容,需要大家有一颗时刻不忘学习的心。
- ?
数据分析师入门的8个基本技巧
宋沛蓝
展开
原作者:FAIZAN SHAIKH
译者:ewoo
介绍
学习数据分析会让人望而生畏,尤其是当你刚刚开始你的旅程的时候。该学习什么软件呢,R还是Python?什么技巧需要重点关注?统计学的知识需要掌握多少?要不要学习编程?回答这些问题是你的数据分析之旅中的一部分。
这就是为什么我认为我应该写这篇指南的原因,我希望可以帮助那些刚刚开始学习数据分析的人。 我的初衷是写一篇简单易懂、篇幅不是很长的指南,来指导你们学习数据分析。这篇指南会给你们建立一个框架,用以帮助你们度过这段困难时期。
只要遵循这些提示,你的职业生涯将会有一个好的开始。
那么,让我们开始吧!
1. 选择正确的角色
在数据科学行业有很多不同的角色。比如:数据可视化专家,机器学习专家,数据科学家,数据工程师等。根据不同的背景和工作经验,进入一个角色可能比另一个角色要容易的多。举个例子,如果你是一个软件开发人员,对于你来说从事数据工程师就不是很困难的事情。所以,如果你不清楚你要成为什么角色,那么如何开始和怎么提升技能对于你来说就更困难了。
如果你不清楚他们之间的差别或者你不确定自己可以成为什么时,应该怎么办呢?下面是我的几条建议:
向行业内的人士了解每一个角色承担的工作是什么。
向别人请教。向他们请求一点时间,并提出相关的问题,我相信没有人会拒绝一个需要帮助的人的。
找出你想要的和你擅长的,选择适合你的研究领域的角色。
在选择角色时要记住一点:不要盲目的进入一个角色。你应该首先清楚地了解这个领域需要什么,并为之做好准备。
2. 完整地学习一门课程
既然您已经决定了一个角色,接下来要做的事情就是投入精力去理解这个角色。这意味着不仅仅是要完成角色的需求。数据科学家具有巨大的需求,所以成千上万的课程和研究都在等着你去探索,你可以学习任何你想要的东西。找到学习的材料并不是一件很难的事,但是如果你不为之付出努力的话,学习的过程可能会变得很困难。
你可以参加一个免费的MOOC课程,或者加入一个认证项目,这个项目会让你经历所有的曲折和转变。免费和付费的选择不是问题,主要的目标应该是课程是否能帮你夯实基础,达到一个合适的水平,从可以进一步推进。
当你上一门课的时候,要积极地按照课程的安排、作业和所有的讨论进行。例如,如果你想成为一名机器学习工程师,你可以学习Andrew Ng的机器学习。现在你必须努力学习课程中提供的所有课程材料,当然也包括课程中的作业,这和看视频一样重要。 从头到尾完整的学习一门课程,你就能更清楚地了解这一领域。
一些优秀的mooc课程包括:
Analytics Edge on edX
Machine Learning rom Andrew NG
3. 选择一个工具/语言并坚持下去
正如我之前提到的,对于你来说,无论你选择哪一个角色,从一而终是很重要的。那么你将要面对一个很难的问题,你应该选择哪种语言/工具?
这可能是初学者最需要问的问题。最直接的答案是选择任何主流工具/语言都可以。毕竟,工具只是实现的手段,理解这一概念更为重要。
不过,问题仍然存在,选择哪一个更好一些呢?网上有各种各样的指南在讨论这个问题。你可以从最简单的语言开始,或者你最熟悉的语言。如果您不精通编程,那么您可能更适合基于GUI的工具。当你掌握了这些概念之后,你就可以着手编写代码了。
4. 加入一个兴趣小组
既然你已经知道了你想要选择的角色并为之做好了准备,接下来你要做的一件重要的事情就是加入一个兴趣小组。为什么这个很重要?这是因为一个兴趣小组能 让你保持动力。 当你进入一个新领域的时候,可能有点令人生畏,但是当你和志同道合的朋友在一起的时候,这个事情就简单多了。
加入兴趣小组的好处是你可以跟小伙伴们进行互动,另外你们可以通过互联网分享心得,比如加入一个庞大的在线课程并与小伙伴进行互动。
即使你没有这样的兴趣小组,你仍然可以在互联网上进行一场有意义的技术讨论。有一些在线论坛可以提供这样的平台。我将列举其中的一些:
Analytics Vidhya
StackExchange
Reddit
5. 关注实际应用而不仅仅是理论
在进行课程和培训的同时,你应该 把重点放在你正在学习的东西的实际应用上 。这不仅能帮助你理解这个概念,还能让你更深入地了解它在现实中的应用。
以下是几个在参加课程时的几个小贴士:
确保你做了所有的练习和作业来理解这些应用。
使用一些开放的数据集进行实践。即使你不理解一项技术背后的数学原理,也要理解它的假设、目的以及如何解释结果。后期你将会有更深层次的理解。
看看那些在这个领域工作过的人的解决方案,他们能够帮助你用正确的方法更快地进行准确的描述。
6. 选择恰当的资源
永远不要停止学习,你必须将你能找到的每一种知识都吸收。这些信息最有用的来源是由最有影响力的数据科学家所管理的博客。这些数据科学家非常活跃,他们会在博客上更新他们的研究成果,并经常发布关于这一领域最近的进展情况。
每天阅读有关数据科学的书,让它成为一种习惯,以更新最近发生的事情。但是可能有很多资源,有影响力的数据科学家要遵循,你必须确保你没有循错误的做法。因此,遵循正确的资源是非常重要的。
下面是你可以追随的数据科学家的名单。以下是几本可以让你保持忙碌的时事通讯:
WildML
NYU
KDnuggets News
7. 注意你的沟通技巧
人们通常不会把沟通技巧和数据科学求职遭到拒绝联系在一起。他们认为,如果他们的技术过硬,他们将会在面试中获得高分。这其实是一种错误观念。你是不是曾经在面试中被拒绝,面试官在听了你的介绍后说谢谢?
请尝试这样一个活动:让你的具有良好的沟通技巧的朋友听你的介绍并向他寻求最真实的反馈,他会向你展示出你的真实写照。
当你在这个领域工作的时候, 沟通技巧非常重要。 为了更好地和同事分享你的想法,或者在会议上证明你的观点,你应该知道如何有效地沟通。
8. 建立人际关系网,但是不要浪费太多的时间在这上面
最初,你的全部注意力都应该集中在学习上,在初始阶段做太多的事情让你很容易放弃。
慢慢地,一旦你掌握了这个领域的窍门,你就可以 参加行业活动和会议,参加行业聚会,参加你所在地区的黑客马拉松 ——即使你只知道一点点。因为你永远不知道谁会在什么时候,什么地方帮助你!
实际上,聚会对于你在数据科学社区留下标记是非常有利的。你可以与你所在的研究领域里那些比较活跃的人接触,这会为你提供社交机会,并与他们建立联系,这反过来会对你的事业有很大的帮助。人际关系网将会带给你下面这些东西:
为你提供关于你感兴趣领域内发生的事情的内部信息
帮助你获得辅导支持
帮你找一份工作,这要么是求职的小贴士要么是直接找工作的机会
结束语
数据科学的需求是巨大的,雇主们在数据科学家身上投入了大量的时间和金钱。因此,采取正确的步骤将会事半功倍。这个指南提供了一些技巧,可以帮助你入门并帮助你避免一些代价高昂的错误。
End.
原文链接:https://analyticsvidhya/blog/2017/10/tips-people-starting-career-data-science/
数据特工介绍
后台回复“特工”加入我们
- ?
机器学习与数据分析常用术语-基础篇(一)
n10
展开
前言
之前在给公司的程序员培训机器学习专题实战的时候,发现他们听的认真,也非常想学,但是每当问他们有哪里不懂的时候,他们总是回答不出哪里不懂,识懂非懂的状态,后来我总结了一下原因,1.机器学习领域跟程序开发的区别非常大,机器学习属于一个交叉学科,即需要数学也需要计算机学,难度相对与单学科要大些,2.机器学习领域有很多专业词汇与术语,之前程序员都没听说过和接触过,即使当时讲解的时候讲的非常细,也很难接触的过来,需要有个消化过程。
本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语,希望能在机器学习路上的你带来帮助,假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。
一.基础
1.数据集(DataSet)
数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
程序员可以简单的理解成数据库表。
2.变量(variable)
变量来源于数学,是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。
可以理解为字段。
3.向量(Vector)
在数学中,向量(也称为欧几里得向量、几何向量、矢量),指具有大小(magnitude)和方向的量。它可以形象化地表示为带箭头的线段。
4.X变量(Independent variable)
又称自变量,自变量一词来自数学。在数学中,y=f(x) 。在这一方程中自变量是x,因变量是y。将这个方程运用到心理学的研究中,自变量是指研究者主动操纵,而引起因变量发生变化的因素或条件,因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中,性别被称为了自变量,而白细胞数则为因变量。
可以理解成我们在机器学习中需要分析的变量叫做X变量。
5.Y变量(dependent variable)
又称因变量,可以理解为结果变量,如我们在金融贷款项目中预测某人是否可以放款,是否可以放款这个变量就叫做因变量。
6.连续变量
在统计学中,变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值。如:年龄、体重等变量。
7.离散变量
离散变量的各变量值之间都是以整数断开的,如人数、工厂数、机器台数等,都只能按整数计算。离散变量的数值只能用计数的方法取得。
8.二元变量
通常可以理解成哑变量或虚拟变量,虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量,用以反映质的属性的一个人工变量,是量化了的自变量,通常取值为0或1。
9.定性变量
统计学概念,定性变量(qualitative variable)又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时,一般是用非数字来表达其类别,这样的观测数据称为定性变量。可以理解成可以分类别的变量,如学历、性别、婚否等。
10.均值
即平均值,平均数是表示一组数据集中趋势的量数,是指在一组数据中所有数据之和再除以这组数据的个数。
11.中位数
对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,通常取最中间的两个数值的平均数作为中位数。
12.缺失值
它指的是现有数据集中某个或某些属性的值是不完全的。
13.缺失率
某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数
14.异常值
异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。
15.度量
度量(metric)亦称距离函数,是度量空间中满足特定条件的特殊函数,一般用d表示。度量空间也叫做距离空间,是一类特殊的拓扑空间。弗雷歇(Fréchet,M.R.)将欧几里得空间的距离概念抽象化,于1906年定义了度量空间。
16.矩阵
在数学中,矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合,最早来自于方程组的系数及常数所构成的。
矩阵是高等代数学中的常见工具,也常见于统计分析等应用数学学科中。
即可以看成一个方便用来计算的数组。
17.方差
(variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义。
方差是衡量源数据和期望值相差的度量值。
18.标准差
标准差(Standard Deviation) ,中文环境中又常称均方差,是离均差平方的算术平均数的平方根,用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据,标准差未必相同。
19.皮尔森相关系数
皮尔森相关系数(Pearson correlation coefficient)也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ,是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示,其中n为样本量,分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。
20.相关系数
相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标,是研究变量之间线性相关程度的量,一般用字母 r 表示。由于研究对象的不同,相关系数有多种定义方式,较为常用的是皮尔逊相关系数。
21.特征值
特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵,如果存在数m和非零n维列向量 x,使得 Ax=mx 成立,则称 m 是A的一个特征值(characteristic value)或本征值(eigenvalue)。非零n维列向量x称为矩阵A的属于(对应于)特征值m的特征向量或本征向量,简称A的特征向量或A的本征向量。
22.特征向量
矩阵的特征向量是矩阵理论上的重要概念之一,它有着广泛的应用。数学上,线性变换的特征向量(本征向量)是一个非简并的向量,其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值(本征值)。
23.求导
求导是微积分的基础,同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。
24.MSE(Mean Square Error 均方误差)
均方误差(mean-square error, MSE)是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量,(θ-t)2的数学期望,称为估计量t的均方误差。它等于σ2+b2,其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。
25.LMS(LeastMean Square 最小均方)
最小均方算法,简称LMS算法,是一种最陡下降算法的改进算法, 是在维纳滤波理论上运用速下降法后的优化延伸,最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征,“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性,使LMS算法成为自适应算法中稳定性最好、应用最广的算法。
26.LSM(Least Square Methods 最小二乘法)
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
27.MLE(MaximumLikelihood Estimation最大似然估计)
最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。
28.QP(Quadratic Programming 二次规划)
二次规划是非线性规划中的一类特殊数学规划问题,在很多方面都有应用,如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里,二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。
最大似然法明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。
29.CP(Conditional Probability条件概率)
条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。
30. JP(Joint Probability 联合概率)
联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布,那么P{X<4,Y<0}就是一个联合概率,表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)。
31.MP(Marginal Probability边缘概率)
边缘概率 Marginal Probability 是某个事件发生的概率,而与其它事件无关。边缘概率是这样得到的:在联合概率中,把最终结果中不需要的那些事件合并成其事件的全概率而消失(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率)。
这称为边缘化(marginalization)。A的边缘概率表示为 P(A),B 的边缘概率表示为 P(B)。
32. Bayesian Formula(贝叶斯公式)
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,比如 P(A|B) 和 P(B|A)。按照乘法法则,可以立刻导出:P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为:P(B|A) = P(A|B)*P(B) / P(A)。
贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则, 尽管它是一个数学公式,但其原理毋需数字也可明了。如果你看到一个人总是做一些好事,则那个人多半会是一个好人。这就是说,当你不能准确知悉一个事物的本质时,你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是:支持某项属性的事件发生得愈多,则该属性成立的可能性就愈大。
L1 /L2Regularization(L1/L2正则,以及更多的,现在比较火的L2.5正则等)
L1范数正则化( L1 regularization 或 lasso )是机器学习(machine learning)中重要的手段,在支持向量机(support vector machine)学习过程中,实际是一种对于成本函数(cost function)求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化(sparsity),从而方便人们提取特征。
GD(GradientDescent 梯度下降)
梯度下降法是一个最优化算法,通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一,虽然现已不具有实用性,但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。
可以用于求解非线性方程组。
34. SGD(Stochastic Gradient Descent 随机梯度下降)
随机并行梯度下降算法(stochastic parallel gradient descent algorithm),简称SPGD算法。作为一种无模型优化算法,比较适用于控制变量较多,受控系统比较复杂,无法建立准确数学模型的最优化控制过程。
35.QR-decomposition(QR分解), 矩阵分解
矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积,可分为三角分解、满秩分解、QR分解、Jordan分解和SVD(奇异值)分解等,常见的有三种:1)三角分解法 (Triangular Factorization),2)QR 分解法 (QR Factorization),3)奇异值分解法 (Singular Value Decomposition)。
36.Quantile (分位数), 分位数
分位数(Quantile),亦称分位点,是指将一个随机变量的概率分布范围分为几个等份的数值点,常用的有中位数(即二分位数)、四分位数、百分位数等。
37.协方差
协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变...
- ?
通过基础数据进行数据分析的实例
Lark
展开
国产〇〇柒
前几天朋友给了一组行业同行表现数据,让帮忙分析一下自己的店铺问题所在和表现如何。今天我通过这个小示例来跟大家简单分享一下一些基础的分析方法。
(开始之前先跟小伙伴们说明一下,本案例是一个简单的基于一组数据而进行的分析,并通过这个给大家一个相对比较概括的方法介绍,实际分析操作中会遇到更复杂的情况,而且实际分析中的挖掘深度要比本案例要深)
下边是朋友提供的一组数据:
图片:基础数据表01.png
为了保护隐私避免侵权,公司名称这里就以字母替代
通过上图我们可以看到这是几组非常简单的数据,这些数据我们都可以在自己的店铺采集到,但是我们也可以看到这组数据有一个问题,多数数据缺乏一个时间参数,从表格中我们只能看到最后两项有一个准确的时间界定,其他项数据均没有这个界定。不过这里我们采用对比模糊分析的方法,不用考虑数据是否精确,只需要进行对比即可,所以缺乏时间参数问题也不太大。接下来我们通过以下几个步骤进行分析。
一,做筛选
首先我们要对这些数据进行筛选,只留可对比的数据组,剔除无用的数据。方法很简单,这里我们通过公司名称进行检测,进行主营产品类目检查(这里我是以朋友公司产品类目对基础的),通过分析发现C、G、M三个公司的产品与其他不符,这里我们就直接剔除这三家的数据不做参考。
整理后的数据如图:
图片:整理后的数据02.png
(再更复杂的分析中,剔除噪音数据并非这么简单,这里是用这个简单的方式说明一下这个操作步骤,大家在操作中要根据自己实际情况进行数据甄别,甄别的过程是非常复杂和繁琐的,如果这一步出错,做出的分析结果的准确性就很难得到保障)
二,做归类
无用的数据剔除之后,接下来我们就是要对现有的数据进行归类处理。
通过图表数据的阅读,我们可以把里面的数据简单的归为三类:交易数据、回复率、行为数据。交易数据这里主要就是包含前三项,一达通和信保;回复率就是询盘回复率的表现数据;行为数据这里主要是指人的行为,访客和季度、月询盘数。归类后如图:
图片:归类后的数据03.png
这三类数据是有区别的,交易数据和回复率我们可以统一称之为“操作数据”或“加权数据”,因为这些数据的控制权基本掌握在我们手里,我们在这部分数据的积累上有较大的主动权。行为数据可以称之为“结果数据”,这部分数据的直接控制权来自于客户行为,我们无法直接去干预,我们只能通过提升“操作数据”的方法去影响这个“结果数据”。我们之前的操作都是为了这个“结果数据”有较好的表现。
数据归类之后,我们开始分析
三,做分析
由于上面拿到的三类数据有两类属于“操作数据”,这两类对“结果数据”只能产生部分影响,这里我们就不关注这两项数据了(在全局分析中,这些局部数据都可以作为一个参数加入到分析的行列)。这里我们只关注结果数据。这里的结果数据中虽然有三组数据,由于其中一项数据缺少时间参数,所以我们可以把三项数据当作两项去分析,季度和月询盘量可以当作一个有效参数,这个时候我们就把数据优化成两类:访客和询盘。当看到这两个数据的时候我们很简单的就会联想到由他们而衍生出来的一个数据:“转化率”,这个数据能够比较真实的反馈平台效果。接下来我们计算出每一组的“转化率”数据如图(按照月度参数计算):
图片:转化率04.png
从上图可以看出“转化率”排名如下:
H > K > P > A = F > B > D = E > I = O > J > L >N
当然,转化率高并不代表代表一个店铺的表现就是第一名,这个数据只能判断该店铺引流的精准程度(当然如果需要更深入的分析精准度是需要深入到询盘质量和成交转化中去的,这里不做过多介绍)。我们可以观察一下N店铺的转化率,0.43%的数据与其他店铺相比较差距较大,该店铺的访客流量占据第一位,但是反馈数据在该表中与其他几家并列最后一名,该店铺就需要认真的分析访客来源和未转化的原因(这里就牵扯到了其他数据的数据分析,这里不多介绍)。
当然,从数据组中我们一共可以看到这些数据条件,也可以计算出一个数据进行比较。但是这并不太说明什么太多的问题。接下来我们用加入条件的方法来进一步深入分析。这里我加入的数据是店铺的产品”上架产品数量“这个参数。加入数据到图标(实际操作中我们可以加入更多的可参考数据进行数据分析),如图:
图片:加入产品数量条件05.png
从表格中可以看出产品数量过万的有A B J N ,产品数量5000以上的有D I K L O P,产品数量低于5000的有E F H。从阿里规则上来说,店铺产品数量过多,店铺过于臃肿并不太好,但是这并不代表不用去发布产品了,其实我们真正要做到的是产品数量适中,做到全覆盖即可。从以上店铺的产品数量数据表现可以看出来,该行业的产品数量需要大于5000以上,如果低于5000,应该做不到全覆盖,可能会浪费很多流量(这里是从数据表大致得出结论,如要深入分析具体多少产品数量合适,还需要从其他方面进行综合分析)。我们也可以看到低于5000的几个店铺的访客量分别为:4000,7000,9000(里面有P4P引流数据,所以该数据仅作参考,不可作为实际数据参考),这个数据量并不算高,特别是H,访客是最少,产品数量也是最少,但是我们可以发现H的转化率是最高的,我们这里假设,H拥有A的产品数量(覆盖面),保持转化率不变,其他条件随覆盖面递增,这个时候我们可以看到H的数据应该是这样的,如图:
图片:修改数据后转化询盘06.png
当然这是一个理想的假设状态,覆盖,访客,转化这些数据都是的动态的,越是大的数据体量对转化率的控制难度越大,但是不可否认的是,如果产品覆盖能够达到一定程度的话,对访客和询盘转化肯定是有益处的,示例中虽然达不到492条的完美状态,但是询盘数量增加2倍应该还是有保障的。从这些数据的表现我们也可以看到覆盖的重要性(其实覆盖是一个很复杂的事情,并不是咱们想象的那种把产品和关键词上传上去就完事儿的事情,有时间可以跟大家深入交流关于覆盖的问题)。其实这些数据中还有很多可以对比解读的地方,我们今天先这里,以覆盖落幕。
- ?
入门必备!数据分析的3大思维和7种技巧
棕榈树
展开
为什么数据分析思维重要
如果我们在分析一个问题前,思维缺失就像下面图中所表达的一样,往往不知道问题从哪里下手,在这个时候就轮到平时锻炼的数据分析思维了。
核心数据分析思维
结构化
可以看作金字塔思维,把待分析问题按不同方向去分类,然后不断拆分细化,能全方位的思考问题,一般是先把所有能想到的一些论点先写出来,然后在进行整理归纳成金字塔模型。主要通过前面介绍的思维导图来写我们的分析思维。
案例现在有一个线下销售的产品。我们发现8月的销售额度下降,和去年同比下降了20%。我想先观察时间趋势下的波动,看是突然暴跌还是逐渐下降。再按照不同地区的数据看一下差异,有没有地区性的因素影响。我也准备问几个销售员,看一下现在的市场环境怎么样,听说有几家竞争对手也缩水了,是不是这个原因。客户访谈也要做,但是往常一直找不出原因,这次我也不抱希望,姑且试试吧。要是还找不出原因,那我也很绝望啊。
公式化
在结构化的基础上,这些论点往往会存在一些数量关系,使其能进行+、-、×、÷的计算,将这些论点进行量化分析,从而验证论点。
业务化
业务化即是深入了解业务情况,结合该项目的具体业务进行分析,并且能让分析结果进行落地执行。用结构化思考+公式化拆解得出的最终分析论点再很多时候表示的是一种现象,不能体现产生结果的原因。所以需要继续去用业务思维去思考,站在业务人员或分析对象的角度思考问题,深究出现这种现象的原因或者通过数据推动业务。
增加业务思维方法:贴近业务,换位思考,积累经验
数据分析的思维技巧
在数据分析中,三种核心数据分析思维是框架型的指引,实际应用中还是需要很多技巧工具的。7种数据分析技巧,它们分别是象限法,多维法,假设法,指数法,二八法,对比法,漏斗法。
象限法
通过对两种维度的划分,运用坐标的方式表达出想要的价值,由价值直接转变为策略,从而进行一些落地的推动。象限法是一种策略驱动的思维,广泛应用于战略分析,产品分析,市场分析,客户管理,用户管理,商品管理等。
下图是RFM模型,把客户按最近一次消费(Recency)、消费频率(Frequency)、消费金额 (Monetary)三个维度分成八个象限。
菜品销售增长率和销售利润
多维法
多维法是指对分析对象从多个维度去分析,这里一般是三个维度,每个维度有不同数据分类,这样代表总数据的大正方体就被分割成一个个小方块,落在同一个小方块的数据拥有同样的属性,这样可以通过对比小方块内的数据进行分析。如图,这是一个快餐店的外卖订单多维表:
虽然只有下单时间、菜品名称、平台三个维度。但根据这个立方体,已经能解决很多掌柜急需了解的问题了。
我们可以通过切片实现每个平台每种菜品的销量,每个月每种菜品的销量,某个月某平台菜品销售情况等等操作。
假设法
在一些情况下,如进入新市场的销量、商品提价后销量的变化情况,可能没有明细数据进行分析,那么就需要用到假设法。假设法也就是假设一个变量或者比率成立,然后根据部分数据进行反推,这是一种启发思维的技巧,一般过程是先假设后验证然后判断出分析结果。
例题:你是自营电商分析师,现在想将商品提价,你分析下销售额会有怎样的变化?解答思路:首先可以确定销量会下降,那么下降多少?这里就要假设商品流量情况,提价后转化率的变化情况,然后根据历史数据汇总出销量下降百分百,从而得出销售额的变化情况。
指数法指数法
指数法是把某个数据多个指标按一定的计算转化为同度量的一个值,这个度量值称为指数。例如在一场游戏竞技比赛中要确定该场的MVP,则是需要根据击杀数、死亡数、助攻数、经济、补兵等指标进行综合计算出一个得分,得分高的为MVP。
指数法常用的有线性加权、反比例、log三种。线性加权即是把每个指标乘以一个系数后相加,反比例即是用数学上的反比例函数y=k/x变化后在计算,log即是数学中所说的对数一般以2为底数或者10为底数。指数法使用没有统一标准,一般是根据经验来做,将无法利用的数据加工成可以可利用的。例如,NBA计算最有价值球员的指数参考:
二八法
二八法即是二八法则也可以叫做帕累托法则,比如在个人财富上可以说世界上20%的人掌握80%的财富。而在数据分析中,则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系,排在前20%的才算是有效数据。二八法是抓重点分析,适用于任何行业。找到重点,发现其特征,然后可以思考如何让其余的80%向这20%转化,提高效果。
对比法
对比法就是用两组或两组以上的数据进行比较,常见的是用于在时间维度上的同比和环比、定基比,与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律,使用非常频繁,多与前面的技巧结合使用。
漏斗法
漏斗法即是漏斗图,有点像倒金字塔,是一个流程化思考方式,常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。不过,单一的漏斗分析是没有用的,不能得出什么结果,要与其它相结合,如与历史数据的对比等。
下图我用BI商业智能工具FineBI连接了CRM系统的数据,对客户的行为数据做了漏斗图形式的展现。
- ?
数据分析师应该具备哪种基本能力?
糜山柳
展开
在互联网时代,数据是重要的资源,随着数据的持续增长和大数据技术的成熟,数据分析变得越来越重要,要看清楚瞬息万变的网络世界,要知道表象背后的真相,非靠数据分析不可,不管是大数据分析还是传统数据分析,其本质是一样的。数据分析是为了通过对数据现象的查看来完成对产品,营销策略,运营策略的优化。达到最低成本,最优效果。因此,数据分析师对应的要求也越来越高。那么,作为一名优秀的数据分析师,需要有哪些基本能力,才能完成数据分析目标,保证结果的正确性?
商业数据分析的根本目的就是要洞察数据背后的规律,基于此,企业可以制订决策、并采取相应措施和行动,进而达成想要的结果。这是商业数据分析的最大价值所在。
数据分析的四个能力
1. 对业务的理解能力
数据分析之前,首先要进行的是业务梳理。只有在实践领域从事过数据分析工作,就会明白所有分析的重中之重都是业务知识本身。而业务知识的学习和掌握,需要的积累之深,培养一个业务专家,需要的周期之长,都远远超过后面所说的那些基本技能,成为业务专家实属不易,数据分析师其实是之于业务专家之上的更深层次的思考和总结,否则,谁指导谁都是个问题。业务学习的方式很多,比如将以前的分析报告和取数案例都拿过来研究一下,不懂就问,总是一个渐进的过程,但需要时间和行业的沉淀。数据分析师最需要不断提升的能力就是行业和业务知识,没有之一。
提升业务理解能力有几个方法
多使用产品本身,只有不断的尝试产品,体验和了解各种产品,才能在分析时有直观的思考和总结;与 产品相关的业务和技术同学沟通,尤其在进行数据理解和运营理解的时候,需要知道数据元素的含义以及当前运营的方式和形成这种运营方式的原因;多思考产品的内在逻辑,多问几个为什么,这样才不至于做分析方案的时候,遗漏其它的业务流程,或者进行错误的数据模型设计。2.有耐心,善于沟通
数据处理和逻辑梳理需要足够的耐心,尤其是在各种数据格式不统一,数据表存放混乱,以及业务流程/逻辑异常复杂的情况下,作为数据分析师,一定要有足够的耐心,沉下来进行全面的数据流程确认,画出对应的流程图,理清分析重点。
同时,数据分析贯穿BIT、数据、技术、业务整个链条,数据分析师将BIT最终转化成决策者理解的语言,跨越的流程很长,你需要面对不同的岗位,碰到不同的角色,采用不同的语言,表达你的要求和获得你需要的东西,成为数据和业务的桥梁,没有足够的沟通能力很难。所以,需要具备一定的沟通能力。在沟通之前,需要清楚的知道本次沟通的目的是什么,以及如何通过对方来达成自己有效数据分析的目标。与技术沟通,是理解参数含义,与运营沟通,是理解分析目标,与产品沟通,则是强调产品逻辑以及背后的思考。同时,如果你容易听取他人的意见,特别是智者的意见,则可以帮你找到另一条出路,你犯错的概率就会降低,相应的,你的分析就更有力量和说服力。
3. 数据分析的技术
数据分析有很多技术可以支持,包括SQL,Excle,SPSS,Matlab、Python等等,这些都是通过编程完成基本的数据分析语言编写,然后进行执行得出结果。
因此,数据分析师必须掌握并精通一两种数据分析编程技巧。包括从数据仓库中获取数据,对数据进行清洗,简化,或者补全,处理数据,计算数据,最后进行可视化的表达。这样才能完成数据分析的目标。这种技术对产品和运营人员也非常重要,只有学会处理数据,分析数据,才能在每个决策上面有据可依。
但在公司的数据分析中,你在看案例时,往往接触到的数据或使用的数据是局部的,因此,你的视野会受局限,在大多数公司里,很多数据分析师其实缺乏全局的数据视野,因为他不知道到底有多少数据,因此,永远只能在已知的数据里转圈圈,
当然,大多数数据分析师可能不需要进行系统数据学习,在实践中慢慢熟悉就好了,但自顶向下的数据学习方式可以让你有一个更好的基础和更全局的数据视野。
4.独立思考的能力
数据分析并不仅仅是为了完成一些业务上面的数据需求和论证。数据分析者应该在理解业务的基础上,扩大自己的思考范围,提升洞察力。
成为一个优秀的数据分析师,需要在不同的业务中进行磨练,同时需要足够的耐心和深入业务的思考进行决策支撑。一种客观,理性,同时又科学的数据分析心态是非常重要的,对于公司和产品的发展也是必需。
数据总是在那里,它不会说话,你不仅要基于业务能力理解它,还要学会推演和分析,从中发现规律,迅速定位某个商业问题的关键属性和决定因素,形成自己独创性的见解,所谓心思缜密,滴水不漏,没有思考逻辑没有数据分析。而要形成独特的见解,则来自于个人不断的学习和思考,这里的学习更多的强调是跨领域和专业,思考则是更多的强调养成思考的习惯。思考本身就是一种实践,它可以将你的知识更加系统化和深入化,数据分析在一定程度上是用来验证思路和启发灵感的,“数据分析”从来不是“数据分析”本身,而是以“数据分析”为手段和表象,对业务的深刻理解、思考和判断。
数据分析的四个层次
描述性分析(Descriptive Analysis)诊断性分析(Diagnostic Analysis)预测性分析(Predictive Analysis)处方性分析(Prescriptive Analysis)描述性分析——发生了什么?
如题目名字一样,该层次主要是对已经发生的事实用数据做出准确的描述。比如某企业本月订单签约额比上月增加2000万,至5500万,但是订单履约率从上月的98%下降到了95%,库存周转率从上月的0.8下降到了0.7。那么,这就是发生了什么?就需要去描述性分析。
诊断性分析——为什么会发生?
知道发生了什么,对我们的帮助不大,更重要的是,我们要明白为什么发生。比如经过分析,发现在描述性分析中提到的订单履约率下降的原因是成品生产不出来,无法完成交付。而成品生产不出来的原因则是部分原材料的供应商未能按时送货,导致原材料不齐套,无法开始生产。那么,这就是诊断性分析。
预测性分析——可能会发生什么?
基于上述两个层次的分析,我们发现了其中的规律,即原材料供应商的未能及时送货会影响成品订单的履约率。假如上月某原材料供应商A送货及时率只有70%,通过建模,我们可以预测本月该供应商会使我们的订单履约率下降2%。那么,这就是预测性分析。
处方性分析——我们该做些什么?
有了预测性分析的结果后,我们无需再做事后诸葛亮,而可以运筹帷幄,在事前就采取措施。上述中,供应商A会导致本月我们的订单履约率下降,我们可能采取的措施就是把A换掉,但是现在有B和C两个供应商供我们选择,该选择哪个呢?通过分析和计算得出:选用供应商B会比选C的订单履约率高1%,因此建议选择供应商B。这就是处方性分析。
四个层次层层递进,经过这四个层次的分析以后,可以对企业的决策和行动提供有力支撑。
分享 IT 技术和行业经验,请关注-技术学派。
- ?
互联网数据分析入门:流量分析
嗜血
展开
当今时代信息化产业飞速发展,各类底层大数据平台百花齐放,亿级数据、秒级响应已经不再是当年的遥不可及的神话。然而对于企业来说,数据计算快仅仅是满足企业进行业务数据分析的硬件基础,如何发掘这些海量的数据产生应用价值,走好数据分析这最后一公里,引导企业进行战略决策却是至关重要的一步。
本文以互联网行业为数据业务分析背景,希望能跟大家交流一些数据分析方面的心得和体验。
——本文使用数据分析工具为FineBI 商业智能工具
数据分析的本质其实是做数据对比分析,没有数据对比,单一的指标统计往往难以发挥数据价值。像我们常见的数据对比分析方法有同比、环比、占比等一系列分析指标,那是不是所有的数据业务场景都可以直接进行套用分析呢?比如我们统计企业2018年1月29日的同比流量,是不是可以直接对比2017年1月29日?表面上看好像2017年1月29日确实就是2018年1月29日时间层面上的同比日期,但是我们仔细对比查看这两个日期会发现2018年1月29日是周一,2017年1月29日确是周日。对于很多行业的企业来说,非工作日和工作日的数据往往是有很大差异的,这个时候单纯从日期层面来进行对比其实是没有什么意义的,选择对比同是周一的2017年1月30日的流量数据进行同比计算可能会更加有价值。
目前互联网行业做搜索引擎的有Google、百度,做综合门户的雅虎、新浪,做即时通讯的主要是腾讯,电子商务方面的主要是阿里、京东、亚马逊等。不论是以上的哪家互联网企业,往往都需要有一套引流、转化、消费、留存方面的运营策略,平台的流量数据分析往往都是非常重要的。
互联网流量数据分析方面,总结主要有如下四种数据常用分析方法:
1.对比分析流量规律,针对时段进行企业服务以及推广活动调整;
2.对比分析结构占比,指导进行定向群体营销推广
3.对比分析异常情况,及时追责并且进行调整;
4.对比追踪活动流量变化,总结活动效果经验以便后续有针对性调整。
如上图所示,我们通过FineBI工具制作出以上的流量数据分析模板,接下来尝试着对数据做一些对比分析。
一、用户浏览量周分布
对于互联网企业来说,流量数据往往都会呈工作周相关。对此,我们可以先宏观地统计出周一到周日中的总的平台流量柱状图数据对比情况。首先我们可以仔细观察工作日和非工作日的数据,发现周末的平台流量较工作日流量要高,这在互联网行业来说都是一个比较普遍的现象。
用户流量的周分布规律之后,我们就大致有一个推广方向,周末休息时间用户群体较大,相较于工作日可以投入更多的和丰富有吸引力推广活动来进行新用户引流和老用户活跃。
接着我们可以进行下一步思考,那工作日和周末我们的活动推广时间如何制定?有的同学们可能会觉得全天活动都可以,不需要关注具体的活动时间。但是对于互联网行业来说,每个时间段的推广费用都是较为昂贵的,我们完全可以分析出工作日和周末的用户流量趋势,进行有针对性的时间段投入推广,通过更小的成本获取到更多的用户流入。
首先是工作日的时间段流量统计分布,我们通过BI工具分时间段作图得到如下所示的流量分布图。可以看出,工作日的流量主要集成在每日的9点(上班时间)、13点(午餐时间)、20点(晚间娱乐休息时间),那么在得到这样的一些用户流量规律之后,便可以在这些用户活跃高峰期时间段有针对性对白领群体多做一些相关商品推广活动,以实现最小时间成本和推广费用最大化用户引流效果。
再来看周末的各时间段流量分布走势,和工作日所不同的是,周末的流量早高峰期延后到了10点,这可能和各位小伙伴们周日作息较晚有关(同学们周末都是几点起床呢),除此之外,晚上的流量高峰退潮期也有延后。针对与周末用户流量分布的特性,互联网企业在周末时可以将活动开始时间和活动结束时间都适当进行延后,这个时候不能再套用工作日制定好的活动时间计划了,因为符合用户群体作息规律的推广促销活动才能达到更好的效果。
二、推广渠道流量分布
对于互联网行业的推广渠道分布主要分为三级渠道:线上渠道、线下渠道、新媒体营销等等。对比分析每个渠道对企业所带来的价值占比差异,以指导制定有针对性营销策略。
如上图所示,由于推广渠道是分多层级的,我们通过BI工具的多层饼图进行数据的分析统计再合适不过了。分析下图的数据我们可以看出,首先是一级渠道的主要战斗力来自于新媒体营销,当今的微信、今日头条等社交媒介社区时代受众广泛,用户群体非常庞大,是公司需要投入主要成本进行推广的。其次线上渠道的效果也不容忽视,对于互联网企业来说,做好百度、Google等SEO搜索引擎关键词推广也是很重要的一部分工作。相较于线上渠道和新媒体营销,线下渠道说所需要的经费和时间、人力成本较大,受众又相对较小,所以此类活动往往针对核心粉丝进行运营即可。
三、各月份指标对比走势
在分析各月份指标对比走势数据之前,先简单介绍下互联网营销常用的几个指标概念:
1.浏览量(pv)
2.访问次数(visits)
3.访客数(uv)
以上三个基础指标常用来衡量流量数据的多少。另外平均访问深度(总浏览量/访问次数)、平均停留时间(总停留时间/总浏览量)、跳失率(跳出次数/访问次数),这三个指标通常可用于衡量流量指标的优劣性。
我们仔细分析上图中的平台流量指标,可以发现10月份是2017全年的流量高峰期,应该跟企业在国庆黄金假期所做的促销引流活动有关。浏览量、跳失次数、访问次数分别为4941、1290、2182,对比计算可得到跳失率为59.12%,明显低于其他时间段的跳失率,说明10月份的活动效果还不错,其经验对以后的营销推广可以起到参考作用。
最后是访问深度用户群体分布分析(跳失率=跳出次数/访问次数),我们通过BI工具将企业的VIP用户、老用户、新用户分别进行分时间段的用户群体访问深度分析统计。总体来说可以发现平台的VIP用户访问深度较老用户以及新用户稍微高些,但是不是太明显,说明平台运营的VIP这部分群体的活跃度还有待提升。同时,平台老用户访问深度和新用户更是相差无几,公司对于用户这方面的活跃运营明显需要加油了,建议将平台的部分忠诚度较高的老用户以VIP用户组建起来,共建平台生态圈,增加整体的用户活跃度。同时可以向老用户以及VIP用户实施一些优惠政策,如定向商品折扣、根据用户画像进行喜好商品特惠推送等。
本次的数据分析经验心得分享暂时先写到这里,后续将继续给大家分享关于互联网数据运营方法的转化、消费、留存等方面的一些经验,欢迎大家一起共同交流探讨互联网运营之道。
- ?
关于大数据分析的六个基本方面
翠容
展开
大数据时代的到来,越来越多的人选择学习大数据,那关于大数据分析的六大基本方面是哪些,一起来了解一下
可视化分析
不管是对数据分析专家还是普通用户
数据可视化是数据分析工具最基本的要求
可视化可以直观的展示数据
让数据自己说话,让观众听到结果
数据挖掘算法
可视化是给人看的,数据挖掘就是给机器看的
集群、分割、孤立点分析还有其他的算法
让我们深入数据内部,挖掘价值
这些算法不仅要处理大数据的量
也要处理大数据的速度
预测性分析能力
数据挖掘可以让分析员更好的理解数据
而预测性分析可以让分析员根据可视化分析和数据挖掘的结果
做出一些预测性的判断
语义引擎
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息
数据质量和数据管理
数据质量和数据管理是一些管理方面的最佳实践
通过标准化的流程和工具对数据进行处理
可以保证一个预先定义好的高质量的分析结果
数据存储,数据仓库
数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中,数据仓库的构建是关键,是商业智能系统的基础,承担对业务系统数据整合的任务,为商业智能系统提供数据抽取、转换和加载(ETL),并按主题对数据进行查询和访问,为联机数据分析和数据挖掘提供数据平台
成都加米谷大数据科技有限公司
个人培训 丨 企业内训
成都市高新区天府二街蜀都中心1栋705
- ?
数据分析入门:如何训练数据分析思维?
白夜绿
展开
作者:吴彬彬
我们在生活中,会经常听说两种推理模式,一种是归纳 一种是演绎,这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累,在此基础上快速定位业务问题,提升分析效率,但是对于刚入门的数据分析师,在项目经验不足的前提下,如何快速完成项目的分析报告? 这里引进一种外展推理的思维模式,方便入门分析师的完成日常的工作。
那什么是外展推理模式呢?
在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分:规则,情况以及结果。
规则: 通常是对这个世界的看法;情况:就是这个世界存在的已知事实;结果:将规则用于情况,预期要发生的事儿。
这三个任何一个实体都可以作为推理的起点,然而起点不同意味着,推理的方法也有所差异。
以规则为起点的推理方法可以称之为演绎推理。
举个例子,如果平时不努力,考试成绩将不及格(规则);现实中a平时不努力(情况);所以a考试不及格(结果)。
以情况为起点的推理方法就是归纳推理。
a平时不努力(情况);a考试不及格(结果);所以a考试不及格的原因可能是平时不努力。
以结果为起点的推理方法就是外展型思维方法。
a考试不及格(结果),考试不及格通常是由于平时不努力(规则),检查是否平时不努力(情况)。
从日常工作中,我们可以发现,外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式,是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑,那如何进行外展推理呢?外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因,之后的重点就是收集资料,以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段,按日常的工作可以简化如下三个流程:
将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较,分离不同层级的因素,合并同一层级中相同的因素,确保各因素的独立性。按照正确的逻辑关系,把各因素进行排列组合。
如下图:我们可以将问题进行分解,分解的原则为
各部分之间相互独立 (Mutually Exclusive)所有部分完全穷尽 (Collectively Exhaustive)
在此基础上按层级进行数据分析定位,找到最细的原因。
在工作中,我们主要会用到的分解方法有这两种,
按业务职能结构划分,比如渠道,运营,功能等相关模块,将相关指标映射到主要模块,通过简单快速的沟通,能快速的定位问题原因,但是缺点是分析结果不够直接,依赖外部资源信息搜集。按因果结构划分(指标分解)营收=日活*付费率*arpu等指标因果关系进行划分,通过定位指标波动,定位最细指标,辅助维度下转,能够清楚的问题原因,该方式是较为稳妥的方式,是日常工作中的主要方式,但是缺点是需要构建相对完整的指标逻辑体系。
如上两种分解方法针对不同的项目要求进行组合应用,但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛,在经过阶段训练后,逐步利用归纳和演绎的思维,提升业务熟悉程度,完成业务的初始积累后,后续的分析过程中就可以逐步减少拓展推理的层级及组合,逐步提升问题原因定位的效率。
网易有数:企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台,采用PPT模式的报告制作,更加易学易用,具备强大的探索分析功能,真正帮助用户洞察数据发现价值。可免费试用。
- ?
大数据分析需要五大基本资源!
樊寒松
展开
在网络,移动设备,传感器,社交媒体,交易应用程序,日志文件,大数据等实时数据泛滥的情况下,发现了大量垂直市场应用程序,从诈骗检测到科学研究。无论涉及重大隐私问题或企业困难的挑战如何,仅在2017年,大数据投资就获得超过570亿美元的增长势头。预计未来三年的投资将以约10%的年增长率进行增长。
大数据分析所需的基本资源
大数据咨询已成为软件开发服务提供商的可行选择。无论是营销还是品牌实施的新产品,公司都不会轻易作出决定。当提到任何重大举措时,企业都会寻找他们客户提供的数据,以确保公司正朝着观众遵循的方向发展。
从点击流数据到购物车上的信息,都有大量的材料需要筛选,这就是为什么企业支付高价值的大数据咨询服务才能理解这一切。对于新职业市场的人来说,大数据分析是一个不错的选择。 当然,必须熟悉开始处理数字所需的技能和工具。
大数据分析所需的五个资源如下:
1.完成MATLAB Mastery Bundle
MATLAB或Matrix是一个多范型数字计算空间和编程语言。用外行人的话来说,它是一种工具,它使得编写代码,运行脚本以及执行数据分析和可视化等任务变得轻松易懂,从而解决复杂问题,而这些代码还不那么复杂。
2. Python Power Code BONUS Bundle
市场上有许多重要的编程语言可供选择,数据分析师使用其日常任务和职责中的很多。但是,如果有人要先学习,那就是Python。 Python语言被誉为用户友好型以及直观性。此外,它拥有众多的功能,这使它能够处理数据争夺。 70小时的培训通过展示如何下载,提取,清理,汇总,分析和可视化数据,开始了编程教育。
3.大数据和分析主工具包
数据分析师和高级分析咨询人员使用大量的语言和工具来获取角色,这并不足为奇。这四个模块集合为数据库添加了四个重要的分析工具,即Minitab,SPSS,SAS和R Studio。
4.使用Tableau Desktop 9 Bundle进行数据可视化
通过交互式仪表板分析和呈现数据以完全挖掘信息的主要工具之一是Tableau 9.这个收集将使您了解Tableau。因此,可以开始创建自己的可视化数据。
5.完整介绍R编程包
R的核心是一种统计编程语言,它非常适合挖掘和分析数据。但是,它也具有高级图形和机器学习功能,在数据可视化和集成复杂算法方面提供了一些独特的优势。在五门课程和三本电子书中,收集指导通过要点使用R来充分发挥潜力。
大数据优势
大数据应用程序可让数据科学家,统计人员和其他分析专业人员分析越来越多的结构化数据以及其他形式的数据,而这些数据往往不被传统的商业情报和分析程序所利用。这涵盖了非结构化和半结构化数据的组合,例如互联网点击流数据,网络服务器日志以及来自客户电子邮件的文本,机器数据,社交媒体内容和通过连接的传感器到事物互联网的呼叫细节记录。
在更大的范围内,数据分析技术迎合数据集分析的手段,并最终帮助企业做出充分知情的决策。商业智能查询回答关于业务绩效和操作的基本查询。大数据是一种高级分析,涉及复杂的应用程序元素,如预测模型,统计算法等。
用数据咨询创造新的增长机会
数据分析可以创造大量新的增长机会。此外,它甚至可能会产生一个新的业务类别,例如分析和汇总行业数据的类别。大多数企业将处于大量关于服务和产品,供应商和买家,消费者偏好和意图以及更多信息流的信息中。
各行各业的企业都应该开始大力创造数据功能。除了广泛的数据外,数据的高频率和实时性也是至关重要的。通过数据分析,实践被更广泛地使用。
今天的大数据和分析应用市场真是巨大。世界各地的软件开发服务提供商提供了大量的数据咨询工作。现在,大数据体验意味着更有可能从软件开发组织获得有利可图的工作。市场很大,有一系列的项目,交易,服务和合作关系。咨询服务可能会有所不同,具体取决于组织的特定要求,以及需要利用数据分析和解决方案的功能,这些功能可以简化业务流程。
基本数据分析
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并