中企动力 > 商学院 > 数据分析常用
  • ?

    机器学习与数据分析常用术语-基础篇(一)

    腓特烈斯韦克

    展开

    前言

    之前在给公司的程序员培训机器学习专题实战的时候,发现他们听的认真,也非常想学,但是每当问他们有哪里不懂的时候,他们总是回答不出哪里不懂,识懂非懂的状态,后来我总结了一下原因,1.机器学习领域跟程序开发的区别非常大,机器学习属于一个交叉学科,即需要数学也需要计算机学,难度相对与单学科要大些,2.机器学习领域有很多专业词汇与术语,之前程序员都没听说过和接触过,即使当时讲解的时候讲的非常细,也很难接触的过来,需要有个消化过程。

    本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语,希望能在机器学习路上的你带来帮助,假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。

    一.基础

    1.数据集(DataSet)

    数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。

    程序员可以简单的理解成数据库表。

    2.变量(variable)

    变量来源于数学,是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。

    可以理解为字段。

    3.向量(Vector)

    在数学中,向量(也称为欧几里得向量、几何向量、矢量),指具有大小(magnitude)和方向的量。它可以形象化地表示为带箭头的线段。

    4.X变量(Independent variable)

    又称自变量,自变量一词来自数学。在数学中,y=f(x) 。在这一方程中自变量是x,因变量是y。将这个方程运用到心理学的研究中,自变量是指研究者主动操纵,而引起因变量发生变化的因素或条件,因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中,性别被称为了自变量,而白细胞数则为因变量。

    可以理解成我们在机器学习中需要分析的变量叫做X变量。

    5.Y变量(dependent variable)

    又称因变量,可以理解为结果变量,如我们在金融贷款项目中预测某人是否可以放款,是否可以放款这个变量就叫做因变量。

    6.连续变量

    在统计学中,变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值。如:年龄、体重等变量。

    7.离散变量

    离散变量的各变量值之间都是以整数断开的,如人数、工厂数、机器台数等,都只能按整数计算。离散变量的数值只能用计数的方法取得。

    8.二元变量

    通常可以理解成哑变量或虚拟变量,虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量,用以反映质的属性的一个人工变量,是量化了的自变量,通常取值为0或1。

    9.定性变量

    统计学概念,定性变量(qualitative variable)又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时,一般是用非数字来表达其类别,这样的观测数据称为定性变量。可以理解成可以分类别的变量,如学历、性别、婚否等。

    10.均值

    即平均值,平均数是表示一组数据集中趋势的量数,是指在一组数据中所有数据之和再除以这组数据的个数。

    11.中位数

    对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,通常取最中间的两个数值的平均数作为中位数。

    12.缺失值

    它指的是现有数据集中某个或某些属性的值是不完全的。

    13.缺失率

    某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数

    14.异常值

    异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。

    15.度量

    度量(metric)亦称距离函数,是度量空间中满足特定条件的特殊函数,一般用d表示。度量空间也叫做距离空间,是一类特殊的拓扑空间。弗雷歇(Fréchet,M.R.)将欧几里得空间的距离概念抽象化,于1906年定义了度量空间。

    16.矩阵

    在数学中,矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合,最早来自于方程组的系数及常数所构成的。

    矩阵是高等代数学中的常见工具,也常见于统计分析等应用数学学科中。

    即可以看成一个方便用来计算的数组。

    17.方差

    (variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义。

    方差是衡量源数据和期望值相差的度量值。

    18.标准差

    标准差(Standard Deviation) ,中文环境中又常称均方差,是离均差平方的算术平均数的平方根,用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据,标准差未必相同。

    19.皮尔森相关系数

    皮尔森相关系数(Pearson correlation coefficient)也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ,是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示,其中n为样本量,分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。

    20.相关系数

    相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标,是研究变量之间线性相关程度的量,一般用字母 r 表示。由于研究对象的不同,相关系数有多种定义方式,较为常用的是皮尔逊相关系数。

    21.特征值

    特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵,如果存在数m和非零n维列向量 x,使得 Ax=mx 成立,则称 m 是A的一个特征值(characteristic value)或本征值(eigenvalue)。非零n维列向量x称为矩阵A的属于(对应于)特征值m的特征向量或本征向量,简称A的特征向量或A的本征向量。

    22.特征向量

    矩阵的特征向量是矩阵理论上的重要概念之一,它有着广泛的应用。数学上,线性变换的特征向量(本征向量)是一个非简并的向量,其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值(本征值)。

    23.求导

    求导是微积分的基础,同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。

    24.MSE(Mean Square Error 均方误差)

    均方误差(mean-square error, MSE)是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量,(θ-t)2的数学期望,称为估计量t的均方误差。它等于σ2+b2,其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。

    25.LMS(LeastMean Square 最小均方)

    最小均方算法,简称LMS算法,是一种最陡下降算法的改进算法, 是在维纳滤波理论上运用速下降法后的优化延伸,最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征,“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性,使LMS算法成为自适应算法中稳定性最好、应用最广的算法。

    26.LSM(Least Square Methods 最小二乘法)

    最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

    27.MLE(MaximumLikelihood Estimation最大似然估计)

    最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

    28.QP(Quadratic Programming 二次规划)

    二次规划是非线性规划中的一类特殊数学规划问题,在很多方面都有应用,如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里,二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。

    最大似然法明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。

    29.CP(Conditional Probability条件概率)

    条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

    30. JP(Joint Probability 联合概率)

    联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布,那么P{X<4,Y<0}就是一个联合概率,表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)。

    31.MP(Marginal Probability边缘概率)

    边缘概率 Marginal Probability 是某个事件发生的概率,而与其它事件无关。边缘概率是这样得到的:在联合概率中,把最终结果中不需要的那些事件合并成其事件的全概率而消失(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率)。

    这称为边缘化(marginalization)。A的边缘概率表示为 P(A),B 的边缘概率表示为 P(B)。

    32. Bayesian Formula(贝叶斯公式)

    贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,比如 P(A|B) 和 P(B|A)。按照乘法法则,可以立刻导出:P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为:P(B|A) = P(A|B)*P(B) / P(A)。

    贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则, 尽管它是一个数学公式,但其原理毋需数字也可明了。如果你看到一个人总是做一些好事,则那个人多半会是一个好人。这就是说,当你不能准确知悉一个事物的本质时,你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是:支持某项属性的事件发生得愈多,则该属性成立的可能性就愈大。

    L1 /L2Regularization(L1/L2正则,以及更多的,现在比较火的L2.5正则等)

    L1范数正则化( L1 regularization 或 lasso )是机器学习(machine learning)中重要的手段,在支持向量机(support vector machine)学习过程中,实际是一种对于成本函数(cost function)求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化(sparsity),从而方便人们提取特征。

    GD(GradientDescent 梯度下降)

    梯度下降法是一个最优化算法,通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一,虽然现已不具有实用性,但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。

    可以用于求解非线性方程组。

    34. SGD(Stochastic Gradient Descent 随机梯度下降)

    随机并行梯度下降算法(stochastic parallel gradient descent algorithm),简称SPGD算法。作为一种无模型优化算法,比较适用于控制变量较多,受控系统比较复杂,无法建立准确数学模型的最优化控制过程。

    35.QR-decomposition(QR分解), 矩阵分解

    矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积,可分为三角分解、满秩分解、QR分解、Jordan分解和SVD(奇异值)分解等,常见的有三种:1)三角分解法 (Triangular Factorization),2)QR 分解法 (QR Factorization),3)奇异值分解法 (Singular Value Decomposition)。

    36.Quantile (分位数), 分位数

    分位数(Quantile),亦称分位点,是指将一个随机变量的概率分布范围分为几个等份的数值点,常用的有中位数(即二分位数)、四分位数、百分位数等。

    37.协方差

    协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变...

  • ?

    数据分析之常用的用户特征变量

    美子

    展开

    DT时代,数据的重要性,相信所有企业和ITers都是深有体会的。互联网企业想要长效发展,一定离不开对于自身门户平台的管理和数据分析。用户特征分析用户数据分析的一个指标。

    数据分析

    人口学变量:如年龄、性别、婚姻、教育程度、职业、收入等。通过人口学变量进行分类,了解每类 人口的需求有何差异。

    用户目标:如用户为什么使用这个产品?为什么选择线上下载?了解不同使用目的的用户的各自特征, 从而查看各类目标用户的需求。

    用户使用场景:用户在什么时候,什么情况下使用这个产品?了解用户在各类场景下的偏好/行为差异。

    用户行为数据:如使用频率,使用时长,客单价等。划分用户活跃等级,用户价值等级等。

    态度倾向量表:如消费偏好,价值观等,看不同价值观、不同生活方式的群体在消费取向或行为上的差异。

  • ?

    EXCEL数据分析师常用操作技巧

    安容

    展开

    快捷键

    Excel的快捷键很多,以下主要是能提高效率。

    Ctrl+方向键,对单元格光标快速移动,移动到数据边缘(空格位置)。

    Ctrl+Shift+方向键,对单元格快读框选,选择到数据边缘(空格位置)。

    Ctrl+空格键,选定整列。

    Shift+空格键,选定整行。

    Ctrl+A,选择整张表。

    Alt+Enter,换行。

    Ctrl+Enter,以当前单元格为始,往下填充数据和函数。

    Ctrl+S,快读保存。

    Ctrl+Z,撤回当前操作。

    如果是效率达人,可以学习更多快捷键。Mac用户的Ctrl一般需要用command替换。

    格式转换

    Excel的格式及转换很容易忽略,但格式会如影随形伴随数据分析者的一切场景。

    通常我们将Excel格式分为数值、文本、时间。

    数值常见整数型 Int和小数/浮点型 Float。两者的界限很模糊。

    文本分为中文和英文,存储字节,字符长度不同。

    时间格式在Excel中可以和数值直接互换,也能用加减法进行天数换算。

    时间格式有不同表达。例如2016年11月11日,2016/11/11,2016-11-11等。当数据源多就会变得混乱。我们可以用自定义格式规范时间。

    数组

    数组很多人都不会用到,甚至不知道有这个功能。。

    数组由多个元素组成。普通函数的计算结果是一个值,数组类函数的计算结果返回多个值。

    数组用大括号表示,当函数中使用到数组,应该用Ctrl+Shift+Enter输入,不然会报错。

    先看数组的最基础使用。选择A1

    1区域,输入={1,2,3,4}。记住是大括号。然后Ctrl+Shift+Enter。我们发现数组里的四个值被分别传到四个单元格中,这是数组的独有用法。

    我们再来看一下数组和函数的应用。利用{},我们能做到1匹配a,2匹配b,3匹配c。也就是一一对应。专业说法是Mapping。

    =lookup(查找值,{1,2,3},{"a","b","c"})

    分列

    Excel可以将多个单元格的内容合并,但是不擅长拆分。分列功能可以将某一列按照特定规则拆分。常常用来进行数据清洗。

    上文我有一列地区的数据,我想要将市和区分成两列。我们可以用mid和find函数查找市截取字符。但最快的做法就是用“市”分列。

    合并单元个格

    单元格作为报表整理使用,除非是最终输出格式,例如打印。否则不要随意合并单元格。

    一旦使用合并单元格,绝大多数函数都不能正常使用,影响批量的数据处理和格式转换。合并单元格也会造成Python和SQL的读取错误。

    数据透视表

    数据透视表的主要功能是将数据聚合,按照各子段进行sum( ),count( )的运算。

    下图我选择想要计算的数据,然后点击创建透视表。

    此时会新建一个Sheet,这是数据透视表的优点,将原始数据和汇总计算数据分离。

    数据透视表的核心思想是聚合运算,将字段名相同的数据聚合起来,所谓数以类分。

    列和行的设置,则是按不同轴向展现数据。简单说,你想要什么结构的报表,就用什么样的拖拽方式。

    删除重复项

    一种数据清洗和检验的快速方式。想要验证某一列有多少个唯一值,或者数据清洗,都可以使用。

    条件格式

    条件格式可以当作数据可视化的应用。如果我们要使用函数在大量数据中找出前三的值,可能会用到rank( )函数,排序,然后过滤出1,2,3。

    用条件格式则是另外一种快速方法,直接用颜色标出,非常直观。

    冻结首行首列

    Excel的首行一般是各字段名Header,俗称表头,当行数和列数过多的时候,观察数据比较麻烦。我们可以通过固定住首行,方便浏览和操作。

    Header是一个较为重要的概念。在Python和R中,read_csv函数,会有一个专门的参数header=true,来判断是否读取表头作为columns的名字。

    自定义下拉菜单(数据有效性)

    数据有效性是一种约束,针对单元格限制其输入,也就是让其只能固定几个值。下拉菜单是一种高阶应用,通过允许下拉箭头即可。

    自定义名称

    自定义名称是一个很好用的技巧,我们可以为一个区域,变量、或者数组定义一个名称。后续要经常使用的话,直接引用即可,无需再次定位。这是复用的概念。

    我们将A1:A3区域命名为NUM

    直接使用=sum(NUM) ,等价于sum(A1:A3)。

    查找公式错误

    公式报错也不知道错在哪里的时候可以使用,尤其是各类IF嵌套或者多表关联,逻辑复杂时。查找公式错误是逐步运算的,方便定位。

    分组和分级显示

    分组和分级显示,常用在报表中,在报表行数多到一定程度时,通过分组达到快速切换和隐藏的目的。越是专业度的报表(咨询、财务等),越可以学习这块。在数据菜单下。

    分析工具库

    分析工具库是高阶分析的利器,包含很多统计计算,检验功能等工具。Excel是默认不安装的,要安装需要加载项,在工具菜单下(不同版本安装方式会有一点小差异)。

    分析工具库是统计包,规划求解是计算最优解,类似决策树。

    内容来源:网络整理

    百家号-【袁帅数据分析运营】运营者:袁帅,互联网数据分析运营实践者。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

  • ?

    20种SEM数据分析常用指标英文缩写及释义。

    糜冰烟

    展开

    作为一个SEMer,你有没有在数据的时候,发现一些指标缩写的字母,比如CPC、CPA、ACP、CTR,一眼看过去挺眼熟的,但就是想不起来是啥意思或者是相似的指标记忆出现混乱了呢?对于一个资深SEMer来说,常用的一些指标可能一眼就能认出来,但是对于没有频繁的接触数据报表得制作的同学来说,可能就不是那么熟悉了。

    以下为大家带来在做数据整理中常见用20种指标缩写及释义。方便大家查询或记忆。

    1. CPC(Cost Per Click;Cost Per Thousand Click-Through)

    ①公式:单次点击成本,单次点击价格=(下一名出价*下一名质量度)/关键词质量度+0.01(百度)

    ②付费模式:按每次点击付费

    2.oCPC(Optimized Cost per Click)目标转化出价

    目标转化价格是指为每次转化支付的目标价格。

    3.CPA(Cost Per Action)是一种广告计费模式,顾名思义按照行为(Action)作为指标来计费,这个行为可以是注册、咨询、放入购物车等等。

    4.oCPA是一种智能自动出价策略,我们将会根据您提供的“期望每次转化费用”自动出价,以帮助您在预算范围内争取更多的转化。

    5.ACP Average Click Price 平均点击价格 =总消费/总点击

    6.CPS(Cost Per Sale),按销售分成。

    7.点击率 ( CTR :Click-Through-Rate)

    ①含义:点击率是指网站页面上某一内容被点击的次数与被显示次数之比,即clicks/views,它是一个百分比。反映了网页上某一内容的受关注程度,经常用来衡量广告的吸引程度。

    ②公式:点击率 ( CTR )=点击量/展现量

    8.转化率(Take Rates,又叫Conversions Rates),

    ①含义:是指在一个统计周期内,完成转化行为的次数占推广信息总点击次数的比率。

    ②公式:转化率(CVR)=转化量/点击量

    9.千次展现消费 ( CPM )

    ①含义:千次展现消费(Cost Per Mille,CPM)是客户获得一千次展现机会所付出的推广费用。

    ②公式:千次展现消费 ( CPM )=(消费额/展现量)*1000

    10.投入产出比(ROI)

    ①含义:投入产出比是指项目全部投资与运行寿命期内产出的工业增加值总和之比。

    ②公式:投入产出比(ROI)=订单额/消费额

    11.转化成本(CPA)

    ①含义:是指当消费者从一个产品或服务的提供者转向另一个提供者时所产生的一次性成本。

    ②公式=转化成本(CPA)=消费额/转化量

    12.单均额(ARPO)=订单额/转化量

    13.CPV

    ①含义:每个访问(Visit)的成本。

    ②收费模式:按访问的数量收费。(例今日头条原生视频广告,展现点击不收费,观看>=10s计费)

    14.PV(page view)即页面浏览量

    15.ECPM(曝光几率)=CTR(点击率)*CPC(点击价格)*1000,当CTR和CPC的乘积够高就会获得足够的曝光。

    16.抵达率=访问次数/点击量

    17.独立访客数(Unique Visitor/UV)

    常被简称为访客数,指在一个统计周期内,访问被统计对象的不重复访问者之和。即,同一人在统计周期里的多次访问被统计为一个独立访客。

    18.页面浏览量(Page View/PV)

    简称浏览量,指在一个统计周期内,独立访客访问被统计对象时所浏览页面的总和。既,网站页面被访客的浏览器打开并加载的次数。

    19.访问次数(Visits)

    指在一个统计周期内,独立访客访问被统计对象的次数之和。例如,如果访客在网站上的不活动时间超过一定时间长度,下次再有活动就算做新的会话,计为2次访问。

    20.流失率(Churn Rate)

    ①含义指对指定路径对应的步骤而言,访客从该步骤进入到下一条步骤的过程中流失的比例。

    ②公式:本步骤的流失率=[(本步骤的进入次数-下一步骤的进入次数)/本步骤的进入次数]×100%。

  • ?

    9种常用数据分析方法

    闵听安

    展开

    数据分析是从数据中提取有价值信息的过程,过程中需要对数据进行各种处理和归类,只有掌握了正确的数据分类方法和数据处理模式,才能起到事半功倍的效果,以下是数据分析员必备的9种数据分析思维模式:

    1. 分类

    分类是一种基本的数据分析方式,数据根据其特点,可将数据对象划分为不同的部分和类型,再进一步分析,能够进一步挖掘事物的本质。

    2. 回归

    回归是一种运用广泛的统计分析方法,可以通过规定因变量和自变量来确定变量之间的因果关系,建立回归模型,并根据实测数据来求解模型的各参数,然后评价回归模型是否能够很好的拟合实测数据,如果能够很好的拟合,则可以根据自变量作进一步预测。

    3. 聚类

    聚类是根据数据的内在性质将数据分成一些聚合类,每一聚合类中的元素尽可能具有相同的特性,不同聚合类之间的特性差别尽可能大的一种分类方式,其与分类分析不同,所划分的类是未知的,因此,聚类分析也称为无指导或无监督的学习。

    数据聚类是对于静态数据分析的一门技术,在许多领域受到广泛应用,包括机器学习,数据挖掘,模式识别,图像分析以及生物信息。

    4. 相似匹配

    相似匹配是通过一定的方法,来计算两个数据的相似程度,相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景,如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

    5. 频繁项集

    频繁项集是指事例中频繁出现的项的集合,如啤酒和尿不湿,Apriori算法是一种挖掘关联规则的频繁项集算法,其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集,目前已被广泛的应用在商业、网络安全等领域。

    6. 统计描述

    统计描述是根据数据的特点,用一定的统计指标和指标体系,表明数据所反馈的信息,是对数据分析的基础处理工作,主要方法包括:平均指标和变异指标的计算、资料分布形态的图形表现等。

    7. 链接预测

    链接预测是一种预测数据之间本应存有的关系的一种方法,链接预测可分为基于节点属性的预测和基于网络结构的预测,基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息,利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比,网络结构数据更容易获得。复杂网络领域一个主要的观点表明,网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

    8. 数据压缩

    数据压缩是指在不丢失有用信息的前提下,缩减数据量以减少存储空间,提高其传输、存储和处理效率,或按照一定的算法对数据进行重新组织,减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

    9. 因果分析

    因果分析法是利用事物发展变化的因果关系来进行预测的方法,运用因果分析法进行市场预测,主要是采用回归分析方法,除此之外,计算经济模型和投人产出分析等方法也较为常用。

    以上是数据分析员应熟练掌握的9种数据分析思维方法,数据分析员应根据实际情况合理运用不同的方法,才能够快速精确的挖掘出有价值的信息!

  • ?

    撰写数据分析报告的常用套路!

    半张嘴

    展开

    数据分析报告是通过对事物数据全方位的科学分析来评估其环境及发展情况,为决策者提供科学、严谨的依据,降低风险。

    要注意四大原则,规范性-业内专业术语,重要性-选取关键指标,谨慎性-真实完整科学可靠,创新性-新的研究模型和分析方法。

    数据分析报告三大作用,展示分析结果,严重分析质量,提供决策参考。

    数据报告常用套路请看下文:

    一 、基础分析指标

    1 平均数:算术平均数,即一组数据的算数平均值,代表总体一般水平,掩盖总体内各单位差异。

    2 绝对数:客观现象总体在一定时间内,地点条件下的总规模,总水平的综合性指标。

    3 相对数:两个有联系的指标对比计算而得到的数值,用以反映客观现象之间的数量联系程度的综合指标。基本公式= 比较数值(比数)/基础数值(基数)。

    4 百分比:相对数中的一种。

    5 百分点:不同时期以百分数的形式表示的相对指标的变动幅度。1个百分点=1%。

    6 频数:一组数据中个别数据重复出现的次数,是绝对数。

    7 频率:每组类别次数与总次数的比值,代表某类别在总体中出现的频繁程度。,是相对数。

    8 比例:在总体中各部分数值占全部数值的比重,反映总体的构成与结构,是相对数。

    9 比率:不同类别数值的对比,反映一个整体中各部分间的关系,是相对数。

    10 倍数:一般表示增长或上升幅度,不用于减少或下降,是相对数。

    11 番数:指原来数量的2的N次方倍。翻一番是原来的2倍,是相对数。

    12 环比:与前一个统计期比较所得的数值,反映事物逐期发展的情况。

    13 同比:与历史同时期进行比较所得数值,反映事物发展相对情况。

    二、常用表达术语

    1) 现状:

    数据显示。。。

    数据同时表明。。。

    从图表可以看出。。。

    据。。。报告数据显示。。。

    显然。。。不难发现。。。

    基于。。。我们判断。。。

    研究发现

    值得注意的是

    综上所述

    2)对比

    环比、同比增长、下降

    相对较好(高)、较差(低)

    相比明显增长/略微下滑

    数据增幅、降幅达

    进入高速发展期

    月均增长

    与目标的差距主要体现在

    离目标进度还有。。。差距

    排名前三。。。依次为

    对比来看。。。增长不足。。。后期表现乏力

    3)构成

    市场占有率达

    主要集中在

    数据呈。。。分布

    其中。。。主要是。。

    4)趋势

    从上表/图可以看出

    对比数据可得

    趋势平缓、回落

    数据呈上升趋势

    5)原因

    数据上涨/下跌的原因如下:

    主要原因包括:1)2)3)

    主要因。。。引起

    6)预测

    保守预测、估计

    如果按照。。。。的速度发展。。。预计(预估)。。。能完成(完不成)

    7)建议

    有分析得出,需要改善的地方

    未来需要优化/扩大的地方如下:

    后期应着重

    建议一方面。。。另一方面

    建议。。。以期达到。。。目的

    提高。。。改善。。。缓解。。。最终

    三、总结

    只有明确分析的目的,才能写好分析报告,套路常常有,用心才最重要!

    欢迎关注“云途数据”,回复关键词“产业报告”,免费下载《2017大数据产业报告》

  • ?

    数据分析的框架和常用方法

    念之

    展开

    第一部分:数据分析框架

    为了分析问题的聚焦,我们具体拿互联网电商来举例子说明,至于其他的比如互联网金融、教育、社交等等,可以依此借鉴。

    (1)从互联网实体角度分析。我们可以从以下7个角度构建互联网数据分析体系。

    买家:基本特征分析、交易行为分析、流量行为分析、售后满意分析等

    卖家:基本特征分析、经营效果分析、流量曝光分析、售后满意分析、产品分析等

    产品:基本特征分析、交易行为分析、流量曝光分析、售后满意分析等

    行业:基本特征分析、经营分析、曝光分析、售后分析、产品分析、买卖家分析等

    设备:移动端分析、PC端分析、访问对象分析、cookie分析、session分析等

    日志:访问对象URL分析、cookie分析、session分析等

    事件:登录、流量、点击、曝光、下单、交易、支付、物流、评价、纠纷、仲裁等分析

    这个实体分析方法,可以称得上是万能的数据分析框架,适用于所有的互联网企业。我曾工作过的阿里巴巴、腾讯、随手记等企业,我个人都是按照这个套路去构建互联网的分析体系。

    (2)从用户的关键路径进行分析。

    关键路径分析方法是一个行之有效的常用分析方法,也是做数据化运营的常用工具。关键路径分析让我们聚焦于核心环节,排除杂音,定位出业务的核心问题,快速的加以解决。在应用关键路径分析时候,我们往往先把可能的结果、以及最关心的结果梳理出来,以结果为导向追溯行为的根本,当然,也可以从行为的初始出发,梳理出所有可能的行为路径,找出关键行为,导向我们最终设计好的结果中去。下面我们举例子说明下:

    在电商网站中,我们假设我们运营目标是让用户购买网站上的商品(在这里,我要插说几句,我们的目标有时候不只是购买,在精细化运营中,往往会根据用户的生命周期,确定关键路径的目标,比如对于一个进入期的新买家,我们通常会发一些购物攻略加以指导,针对流失期的买家,关键路径的结果我们可能导向申领我们的优惠劵之类,等等。关于这一部分数据化精细化运营方面,在大数据应用系列的数据化运营小讲,我们会详细加以分享,敬请关注)。刚才谈到,我们假设我们运营目标是让用户购买网站上的商品,那么我们可以把关键路径,也即,用户的购买路径梳理出来:

    a.用户登录/注册》搜索关键词》查看商品详情》加入购物车》点击下单》确认付款》确认收货

    b.用户搜索关键词》类目和店铺》卖家交流》点击下单》确认付款》确认收货

    通过这种关键路径,我们还常常进行漏斗分析,从而进行流量的转化分析,找出影响到达最终结果的关键环节。

    (3)从KPI拆解角度分析。

    KPI拆解分析方法也是比较常见的互联网分析方法。核心思想是先定一个总体目标,比如今年营收12亿,那么可以把这个指标拆解到各个业务线去,业务线再进行拆分,比如分解为12个月,每个月需要达成营收额,接着,就是达成该营收额,根据流量的转化情况,估算出需要多少的流量,目前平台已有多少流量,需要外拓引流多少流量才能达成目标,这就可以层层的拆解指标,最终或落地到产品团队或部分到运营团队去承担KPI任务。

    第二部分:数据分析常用分析方法

    常用的数据分析方法有:PEST分析方法、5W2H分析法、4P营销分析法、逻辑树分析法、指标拆分法、对比分析法、漏斗分析法、用户行为分析法、用户生命周期分析法、金字塔分析法等等,下面我们逐个的简单说明下

    (1)PEST分析方法

    这个方法主要应用于行业研究中。从政治(Political)、经济(Economic)、社会(Social)、技术(Technical),简称PEST角度对一个行业进行比较分析。下面我们举一个例子:我们小讲开始就谈到数据分析行业前景,那么我们在此利用PEST分析下大数据行业前景如何?

    (2)5W2H分析法

    这个方法主要应用于用户行为研究和专项问题分析,从时间、地点、人物、事情、原因、方式、价格等7个方面对一个问题进行刻画研究。请看如下案例二:

    (3)4P营销理论

    这个方法主要应用于公司整体经营状况分析,是比较经典的营销分析方法。该方法从产品、价格、渠道、促销等四方面对企业经营状况进行全面分析。请看如下案例三:

    (4)逻辑树分析法

    这个方法也称作问题树分析方法,主要应用于针对业务存在的问题进行专题分析,是数据分析方法中非常常见的一种分析方法。请看案例四:

    (5)指标拆分法

    这个方法也是经常适用的方法,特别是为了达成业务目标,我们往往都会先定一个总的目标,然后再初步的拆解指标。下面我们讲讲案例五:

    (6)对比分析法

    对比分析法是非常常用的基础分析方法,虽然方法特别简单,但几乎所有的分析报告中,都会采取对比分析方法。比如去年同期相比、上个月环比、目标和实际达成相比、各个部门和业务线相比、行业内竞品比较、营销效果对比,等等。这里需要注意的是我们不管是横向比较还是纵向比较,比较的双方一定要有可比性,并且在同一个维度、粒度上去比较,要不是毫无意义的。

    (7)漏斗分析法

    漏斗分析方法经常应用于产品的转化分析。举个电商的例子:用户登录网站1千万,浏览商品详情页200万,加入购物车80万,下单支付50万,支付成功40万。每一步都是转化率的问题。针对关键路径进行漏斗分析能够帮助我们快速的定位到问题所在。从而能够及时做出决策。

    (8)用户行为理论

    也称用户的活动周期理论。该分析方法,往往用于对用户的基础研究中。用户行为过程分为认知、熟悉、试用、使用和忠诚5个步骤。

    (9)用户生命周期理论

    该分析方法,也往往用于用户基础研究中,在互联网领域应用广泛。用户的生命周期分为进入期、成长期、成熟期、衰退期、流失期。每一个阶段用户的行为特征是不一样的,其价值是不一样的,需要精细化的运营。不可急功近利。

    (10)金字塔理论

    金字塔这个分析方法正好和漏斗分析方法相反,它是基数大,上层小。最初是英国历史学家、政治学家诺斯科特·帕金森(C.Northcote Parkinson)在《帕金森定律》(Parkinson's Law)一书中,论述在行政管理中,行政机构会像金字塔一样不断增多,行政人员不断膨胀,每个人都很忙,但组织效率越来越低下。这条定律又被称为“金字塔上升”现象。后来,人们将这一理论延伸应用,不再只限于本意。大凡是基数大,上层小,符合金字塔特征的研究分析都可以套用到该理论中。所以,金字塔这幅图也常常见于各分析报告中。比如,分析用户群体特征(马斯洛需求层次模型、用户价值模型等等)

    综上所述种种数据分析方法,如果在一份分析报告中,能够把这些分析方法都灵活反复体现和应用,那么,这个分析报告一定会比较丰满的。

    第三部分:数据分析的流程

    数据分析的流程主要分为六步骤,遵循这种方法,一个完整的数据分析项目就出来了。

    (1)明确分析目的:我们接到一个分析任务,首先要弄清楚我们分析的对象是什么,要达成怎样的目的,不能陷于为了分析而分析。然后,要熟悉行业和业务,透彻的理解分析的目的,构建起分析的角度和体系。

    (2)进行数据准备:我们有哪些数据,通过什么途径可以获取到需要的数据,往往涉及到内部数据和外部数据,内部数据常常是我们的业务库或者基础数据团队建立起来的数据仓库系统,外部数据方面,现在各行各业都有大数据交易源,还有大量的公开市场数据。

    (3)进行数据加工处理:主要通过数据清洗工作,对重复值进行去重处理、对异常值错误值进行修正或剔除、对缺失值进行填充修正或删除。如果软件环境为支持大数据量情况下,还需要对数据进行抽样处理。经过这些预处理后,最重要的就是进行数据的计算统计、合并转换,让数据符合目标分析过程。

    (4)进行数据分析挖掘:绝大部分的分析目标达成都可以刚才介绍的分析方法外加常见统计分析等达到。主要的分析:整体和组成分析、走势趋势分析、均值方差分析、排序TOP分析、同比环比纵横比较分析、频度频率分析、相关关系分析、数量和比例的双坐标分析、逻辑结构分析、金字塔分析、漏斗图分析、矩阵图分析、指标拆解分析、PEST分析、5W2H分析法、4P营销分析等等。还有一部分分析需要到更高级的数据分析方法才能得到结论。

    (5)进行数据结果图表展现:数据分析的目的就是要解决问题的,往往数据分析师不是需求的发起人,那么这就需要数据分析师把分析的数据和结论展现给需求方。最佳的方式就是通过图表,有理有据形象的重点突出且专业的表达出来。根据第(4)步骤的分析,我们可以选取恰当的图标。比如常用的有:折线图、柱形图、条形图、饼图、冒泡图、散点图、矩阵图、雷达图、双坐标图、瀑布图、帕累托图、金字塔图、漏斗图等等。

    正如我之前的一篇文章 《图说可视化,报表也能做得如此酷炫!》,讲到帆软报表制作数据可视化的几个关键点。

    (6)写出分析报告:数据分析最终的结论全部体现在分析报告中,一个分析师水平如何,只要看他写过的一份分析报告就可以完全清楚了。综合灵活应用这么多的分析方法和各种各样的展示图表,分析报告一定会显得非常丰满。下面一个问题我们再详细和大家讨论数据分析报告的相关事情。

  • ?

    Top30数据分析师常见面试题(附答案)!

    依凝

    展开

    【IT168 评论】这是一个用数据说话的时代,也是一个依靠数据竞争的时代。各大互联网公司都在不断完善自己的数据分析团队,数据分析师的薪酬也是水涨船高。业内人士透露,应届毕业生的平均薪资大概在6K左右,1至3年经验的大概在10K到20K之间,5至10年经验的大概在25K以上。薪资还是十分诱人的,那么,如何快速成长为一名年薪百万的数据分析师呢?快来看看,以下30道数据分析相关面试题,你会多少?

    1、分析数据还要写java代码是不是效率有点低?

    2、成为一名数据分析师需要具备哪些技能?

    要成为一名数据分析师,需要掌握丰富的报告软件包(Business Objects),编程语言(XML,Javascript或ETL框架),数据库(SQL,SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计,数据模型,数据挖掘等方面的技术知识以及分析大型数据集(SAS,Excel,SPSS等)的统计软件包知识。

    3、分析项目的各个步骤是什么?

    分析项目的各个步骤包括:

    ·问题定义

    ·数据挖掘

    数据准备

    模型化

    数据认证

    实施跟踪

    4、分析的结果数据特别大,在线请求这些结果数据扛不住了,咋搞?

    5、列出数据清理的最佳实践?

    一些数据清理的最佳实践包括:

    按不同的属性排序数据

    对于大数据集,逐步清理并改进数据,直到获得良好的数据质量

    对大型数据集,可以先将其分解为小数据集,使用更少的数据将增加迭代速度

    要处理常见的清理任务,请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值,或者正则表达式搜索和替换,消除所有不匹配正则表达式的值

    如果在数据清理方面存在问题,请按照估计的频率进行安排并解决问题

    分析每列的汇总统计数据(标准差,均值,缺失值的数量)

    保持对每一个清理操作的跟踪,以便可以根据需要更改或删除操作

    6、海量日志数据,提取出某日访问百度次数最多的那个IP。

    7、可用于数据分析的一些最佳工具清单有什么?

    Tableau

    RapidMiner

    OpenRefine

    KNIME

    Google Search Operators

    Solver

    NodeXL

    io

    Wolfram Alpha’s

    Google Fusion tables

    8、数据挖掘和数据分析之间的区别是什么?

    数据挖掘和数据分析之间的区别在于:

    数据分析:针对个别属性的实例分析。提供有关属性的各种信息,如值范围,离散值及其频率,空值的发生,数据类型,长度等。

    数据挖掘:重点关注聚类分析,异常记录检测,依赖关系,序列发现,多个属性之间的关系控制等。

    9、给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?

    10、用于处理分布式计算环境中应用程序大数据集的Apache框架有哪些?

    Hadoop和MapReduce是由Apache开发的用于处理分布式计算环境中应用程序大数据集的编程框架。

    11、腾讯面试题:给40亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在40亿个数当中?

    12、解释KNN插补方法是什么?

    在KNN插补中,通过使用与其值缺失的属性最相似的属性值来推断缺少的属性值。通过使用距离函数,确定两个属性的相似度。

    13、数据分析师使用的数据验证方法是什么?

    通常,数据分析师用于数据验证的方法是数据筛选和数据验证。

    14、解释应该如何处理可疑或缺失数据?

    准备提供所有可疑数据信息的验证报告。它应该提供信息,如失败的验证标准以及发生的日期和时间

    有经验的数据分析师应该检查可疑数据以确定其可接受性

    应该找出无效数据并用验证码替换

    对缺失数据进行处理,使用最佳分析策略,如删除,单一插补方法,基于模型的方法等。

    15、如何避免过拟合?

    过拟合表现在训练数据上的误差非常小,而在测试数据上误差反而增大。其原因一般是模型过于复杂,过分得去拟合数据的噪声和outliers。常见的解决办法是正则化:增大数据集,正则化

    16、解释异常值是什么?

    异常值是分析师使用的一个术语,指的是一个远远超出样本总体模式的值。有两种类型的异常值:

    Univariate

    Multivariate

    17、解释分层聚类算法是什么?

    分层聚类算法结合并划分现有的组,创建分层结构并展示组划分或合并的顺序。

    18、解释K均值算法是什么?

    K均值是一种著名的分区方法。对象被分类为属于K个组中的一个,k是先验选择的。

    在K均值算法中:

    簇是球形的:簇中的数据点以该簇为中心

    簇的方差/扩展是相似的:每个数据点属于最接近的簇

    19、数据分析师所需掌握的关键技能是什么?

    数据科学家必须具备以下技能:

    数据库知识

    数据库管理

    数据混合

    数据查询

    数据操作

    预测分析

    基本描述性统计

    预测建模

    高级分析

    大数据知识

    大数据分析

    非结构化数据分析

    机器学习

    演示技巧

    数据可视化

    报告设计

    20、解释协同过滤是什么?

    协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。

    协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块,该模块通常会获取用户的浏览记录信息,以弹出用户可能喜欢或需要的商品。

    21、大数据中通常会使用到哪些工具?

    大数据中使用的工具包括:

    Hadoop

    Hive

    Pig

    Flume

    Mahout

    Sqoop

    22、解释什么是KPI,实验设计和80/20规则?

    关键绩效指标(KPI):它代表关键绩效指标(Key Performance Indicator),它是关于业务流程的报告或图表

    实验设计:这是用于分解数据,采样和建立数据以进行统计分析的初始过程

    80/20规则:这意味着你收入的80%来自客户的20%

    23、解释Map Reduce是什么?

    Map-Reduce是一个处理大型数据集的框架,可以将它们分解成子集,在不同的服务器上处理每个子集,然后混合每个子集上获得的结果。

    24、解释聚类是什么?聚类算法的属性?

    聚类是一种应用于数据的分类方法。聚类算法将数据集划分为自然组或集群。

    聚类算法的属性是:

    Hierarchical or flat

    Iterative

    Hard and soft

    Disjunctive

    25、对数据分析师有用的统计方法是什么?

    对数据科学家有用的统计方法是

    贝叶斯方法

    马尔科夫过程

    空间和集群进程

    统计数据,百分位数,异常值检测

    计算技巧等

    简单的算法

    数学优化

    26、时间序列分析是什么?

    时间序列分析可以在频域和时域两个域中完成。在时间序列分析中,可以通过指数平滑,对数线性回归等各种方法分析数据,来预测特定过程输出。

    27、解释空间自相关分析是什么?

    空间自相关分析是地理空间分析的常用形式。它由一系列为不同空间关系计算的估计自相关系数组成。当原始数据表示为距离而不是单个点的值时,它可以用于构建基于距离的数据相关图。

    28、散列表是什么?散列表冲突是什么?如何避免?

    在计算中,哈希表(散列表)是键值对的映射,这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引,从中可以获取所需的值。

    当两个不同的键散列到相同的值时,发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。

    为了避免散列表碰撞,有很多技巧,这里列出两个:

    分离链接:它使用数据结构来存储散列到同一个插槽的多个项目。

    再探测:在找到查找位置的index的index-1,index+1位置查找,index-2,index+2查找,依次类推。这种方法称为线性再探测。

    29、解释 imputation是什么?列出不同类型的插补技术?哪种插补方法更有利?

    在插补过程中,我们用替代值替换丢失的数据。插补技术涉及的类型有:

    单一插补

    热点插补:从随机选择的类似记录中推断缺失值

    冷却板插补:与热点插补相同,但更先进,从其他数据集中选择供体

    平均估算:在所有其他情况下,用该变量的平均值代替缺失值

    回归插补:用基于其他变量的变量预测值替换缺失值

    随机回归:与回归插补一样,但它将平均回归方差加入到回归估计中

    多重插补:与单个插补不同,多重插补会多次估计值

    虽然单一插补法被广泛使用,但并不能反映随机丢失数据所造成的不确定性。因此,在数据丢失的情况下,多重插补更有利。

    30、解释N-gram是什么?

    N-gram是来自给定序列文本或语音的n个项目的连续序列。这是一种以(n-1)形式预测下一个项目的概率语言模型。

  • ?

    最常用的四种大数据分析方法

    元若云

    展开

    本文主要讲述数据挖掘分析领域中,最常用的四种数据分析方法:描述型分析、诊断型分析、预测型分析和指令型分析。

    当刚涉足数据挖掘分析领域的分析师被问及,数据挖掘分析人员最重要的能力是什么时,他们给出了五花八门的答案。

    其实我想告诉他们的是,数据挖掘分析领域最重要的能力是:能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

    使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性,是十分有必要的。其中的一个工具,叫做四维分析法。

    简单地来说,分析可被划分为4种关键方法。

    下面会详细介绍这四种方法。

    1. 描述型分析:发生了什么?

    这是最常见的分析方法。在业务中,这种方法向数据分析师提供了重要指标和业务的衡量方法。

    例如,每月的营收和损失账单。数据分析师可以通过这些账单,获取大量的客户数据。了解客户的地理信息,就是“描述型分析”方法之一。利用可视化工具,能够有效的增强描述型分析所提供的信息。

    2. 诊断型分析:为什么会发生?

    描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据,诊断分析工具能够让数据分析师深入地分析数据,钻取到数据的核心。

    良好设计的BI dashboard能够整合:按照时间序列进行数据读入、特征过滤和钻取数据等功能,以便更好的分析数据。

    3. 预测型分析:可能发生什么?

    预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值,或者是预估事情发生的时间点,这些都可以通过预测模型来完成。

    预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

    在充满不确定性的环境下,预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

    4. 指令型分析:需要做什么?

    数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析,来帮助用户决定应该采取什么措施。通常情况下,指令型分析不是单独使用的方法,而是前面的所有方法都完成之后,最后需要完成的分析方法。

    例如,交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素,来帮助选择最好的回家路线。

    结论

    最后需要说明,每一种分析方法都对业务分析具有很大的帮助,同时也应用在数据分析的各个方面。

    原文链接:http://kdnuggets/2017/07/4-types-data-analytics.html

    转载请注明出自:葡萄城控件

    关于葡萄城

    葡萄城是全球控件行业领导者,世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商,为超过75%的全球财富500强企业提供服务。

  • ?

    十种常用的数据分析方法

    沙问凝

    展开

    道家强调四个字,叫“道、法、术、器”。

    层次区别:

    “器”是指物品或工具,在数据分析领域指的就是数据分析的产品或工具,“工欲善其事,必先利其器”;

    “术”是指操作技术,是技能的高低、效率的高下,如对分析工具使用的技术(比如用Excel进行数据分析的水平);

    “法”是指选择的方法,有句话说“选择比努力重要”;

    “道”是指方向,是指导思想,是战略。

    在数据分析和产品、运营优化方面,数据分析方法是其核心,属于“法”和“术”的层次。

    那么如何做好数据分析呢,今天我们来讲讲互联网运营中的十大数据分析方法。

    01 细分分析

    细分分析是分析的基础,单一维度下的指标数据的信息价值很低。

    细分方法可以分为两类, 一类逐步分析, 比如:来北京市的访客可分为朝阳,海淀等区; 另一类是维度交叉, 如:来自付费SEM的新访客。

    细分用于解决所有问题。

    比如漏斗转化,实际上就是把转化过程按照步骤进行细分,流量渠道的分析和评估也需要大量用到细分的方法。

    02 对比分析

    对比分析主要是指将两个相互联系的指标数据进行比较,从数量上展示和说明研究对象的规模大小,水平高低,速度快慢等相对数值, 通过相同维度下的指标对比,可以发现,找出业务在不同阶段的问题。

    常见的对比方法包括: 时间对比,空间对比,标准对比。

    时间对比有三种: 同比,环比,定基比。

    例如: 本周和上周进行对比就是环比;本月第一周和上月第一周对比就是同比;所有数据同今年的第一周对比则为定基比。通过三种方式,可以分析业务增长水平,速度等信息。

    03 漏斗分析

    转化漏斗分析是业务分析的基本模型, 最常见的是把最终的转化设置为某种目的的实现,最典型的就是完成交易。但也可以是其他任何目的的实现,比如一次使用app的时间超过10分钟。

    漏斗帮助我们解决两方面的问题:

    在一个过程中是否发生泄漏,如果有泄漏,我们能在漏斗中看到,并且能够通过进一步的分析堵住这个泄漏点。

    在一个过程中是否出现了其他不应该出现的过程,造成转化主进程收到损害。

    04 同期群分析

    同期群(cohort)分析在数据运营领域十分重要,互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较,来分析哪些因素影响用户的留存。

    同期群分析深受欢迎的重要原因是十分简单,但却十分直观。 同期群只用简单的一个图表,直接描述了用户在一段时间周期(甚至是整个LTV)的留存或流失变化情况。

    以前留存分析只要用户有回访即定义为留存,这会导致留存指标虚高。

    05 聚类分析

    聚类分析具有简单,直观的特征, 网站分析中的聚类主要分为:用户,页面或内容,来源。

    用户聚类主要体现为用户分群,用户标签法;页面聚类则主要是相似,相关页面分组法;来源聚类主要包括渠道,关键词等。

    例如: 在页面分析中,经常存在带?参数的页面。 比如: 资讯详情页面,商品页面等,都属于同一类页面。简单的分析容易造成跳出率,退出率等指标不准确的问题,通过聚类分析可以获取同类页面的准确数据用于分析场景。

    06 AB测试

    增长黑客的一个主要思想之一,是不要做一个大而全的东西,而是不断做出能够快速验证的小而精的东西。 快速验证,那如何验证呢?主要方法就是AB测试。

    比如: 你发现漏斗转化中中间有漏洞,假设一定是商品价格问题导致了流失,你看到了问题-漏斗,也想出了主意-改变定价。但主意是否正确,要看真实的用户反应,于是采用AB测试,一部分用户还是看到老价格,一部分用户看到新价格,若你的主意真的管用,新价格就应该有更好的转化,若真如此,新价格就应该确定下来,如此反复优化。

    07 埋点分析

    只有采集了足够的基础数据,才能通过各种分析方法得到需要的分析结果。

    通过分析用户行为,并细分为:浏览行为,轻度交互,重度交互,交易行为,对于浏览行为和轻度交互行为的点击按钮等事件,因其使用频繁,数据简单,采用无埋点技术实现自助埋点,即可以提高数据分析的实效性,需要的数据可立即提取,又大量减少技术人员的工作量,需要采集更丰富信息的行为。

    如: 重度交互(注册,邀请好友等)和交易事件(加购物车,下订单等)则通过SDK批量埋点的方式来实施。

    08 来源分析

    流量红利消失,我们对获客来源的重视度极高,如何有效的标注用户来源,至关重要。

    传统分析工具,渠道分析仅有单一维度,要深入分析不同渠道不同阶段效果,SEM付费搜索等来源渠道和用户所在地区进行交叉分析,得出不同区域的获客详细信息,维度越细,分析结果也越有价值。

    09 用户分析

    用户分析是互联网运营的核心, 常用的分析方法包括:活跃分析,留存分析,用户分群,用户画像,用户细查等。

    可将用户活跃细分为浏览活跃,互动活跃,交易活跃等,通过活跃行为的细分,掌握关键行为指标;通过用户行为事件序列,用户属性进行分群,观察分群用户的访问,浏览,注册,互动,交易等行为,从而真正把握不同用户类型的特点,提供有针对性的产品和服务。

    用户画像基于自动标签系统将用户完整的画像描绘清晰,更有力的支撑运营决策。

    10 表单分析

    填写表单是每个平台与用户交互的必备环节,优秀的表单设计,对转化率的提升起到重要作用。

    用户从进入表单页面之时起,就产生了微漏斗,从进入总人数到最终完成并成功提交表单人数,这个过程之中,有多少人开始填写表单,填写表单时,遇到了什么困难导致无法完成表单,都影响最终的转化效果。

    以上是常见的数据分析方法,更多应用方法需要根据业务场景灵活应用。

数据分析常用

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP