- ?
数据分析学习笔记——数据可视化
一米八
展开
文 | 张俊红
写在前面:本篇来源于书籍《数据之美—一本书学会可视化设计》的学习后整理所得。全篇主要围绕数据可视化的5个步骤展开,其中重点内容是第三步:“应该使用哪种可视化形式”。本篇旨在带你全面认识了解可视化,所以一些具体的工具的使用并未涉及,只是罗列类一些常用的可视化工具。
你有什么数据
关于可视化,人们一般的理解是先设想要达到的可视化效果,然后在去寻找相应的数据。
这样经常会造成:“现有的数据不能够做出事先设想的可视化效果,或者是想要制作理想的图表需要获取更多的数据。”
而实际上关于可视化的步骤应该是先认清你有什么数据。
为了更好的进行可视化,我们将数据分为分类数据、时序数据、空间数据、多元变量数据四大类。
1、分类数据
分类数据是指针反映事物类别的数据。如:用户的设备可以分为Iphone用户和andorid用户两种;支付方式可以分为支付宝、微信、现金支付三种等。诸如此类的分类所得到的数据被称为分类数据。
2、时序数据
时序数据也称时间序列数据,是指同一统一指标按时间顺序记录的数据列。如:每个月的新增用户数量、某公司近十年每年的GMV等。诸如此类按时间顺序来记录的指标对应的数据成为时序数据。
3、空间数据
空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据,它可以用来描述来自现实世界的目标,它具有定位、定性、时间和空间关系等特性。空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。
4、多变量
数据通常以表哥形式的出现,表格中有多个列,每一列代表一个变量,将这份数据就称为多变量数据,多变量常用来研究变量之间的相关性。即用来找出影响某一指标的因素有哪些。
关于数据你想了解什么
关于数据你想了解什么也就是针对数据进行提问。
你想从中得到什么结论(平台上的用户中哪个地区的用户较多、数据分析领域最具有权威的人物是谁、2016年的GMV环比去年是增加类还是降低类)。
了解什么到什么现象(学生成绩好坏可能与家庭背景是否具有一定的相关性、应届生收入和毕业院校是否有一定的相关性)。
应该使用哪种可视化形式
在前面我们已经说过,在做可视化的过程中,我们需要先明确我们有什么数据,然后再去研究这些数据适合做什么类型的可视化,再然后从这些适合的可视化类型中选择能够很好的满足我们需求的(即能够更好的帮助我们了解我们想要的)视图。
为了找到合适的可视化形式我们需要先介绍两个内容:有哪些可视化形式、如何让可视化更加清晰。
1、有哪些可视化形式
基于数据的可视化形式有:视觉暗示、坐标系、标尺、背景信息以及前面四种形式的任意组合。
(1)视觉暗示:
是指通过查看图表就可以与潜意识中的意识进行联系从而得出图表表达的意识。常用的视觉暗示主要有:位置(位置高低)、长度(长短)、角度(大小)、方向(方向上升还是下降)、形状(不同形状代表不同分类)、面积(面积大小)、体积(体积大小)、饱和度(色调的强度,就是颜色的深浅)、色调(不同颜色)。
(2)坐标系:
这里的坐标系和我们之前数学中学到的坐标系是相同的,只不过坐标轴的意义可能稍有不同。常见的坐标系种类有:直角坐标系、极坐标系和地理坐标系。
大家对直角坐标系、极坐标系比较熟悉,这里说一下地理坐标系。
地理坐标系是使用三维球面来定义地球表面位置,以实现通过经纬度对地球表面点位引用的坐标系。但是我们在进行数据可视化的时候一般用投影的方法把其从三维数据转化成二维的平面图形。
(3)标尺:
前面说到的三种坐标系只是定义了展示数据的维度和方向,而标尺的作用是用来衡量不同方向和维度上的大小,其实和我们熟悉的刻度挺像。
(4)背景信息:
此处的背景和我们在语文中学习到的背景是一个概念,是为了说明数据的相关信息(who、what、when、where、why),使数据更加清晰,便于读者更好的理解。
(5)组合组件:
组合组件就是根据目标用途将上面四种信息进行组合。
2、如何让可视化更加清晰
如何让可视化更加清晰:
(1)建立视觉层次:
把图表在视觉上进行分层,把非重点信息弱化,重点信息强化突出。
(2)增强图标可读性:
● 让数据点更容易比较
● 留白,图表之间留有一定空间的空白。
(3)高亮显示重点内容:
高亮就是以特殊形式显示的内容,便于读者在一堆数据中很快抓住重点。
(4)注释可视化:
一般指图标的标题部分。帮助读者更好地理解图表的意思。
能够进行可视化的工具有哪些
1、Microsoft Excel
对于这个软件大家应该并不陌生,对于一般的可视化这个软件完全足矣,但是对于一些数据量较大的数据则不太适合。
2、Google Spreadsheets
Google Spreadsheets是基于Web的应用程序,它允许使用者创建、更新和修改表格并在线实时分享数据。基于Ajax的程序和微软的Excel和CSV(逗号分隔值)文件是兼容的。表格也可以以超文本链接标记语言(HTML)的格式保存。
3、Tableau Software
Tableau Software现在比较受大家的欢迎,既可以超越Excel做一些稍微复杂的数据分析,又不用像R、Python那种编程语言进行可视化那么复杂。好多人都有推荐这款软件。
4、一些需要编程性语言的工具
R语言、JavaScript、HTML、SVG、CSS、Processing、Python。这里主要是列举一下有哪些编程语言可以实现可视化,具体如何实现需要读者自行学习。我目前主要是在学python的可视化,稍后会分享一篇用python进行可视化的学习笔记。
透过可视化你看到了什么、有什么意义
把数据可视化以后,你需要从中发现一些数据之间的相关性以及通过数据暴露出来的问题。比如你会发现某天的新注册用户显著高于或低于其他天的数量,你发现这个问题了,你就需要去调查该问题出现的原因,然后解决他。
或者是你发现某两个指标具有很强的线性相关关系,那么你就需要去通过其他方面去验证这个情况是真实存在的还只是偶然情况。
End.
来源:36大数据
- ?
数据分析:浅谈统计学在生活中的应用,看完长见识了!
蒋海冬
展开
浅谈统计学在生活中的应用
统计学并不是一门独立存在的学科,它是以数学知识和数理统计作为基础,将数理统计方法和其他学科专业知识交叉融合形成的具有极强推断性的一种分析方法。现阶段,随着科学技术的快速发展,为了加强对自然社会各个领域现象的判断和整理能力,将统计学应用在生活各个方面已经成为现阶段的数理统计的一种便捷方法。
一、统计学的概念 统计学指的是调研人员通过一些列的手段对整理出来的数据信息进行整理分析,从而推断出调研对象本质,甚至可以对未来的类似事情进行预判的一门综合性学科。在进行统计学整体分析的过程中需要用到大量的数学知识以及其他相关学科的专业知识,统计学由于其自身独特的性质,在社会科学和自然科学的各个领域几乎都可以使用。 二、统计学在生活中的应用分析 (一)统计学在经济学中的重要应用 运用统计学对生活中的数据信息进行整理分析,首先要学习统计学的基础知识以及数据统计个分析等学科,这些基础知识和方法都是在开展统计学应用活动之前调研人员所必须掌握的。统计学课程的学习作为经济学学科当中的重要分支,在经济学课程中经常被应用,例如,经济学的计量统计就需要根据统计学在金融里面的重要意义和地位作为基础,将金融知识和统计学知识相结合,将金融计量和时间的序列进行结合,对收集到的金融数据进行整理分析,最后得出金融计量和时间序列的一定关系。 统计学在金融经济学中有着十分重要的工具性作用,主要包括两个方面,分别是:在思想上而言,统计学是对数据统计分析结果进行研究,最后得出研究对象的判断结果,为了保证研究结果的准确可靠性,统计学在进行数据整理分析过程中必须是带着严谨的科学态度,这种严谨的科学态度对于经济学的相关理论分析具有十分重要的指导地位,这是由于研究人员在对金融量进行数学分析的过程中,为了保证金融数学分析结果的准确可靠性就必须保证金融量数据收集分析等预处理过程是科学合理的;其本收集整理次,统计学是经济学进行科学试验研究最优化的选择,经济试验研究活动的多样性以及研究对象之间错综复杂的关系导致经济学的试验研究活动受到诸多限制,运用统计学进行经济学试验研究活动,使得经济学实验研究的对象变得简洁明了,降低试验研究的成本支出。从统计学在经济学中的应用我们可以看出,经济学当中的统计学应用主要是运用了统计学当中经济必然性的思想,使得经济学当中的统计结论不具备复杂的思想成本。
(二)统计学在医学中的重要应用 统计学在医学中应用的主要原因就是生物医学中存在的不确定性和变异性。生物医学主要的研究目标就是与人体健康相关的不确定因素,也就是通常所说的医学变异现象,变异现象在生物体当中是普遍存在的,例如,对于外在条件基本相同的两个病人,在相同的条件下进行治疗时,却有可能出现有的病人被治愈,有的病人治疗效果不明显,甚至还会出现死亡的现象。造成这些外在条件相同的生命体却出现不同程度治愈的主要原因就是生物医学中存在的不确定性或者是人体中存在的错综复杂的随机因素,客观差异存在的原因是因为某种偶然性的潜在的揭露必然性的发现。 在医学临床统计中发现,对于同一种病因的客观性规律进行调查,对于健康人的共同作用的交织与疗效的考查的病人很少。在医学当中运用统计学最主要的就是通过观察不同疗效病人的医疗诊断效果,将实际的医学诊断治疗效果与医学理论和假设进行验证,运用概率论以及数学方法对对比结果进行分析、判断,运用电子计算机等相关软件设备对研究对象的指标进行记录,并绘制相应的图表等,通过综合运用多种数理统计方法,得出与研究对象相关的研究结果。将统计学应用到医学当中,可以促进统计方法和多变量分析法在医学试验研究中的应用,对未知病因所造成的医疗诊断事故进行分析,可以促进医疗诊治手段的不断创新發展。
(三)统计学在体育比赛中竞技指标的应用。 统计学在体育比赛中的应用主要是用统计的职业联赛的数字反应比赛队伍能否成为世界顶级,这是因为在体育比赛中应用统计学可以对比赛中的胜率进行分析,主要是将每个队员在每个赛季比赛的分数和常规赛场上的分数进行统计,通过一系列的数学计算分析,制定出每个队员得分平均值和标准差之间的正态分布图,通过正态分布图的稳定性来判断队员的技术稳定性。以众所周的NBA篮球比赛为例,NBA比赛中由于明星球员众多,在运用统计学进行数据整体分析时,需要依据本质上的规律进行数据统计,而不是随意的选择数据进行统计,例如在进行篮球比赛发球这一项双方队员的进攻和防守的概率时,在进行指标选择时就涉及到随机事件的发生概率,因此,可以运用统计学统计球员在每一场比赛上的均得分,通过这些数据指标的正态分布图来确定球员的技术稳定性。 三、结束语 在日常生活中应用统计学对数据进行管理分析,可以极大提高生产生活中对研究对象的管理效率,使得研究对象变得明确,降低管理成本。在实际的生产生活中应用统计学时,调研人员需要通过多次的试验和随机概率对比来确定事件发生的概率,通过定量定性的数理统计分析工作,充分发挥统计学对生产生活的促进作用。
- ?
机器学习与数据分析常用术语-基础篇(一)
弗里达
展开
前言
之前在给公司的程序员培训机器学习专题实战的时候,发现他们听的认真,也非常想学,但是每当问他们有哪里不懂的时候,他们总是回答不出哪里不懂,识懂非懂的状态,后来我总结了一下原因,1.机器学习领域跟程序开发的区别非常大,机器学习属于一个交叉学科,即需要数学也需要计算机学,难度相对与单学科要大些,2.机器学习领域有很多专业词汇与术语,之前程序员都没听说过和接触过,即使当时讲解的时候讲的非常细,也很难接触的过来,需要有个消化过程。
本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语,希望能在机器学习路上的你带来帮助,假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。
一.基础
1.数据集(DataSet)
数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
程序员可以简单的理解成数据库表。
2.变量(variable)
变量来源于数学,是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。
可以理解为字段。
3.向量(Vector)
在数学中,向量(也称为欧几里得向量、几何向量、矢量),指具有大小(magnitude)和方向的量。它可以形象化地表示为带箭头的线段。
4.X变量(Independent variable)
又称自变量,自变量一词来自数学。在数学中,y=f(x) 。在这一方程中自变量是x,因变量是y。将这个方程运用到心理学的研究中,自变量是指研究者主动操纵,而引起因变量发生变化的因素或条件,因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中,性别被称为了自变量,而白细胞数则为因变量。
可以理解成我们在机器学习中需要分析的变量叫做X变量。
5.Y变量(dependent variable)
又称因变量,可以理解为结果变量,如我们在金融贷款项目中预测某人是否可以放款,是否可以放款这个变量就叫做因变量。
6.连续变量
在统计学中,变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值。如:年龄、体重等变量。
7.离散变量
离散变量的各变量值之间都是以整数断开的,如人数、工厂数、机器台数等,都只能按整数计算。离散变量的数值只能用计数的方法取得。
8.二元变量
通常可以理解成哑变量或虚拟变量,虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量,用以反映质的属性的一个人工变量,是量化了的自变量,通常取值为0或1。
9.定性变量
统计学概念,定性变量(qualitative variable)又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时,一般是用非数字来表达其类别,这样的观测数据称为定性变量。可以理解成可以分类别的变量,如学历、性别、婚否等。
10.均值
即平均值,平均数是表示一组数据集中趋势的量数,是指在一组数据中所有数据之和再除以这组数据的个数。
11.中位数
对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,通常取最中间的两个数值的平均数作为中位数。
12.缺失值
它指的是现有数据集中某个或某些属性的值是不完全的。
13.缺失率
某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数
14.异常值
异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。
15.度量
度量(metric)亦称距离函数,是度量空间中满足特定条件的特殊函数,一般用d表示。度量空间也叫做距离空间,是一类特殊的拓扑空间。弗雷歇(Fréchet,M.R.)将欧几里得空间的距离概念抽象化,于1906年定义了度量空间。
16.矩阵
在数学中,矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合,最早来自于方程组的系数及常数所构成的。
矩阵是高等代数学中的常见工具,也常见于统计分析等应用数学学科中。
即可以看成一个方便用来计算的数组。
17.方差
(variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义。
方差是衡量源数据和期望值相差的度量值。
18.标准差
标准差(Standard Deviation) ,中文环境中又常称均方差,是离均差平方的算术平均数的平方根,用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据,标准差未必相同。
19.皮尔森相关系数
皮尔森相关系数(Pearson correlation coefficient)也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ,是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示,其中n为样本量,分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。
20.相关系数
相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标,是研究变量之间线性相关程度的量,一般用字母 r 表示。由于研究对象的不同,相关系数有多种定义方式,较为常用的是皮尔逊相关系数。
21.特征值
特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵,如果存在数m和非零n维列向量 x,使得 Ax=mx 成立,则称 m 是A的一个特征值(characteristic value)或本征值(eigenvalue)。非零n维列向量x称为矩阵A的属于(对应于)特征值m的特征向量或本征向量,简称A的特征向量或A的本征向量。
22.特征向量
矩阵的特征向量是矩阵理论上的重要概念之一,它有着广泛的应用。数学上,线性变换的特征向量(本征向量)是一个非简并的向量,其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值(本征值)。
23.求导
求导是微积分的基础,同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。
24.MSE(Mean Square Error 均方误差)
均方误差(mean-square error, MSE)是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量,(θ-t)2的数学期望,称为估计量t的均方误差。它等于σ2+b2,其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。
25.LMS(LeastMean Square 最小均方)
最小均方算法,简称LMS算法,是一种最陡下降算法的改进算法, 是在维纳滤波理论上运用速下降法后的优化延伸,最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征,“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性,使LMS算法成为自适应算法中稳定性最好、应用最广的算法。
26.LSM(Least Square Methods 最小二乘法)
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
27.MLE(MaximumLikelihood Estimation最大似然估计)
最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。
28.QP(Quadratic Programming 二次规划)
二次规划是非线性规划中的一类特殊数学规划问题,在很多方面都有应用,如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里,二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。
最大似然法明确地使用概率模型,其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。
29.CP(Conditional Probability条件概率)
条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。
30. JP(Joint Probability 联合概率)
联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布,那么P{X<4,Y<0}就是一个联合概率,表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(A∩B)。
31.MP(Marginal Probability边缘概率)
边缘概率 Marginal Probability 是某个事件发生的概率,而与其它事件无关。边缘概率是这样得到的:在联合概率中,把最终结果中不需要的那些事件合并成其事件的全概率而消失(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率)。
这称为边缘化(marginalization)。A的边缘概率表示为 P(A),B 的边缘概率表示为 P(B)。
32. Bayesian Formula(贝叶斯公式)
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,比如 P(A|B) 和 P(B|A)。按照乘法法则,可以立刻导出:P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为:P(B|A) = P(A|B)*P(B) / P(A)。
贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则, 尽管它是一个数学公式,但其原理毋需数字也可明了。如果你看到一个人总是做一些好事,则那个人多半会是一个好人。这就是说,当你不能准确知悉一个事物的本质时,你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是:支持某项属性的事件发生得愈多,则该属性成立的可能性就愈大。
L1 /L2Regularization(L1/L2正则,以及更多的,现在比较火的L2.5正则等)
L1范数正则化( L1 regularization 或 lasso )是机器学习(machine learning)中重要的手段,在支持向量机(support vector machine)学习过程中,实际是一种对于成本函数(cost function)求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化(sparsity),从而方便人们提取特征。
GD(GradientDescent 梯度下降)
梯度下降法是一个最优化算法,通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一,虽然现已不具有实用性,但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。
可以用于求解非线性方程组。
34. SGD(Stochastic Gradient Descent 随机梯度下降)
随机并行梯度下降算法(stochastic parallel gradient descent algorithm),简称SPGD算法。作为一种无模型优化算法,比较适用于控制变量较多,受控系统比较复杂,无法建立准确数学模型的最优化控制过程。
35.QR-decomposition(QR分解), 矩阵分解
矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积,可分为三角分解、满秩分解、QR分解、Jordan分解和SVD(奇异值)分解等,常见的有三种:1)三角分解法 (Triangular Factorization),2)QR 分解法 (QR Factorization),3)奇异值分解法 (Singular Value Decomposition)。
36.Quantile (分位数), 分位数
分位数(Quantile),亦称分位点,是指将一个随机变量的概率分布范围分为几个等份的数值点,常用的有中位数(即二分位数)、四分位数、百分位数等。
37.协方差
协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变...
- ?
数据分析:浅谈企业如何运用统计分析,看完后真是长见识了!
莫寄云
展开
摘 要:统计分析是一种反映统计结果的工具,它在现在的企业中,被运用得很广泛,但它所使用的技术水平也在不断的提高,特别是在反映企业统计结果方面,更具有一定的实用性。企业在使用统计分析时,涉及到很多种行业中,例如:工业、商业、建筑业和交通以及邮电等各企业统计分析工作中。
关键词:
一、统计分析的概念统计分析是指运用统计方法及与分析对象有关的知识,从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作,是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识。它又是在一定的选题下,集分析方案的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。二、统计分析的特点 统计分析是对客观现象的一种认识活动,它在定性分析的基础上,经过定量研究,达到对现象本质及规律性的认识。 统计分析方法具有特殊性 统计分析方法是以总体现象的数量关系为对象的一类特殊科学研究方法的总称。从应用的角度来看,统计分析方法可分为经验方法和数学方法两大类。经验方法是指一些与初等数学知识和人们的实践经验相关联的方法。数学方法又称为数理统计方法,是以数学理论,特别是概率论为基础对客观现象进行研究的方法。它可以通过对现象貌似偶然的变动来探求其必然的规律性。
统计分析的对象具有综合性 统计分析的对象不是某种社会经济现象的个体数量方面,而是现象的总体数量方面,分析研究其综合数量特征。从总体上对客观现象的数量方面进行分析,可以避免以偏概全,使认识较为全面和正确。三、统计分析方法 统计分析方法很多,但基本方法是定量分析 。l、从统计理论上看,我们所见到的统计学著作,除了统计设计、统计调查、统计整理等理论和方法外,其他大部分内容都是统计分析方法,这些统计分析方法有一个共同点,它们都是定量分析方法。 2、统计实践上看,统计分析所起的作用,是通过定量分析实现的。统计分析在人们的认识过程中有三个作用:第一,对客观事物量化,包括反映客观事物规律的数量表现;第二,根据量变程度确认事物的质,即确定区别事物质量的数量界限;第三,揭示新的规律,即通过分析数量关系,发现尚未被认识的事物的规律。 四、企业如何运用统计分析 随着社会主义市场经济的发展,统计为企业发展战略的研究和制定,为各项职能管理提供必要的信息,为防范和化解风险,发挥其预警作用,新经济时代统计信息是影响企业管理层决策成败的关键。
(一)在企业经营过程中:在企业的经营管理中,统计分析占据着十分重要的地位。在认识统计的过程中,企业通过统计调查以及整理取得的统计资料能够对客观现象的数量特点取得一定的认识。若不进行深入的整理和分析,对于这些现象的认识还只停留在表面的初步认识状态,所以必须对这些统计资料加以分析和研究,才可以掌握事物的本质以及内在的发展规律,通过逐渐地深化认识,有效的深入的分析方法,查找出经营管理中存在的问题和薄弱环节,就可以提出改进的举措,给各级领导各级管理部门参考改进建议,是企业的各项管理工作不段得到改善和提高,充分显示出统计分析在企业经营管理中发挥的广泛应用。(二)在企业目标管理中:(1)在企业的各项经济指标的预测中,通常强调动态的分析预测与静态的分析预测相互结合,其中以静态分析预测为主。企业首先要根据自身发展的特点,寻找到经济运行波动的共性和差异,根据企业的总体规划以及企业的特殊性,依据企业的历史统计数据,运用相应的预测模型给出企业相关指标的科学性预测,根据预测数据制定出各项计划经营指标和各项KPI考核指标,再通过把企业的月度统计预测、季度统计预测和年度统计预测与月度、季度及年度各解段实际完成情况进行对比分析,进行不断调整修正完善,使得企业的目标管理以及考核指标得到实现和完成的保证。
(三)、在企业的决策性分析中:在我国的经济管理领域,决策性分析方法是最先被引入和普及的定量化分析方法。随着企业信息化建设的推进,企业受外部环境的影响逐步加深,这就要求企业及时对相关信息进行处理和分析。一是对市场需求和供给能力的分析。主要包括居民的购买力、商品的潜在和实际市场需求量、品牌成熟度、订单满足率、消费偏好等。通过分析,可以判断企业的赢利空间、供需缺口等,为领导层确定商品销售规模、制定阶段性营销策略等提供依据。二是对社会经济环境的分析和影响。主要包括国内、国际的宏观环境对我国行业发展的影响和对地方法规、民风民俗对企业的发展的影响。三是对企业竞争力的分析。通过分析本行业其他企业的经营情况,在对比中认识自身发展的差距和潜力,从而为制定正确的发展战略提供参考。(四)在企业过程分析和阶段分析控制中:在计划方案的落实过程中,往往会出现一些不可预知的状况。需要及时的进行过程分析和阶段分析。企业利用统计数据定期分析计划完成情况、进度情况等,可以及时的发现执行过程中所存在的问题。通过对完成阶段的结果进行对比分析,有利于确定指标完成率。便于衡量市场潜力相同的不同市场之间的业绩。也作为销售目标制定的依据。
在企业当中,统计分析工作是了解现状、预测未来,为了更好的促进企业发展进步的重要方法。做好统计分析工作具有重要的作用和意义。因此,我们要提高对统计分析的研究,使统计分析工作更好地成为企业发展的有力推动力量。 参考文献:[1]百度百科.统计分析[EB/OL]. [2]赵井霞.试谈如何进行统计分析[J].商业经济.2004.4. [3]宋安. 统计分析在企业管理与经营决策中的应用[J].经济师.2003.6
- ?
ATLAS.ti 8 专业定性数据分析软件 -APSGO软购 正版软件商
Elroy
展开
ATLAS.ti 的试用版是免费的,没有时间限制!
ATLAS.ti 已成为专业定性数据分析软件的市场主导者。 ATLAS.ti 被应用于世界各地的各大主要科研机构。凡是需要对文本和多媒体数据进行专业分析的地方,ATLAS.ti 的位置都无法取代。
ATLAS.ti 可以实际处理任何语言,使用所有现有的字体,包括日文、中文、阿拉伯语、希伯来语,以及其他更多。
什么是 ATLAS.ti 8
ATLAS.ti 8 非常直观,比任何其他QDA 程序更容易学习和使用 – 包括旧版本的 ATLAS.ti。
对于我们的最新产品,我们密切关注用户的需求和愿望,并特别关注最大程度的可用性。ATLAS.ti 8 完全改进的界面设计遵循功能导向的可用性的严格原则。它采用逻辑带状结构,上下文菜单和键盘快捷键,使您的工作流程尽可能符合人体工程学。
已经消除了旧版本的缺点,并且添加了许多要求的新功能。最值得注意的是,现在可以对程序的各个方面进行无限制的撤销/重做。完全本机 Unicode 支持允许您使用任何语言和字符集中的材料。易于使用的搜索工具可在项目的每个级别执行细粒度搜索。同时使用多个数据源支持新的比较方法。
ATLAS.ti 8 很容易学习。许多以前复杂的过程已经从根本上简化了。重点是快速有效地获得结果。
ATLAS.ti 8 强大而创新。时尚的网络可视化既可用于分析过程,也可提供出色的演示工具。从 Twitter和您最喜欢的参考经理导入调查,数据是轻而易举的。
ATLAS.ti 8 带有未来的内置功能。ATLAS.ti 8完全重写并基于最新技术,可实现快速,模块化扩展。因此 ATLAS.ti 8 在设计上继续增长,因此期望在未来几个月和几年内看到以前无法想象的新可能性。
特征
这些是 ATLAS.ti 8 Windows 的一些强大功能:
最先进,高度直观的用户界面,带有色带,标签视图通过Navigator即时访问所有项目项目区域允许同时处理多个文档,备忘录,网络等强大的交互功能比以往更强大的“边际”。直接导入Twitter和Evernote数据通过从Endnote等参考管理人员的导入支持文献审查所有对象类型的多功能词云所有对象类型的组整个Unicode – 使用任何语言或字符集的文档撤消/重做(100步)强大的可视化查询编辑器SmartCodes和SmartGroups拆分代码完整项目搜索(以前的“Word cruncher”)通过动态淡入/淡出命中类别得到显着改善优雅且非常有用的新网络布局选项所有项目的预览和评论与ATLAS.ti Mac进行双向项目交换板载编码器协议测量工具
ATLAS.ti的试用版是免费的,没有时间限制!
由于试用版与完整版完全相同(下面列出的限制除外),因此适用相同的技术要求。
ATLAS.ti 的试用版没有到期日。除了以下限制外,再无其他限制:
虽然您可以打开并使用任何大小的项目,但无法保存超过特定大小的项目。最大允许大小为:
10个主要文件(无限大小)100个 quotations (= data segments)50个编码30个备忘录10个网络自动备份功能无法使用。
注意:试用版在崩溃后没有数据恢复 !这意味着如果具有试用版的会话因任何原因而提前终止,则该点未保存的所有数据都将丢失。
同样,完整版本具有自动恢复机制,因此您的数据始终是安全的。但试用版不适用于生产工作,因此您唯一的选择是如果您希望保留项目,请尽可能频繁地手动保存项目。
- ?
评价数据的分析处理
卓若烟
展开
数据收集
数据收集是进行安全评价最关键的基础工作。所收集的数据要以满足安全评价需要为前提。由于相关数据可能分别掌握在管理部门(设备、安全、卫生、消防、人事、劳动工资、财务等)、检测部门(质量科、技术科)以及生产车间,因此,数据收集时要做好协调工作。尽量使收集到的数据全面、客观、具体、准确。
数据范围
收集数据的范围以已确定的评价边界为限,兼顾与评价项目相联系的接口。如:对改造项目进行评价时,动力系统不属改造范围,但动力系统的变化会导致所评价系统的变化,因此,数据收集应该将动力系统的数据包括在内。
数据内容
安全评价要求提供的数据内容一般分为:人力与管理数据、设备与设施数据、物料与材料数据、方法与工艺数据、环境与场所数据。
数据来源
被评价单位提供的设计文件(可行性研究报告或初步设计)、生产系统实际运行状况和管理文件等;
其它法定单位测量、检测、检验、鉴定、检定、判定或评价的结果或结论等;
评价机构或其委托检测单位,通过对被评价项目或可类比项目实地检查、检测、检验得到的相关数据,以及通过调查、取证得到的安全技术和管理数据。
相关的法律法规、相关的标准规范、相关的事故案例、相关的材料或物性数据、相关的救援知识,
数据的真实性和有效性控制
对收集到的安全评价资料数据,应关注以下几个方面:
收集的资料数据,要对其真实性和可信度进行评估,必要时可要求资料提供方书面说明资料来源;
对用作类比推理的资料要注意类比双方的相关程度和资料获得的条件;
代表性不强的资料(未按随机原则获取的资料)不能用于评价;
安全评价引用反映现状的资料必须在数据有效期限内。
数据汇总及数理统计
通过现场检查、检测、检验及访问,得到大量数据资料,首先应将数据资料分类汇总,再对数据进行处理,保证其真实性、有效性和代表性,必要时可进行复测,经数理统计将数据整理成可以与相关标准比对的格式,采用能说明实际问题的评价方法,得出评价结果。
数据分类
定性检查结果,如:符合、不符合、无此项或文字说明等;
定量检测结果,如:20mg/m3、30mA、88dB(A)、0.8MPa等,带量纲的数据;
汇总数据,如:起重机械30台/套,职工安全培训率89%等,计数或比例数据;
检查记录,如:易燃易爆物品储量12t、防爆电器合格证编号等;
照片、录像,如:法兰间采用四氟乙烯垫片、反应釜设有防爆片和安全阀、将器具放入冲压机光电感应器生效联锁切断电源等用录像记录安全装置试验结果,效果更好,特别是制作评价报告电子版本时,图像数据更为直观。
其它数据类型,如:连续波形对比数据、数据分布、线性回归、控制图等,图表数据。
数据结构(格式)
汇总类,如:厂内车辆取证情况汇总、特种作业人员取证汇总;
检查表类,如:安全色与安全标志检查表;
定量数据消除量纲加权变成指数进行分级评价,如:有毒作业分级;
定性数据通过因子加权赋值变成指数进行分级评价,如:机械工厂安全评价;
引用类,如:引用其它法定检测机构“专项检测、检验”的数据;
其它数据格式,如:集合、关系、函数、矩阵、树(林、二叉树)、图(有向图、串)、形式语言(群、环)、偏集和格、逻辑表达式、卡诺图等。
数据处理
在安全检测检验中,通常用随机抽取的样本来推断总体。为了使样本的性质充分反映总体的性质,在样本的选取上遵循随机化原则:
样本各个体选取要具有代表性,不得任意删留;
样本各个体选取必须是独立的,各次选取的结果互不影响。
对获得的数据在使用之前,要进行数据处理,消除或减弱不正常数据对检测结果的影响。若采用了无效或无代表性的数据,会造成检查、检测结果错误,得出不符合实际情况的评价结论。
概率
随机事件在若干次观测中出现的次数叫频数,频数与总观测次数之比叫频率。当检测次数逐渐增多时,某一检测数据出现的频率总是趋近某一常数,此常数能表示现场出现此检测数据的可能性,这就是概率。在概率论中,把事件发生可能性的数称为概率。在实际工作中,我们常以频率近似地代替概率。
显著性差异
概率在0至1的范围内波动。当概率为1时,此事件必然发生;当概率为0时,此事件必然不发生。数理统计中习惯上认为概率P≤0.05为小概率,并以此作为事物间差别有无显著性的界限。
原设定的系统,若系统之间无显著性差异(通过显著性检验确定),就可将其合并,采用相同的安全技术措施;若系统之间存在显著性差异,就应分别对待。
数据整理和加工有三种基本形式
按一定要求将原始数据进行分组,作出各种统计表及统计图;
将原始数据由小到大顺序排列,从而由原始数列得到递增数列;
按照统计推断的要求将原始数据归纳为一个或几个数字特征。
“异常值”和“未检出”的处理
“异常值”的处理
异常值是指现场检测或实验室分析结果中偏离其它数据很远的个别极端值,极端值的存在导致数据分布范围拉宽。当发现极端值与实际情况明显不符时,首先要在检测条件中直接查找可能造成干扰的因素,以便使极端值的存在得到解释,并加以修正。
若发现极端值属外来影响造成则应舍去。
若查不出产生极端值的原因时,应对极端值进行判定再决定取舍。
对极端值有许多处理方法。在这里介绍一种“Q值检验法”。
“Q值检验法”是迪克森(W.J.Dixon)在1951年专为分析化学中少量观测次数(n<10)提出的一种简易判据式。检验时将数据从小到大依次排列:X1,X2,X3,……,Xn-1,Xn,然后将极端值代入以下公式求出Q值,将Q值对照表1-6的Q0.90,若Q值≥Q0.90则有90%的置信此极端值应被舍去。
例:现场仪器测在同一点上4次测出:0.1014,0.1012,0.1025,0.1016,其中0.1025与其它数值差距较大,是否应该舍去?
根据“Q值检验法”:
Xn - Xn-1 0.1025-0.1016
Q=—————=—————————=0.69<0.76 (4次观测的Q0.90=0.76)
Xn - X1 0.1025-0.1012
所以: 0.1025不能舍弃,测出结果应用4次观测均值0.1017
“未检出”的处理
在检测上,有时因采样设备和分析方法不够精密,会出现一些小于分析方法“检出限”的数据,在报告中称为“未检出”。这些“未检出”并不是真正的零值,而是处于“零值”与“检出限”之间的值,用“0”来代替不合理(可造成统计结果偏低)。“未检出”的处理在实际工作中可用两种方法进行处理:
将“未检出”按标准的1/10加入统计整理;
将“未检出”按分析方法“最低检出限”的1/2加入统计。
总之,在统计分组时不要轻易将“未检出”舍掉。
检测数据质量控制
检测质量控制经常采用两种控制方式来保证获得数据的正确性:一是用线性回归方法对原制作的“标准曲线”进行复核;二是核对精密度和准确度。
记录精密度和准确度最简便的方法是制作“休哈特控制图”,通过控制图可以看出检测、检验是否在控制之中,有利于观察正、负偏差的发展趋势,及时发现异常,找出原因,采取措施。
安全评价的数据处理
收集到的数据要经过筛选和整理,才能用于安全评价。
来源可靠:收集到的数据要经过甄别,捨去不可靠的数据。
数据完整:凡安全评价中要使用的数据都应设法收集到。
取值合理:评价过程取值带有一定主观性,取值正确与否往往影响评价结果。
为提高取值准确性可从以下三方面着手:
严格按技术守则规定取值;
有一定范围的取值,可采用内插法提高精度;
较难把握的取值,可采用向专家咨询方法,集思广益来解决。
- ?
App数据分析到底要分析什么
七年
展开
按大众化的分法,产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期,在产品的每个阶段,数据分析的工作权重和分析重点有所区别,下面按阶段结合案例来聊聊。
一、初创期
初创期的重点在于验证产品的核心价值,或者说验证产品的假设:通过某种产品或服务可以为特定的人群解决某个问题。这个阶段应当遵循MVP(Minimum Variable Product) 的思想,以最小的成本来验证创业的想法,并根据用户的反馈快速迭代以调整解决方案,最终在数据上得到验证。
案例:
拿之前做的某款国外移动端论坛社交应用为例,产品在idea时期(12,13年左右)发现了论坛用户经常在吐槽从移动端Wap页访问论坛速度慢、广告多、完全没有移动端适配,于是我们提出假设:做一个App,连接论坛系统与用户,让论坛用户在移动端也能享受流畅的论坛访问体验,并且用户愿意为了这种体验付费。
于是在初期,整个产品完全围绕看帖、发帖两个核心场景进行挖掘,在论坛里进行宣传,售价$18,发现有许多用户为之付费,且这些用户的留存率达到60%+(当然与用户付费了有关),有一半的用户使用时长都超过了70分钟。当时没过多久陆续出来了一些竞品 (Vbulletin团队,当时最大的论坛系统,开发了一个移动端的App,意图解决同样的问题),但是没过多久都远远落在了我们后面,就是因为整个团队遵循MVP的思想,按用户反馈专心反复打磨看帖、发帖的流畅体验,获得了非常好的用户口碑并领先市场,也获得了某著名硅谷投资机构的投资。
关键数据——目标人群画像
除此之外,初创期可以通过接入一些第三方的应用监测SDK来了解初期用户群体的画像,从侧面验证用户群体与假设的目标用户群体特征是否一致,常见的是人口学属性(性别、年龄、学历、地域)。
案例:
今年4月初在和国内某健身类的APP的产品经理聊到, 该APP最初是一款健身、运动记步的工具App,在产品前期新用户的次日留存处于业内平均水平,在其观察到目标用户群体的画像时,发现女性用户明显比男性用户要多,且女性用户留存明显比男性用户要高。于是决定在产品策略上向女性用户倾斜,主攻女性健身、减脂、美容方向的功能以及内容推荐,产品整体次日留存率相比之前增长近100%。
同样,最近服务了一个鹅厂内部客户,他们开发了一款新产品,意在面向年轻人群体,结果却发现其用户年龄分布以青少年和老年人居多:
这正好与他们的用户渠道相关,原来他们有一款面向青少年和老年人的产品,为了给产品带来第一批用户,他们直接从老的产品将用户引流过来,结果发现他们并非产品的目标用户。
关键数据——留存率
在当前用户符合目标受众特征时,核心关注这些用户的留存率、使用时长/频率、用户的黏性等指标,这里就留存率展开来讲。
留存率的维度分很多种(7日,双周,30日等),依据产品特征来选择,若产品本身满足的是小众低频需求,留存率则宜选择双周甚至是30日;留存率高,代表用户对产品价值认可并产生依赖,一般来说,假设便能得到验证,通常低于20%的留存会是一个比较危险的信号。
介绍一个以数据为驱动的先行指标模型,可以通过找到先行性指标指导产品设计,从而提升留存率。先看下先行性指标的定义,先行性指标是指新用户在使用产品早期的一种产品行为,这个指标与用户的留存率指标之间存在着非常高的线性相关关系,可以预测用户是否会在产品中留存下来。
用自己总结的公式来描述,大致如下:
积极预测可能性(%):表示用户执行了该行为,即可预测该用户留存活跃的可能性
消极预测可能性(%) :表示用户如果不执行该行为,即可预测该用户不留存活跃的可能性
最终,先行性指标的可信度=积极预测可能性 X 消极预测可能性 ,我们直接看案例。
案例
拿之前的论坛社交App为假设,假设“用户在注册前10天内添加好友超过7个”为先行性指标,那么我们计算一组数据:
其中,用户前10天内添加好友超过7个,则其30日留存下来可能性为99%;若添加好友小于7个,则其30日不留存下来(流失)可能性为95%,综合指标可信度为0.9405。
同理,计算以下两个先行性指标可信度:
最终,我们得到对比:
以上只是假设的数据,实际上,我们需要对比十几个甚至是二十几个行为指标才能找出先行性可信度最高的行为。
这个模型中第一条“新用户在注册后的10天内添加好友超过7个”,也就是Facebook一个经典的“aha moments”,所谓”aha moments”即当用户意识到产品的核心价值的时刻,也就是我们的“先行指标”。
(Facebook,Instagram推荐好友截图)
除此之外,先行性指标应当满足以下条件:
二、快速成长期
经过了产品打磨的初始阶段,产品有了较好的留存率了,这个时候产品开始进入自发增长期。自发增长期的产品阶段,仍需要关注用户留存、用户时长、用户画像的变化等数据,但可以将侧重点关注在用户的整个生命周期的管理,其中以新用户的增长、激活、触发“aha moments”到产品稳定活跃用户的整个漏斗分析为主。
新用户的增长和激活
其中新用户的增长和激活一般有两种方式,第一种是构建产品的病毒性传播系数, 让产品自发增长,《精益运营数据分析》书中有提到的几个用户病毒式传播分类很有趣:
原生病毒性,即通过App本身的邀请好友功能而传播吸引的新用户的方式;
口碑病毒性,即通过口碑传播,用户主动通过搜索引擎成为的新用户;
人工病毒性,即通过人工干预,如有奖邀请等激励措施来鼓励用户进行邀请行为。
这里关注的一个指标称之为“病毒式传播系数”,感兴趣的同学可以自行深入了解。
新用户下载->激活->‘Aha Moments’->产品稳定活跃
产品开始进入自发增长期后,需要关注用户从新用户到活跃用户(留存后)、到核心用户的生命周期,并将每个过程的关键指标提炼并精细化。
案例
以之前的论坛社交APP为例,新用户进入产品会看到一个欢迎页(如左下图),经过注册、登录后会看到产品的首页(如右下图的Feed流页面),多数App都有类似的流程:
一个新用户从进入App欢迎页到最终成为核心用户大概是以下流程:新用户(探索发现产品价值中)-> 旁观者(逐渐认知产品价值并有一定的参与感)->生产者(认同产品价值并积极参与):
按大众化的分法,产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期,在产品的每个阶段,数据分析的工作权重和分析重点有所区别,下面按阶段结合案例来聊聊:
此时,对各个阶段的用户行为进行指标分解:
新用户&探索发现者:
欢迎页跳出率新用户注册率新用户引导流程转化率初始看到Feed页跳出率搜索结果转化率推送权限开通率
旁观者(路过者):
平均每个用户关注板块数平均每个用户关注其他用户数平均每个活跃用户赞/分享数Feed卡片展示数Feed卡片点击数订阅内容推送点击率
内容生产者:
· 平均每个活跃用户发帖数
· 平均每个活跃用户发照片、视频数
· 平均每个用户在论坛内使用时长
· 活跃用户在论坛内行为分布
精细化的拆分用户生命周期前中期的行为指标,在产品快速增长期帮助了产品不断打磨细节,将用户从新进到成为核心用户体验不断完善。与此同时,在各节点数据提升并稳定后,产品运营的同学则开始进行各种推广、投放的宣传以扩大盘子、占领市场。
三、成熟期
随着用户快速增长,产品不断完善,产品在进入成熟期前后,数据运营关注的重心开始从用户生命周期的前半段(吸引、激活、留存)往后半段(流失、回流)开始偏移。
这里分享一个在增长期和成熟期关注的数据模板 Daily Net Change (应用自John Egan@Pinterest),区别于只关注DAU、MAU数据,只关注活跃用户数的增减很多时候都是取悦自己,而这个模型能帮助直观地观察到用户增长的因子是什么,或者用户盘子变化的情况,通过一张图展示了产品的新增、回流和留存情况。
其中Net Change = 新增用户 + 回流用户 – 流失用户。
新增用户即当天有多少新用户加入
回流用户即多少老用户连续28天没有使用,今天又开始使用
流失用户即有多少已有用户刚好最后一次使用应用是在28天前
流失与回流
在关注流失回流的过程中,数据会揭示当前用户盘子的一个变化情况,具体分析流失原因则可以参考下方流程:
核心思路即,通过回访定性+数据验证为主要手段,确定流失原因,改变产品运营策略以预防用户流失或拉回用户,促进回流。
除此之外,对于一些稳定的投放渠道,普通的改善方法可能提升转化有限,此时可以进行更精细化的渠道分析来优化提升ROI:
案例:
提升ROI
四、衰退期
最终,产品进入衰退期,一般在进入衰退期前可以采取两种方式:
1、规模化
常出现在零售业中,如开一家按摩养生店,在一定范围内收获好评,那产品成熟的时候则可以开启连锁加盟模式,通过迅速而广泛的扩大市场形成品牌效应,以形成壁垒,此时衰退的风险则被抵御。
2、生态化
在产品增长或接近完善时,单一的产品很容易存在需求过于垂直、用户无法形成依赖的问题,可以开发具有协同能力的新产品以搭建完整的产品生态,使得在当前产品上无法被得到满足或失去兴趣的用户被引流到新产品,作为新产品的新用户;同时新产品的用户也能在新产品上被引流回老产品,产品之间形成互相依赖的链条,最终用户有效流转,形成生态。
- ?
这才是正确的数据分析步骤
Ingemar
展开
做好数据分析需要考虑三个问题,数据从哪来,数据到哪去,数据怎么去?今天我们来讲讲数据怎么去的问题,也就是数据分析步骤。
一、定义
“勿忘初心,方得始终”,做数据分析前要想好针对的问题是什么,想通过数据分析解决什么问题,数据分析的结果能帮助你达到什么目的,对现阶段你的产品有何实际的意义。
基于分析目的确定分析范围。比如你想分析用户流失原因,你分析的范围就是流失的用户,你不能去分析新增的用户,再比如电商类产品,你想对高价值用户进行分析,那么什么是高价值用户,那么你可能确定范围:“xx年xx月xx号-xx年xx月xx号,购买次数5次以上,总金额在3000元以上的用户”,这些都是我们在数据分析之前需要确定的,只有范围确定清楚了,分析的数据才具有指导意义。
规划分析的进度和质量。比如说你要做数据的采集,你就需要考虑清楚用什么样的技术手段采集数据,用什么样的方法进行分析,然后这个过程中产生的误差多大范围内是可接受的,或者是自身有了预判,我知道这种数据分析方式会带来什么样的影响,对最后的结论带来多少干扰。
二、测量
测量包含收集获取数据和数据预处理。
收集获取数据。是用问卷的方式定量分析?还是从服务器调取日志进行分析...,这些都是数据的来源
预处理:比如说做调查问卷,对于回收来的问卷我们需要判断哪些数据是有效的,哪些数据是无效的,比如调查问卷共15道题,用户就答了一道题,这个就属于无效问卷,需要剔除出去,这个时候他的数据是不完整的,放进去反而会影响最终的数据结果。同样对数据库的数据也需要预处理,比如说你想统计新增用户,但是来了很多羊毛党用户,这部分用户对你是没有价值的,也需要处理掉。预处理的好坏,直接决定数据分析结果的质量。
三、分析
分析包含对数据的统计描述和针对问题的归纳和总结。
数据的统计描述。统计是对数据的定量分析,描述是对数据的定性分析,就是对你的数据进行定性和定量的客观性描述。
问题的归纳总结。这个是最重要的,也就是拿出我们的结论,数据本身没有价值,数据分析的结果才有价值。
四、改进
改进就是找到问题的解决方案和降低负面影响。
给出解决方案。比如最近产品用户流失比较厉害,你通过调查问卷和用户访谈了解用户流失原因,当得到分析结果以后,你需要给出解决方案。是你的体验没做好,还是竞争对手挖墙脚,亦或是你的商品价格提高了...这些都是原因,找到主要原因,给出专业的解决方案,老板要的是方案,不关心你分析的过程。
降低负面影响。比如电商的购物流程,浏览商品--》加入购物车--》下单--》支付--》完成购买,你通过漏斗模型分析,发现从加入购物车到下单流失很多,你通过数据分析发现流失的原因是设计上的问题,那么就可以重新优化设计方案,降低负面影响。
五、控制
数据分析是一个持续性的过程,所以需要持续的跟踪反馈,比如做数据的日报、周报、月报,它是一个非常持久的工作,而且数据分析的结果发出去以后,不同的人可能会有不同的看法,那么我们产品经理就需要收集不同的观点。
更新迭代。更新迭代是我们产品经理的一份重要的工作内容,不论是功能上的更新迭代,还是数据上的更新迭代。有的人可能说为什么要做数据上的跟踪迭代呢?因为数据具有时效性,我们分析的往往是一个时间段内的数据,数据会随着时间的推移发生变化,根据这些变化,我们需要做一轮新的数据分析。
- ?
数据分析中的六原则三避免
彼岸花
展开
为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?
01 遵循数据分析标准流程
数据分析遵循一定的流程,不仅可以保证数据分析每一个阶段的工作内容有章可循,而且还可以让分析最终的结果更加准确,更加有说服力。一般情况下,数据分析分为以下几个步骤:
1)业务理解,确定目标、明确分析需求;
2)数据理解,收集原始数据、描述数据、探索数据、检验数据质量;
3)数据准备,选择数据、清洗数据、构造数据、整合数据、格式化数据;
4)建立模型,选择建模技术、参数调优、生成测试计划、构建模型;
5)评估模型,对模型进行较为全面的评价,评价结果、重审过程;
6)成果部署,分析结果应用。
02 明确数据分析目标
在数据分析前期,要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考,明确为什么要做数据分析,要达到一个什么目标。
03 业务与数据结合确定分析主题
以解决业务问题为目标,以数据现状为基础,确定分析主题。前期要做好充分的准备,以业务问题为导向,以业务梳理为重点,进行多轮讨论,分析主题避免过大,针对业务痛点,实现知现状、明原因、可预测、有价值。
04 多种分析方法结合
分析过程中尽量运用多种分析方法,以提高分析的准确性和可靠性。例如,运用定性定量相结合的分析方法对于数据进行分析;融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法;高级分析和可视化分析相结合等。
05 选择合适的分析工具
工欲善其事,必先利其器,数据分析过程中要选择合适的分析工具做分析。SPSS、Rapidminer、R、Python等这几种工具都是业界比较认可的数据分析产品。
它们各有其优势,SPSS 较早进入国内市场,发展已经相对成熟,有大量参考书可供参考,操作上容易上手,简单易学。Rapidminer 易用性和用户体验做得很好,并且内置了很多案例用户可直接替换数据源去使用。R 是开源免费的,具有良好的扩展性和丰富的资源,涵盖了多种行业中数据分析的几乎所有方法,分析数据更灵活。Python,有各种各样功能强大的库,做数据处理很方便。
06 分析结论尽量图表化
经过严谨推导得出的结论,首先要精简明确,3-5条即可。其次要与业务问题结合,给出解决方案或建议方案。第三尽量图表化,要增强其可读性。
数据分析过程中,除了以上六条原则,还要避免以下3种情况:
1)时间安排不合理
在开始分析工作之前,一定要做一个明确的进度计划,时间分配的原则是:数据收集、整理及建模占70%,数据可视化展现及分析报告占25%,其他占5%。
2)数据源选择不合理
一般企业中的数据来源有很多,SAP、TMS、CRM及各部门业务系统,每个渠道的数据各有特点。这时,应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理,不仅影响结论的可靠性,而且有返工的风险。
3)沟通不充分
无论是分析人员内部的沟通还是与外部相关人员的沟通,都是至关重要的。与外部人员沟通效不顺畅,可能造成前期需求不清,中间业务逻辑混乱,最终导致数据分析结果差强人意。与内部人员沟通效率低,可能造成分析进度滞后,分析工作开展不畅等诸多问题,直接影响分析效果。
对于数据分析师,分析经验的积累与专业知识的提升同样重要,因为有些问题不是只用专业知识就能解决的,所以在平时的工作中要有意识的去学习业务知识、掌握先进的分析工具,做一个有心人! |内容来源:大数据
百家号-【袁帅数据分析运营】运营者:袁帅,互联网数据分析运营实践者,新社汇联合创始人。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。
- ?
快速掌握SPSS数据分析
千千结
展开
SPSS难吗?无非就是数据类型的区别后,就能理解应该用什么样的分析方法,对应着分析方法无非是找一些参考资料进行即可。甚至在线网页SPSS软件直接可以将数据分析结果指标人工智能地分析出来,这有多难呢?本文章将周老师(统计学专家)8年的数据分析经验浓缩,便于让不会数据分析的同学,在学习数据分析的过程中可以少走弯路,树立数据分析价值观,以及以数据进行决策的思维意识,并且可以快速的掌握数据分析。本文章分为四个板块进行说明,一是数据分析思维的培养。二是数据间的几类关系情况。三是数据分析方法的选择。四是数据研究的撰写等。
相对来讲,我们国家对于数据价值的重视是最近几年才开始,尤其是大数据时代的兴起,以及人工智能时代的国家战略情况。之前企业进行决策时基本均是凭借主观经验,老板的经验决定企业的成长,这也许叫做‘定性研究’较为适合,这种思路并没有错误。相对来讲,主观个人偏好性是这种经验意识的弊端,而数据思维是用真实的数据作为依据,相对来讲具有更强的科学客观性。但两种思维各有优缺点,数据还可以造假,以及人们还可能会错误的利用数据等。
但无论如何,西方的数据意识,以及数据价值客观存在。我们有必要对其进行重视。作为数据研究人员,首先需要确保的是对数据的敬仰,错误的数据绝对无法容忍,否则永远不会得出科学的结论。因而数据分析思维的素养第一层次即尊重数据。原始数据代表的意义,数据自身带来的属性等均应该逐一确认。
确认数据的真实准确性后,即完成数据清理后,可对数据类型进行区分,一切数据均可分为两种类型,包括定性和定量数据。如同’定性研究‘和’定量研究‘一样,定性数据是那些表示分类,通常使用百分比汇总,无法计算平均值的数据,比如性别,专业。性别仅为男和女,使用数字1和数字2表示,可以分别计算男和女的比例,但是不能算个平均分为1.2,得出性别平均为1.2这样的分析。
另外一种数据叫定量数据,定量数据是那些可以进行量化,通常使用平均值表示,比如年龄,身高,体重,满意度等。可以计算平均年龄,但通常不分分析每个年龄数字的选择百分比。
还有一类数据,其即可以计算百分比,也可以计算平均值,比如问卷研究中的满意度,数字1代表非常不满意,数字2代表比较不满意,数字3代表中立,数字4代表比较满意,数字5代表非常满意。这类数据可以计算各项的百分比,也可以计算平均值。具体此类数据如何应用,可结合实际情况进行即可,但通常的偏好是,如果可以看作为定量数据,则按照定量数据情况进行即可。
在基本的数据类型确认之后,接下来再讨论下数据研究的一些关系情况。如果是初学数据分析,常规的路径可能是开始理解数据算法的原理,然后就懂一个就去,接着再学习另外一个算法。这种方法是常规教科书式的学习路径,非常慢而且容易出现一个问题即懂了理论无法进行实践。
数据分析是挖掘数据间的关系情况,发现潜在的数据规律,找出数据后面潜在的商业价值等。本人将数据间的关系归纳汇总为以下三类。第一是差异关系;第二是相关关系。第三是其它关系。
第一类差异关系通常是研究不同类别的差异性,提到了不同类别,那就涉及到定性数据,差异关系可以包括定性和定量数据的差异性,定性和定性数据的差异性。自然地也就对应到几类研究方法。
第二类为相关关系。比如越如何越如何之类的关系。包括相关关系,还有影响关系等。X对于Y的影响关系情况如何等,此时影响关系又拆分出几种分析算法。
当然还有其它关系,比如数据的浓缩,聚类。此时又分涉及到对应的研究方法。
在进行数据研究时,首先需要想到的是“我想做什么?“,来回就只有三种关系,那么这种关系有着明显的区分性,对应确认关系情况,加上数据类型的判断,对应就会找出合理的数据研究方法。接下来一一概述。
上面两部分分别讲述了数据类型和数据关系情况。接着需要落地,即研究方法的使用。按照上一部分的思路,即三类关系情况进行阐述。
第一类为差异关系
· 定性和定性数据差异关系。比如性别和专业的差异关系,不同性别人群专业偏好上有没有差异呢?此时应该用卡方分析。
· 定性和定量数据差异关系。比如性别和身高的差异关系,不同性别人群身高有没有明显的差异性呢?此时应该用方差分析或者T检验。至于方差分析和T检验的区别上,比如性别为两类,则可以使用方差分析或者T检验;比如研究城市和身高的关系,一线,二线或者三线城市人群他们的身高有没有明显差异性。比较了三组人群,这时候只能用方差分析,不能用T检验。因为方差分析可以对比多组,而T检验只能对比两组。
· 定量数据和定量数据的差异。有时候做实验,比如新型教学方式的使用,在使用前和使用后,学生成绩有没有明显的变化呢?此时则应该使用配对T检验。配对T检验通常都是用于实验研究中,使用时相对需要注意下。
· 定量数据和数字的差异。比如中国人的平均身高是否明显的高于1.70。定量数据和一个数字的差异性,此时应该用单样本T检验。
· 当然还有其它一些研究方法,但先从基础的开始,懂了这些方法后,再逐一深入学习。明白了这几类差异关系,事实上已经理解一部分数据分析。比如差异关系研究时有时候会有非参数检验,这类研究都是和正态性,方差齐这两个名词紧密相关,后续的文章再慢慢剖析。
第二类为相关关系
· 定量和定量数据的相关关系。比如身高和体重之间有没有关系?此时则应该使用相关分析。至于相关分析,又可以再细分为pearson和spearman相关,这两类关系是结合数据正态性情况而定,正常情况下都默认使用pearson相关分析。
· 影响关系情况(X对Y的影响,Y为定量数据)。比如研究学历,年龄,收入,满意度等对于消费金额的影响。此时一般是使用回归分析,或者更多称作是线性回归分析。也有时候会使用到非线性回归分析,但这种情况相对较少。线性回归分析也可以再细分为2类,简单线性(一元线性)和多元线性,研究X对Y的影响,如果X仅为1个则称作简单线性(一元线性);如果X为多个,此时称作多元线性回归分析。如果Y的个数超过1个,可以多进行几次回归就好,更复杂的可以使用结构方程模型进行研究。线性回归时X可以为定性数据也可以为定量数据,如果是定性数据则需要进行虚拟变量(哑变量)设置。
· 影响关系情况(X对Y的影响,Y为定类数据)。比如研究学历,年龄,收入,满意度等对于是否购买iPhone X的影响。此时应该使用logistic回归分析。线性回归和logistic回归的区别在于,线性回归时,Y为定量数据;logistic回归分析时,Y是定类数据。当然logistic回归又区分为三类,分别是二元logistic回归,有序logistic回归,无序logistic回归;区别在于如果Y仅分为两类,比如愿意不愿意,购买不购买,喜欢不喜欢,此时Y只有2个类别则叫做二元logistic回归,此方法的使用频率非常高。比如Y分为三组分别是不喜欢,喜欢和喜欢,此时使用有序logistic回归(其实使用线性回归也是可以的,只是我们这里把Y当成是定类数据所以使用有序logistic回归而已);无序logistic回归时,Y一定是绝对的定性数据,比如出行方式的偏好(自行车,公共汽车,地铁,自驾),此时用无序logistic回归即可。
第三类为其它关系
实际情况中还会有比如数据的浓缩,样本的聚类等研究。
· 数据浓缩:比如说了20句话,是否可以把20句话概括归纳成4个词语表示呢?此时就应该用到数据浓缩,即使用因子分析(也或者主成分分析);以及记住,数据浓缩时,数据一定是定量数据。
· 样本聚类:比如游戏里面分了几种角色,游戏数据分析人员希望对收集到了1万个样本分成几类,便于进行游戏里面的角色定位。此时则需要使用聚类分析。
上述的方法选择,分别与数据关系,或者数据类型间的关联性思路。事实上与网页在线版本的SPSSAU(spssau),完全如出一辙。spssau即是使用这样的思路进行产品设计。确定好数据类型,理解了数据关系情况,即可选择出正确的数据研究方法。
如果已经理解了数据类型,数据关系,并且选择了正确的数据研究方法。最终无非是把数据研究方法得出的结论进行汇总整理,然后写成有逻辑性的报告,并且在结论基础上对应提出有意义有价值的建议措施等。
关于数据报告的撰写,单独从数据分析角度上看,建议以实际需求出发,比如研究差异关系,那么首先得需要知道有没有差异,接着有了差异,具体差异情况如何。有了差异或者没有差异时,对应的建议措施应该如何。按照这样的思路,相信数据研究报告的撰写并非难事。
如果是对具体数据研究方法的结论撰写有困难,可以直接使用spssau进行分析,直接参考里面的智能文字分析即可。以及需要特别注意在于,数据研究结论对应有什么意义,价值在哪里,对实际商业的价值或者指导在哪里?这才是重点。
定性数据分析
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并