- ?
数据分析篇:用户增长分析——用户分群分析
罗斯科夫
展开
在产品的增长分析当中,想关注符合某些条件的一部分用户,不仅想知道这些人的整体行为(访问次数,访问时长等),还希望知道其中差异较大的细分群体。用户分群方法,能帮助我们对差异较大的群体分别进行深入分析,从而探究指标数字背后的原因,探索实现用户增长的途径。
用户分群的应用场景
在日常的数据工作中,我们经常接到这样的需求:想关注符合某些条件的一部分用户,不仅想知道这些人的整体行为(访问次数,访问时长等),还希望知道具体是哪些人符合这些条件。然后查看这些人的数据导出用户名单,针对性的发送tips消息。有时还想进一步查看某些人在使用某功能上的具体操作行为。
用户分群,就是用来满足这类需求的工具方法,它能帮助我们对差异较大的群体分别进行深入分析,从而探究指标数字背后的原因,探索实现用户增长的途径。
如用户画像分群,核心价值在于精细化的定位人群特征,挖掘潜在的用户群体。使网站、广告主、企业及广告公司充分认知群体用户的差异化特征,根据群体的差异化特征,帮助客户找到营销机会、运营方向,全面提高客户的核心影响力。
用户分群
用户分群的5个类型类型一:不分群,如全量活跃用户投放,群发短信等,缺点是没有针对性,容易引起用户反感。
类型二:用户基本信息分群,如根据用户注册的信息分群。相比不分群,这种方法已具备一定的针对性, 但是由于对用户不是真正了解,产生不了很好的结果预期。
类型三:用户画像分群,如年龄、性别、地域、用户偏好等,画像建设的焦点是为用户群打“标签”。
一个标签通常是人为规定的高度精炼的特征标识,最后将用户分群的标签综合,即可勾勒出该用户群的立体“画像”。画像分群让我们真正了解了用户的某些特征,对业务推广帮助很大。
类型四:根据用户行为进行分群,此阶段会在画像分群的基础上关注用户的行为特征, 如根据用户的注册渠道和活跃习惯,制定不同的营销推广策略。
类型五:聚类和预测建模分群,聚类建模可以根据用户的综合特征指标,将用户分为不同的群体,如将用户划分为娱乐型、挂机型、社交型、办公型等;
预测建模即尝试去猜测用户下一步的态度与行为(例如想知道什么,想做什么)。正因如此,它对将复杂的行为过程变为营销自动化,是十分有帮助的。
常见的用户分群维度
1. 统计指标:年龄,性别,地域
2. 付费状态:免费,试用,付费用户
3. 购买历史:未付费用户,一次付费用户,多次付费用户
4. 访问位置:用户使用产品的区域位置
5. 使用频率:用户使用产品的频率
6. 使用深度:轻度,中度,重度用户
7. 广告点击:用户点击了广告 vs 未点击广告
常用的聚类分群方法介绍
上面介绍了一些关于分群的方法和思路, 接下来重点讲解一下用户聚类分群,聚类分群可分为层次聚类(合并法,分解法,树状图)和非层次聚类(划分聚类,谱聚类等),而较常用的互联网用户聚类方法为K-means聚类方法和两步聚类法(均为划分聚类)。
聚类分析的特征:
简单、直观;
主要应用于探索性的研究,其分析的结果可以提供多个可能的解,选择最终的解需要研究者 的主观判断和后续的分析;
不管实际数据中是否真正存在不同的类别,利用聚类分析都能得到若干类别的解;
聚类分析的解完全依赖于研究者所选择的聚类变量,增加或删除一些变量对最终的解都可能产生实质性的影响;
研究者在使用聚类分析时应特别注意可能影响结果的各个因素;
异常值和特殊的变量对聚类有较大影响;
当分类变量的测量尺度不一致时,需要事先做标准化处理。
聚类分析的弱点:
聚类是一种无监督类分析方法,无法自动发现应该分成多少个类;
期望能很清楚的找到大致相等的类或细分市场是不现实的;
样本聚类,变量之间的关系需要研究者决定;
不会自动给出一个最佳聚类结果。
聚类分析的应用过程:
一、选择聚类变量
在选取特征的时候,我们会根据一定的假设,尽可能选取对产品使用行为有影响的变量,这些变量一般包含与产品密切相关的用户态度、观点、行为。
但是,聚类分析过程对用于聚类的变量还有一定的要求:
1、这些变量在不同研究对象上的值具有明显差异;
2、这些变量之间不能存在高度相关。
首先,用于聚类的变量数目不是越多越好,没有明显差异的变量对聚类没有起到实质意义,而且可能使结果产生偏差;
其次,高度相关的变量相当于给这些变量进行了加权,等于放大了某方面因素对用户分类的作用。
识别合适的聚类变量的方法:
1、对变量做聚类分析,从聚得的各类中挑选出一个有代表性的变量;
2、做主成份分析或因子分析,产生新的变量作为聚类变量。
二、聚类分析
相对于聚类前的准备工作,真正的执行过程显得异常简单。数据准备好后,导入到统计工具中跑一下,结果就出来了。这里面遇到的一个问题是,把用户分成多少类合适?
通常,可以结合几个标准综合判断:
1、看拐点(层次聚类会出来聚合系数图,一般选择拐点附近的几个类别);
2、凭经验或产品特性判断(不同产品的用户差异性也不同);
3、在逻辑上能够清楚地解释。
聚合系数图三、找出各类用户的重要特征
确定一种分类方案之后,接下来,我们需要返回观察各类别用户在各个变量上的表现。根据差异检验的结果,我们以颜色区分出不同类用户在这项指标上的水平高低。其他变量以此类推。最后,我们会发现不同类别用户有别于其他类别用户的重要特征。
四、聚类解释和命名
在理解和解释用户分类时,最好可以结合更多的数据,例如,人口统计学数据、功能偏好数据等等。然后,选取每一类别最明显的几个特征为其命名,大功告成。
K-means聚类应用案例
在本案例中,我们首先来看最常用的K-Means聚类法(也叫快速聚类法),这是非层次聚类法当中最常用的一种。
因其简单直观的计算方法和比较快的速度(相对层次聚类法而言),进行探索性分析时,K-Means往往是第一个采用的算法。并且,由于其广泛被采用,在协作沟通时也节省了不少用于解释的时间成本。
1、K-means的算法原理:
a、随机取k个元素,作为k个簇各自的中心。
b、计算剩下的元素到k个簇中心的相似度,将这些元素分别划归到相似度最高的簇。
c、根据聚类结果,重新计算k个簇各自的中心,计算方法是取簇中所有元素各自维度的算术平均数。
d、将全部元素按照新的中心重新聚类。
e、重复第4步,直到聚类结果不再变化,然后结果输出。
假设我们提取到原始数据的集合为(X1, X2, …, Xn),并且每个Xi为d维的向量, K-means聚类的目的就是,在给定分类组数k(k ≤ n)值的条件下,将原始数据分成k类,S = {S1, S2, …, Sk},在数值模型上,即对以下表达式求最小值(μi 表示分类Si 的平均值):
2、用户分群背景和目标:
某产品覆盖社会各种群体(不同年龄、不同行业、不同兴趣等),需要将大盘用户进行一定细分,然后针对性的开展运营活动。
3、聚类变量选取:
用户画像特征、用户状态特征、用户活跃特征
4、 聚类分析和结果:
通过相关性分析和变量重要性分析,剔除部分效果差的变量,然后对剩余11个变量进行多次训练(目标聚类个数,参与的变量,组内个体差异容忍度),最终得出聚类结果。
用户分群K-means聚类效果5、结果解读和命名:
聚类1:低端低龄群体
聚类2:学生活跃群体
聚类3:职场高粘性群体
聚类4:职场低粘性群体
聚类5:高龄低活跃群体
用户分群K-mean聚类结果两步聚类和k-means聚类效果对比
前面谈到的K-Means聚类法有简单、直观和快速的优点。但是其缺点是只能采用数值型变量,不能包含类别变量,并且对异常值非常敏感,离群值很容易严重影响聚类结果。
并且,当数据集比较大(在腾讯,这种情况很常见),不能把所有数据点都装进内存的时候,K-Means就无法在单机上运行。
而两步聚类法则克服了以上缺点,可以包含类别变量和数值型变量,并且当硬件条件不足或数据集非常大时,都能顺利运行。
这种两步聚类法可以看成是改进版BIRCH聚类算法和层次聚类法的结合,先用BIRCH算法中的“聚类特征树”做预聚类,形成子类,然后把子类作为输入,做层次聚类。
1、两步聚类的原理:
第一步:预聚类过程:
构建聚类特征树(CFT),分成很多子类。
开始时,把某个观测量放在树的根节点处,它记录有该观测量的变量信息,然后根据指定的距离测度作为相似性依据,使每个后续观测量根据它与已有节点的相似性,放到最相似的节点中,如果没有找到某个相似性的节点,就为它形成一个新的节点。
在这一步当中,离群点将会被识别并剔除,不会像在K-Means当中那么容易地影响结果。
第二步:正式聚类:
将第一步完成的预聚类作为输入,对之使用分层聚类的方法进行再聚类(以对数似然函数作为距离的度量)。
每一个阶段,利用施瓦兹贝叶斯信息准则(BIC)评价现有分类是否适合现有数据,并在最后给出符合准则的分类方案。
2、 两步聚类的优点:
a、海量数据处理;
b、自动标准化数据;
c、能够处理分类变量和连续变量的混合数据;
d、可自动丢弃异常值或者将异常值归入最近的类。
e、可自动确定或者根据业务需要人工指定分类数目;
3、两步聚类的效果对比:
对第六点同样的数据进行两步聚类,得到模型最优结果如下:
用户分群两步聚类效果4、两步聚类结果解读:
聚类1:低端低龄群体
聚类2:学生或新入职场高活跃群体
聚类3:青年低活跃群体
聚类4:青年挂机群体
聚类5:职场办公群体
聚类6:高龄低活跃群体
用户分群两步聚类结果业务案例 – 通过K-Means聚类
业务案例 – 通过K-Means聚类,挖掘特殊行为模式的客户群
1、业务需求
在本案中,产品经理希望了解登录不活跃用户的行为模式,并且能针对不同的行为组合,对庞大的用户群体进行细分,从而关注不同群体的不同需求,甚至挖掘垂直领域需求,从而在产品或运营侧采取措施,拉活沉默用户,提高DAU。
2、分析目标
a、发现使用行为模式异于大盘典型用户的细分群体
b、粗估每个细分群体的用户数量
c、了解每个细分群体的行为特征和用户画像
d、基于上述结果,在拉活方面,提出产品或运营建议或明确进一步探索的方向
3、分析过程
a) 特征提取
分析聚焦于用户的点击行为。在本例中,考虑到用户行为的典型性,选取了4个完整的周,共28天的数据,并且时间窗当中无任何节日。
另外,考虑到计算性能和探索性分析需要反复迭代的场景,只从大盘当中随机抽取千分之一的用户作为代表。
b) 特征筛选
在特征提取阶段一共提取了接近200个功能点的点击数据。但是这些特征当中,有些覆盖面非常低,只有百分之一的用户在28天当中曾经使用,这些低覆盖的特征会首先被去除。
另外,前面谈到高度相关的变量也会干扰聚类过程,这里对所有特征对两两进行计算皮尔逊相关系数,对高相关特征(相关系数大于0.5)则只保留其中保留覆盖面最广的特征,以便最大限度地体现用户差异。
c) 特征改造-探索
经过上面两步后,笔者曾进行过多次聚类探索,但无一例外,聚类结果都呈现出一个超级大类搭配数十个非常小的小类(几个或十几个用户)。这样的结果,显然与我们的分析目标是想违背的。
其一,这里挖掘出的小群体体积太小,从业务角度来说没有价值;其二,超级大类基本等同与大盘用户,没有能找出其中的用户差异。
为什么会有这样的结果呢,主要是因为点击行为基本上遵循的是幂率分布,大量用户集中在低频次区间,而极少量用户却会有极高的频次,这样在典型的聚类算法中,高频次用户都会被聚集成人数极少的小类,而大量的低频词用户就会被聚集成一个超级大类。
点击行为分布点击行为数K-Means聚类示意图对于这种情况,典型的解决方法是对频次取对数,使幂率分布转化为近似的正态分布再进行聚类,在本次研究中,取自然对数后,聚类效果仅有少量改善,但仍然停留在一个超级大类加上若干人数极少的小类的情况。
背后原因,是点击行为数据的特点之一:核心功能和热门项目点击人数极多,而相对冷门的功能则有大量的0值。这样的情况下,取对数是没有改善的。
打开次数分布打开次数分布(自然对数变换)回到本次分析的目标当中,我们需要“发现使用行为模式异于大盘典型用户的细分群体”,如果丢弃这些冷门功能只看热门选项,则无法找出一些相对小众的行...
- ?
菜鸟数据分析师对数据可视化的理解—完整篇
爱美
展开
本人新人一枚,是个菜鸟数据分析师,统计学专业,接触数据分析大概有半年,在这里稍微写一下自己对可视化的拙见,大牛们看了不对地方还望指正;刚刚工作不久就谈对可视化的理解确实是有些过了,个人因为也看不了不少可视化的手册或者书,例如:数据可视化之美,R语言可视化手册,数据可视化设计指南等,因为工作本来没什么机会写博客总结,借着天善这个社区写写总结,让自己进步,废话不多说;
什么是数据可视化?在我看来,数据可视化就是用图表的形式展示数据的信息;让展示的东西有视觉冲突,让人能出图表中一目了然看出你想要表达的信息;这里很关键一点就是,你想要展示数据的什么信息,很多人为了盲目的追求可视化的一些酷炫效果,得到的东西却不知道表达的是什么,那么这个可视化是失败的;当然可视化也要简洁,简单明了才是可视化的目标所在,毕竟做数据可视化是帮助人们去理解数据,认识数据,从多个侧面去观察数据,并告知告知别人你想表达的数据中的信息;
这工作半年下来,我用了不少可视化的一些软件或者编程语言,一开始我最早接触的是大家基本都能听过的EXCEL,功能特别强大,用它都可以做数据分析,然而原谅我没有把它学好,EXCEL它其实可以做很多的事情,简单方便的生成各种你需要的图表,虽然颜色上不是那么让人喜欢,要是有耐心可以慢慢的调,加一下后期制作或者渲染;然后就是TABLEAU,这个软件确实是强大,能够连接多种数据,拖拽式的操作,可以自动的帮你生成图表,界面简洁易操作,要全放开版的收费,作为刚刚工作的小白只能用它的免费版的,不过限制挺多的;接下来就是R语言了,这是一个开源的统计语言,在数据分析方面和可视化方面都无比强大,第一次用上了GGPLOT2这个包我便开始喜欢上了这个编程语言,这个包的构图思想是图层思想,一个图层一个图层去操作,特别的灵活,我正在学习R语言,希望在今年能稍微精通一下;下面说一下自己对各种图形或者可视化的理解
柱状图
柱状图确实是一个很强大的图形,为什么说它强大呢?因为个人看,柱状图在展示的数据类型上可以选择非连续的数据数据类型和连续的数据类型,又有常用的柱状图和侧面柱状图,还可以用来折叠去展示数据;当我们的去展示非连续的数据类型的时候我们大部分都是用柱状图去展示这类的数据分布,大概能看出这个数据分布情况,又可以用来比较不同数据的整体与部分的关系;在展示连续的数据类型的大部分是用来展示这类数据的时间趋势。或者数据的分布。在设计上我个人认为柱状在设计的时候底层的便签最好不要太长和斜着或者90度垂直于坐标轴,因为这样为方便别人去阅读你的图表,毕竟可视化是方便别人去解读你的数据,能简单易懂就是最好不过了,在各个的柱形下的柱子的间距多少为妙呢?其实个人人为不宜过宽也不宜近,长度大概在柱状的宽度的一半左右为佳,在颜色上的设计,我比较偏向于柱形图用一种颜色,如果要想展示数据突出的部分,我们只需要将颜色加深,这也是为了阅读的简洁性,如果一张柱形图的颜色五花八门,那么所表达的效果是特别糟糕的。对于数据的排序,如果没有某种特殊的要求,我们最好给数据排下序,当然,如果展示的时间趋势的话就没法排序了。
饼图
饼图大部分得的时候是展示部分和总体的关系,不过饼图有个缺点就是,当部分特别繁多的时候就不能用来展示了,因为界面效果会特别差;常用的两种方式是饼状和环状两种。饼状的直接展示各个部分于总体的关系,而环状的保留饼状的样式,中间部分可以展示突出的数据。饼图在一般的展示情况大多数人为了展示一个百分比这个数不管有多少个部分都是去用饼图,然而饼图一般用情况下部分五六个为佳,当多个部分的时候,很多数据没法展示出来,也就是掩盖了部分的信息,有时候我们需要对比两个总体的结构,大部分人都会选择去用两个饼图去比较,然后这个效果不太好,所以一般要比较结构的差异的话最好不要使用多个饼图去展示,最好使用堆叠柱状图去比较两个总体的差异,还有展示的时候部分最好经过大到小的排序。
折线图
折现图大部分情况下都是去展示连续的数据类型,常用是时间趋势,它可以很好的展示趋势,累积,减少以及变化;在设计上,纵坐标最好是能从0开始,因为这样避免有些地方让人误读,展示线条上我们最好能够选择实心的线条,不要用虚线或者点去表示线,这样情况下看着看着容易分析,一张折现图的线三四条为佳,过多的线只会让观察某条线的时候看错了,如果要展示多条,可以在下一张图上去展示,如果你要展示的数据是多个部分的话,这些部分的数据最好能有一个共同趋势,不然有升又降趋势让人看不知所措。还有一个细节的地方,就是加图例的时候最好折线末尾那时候加,对应的折线加对应的图例,方便人读懂你的折线。
散点图
散点图做研究的时候用的比较多,因为散点图大部分情况是用来探究两个部分的关系的时候用的,就先做相关分析的时候要用散点图观察一下是否有相关关系;设计上改注意的和上面的图一样,纵坐标最好能从0开始,当想要展示多种关系的话的,我们可以利用点的大小和颜色去探究,在有某种趋势关系下我们最好加个辅助的线,方便别人看出相关性;
气泡图
气泡图有点类似于加了大小的散点图,气泡图还可以在展示地域数据的可视化,在设计上我们需要注意的是,气泡的尺寸我们需要去注意,例如我们在展示数据的大小比例最好面积的比例一样,不要用半径,如果用半径的话就是1:4了,大小差异就过大了,气泡的形状上最好使用老老实实的圆最好,不要用一些奇怪的图像。
热点地图
怎么说呢,我觉得热点地图的展示是很考验人的技能,第一个热点地图要展示的数据与地域关系差异较大类型的数据才能体现出它的价值,也就是说有背景故事或者价值去让我们发现的数据,热点地图主要是通过强烈的色彩对比去体现数据的差异,有个缺点就是没法很具体的表达数据之间差距而不是差异。在设计上,我推荐色彩最好是一种色调,通过颜色的深浅去反映数据的强度,如果色彩过于繁多,对于读者来说读这张图是个负担,也无法体现出数据之间的差异,轮廓最好简单即可,毕竟简约美嘛,上色的时候会有一个叫色阶的东西,这时候什么数据范围位于哪个色阶最好分清楚,最好能体现出差异,不要全部都是一个色阶,不然热点地图就是去了它的意义了。
上面说的是对于图表的理解,下面说下对常用的展示方式的一些理解;
尺寸:就是用柱形的长短,饼图的大小这类去展示,这可能是我们大家最为常用的一种方式去展示数据,当展示两个对象的数据的时候,我们可以通过尺寸马上的发现了两个对象之间的差异,在展示的精准读上也有些不同,个人人为点的精度大于线条大于面的精度。
色彩:色彩是用来展示大数据的非常好的方式,因为大数据之间会有不少的差异,颜色恰恰是展示这些差异最好的方式,毕竟我们人天生对色差明感,在色阶的选取上我觉得最好能够有明显的差异。
位置:差不多就是我们所说的地图了,这是基于位置的可视化方式,一般我们都用于展示于位置较强关系的数据类型
网络:这个展示数据点之间的关系,例如就像社交网络,就是用这样的展示去表达人与人之间的相关关系。
时间:展示趋势用的最多,主要是想了解对象的发展和变化规律,让我们了解对象整个发展脉络。
那么成功的可视化是怎么样子的呢?
借用《数据可视化之美》的话来说,成功的可视化总共有四点,第一点是新颖,大家都知道,数据可视化就是了简单明了的了解数据,不过你用一个全新的角度去诠释你的数据,让读者读懂了你的信息又能从更高的角度去解读这些信息;第二点信息要充实,充实不代表越多越好,因为一个图表展示的信息过多,会让读者成为一种累赘,很难读懂你的想法,充实的信息就表明你的图表能够能到他们想要的信息又不造成信息过多的情况,所以我们就要考虑业务应用场景了,什么样的场景需要用那些信息结合那些是多余的需要去判断,第三点高效,也就是我们所说的简单明了,一眼就能知道数据中的信息,所以我们在可视化过程中一定要把一些也主题不相关的因素排除掉,过多不相关的因素存在只会增加读者的阅读时间和难度;第四点美感,图片的布局,色彩,形状等一系列的组成部分都是相当和谐的。
那么我们如何设计成功的可视化图表呢?
首先学习这个步骤肯定是少不了的,怎么去学习,当然是去学习一些经典的可视化图片,学习它是如何去构造这张图的,色彩为何要这样的去运用等,还要学习一些可视化的语言或者软件,例如像R语言,它的有强大的包,ggplot2,newwordk,ggmaps(地图)等之类强大的包可以去学习,不然你会设计也不会操作那也是空有一身力气,然后理解数据意义和你想要表达的信息,然后遵从图表的一些设计规范,在规范的基础在进行一些自己的想法。
参考文献:
《数据可视化之美》
《数据可视化设计指南:图表设计》
本文作者:天善智能社区 夏尔康,通晓各种统计学习方法,熟练使用R语言建模,结合帅气与才智的不明吃瓜群众。
- ?
新媒体运营数据分析的九类方法(二)
花葬
展开
新媒体运营数据分析的九类方法(二)上一篇我们已经给大家分享过三种方法了,今天再给大家分享另外三种方法,之所以数据分析方法有多种是因为具体情况要具体分析,不是所有方法都适合每个人,因此大家要学会因地制宜,哪种方法适合当前阶段或者说这次分析的目标选择哪种方法,才是最为机智的运营人。
上一篇我们了解了直接评判法、对比分析法以及分组分析法,今天我们来了解结构分析法、平均分析法以及矩阵分析法。每个名字听的都那么专业,但实际上静静以为并不很深入,不信?大家继续往下看,静静用大白话给大家解读一下这三种数据分析法。
先说结构分析法,结构分析就是指在有统计数据的分组上将现有的数据与总体的数据进行对比的分析方法,简言之就是结构分析法就是对各种部分占总体的比例多少,在我们自媒体平台后台通常可以看见统计低于的饼形图,它就是最好的例子了。
地域饼图再说平均分析法,平均分析法就稍有一定难度,它是用平均数来衡量总体在一定时间和地点且某个条件下某一类数据的一般水平,平均数据相对于其他数据来说更具客观性,可以帮助运营者预测接下来的趋势和规律。平均数据包括算数平均值、几何平均值、对数平均值等,其中最常用的是算术平均值,算术平均值的公式是,算术平均值=总体各数据总和/数据个数。这个公式很重要,请大家记录下来哦,在日后的数据分析中一定会用得上!
最后是矩阵分析法,矩阵分析法是一种定量分析问题的方法,它是指用两个重要数据指标做分析依据,并将这两个指标定为横坐标和竖坐标,构成4象限,从而更直观的找出解决方法,为运营者提供数据参考。这两个重要数据指标可以是所有数据指标,例如我们日常常会用到的经典的做事儿分轻重缓急来做一个例子,大家看完以后可能就明白了。
四象限分析图通过上图大家一定了解什么是矩阵分析法了吧,很多时候只是它们的名字比较笼统,所以大家不太了解,一张图几句大白话就能理解透彻了吧,好啦,本期分享就到这里了,我们下期把最后三种方法分享过后就继续更新其他内容了哈,没看明白的小伙伴就收藏起来慢慢研究吧。
- ?
新媒体运营之数据分析的九类方法(三)
Wenda
展开
数据分析九类方法今天是数据分析九类方法的最后一篇了,最后的三种方法分别是漏斗图分析法、雷达图分析法以及回归分析法。其中雷达图分析法大家应该比较熟悉了,毕竟都是在自媒体后台见过的。当然静静还是会再文字描述一下看它的重点。好了,我们开始今天的话题吧。
第一:漏斗图分析法
漏斗图其实就是一个倒立的金字塔,相信这么说大家一定很清楚了它的形状了,那么漏斗图分析到底是怎么个方法呢?其实很简单,就是把你总结好的相关数据填入进去就可以直观的看出数据每一步转化的情况了。具体大家可以看下图:
漏斗图分析法通过上图大家便不难看出这篇文章带来最终的购买数据了吧,这就是漏斗图分析法,不过前提是要先把相关数据统计出来哦,这种分析方法最好搭配其他分析方法共同使用,毕竟单从漏斗图分析法给出的判断还是不够客观,要想评估完整的运营结果还是需要结合其他分析法。
第二:雷达图分析法
做新媒体运营的人都应该知道这个方法吧,毕竟百家号百家指数、大鱼号数据分析用的都是雷达图分析法,所以雷达图分析法通常用于指数分析,也就是自媒体平台对账号权重的一种评判。
雷达图分析法第三:回归分析法
这种方法就比较繁琐了,它是指通过研究事务发展变化因果关系来预测未来即将发展趋势,也就是说这种方法是用来研究变量间相互关系,也常被称为因果法。其实这种方法不是很常用,也就不在这里进行过多说明了。
本期分享就到这里了,至此数据分析九类方法已经尽数分享完毕了,讲真的新媒体数据分析不单单是对数据的进行整理和分析,还需要运营者将数据进行提炼和总结。在总结新媒体数据时,运营者可以通过“提出问题、分析问题、解决问题”的思路去将数据核心呈现出来。要通过核心数据来提取出经验来,下一次怎么优化会更好,这才是做数据分析最终的目的哦。
- ?
新媒体数据分析之数据类别与来源
罐头
展开
新媒体数据分析之数据类别与来源在新媒体运营的工作中每个平台都会产生大量的数据,但因为平台不同,所以数据展示形式也不一样,自然统计方式和分析方式也会有一定的差别,因此要想快速了解新媒体数据分析方法,就必须要先了解和掌握常见的新媒体数据展现形式和类别,这样在日后的工作中才可以针对性的去分析不同的数据。
作为新媒体数据类别一般包括两种展现形式,分别是数值型和图文性,数值型的数据主要是由数字组成,很直观的可以通过数字进行对应的统计和分析,可以很好的总结并评估运营的结果。常见的数值型数据包括我们常说的阅读量、粉丝量、网店的销售数据、网站的浏览数据以及各种活动的参与统计数据等,这些都是数值型数据。另一种图文型数据是由数字和图片组合而成。图文型的数据一般是指网站栏目分类、账号粉丝分类、消费者反馈以及各种平台矩阵分布等。对于图文型的数据来说我们了解它的目的并非是制定考核指标的量化结果,而是这类数据可以帮助我们找到正确的运营方向。因此,图文型数据也是非常重要的数据类别之一。
数值型&图文型新媒体数据类别相信大家已经明白它的意义了,接下来我们再了解一下新媒体数据的来源。目前新媒体运营的平台有很多,其中包括但不仅限于微信公众号、微博、今日头条、大鱼号、搜狐号、新浪看点、简书等。因此我们要根据不同平台了解不同的数据来源。接下来静静举几个例子给大家,也方便大家理解这些数据的来源。
1. 微信朋友圈数据来源,这一类的数据来源多是通过个人统计出来的,这一类的数据一般是出自朋友圈+社群运营的结果,具体的数据来源主要有好友增长数(吸粉加好友),朋友圈发布海报点赞评论数,以及通过朋友圈购买产品的销售数等。
微信朋友圈主要考手动进行数据统计2. 微信公众号数据,微信公众号数据本身自有统计平台,运营者可以很直观的了解当天的运营情况,包括新增关注数、取消关注数、单篇文章阅读量、全部图文阅读量,甚至还可以选择时间阶段进行统计。
微信公众号后台展示3. 新浪微博,无论是个人还是企业都可以在微博后台查看详细的微博数据,作为运营人微博常见的数据有阅读数、浏览量、视频播放量、粉丝来源以及粉丝新增及取关数等。
微博后台展示以上三个数据来源只是给大家举个例子,还有很多新媒体平台,它们的后台统计都是很强大的,作为运营者可以很直观的看到运营状况,根据运营现状及时调整运营策略。所以定期的数据分析还是非常必要的,因此作为新媒体小编的你要尽快掌握数据分析这个技能哦!好啦,本期分享就到这里了,我们下期再见咯!
- ?
新媒体运营数据分析篇之数据分析的九类方法(一)
余地
展开
数据分析的九类方法(一)经过前面几篇对于数据分析的讲解,相信大家对于数据分析有了一定认知了,也了解如何挖掘获取数据了,那么从今天开始我们将具体的了解如何进行数据分析,因为本节方法过多,所以静静打算把它分为三篇文章讲完,平均每篇文章讲解三个方法,这也有助于大家的学习和了解。好啦,废话不多说了,进入我们今天的主题。
数据分析九类方法一:直接评判法
什么是直接评判法,从字面意思就是根据多年运营经验,直接对具有分析性的数据下定义,判断它的好与坏,通常是从评估近期阅读数、销量以及当日文章推送量是否正常等下手。不过要想用直接评判法来进行数据分析,则需要有两个硬性要求,一个是运营人必须有丰富的新媒体运营经验,可以对阅读量等信息有正确的评估能力,另一个是经过加工处理的数据要够直观,可以直接代表某个数值的优劣。如果两个硬性要求有一个没有达到,想要用直接评判法也都是不可能的。所以直接评判法需要运营人与数据都很优质的情况下才能使用的数据分析方法哦。
数据分析九类方法二:对比分析法
对比分析顾名思义至少有两组及以上数据才能使用的方法,不然拿什么进行对比?分析两组数据的差异进而深度了解这些数据所代表的规律。对比分析法分为纵向分析法和横向分析法,横向是指同一时间段不同指标的对比,而纵向是指不同时间段同一指标的对比,通过对比分析法可以直接了解运营质量,已经目前运营的水平,通过了解目前的运营水平可以总结分析出优点缺点,优点当然要继续保持甚至更进一步,缺点自然是要调整改变重点突破了,所以对比分析法更适用于对运营质量的一个考核。
数据法分析九类方法三:分组分析法
分组分析法就是通过一定的统一指标,将需分析对象进行分组并计算和分析,用于更深入的了解要分析对象的不同特征、性质以及相互关系的方法。分组分析法需要遵循相互独立且完全不同的枚举分析法,意思就是分组之间不能有交叉、组别之间必须具有明显差异化,每个数据只能归为一类,且分组中不能遗漏任何数据,确保数据最终完整性,每个组别都可以容纳下所有的数据。(这么官方的释义恐怕大家是不太懂,下面看个表估计就明白了。其实这种方法还蛮常见的,大家看过后一定就明白了。)
年龄分布图喏,通过上图大家明白什么是分组分析法了不?简单明了!可以直接忽略上面一堆废话……以上就是本次给大家分析的九类数据分析法中的前三种,下一期我们再继续分享哈,好啦,本期分享就到这里了,就酱!
- ?
干货丨收集最全的数据分析图
任秋珊
展开
来自:数据观 https://shujuguan
DT时代,我们每天都会收获来自各种渠道的海量数据,它们是对我们上一步行动的反馈,但人脑消化数据的能力却是有限的——如何及时洞察数据中的涵义,就需要数据可视化工具的帮助了。然而,图表的类型非常丰富,如何做出正确的选择,达到“一图胜千言”的效果呢?
[数据的五种关系]
首先,我们需要了解,数据通常包含五种相关关系:构成、比较、趋势、分布及联系。
构成
主要关注每个部分所占整体的百分比,如果你想表达的信息包括:“份额”、“百分比”以及“预计将达到百分之多少”,这时候可以用到饼图。
比较
可以展示事物的排列顺序——是差不多,还是一个比另一个更多或更少呢?“大于”、“小于”或者“大致相当”都是比较相对关系中的关键词,这时候会首选条图。
趋势
是最常见的一种时间序列关系,关心数据如何随着时间变化而变化,每周、每月、每年的变化趋势是增长、减少、上下波动或基本不变,这时候使用线图更好地表现指标随时间呈现的趋势。
分布
是关心各数值范围内各包含了多少项目,典型的信息会包含:“集中”、“频率”与“分布”等,这时候使用柱图;同时,还可以根据地理位置数据,通过地图展示不同分布特征。
联系
主要查看两个变量之间是否表达出我们预期所要证明的模式关系,比如预期销售额可能随着折扣幅度的增长而增长,这时候可以用气泡图来展示,用于表达“与……有关”、“随……而增长”、“随……而不同”变量间的关系。
对信息中包含的5种关系,可以简单归纳如下:
构成:占总体的百分比
比较:项目的排名
趋势:如何随着时间变化
分布:项目的频率情况
联系:变量之间的关系
[图表的具体适用场景]
下面,我们具体来看一下图表特点及适用场景:
以下图表均制作于数据观
条图
条图表达比较关系,按照强调的方式可以排列任何顺序,适用于高亮Top3或Top5数据,如在零售行业中统计畅销品的销售情况就是很好的应用。它是最通用的一种图表,应在所有的图集使用中占到25%。
柱图
柱图用高度反映数据差异,用来展示有多少项目(频率)会落入一个具有一定特征的数据段中,比如分析公司人员构成是否存在老龄化现象,可以通过柱图看到25岁以下的员工有多少,25岁到35岁之间员工有多少等这种年龄的分布情况。同时,柱图还可以用来表示含有较少数据值的趋势变化关系。
分析图形有单指标柱图、多指标柱图以及堆叠柱图类型。
(1)、单指标柱图
(2)、多指标柱图
(3)、堆叠柱图
线图
线图可用来反映随时间变化而变化的关系,尤其是在趋势比单个数据点更重要的场合。
在柱图与线图的选择过程中,可以考虑数据的本质。柱图强调的是数量的级别,它更适合于表现在一小段时间里发生的事件,产量的数据很适合这个领域。线图强调的是角度的运动及图像的变换,因此展示数据的发展趋势时最好使用它,存货量就是一个很好的例子。柱图和线图的使用应占到图集看板的50%左右。
线图类型中可以有单线图,还可以在图中进行多指标趋势性比较。
(1)、单线图
(2)、多指标趋势性比较
饼图
构成比例关系时,最好使用饼图,给人一种整体的形象,可以展示每一部分所占全部的百分比,比如产品A预计销售额占到所有产品销售额的最大份额。
为了使饼图尽量发挥作用,在使用中不宜多于6种成分。人的眼睛比较习惯于按顺时针方向进行观察,所以应该讲最重要的部分放在紧靠12点钟的位置,如果没有哪一个部分比其他部分更加重要,那么就应该考虑让它们从大到小的顺序排列。
数据观除了有标准饼图,还提供中空饼图和环形饼图两种类型。
(1)、标准饼图
(2)、中空饼图
(3)、环形饼图
Attention!不适用饼图的情况
饼图是通过面积呈现数据的变化,当各指标所占比例接近时,无法直观的判断面积的大小,此时选择条图来呈现,规律就更加清晰。饼图是应最少使用的图表,在所有的陈述和报告中其使用率应少于5%。
错误的图表类型:
正确的图表类型:
气泡图
气泡图判断两个变量之间是否存在某种关系,可反映五维数据。每个气泡的不同颜色或标签,以及气泡点大小,都可以反映一个维度。一般使用率为10%。
KPI图
最直接显示结果,适用于高亮关注指标值或者差异,可以通过主要指标和次要指标进行体现。信息量避免过多,越直观越好。
面积图
与折线图较为类似,面积图强调变量随时间而变化的程度,也可用于引起人们对总值趋势的注意。用填充了颜色或图案的面积来显示数据,面积片数不宜超过5片。
漏斗图
漏斗图用来表示逐层分析的过程,从一个总值(最顶端),不断除去不关心的部分,最终得到关心的值的过程。
多用于业务流程比较规范、周期长、环节多的流程分析,通过比较各个环节宽窄大小,能够直观地发现和说明问题所在。常见应用场景:电商网站、营销推广、CRM等。
1)电商网站:通过转化率比较能充分展示用户从进入网站到实现购买的最终转化率。2)营销推广:反映搜索营销的各个环节的转化,从展现、点击、访问、咨询,直到生成订单过程中的客户数量及流失。
3)CRM:销售漏斗图用来展示客户各个阶段转化比较。
金字塔图
金字塔图用于展示类似金字塔的层级结构和数据量。例如某个国家的收入分配,金字塔顶部显示高收入类别,逐渐降低到代表低收入的底部。
雷达图
雷达图可以用来表现一个周期数值的变化,也可以用来表现特定对象主要参数的相对关系。
雷达图多用于在财务分析中,用来分析企业负债能力、运营能力、盈利和发展能力等指标。
地图
地图是信息密度最大的数据可视化方式,人们在日常生活中就使用地图,所以能直观理解地图。
数据观基于不同的视觉化原理提供三种地图:区域地图、散点地图和热力地图。
(1)、区域地图
区域地图是按照国家、省市行政区划分,用来展现地理信息,以及与地理位置有关的信息,指标的多少可以用颜色深浅区分。
(2)、散点地图
散点地图基于高德地图实现,通过定位经纬度,用散点来表示所在位置的信息指标。
(3)、热力地图
热力地图以特殊高亮的形式显示访客所在的地理区域的图示,不同颜色反映不同区域密度的分布。
表格
表格可以通过拖拽所关心的指标,如通过一级、二级分类,了解更加明细的数据,起到数据透视表功能。
综合使用
饼图、柱图、条图、线图、气泡图可以组成可视化报告90%图形,其他视觉化展示可以将图表组合起来综合使用。
以上就是为大家提供的图表基本使用原则,适用于日常工作中大多数的图表制作。
最后,希望大家都可以需要根据自己想要表达的信息选择合适的图表,让数据可视化帮助我们的大脑减负,替我们的数据说话。
- ?
数据分析全流程(内附案例)
小老鼠
展开
(图片来源于网络)
作者:苏格兰折耳喵
来源: 运营喵是怎样炼成的 (yymzylc)
(温馨提示:图片显示毛糙和不清楚,是分辨率过高的缘故,点击图片,即可看到高清大图。 )
本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析,力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架:
1 分析背景
1.1 分析原理---为什么选择分析虎嗅网
在现今数据爆炸、信息质量良莠不齐的互联网时代,我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中,因而无可避免的被它上面泛滥的信息所“裹挟”,也就是说,社会化媒体上的信息对现实世界中的每个人都有重大影响,社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户,我们每时每刻都在受到它的影响。
综合上述两类情形,可以得出这样的结论,透过社会化媒体,我们可以观察现实世界:
由此, 社会化媒体是现实主客观世界的一面镜子,而它也会进一步影响人们的行为,如果我们对该领域中的优质媒体所发布的信息进行分析,除了可以了解该领域的发展进程和现状,还可以对该领域的人群行为进行一定程度的预判。
鉴于此种情况,作为互联网从业者的笔者想分析一下互联网行业的一些现状,于是想到了虎嗅网。
虎嗅网创办于2012年5月,是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯,围绕创新创业的观点进行剖析与交流。虎嗅网 的核心,是关注互联网及传统产业的融合、一系列明星公司(包括公众公司与创业型企业)的起落轨迹、产业潮汐的动力与趋势。
因此,对该平台上的发布内容进行分析,对于研究互联网的发展进程和现状有一定的实际价值。
1.2 本文的分析目的
笔者在本项目中的分析目的主要有4个:
(1)对虎嗅网内容运营方面的若干分析,主要是对发文量、收藏量、评论量等方面的描述性分析;
(2)通过文本分析,对互联网行业的一些人、企业和细分领域进行趣味性的分析;
(3)展现文本挖掘在数据分析领域的实用价值;
(4)将杂芜无序的结构化数据和非结构化数据进行可视化,展现数据之美。
1.3 分析方法---分析工具和分析类型
本文中,笔者使用的数据分析工具如下:
Python3.5.2(编程语言)
Gensim(词向量、主题模型)
Scikit-Learn(聚类和分类)
Keras(深度学习框架)
Tensorflow(深度学习框架)
Jieba(分词和关键词提取)
Excel(可视化)
Seaborn(可视化)
新浪微舆情(情绪语义分析)
Bokeh(可视化)
Gephi(网络可视化)
Plotly(可视化)
使用上述数据分析工具,笔者将进行2类数据分析:第一类是较为传统的、针对数值型数据的描述下统计分析,如阅读量、收藏量等在时间维度上的分布;另一类是本文的重头戏---深层次的文本挖掘,包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。
2 数据采集和文本预处理
2.1 数据采集
笔者使用爬虫采集了来自虎嗅网主页的文章(并不是全部的文章,但展示在主页的信息是主编精挑细选的,很具代表性),数据采集的时间区间为2012.05~2017.11,共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量,然后笔者人工提取4个特征,主要是 时间特征 (时点和周几)和 内容长度特征 (标题字数和文章字数),最终得到的数据如下图所示:
2.2 数据预处理
数据分析/挖掘领域有一条金科玉律:“Garbage in, Garbage out”,做好数据预处理,对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗,处理的条目如下:
(1) 文本分词
要进行文本挖掘,分词是最为关键的一步,它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理,它有3类分词模式,即全模式、精确模式、搜索引擎模式:
· 精确模式:试图将句子最精确地切开,适合文本分析;
· 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
· 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
现以“新浪微舆情专注于社会化大数据的场景化应用”为例,3种分词模式的结果如下:
【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用
【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用
【搜索引擎模式】:新浪,微舆情,新浪微舆情,专注,于,社会化,大数据,社会化大数据,的,场景化,应用
为了避免歧义和切出符合预期效果的词汇,笔者采取的是精确(分词)模式。
(2) 去停用词
这里的去停用词包括以下三类:
标点符号:, 。! /、*+-
特殊符号:▲等
无意义的虚词: “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等
(3) 去掉高频词、稀有词和计算Bigrams
去掉高频词、稀有词是针对后续的主题模型(LDA、ATM)时使用的,主要是为了排除对区隔主题意义不大的词汇,最终得到类似于停用词的效果。
Bigrams是为了自动探测出文本中的新词,基于词汇之间的共现关系---如果两个词经常一起毗邻出现,那么这两个词可以结合成一个新词,比如“数据”、“产品经理”经常一起出现在不同的段落里,那么,“数据_产品经理”则是二者合成出来的新词,只不过二者之间包含着下划线。
3 描述性分析
该部分中,笔者主要对数值型数据进行描述性的统计分析,它属于较为常规的数据分析,能揭示出一些问题,做到知其然。
3.1 发文数量、评论量和收藏量的变化走势
从下图可以看出,在2012.05~2017.11期间,以季度为单位,主页的发文数量起伏波动不大,在均值1800上下波动,进入2016年后,发文数量有明显提升。
此外,一头(2012年第二季)一尾(2017年第四季)因为没有统计完全,所以发文数量较小。
下图则是该时间段内收藏量和评论量的变化情况,评论量的变化不愠不火,起伏不大,但收藏量一直在攀升中,尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性,读者认为有价值的文章才会去保留和收藏,反复阅读,含英咀华,这说明虎嗅的文章质量在不断提高,或读者的数量在增长。
3.2 发文时间规律分析
笔者从时间维度里提取出“周”和“时段”的信息,也就是开题提到的“人工特征”的提取,现在做文章分布数量的在“周”和“时”上的交叉分析,得到下图:
上图是一个热力图,色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到,中间有一个颜色很明显的区域,即由“6时~19时”和“周一~周五”围成的矩形,也就是说,发文时间主要集中在工作日的白天。另外,周一到周五期间,6时~7时这个时间段是发文的高峰,说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章,这也符合它的人群定位---TMT领域从业、创业者、投资人,他们中的许多人有晨读的习惯,喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰,是为了提前应对读者午休时间的阅读,还有17时~18时,提前应对读者下班时间的阅读。
3.3 相关性分析
笔者一直很好奇,文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此,笔者绘制出能反映上述变量关系的两张图。
首先,笔者做出了标题字数、文章字数和评论量之间的 气泡图 (圆形的气泡被六角星替代,但本质上还是气泡图)。
上图中,横轴是文章字数,纵轴是标题字数,评论数大小由六角星的大小和颜色所反映,颜色越暖,数值越大,五角星越大,数值越大。从这张图可以看出,文章评论量较大的文章,绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点,文章篇幅中长,意味着能把事情背后的来龙去脉论述清楚,而且标题要能够吸引人,引发读者的大量阅读,合适长度标题和正文篇幅才能做到这一点。
接下来,笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图,X轴和Y轴分别为标题字数和正文字数,Z轴为收藏量和评论量所构成的 平面 ,通过旋转这个3维的Surface图,我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。
注意,上图的数值表示和前面几张图一样,颜色上的由暖到冷表示数值的由大到小,通过旋转各维度的截面,可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰,因而这里的收藏量和评论量最大。
3.4 城市提及分析
在这里,笔者通过构建一个包含全国1~5线城市的词表,提取出经过预处理后的文本中的城市名称,根据提及频次的大小,绘制出 一张反映城市提及频次的地理分布地图 , 进而间接地了解各个城市互联网的发展状况(一般城市的提及跟互联网产业、产品和职位信息挂钩,能在一定程度上反映该城市互联网行业的发展态势)。
上图反映的结果比较符合常识,北上深广杭这些一线城市的提及次数最多,它们是互联网行业发展的重镇。值得注意的是,长三角地区的大块区域(长江三角洲城市群,它包含 上海 , 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 , 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 , 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 )呈现出较高的热度值,直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多,结合国家政策和地区因素,可以这样理解地图中反映的这个事实:
长三角城市群是“一带一路”与长江经济带的重要交汇地带,在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎,是长江经济带的引领发展区,是中国城镇化基础最好的地区之一。
长三角城市群是“一带一路”与长江经济带的重要交汇地带,在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎,是长江经济带的引领发展区,是中国城镇化基础最好的地区之一。
接下来,笔者将抽取文本中城市之间的 共现关系 ,也就是城市之间两两同时出现的频率,在一定程度上反映出城市间经济、文化、政策等方面的相关关系,共现频次越高,说明二者之间的联系紧密程度越高,抽取出的结果如下表所示:
将上述结果绘制成如下动态的流向图:
由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容,因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系,本动态图中,主要反映的是北上广深杭(网络中的枢纽节点)之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群:
京津冀城市群
长江三角洲城市群
珠江三角洲城市群
中原城市群
成渝城市群
长江中游城市群
上面的数据分析是基于数值型数据的描述性分析,接下来,笔者将进行更为深入的文本挖掘。
4 文本挖掘
数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式;而文本挖掘(在文本数据库也称为文本数据挖掘或者知识发现)是从大量非结构的数据中提炼出模式,也就是有用的信息或知识的半自动化过程。
本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。
4.1 关键词提取
对于关键词提取,笔者没有采取词频统计的方法,因为词频统计的逻辑是:一个词在文章中出现的次数越多,则它就越重要。因而,笔者采用的是 TF-IDF (termfrequency–inverse document frequency)的关键词提取方法:
它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度,字/词的重要性会随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。
由此可见,在提取某段文本的关键信息时,关键词提取较词频统计更为可取,能提取出对某段文本具有重要意义的关键词。
下面是笔者利用jieba在经预处理å�...
- ?
四类常用的数据分析工具,你都会用吗?
Mick
展开
今天静静给大家分享新媒体运营中关于数据分析方面常用的四类分析工具,可能很多人听说过但不知道其作用,没关系,今天你就知道了。毕竟对于我们什么都得会的新媒体运营小编来说,灵活的使用各种工具可是能大大的帮助我们提升效率的呢,因此对于数据分析的工具也是大家必须掌握的,好啦不多说了,进入我们今日的正题。常用的四类数据分析工具分别是:网站统计分析工具、自媒体分析工具、第三方分析统计工具以及我们常用的EXCEL表格。
我们先说第一种网站统计分析工具,网站统计分析工具就很常见了,大家常听说的有CNZZ统计、站长工具、爱站网等,主要是为网站运营者提供代码统计数据支持,网站运营者可以在上述提到的相关网站注册账号,然后申请统计代码,获得代码后再植入到网站对应位置即可。大约过几天就可以在你注册的平台看到网站的相关数据了。做过网站运营的人对这块儿应该并不难理解,如果没有做过这方面也没有关系,公司里面都应该有负责网站运营的同事,可以咨询一下他们。
第二种:自媒体分析工具,自媒体分析工具就比较容易了,不需要占用运营者太多的时间去整理代码,所有的数据都是直接后台形成的,不管是微博、微信公众号还是今日头条等自媒体平台,都具有完整的数据统计功能,作为运营者只需要通过后台自带的分析工具就可以直观的看到用户增长等相关数据了,相信有自己自媒体的同学一定能明白静静所说的后台的含义。
第三种:第三方分析工具,这种工具通常是指非官方平台自带的统计工具,需要官方授权后才可以使用的数据分析工具,毕竟不是所有平台都有自带统计工具,第三方分析工具需要运营者单独注册账号,且需要相关平台的授权才可以使用,不过一旦授权成功,那看数据的操作就与自媒体分析工具一样方便简单和直观了。在这里静静推荐几个常见的第三方分析工具吧,比如新榜数据、西瓜助手等。
第四种:EXCEL表格,这种方式比较适合excel玩得好的人了,数据来源通常要么是后台导出,要么是人工统计。人工统计的数据一般会包括每天发布文章的数量、后台互动的数量与类别、同行口碑的分析等,因为这些数据统计是一般平台都不含有的,那么自然就需要人工亲自查阅相关数据进行统计了。至于后台导出的EXCEL表格方式,通常是因为相关平台里的一些数据不能够满足个性化增加或删减了,于是需要靠人工手动进行调整。
以上四类常用的数据分析工具都不难,只要多加练习都是很容易掌握的哈,另外静静再给大家一个建议,对于自己未来肯定是要用的工具,最好自己提前在电脑上注册账号存储起来,以后不管去哪里肯定是要用到的,到时候就可以直接用了,省的再注册耽误时间哈。好啦,本期分享就到这里了,我们下期再继续分享哈~
- ?
9种常用数据分析方法
伍烨磊
展开
数据分析是从数据中提取有价值信息的过程,过程中需要对数据进行各种处理和归类,只有掌握了正确的数据分类方法和数据处理模式,才能起到事半功倍的效果,以下是数据分析员必备的9种数据分析思维模式:
1. 分类
分类是一种基本的数据分析方式,数据根据其特点,可将数据对象划分为不同的部分和类型,再进一步分析,能够进一步挖掘事物的本质。
2. 回归
回归是一种运用广泛的统计分析方法,可以通过规定因变量和自变量来确定变量之间的因果关系,建立回归模型,并根据实测数据来求解模型的各参数,然后评价回归模型是否能够很好的拟合实测数据,如果能够很好的拟合,则可以根据自变量作进一步预测。
3. 聚类
聚类是根据数据的内在性质将数据分成一些聚合类,每一聚合类中的元素尽可能具有相同的特性,不同聚合类之间的特性差别尽可能大的一种分类方式,其与分类分析不同,所划分的类是未知的,因此,聚类分析也称为无指导或无监督的学习。
数据聚类是对于静态数据分析的一门技术,在许多领域受到广泛应用,包括机器学习,数据挖掘,模式识别,图像分析以及生物信息。
4. 相似匹配
相似匹配是通过一定的方法,来计算两个数据的相似程度,相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景,如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。
5. 频繁项集
频繁项集是指事例中频繁出现的项的集合,如啤酒和尿不湿,Apriori算法是一种挖掘关联规则的频繁项集算法,其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集,目前已被广泛的应用在商业、网络安全等领域。
6. 统计描述
统计描述是根据数据的特点,用一定的统计指标和指标体系,表明数据所反馈的信息,是对数据分析的基础处理工作,主要方法包括:平均指标和变异指标的计算、资料分布形态的图形表现等。
7. 链接预测
链接预测是一种预测数据之间本应存有的关系的一种方法,链接预测可分为基于节点属性的预测和基于网络结构的预测,基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息,利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比,网络结构数据更容易获得。复杂网络领域一个主要的观点表明,网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。
8. 数据压缩
数据压缩是指在不丢失有用信息的前提下,缩减数据量以减少存储空间,提高其传输、存储和处理效率,或按照一定的算法对数据进行重新组织,减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。
9. 因果分析
因果分析法是利用事物发展变化的因果关系来进行预测的方法,运用因果分析法进行市场预测,主要是采用回归分析方法,除此之外,计算经济模型和投人产出分析等方法也较为常用。
以上是数据分析员应熟练掌握的9种数据分析思维方法,数据分析员应根据实际情况合理运用不同的方法,才能够快速精确的挖掘出有价值的信息!
数据分析类
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并