用户行为数据

我们每天在互联网上的举措都邑爆发大年夜批的数据，随着大年夜大年夜数据和人工智能的展开，这些数据的价值也愈来愈主要。

而关于产品不合的展开阶段，需求有不合的开拓、运营和营销计谋与其婚配，若何把控产品线展开的全部节奏和计谋是关键。

一、大数据随处可见

大年夜大年夜家都在讲大年夜大年夜数据，这里我们提炼出了几个特点。

1.数据体量特别宏大年夜大年夜。

数据积累手段门槛愈来愈低，大年夜大年夜家愈来愈留心到从真实世界到数据世界的数据化过程，搭建了十分多的数据集合、收据归集的基础装备。

在个过程傍边，我们的数据体质变得愈来愈大年夜大年夜。

2.数据类型多样。

大年夜大年夜家都在做数据归集，数据剖析，类型十分多样。

这些数据很多时分相互没有买通，这个时分若何做数据买通，若何在自己的范围外面把数据做成闭环，可以构成一个良性的迭代。

还有就是处理速度要很快，处理数据不瞬间爆发就会掉落掉落落贸易价值。

若何把数据提取出来的价值瞬间把释放出来，也是在用户生命周期运营的时分十分主要的一点。

3.价值密度低。

你会发来岁夜数据在各行各业应用傍边，很多时分你可以掉落掉落落有效的数据或许是积累到肯定水平的量以后才干迸发数据的价值，这个密度是十分稀少的。

数据以外还要拼一些模型算法、算力，假定谁能用更好的模型算法、适宜的模型算力尽快连接到数据和贸易价值，这就是胜利的关键措施。

二、数据时代的用户生命周期如何管理

不知道大年夜家有没有看过腾讯的财报，从财报反应出来的用户增加数据，可以清晰的看到今朝流量红利确实不在了。

因此随着流量红利的消失，我们的用户增加出现了一种疲软的形状，为甚么会疲软？

有一个主要的要素是，愈来愈多的竞争者在进入市场，全部市场的竞争是不时在加重的。

集约式的运营方法，曾经不适应这类市场情况了。

现在的运营需求我们以用户为中间，深化去开掘用户的一些特点，包罗去应用各类各样的数据，来协助我们去晋升用户运营的效力。

所以我们提出了“用户的生命周期办理”这个概念。

其实当一个用户进入到你的APP的时分，不管是从下载装置，到应用，或许是付费，总有一天他是会消失的，全部过程当中会经历分歧的阶段。

在获客期，生临时，和到成熟期，到阑珊期，到流掉期，分歧的阶段，有分歧特色的。

作为运营者来讲，若何应用数据更好地在每个阶段效劳这些用户，晋升这些用户的体验，其实这是每个用户运营者都邑去想的后果。

接上去我给大年夜家讲一下，如何用数据，在每个周期去做如许的一些任务。

1.获客期

获客阶段，获客的手腕迥然分歧，不过就是渠道、社交、和告白这三个层面。

① 渠道办理

渠道这块能够是获客的主要手腕，现在的APP运营者都邑找分歧的渠道去做APP履行，在这个过程傍边，都邑碰到一些后果，而且现在获客成本愈来愈高。

其实也是因为互联网开展到现在，很多资本都曾经被垄断，而告白主在这方面的议价才华又十分低，只能在获客成本高低足时间。

在这个过程傍边，也会碰到一些后果，比如说告白主去应用这些渠道，停止一些履行，经常会碰到质量与成本平衡性的后果。

各个渠道会经过各类手腕，去把少量新客拉出去。

然则告白主经常会想，我想要质量的时分，很有能够成本没方法保证；想要数量的时分，很有能够质量没方法保证。

所以在这个过程傍边，找到一个用数据来措辞的平衡点，让大年夜家可以在各自的范围傍边，能有响应的数据支撑。

告白主经常有一些不实在践的请求，比如说一天给我带五万个新客出去，大年夜家都知道这个能够性十分小，作为渠道他会如何办？

他能够会给你一些假的用户，活泼度十分低的用户，这个时分我们就要用数据去衡量。

每个渠道给你带来的用户，这些用户有什么样的特点，保存率、活泼度如何样。

用这些数据目标去分派渠道预算，这也是用数据的方法来寻觅平衡点的方法。

② 社交红利

大年夜家都知道社交收集在移动互联网是最具优势的传达对象，关于这个传达对象来讲，大年夜家都邑去应用。

因为其实老用户带新用户的转化率是十分高的，社交属性可以消弭大年夜局部用户的顾忌。

假设再加上大年夜数据的标签，可让运营者或许开辟者更有效地停止针对性传达，可以去协助你做用户的增加。

③ 告白投放

告白投放是最遍及的一种方法，大年夜家会用各类各样的告白去做投放，然则在这个过程当中，都邑碰到一个后果？

就是渠道与告白主之间的一个博弈。

渠道可以经过各类方法拉到新用户，其实有时分会和告白主欲望的不太一样。

如我针对女性投放的告白，我新出去的获客应当大年夜局部是女性，这个时分如何校验呢？

停止投放的时分，异样也需求大年夜数据去停止验证，如何验证呢？

这类时分就需求借助第三方数据平台，我们会用到个推旗下的“个灯”产品，经过个推的大年夜数据剖析，通知你这个用户究竟有什么样的特点，有什么样的兴味喜好。

在这个过程傍边，我们同时也会找到一个平衡点，所以我们在告白投放过程傍边，可以应用用户画像，晋升你运营的效力。

在获客过程傍边，或许是在初始阶段，我们做数据验证必然要用到数据办理平台，这些数据平台在各个阶段也有分歧的感化。

在低级阶段，最主要的照样验证新获得的这些用户，他究竟是否是我想要的这些人，便可以经过一些复杂的用户画像，来做如许的数据校订。

到了中期，便可以应用数据模型，应用这类数据的优化，来指导告白投放，就是说这些用户出去以后，他可否契合老用户的特点。

到了前期，乃至可以应用老用户的特点剖析、行动剖析，经过机械进修的方法，来寻觅更多的潜伏用户。

2.生临时

① 冷启动

在发展阶段，大年夜家都邑碰到一个后果，当一个新的用户出去以后，你是不知道这个用户有甚么特点的。

这个时分我们可以去经过一些第三方数据平台，去越发了解这个用户。

协助你去做一个冷启动的内容引荐，应用到信息流、电商外面，会有很好的后果。

② 内容引荐

昔日头条不时想要做千人千面，其实这其实不是一个轻易的事。

在我看来，这个工作是十分缓慢的过程，或许说它是一个稳扎稳打的过程，为什么这么说？

比如说我对自己的用户做一个复杂的分组，对这些分歧分组的人去做分歧的运营计谋，然则大年夜家会认为这个器械起不到异样的后果。

其实再往下做一层，我会做矢量级其余分类，做聚类剖析，把有合营特点的用户放在一类，去做响应的剖析，对有这些合营特点的人，去做响应的一些运营的计谋。

3.成熟阶段

进入到成熟阶段，运营成本能够会愈来愈高，而老板需求浪费运营成本，如何做？

① 节俭成本

方才说到告白投放，很有能够给我带来的都是假流量，我如何去辨别流量是真的呢？

我们可以经过借助第三方大年夜数据平台，帮你识别这些用户比来一段时间，究竟有没有装置过这个APP。

这些用户是从哪个媒体来的流量、活泼度是什么样的，和是否是真实流量。

② 培养用户付费习惯

关于中国花费者来讲，付费的志愿是十分低的，在中国想去做用户付费很难，为什么这么说？

因为中国花费者曾经习惯了收费享用APP供给的效劳，他没有这个志愿去做付费，那我们要如何去培养用户的付费习惯呢？

可以先从一些小额付费的产品做起，先培养他的付费志愿。

在这个过程当中，假设说他经过付费以后，曾经获得了一些分歧样的体验，大年夜额付费距离也不远了。

③ 优惠鼓舞政策

比如发红包，各类鼓舞手腕，固然手腕很俗套，然则后果照样很不错的。

4.阑珊期

一个用户出去以后，不能够说他不时都是你的用户，他总有一天会离开，在离开之前，或许说你发明他行将要流掉的时分，你该如何做？

其实这个时分，我认为应当起主要做的工作，就是去做一系列数据的剖析。

要去看他究竟是否是曾经在用你的APP的同时，曾经应用了行业内或许竞品的APP。

照样他的需求是否是爆发了变更，这些数据关于APP开辟者来讲是不清晰的。

比如明天这个用户曾经不活泼了，这就需求借助个推旗下的第三方数据运营对象“个数”来剖析，它能够会通知你，用户曾经装了相似的APP代替你了。

在真实的流掉之前，其实你照样要做一系列剖析，比如这个用户缄默了，然则他关于你来讲，是低价值用户照样低价值用户还需求去判其余。

我们可以经过个推大年夜数据剖析，他的APP应用状况，翻开的频次，应用的时长来辨别。

剖析用户是低价值和低价值以后，还要做一系列唤醒的举措，辨别这个用户是否是曾经卸载了，照样说他只是缄默了。

剖析完以后，还要辨别一下，这些用户我应当用什么样的手腕去做一系列的唤醒举措。

5.流掉期

方才说到流掉，再往下看一层，假设用户卸载了如何办？

卸载了大年夜家必然会欲望说，我要去把它召回来。

其实大年夜家都知道召回用户这件工作是一件十分难的工作，为什么这么说？

假设说把召回用户比做挽回前任的话，大年夜家就比拟轻易了解了。

不外可以在做召回之前，我们可以做几件工作，起首我得知道流掉了若干用户。

我们可以经过个推的应用统计产品“个数”，去了解APP各渠道的卸载数及卸载趋势，还可以剖析用户的卸载流向、卸载用户成分、卸载召回剖析。

知道有若干用户卸载了也不可，我还得知道这个用户究竟是什么样的人，去问这些用户，因为什么样的启事卸载。

在这个过程傍边，我们可以经过数据了解APP的用户，究竟是哪些用户卸载了，有若干人卸载，和包罗他卸载的启事是甚么，经过这个方法，来协助你去做召回。

同时还要对行业有必然的了解，不美观察全部行业是否是也爆发了变更，究竟是否是你自己的启事，运营的后果照样产品效劳的后果。

在短时间内爆发大量数据，这时数据资源的采集、存储和分析和应用等，都是大数据行业的难点。行为数据、日志数据的处理，往往成为企业数据建设首先面对的瓶颈，这些数据不易保存，实时获取分析难度较大，但是数据价值却不可估量。

在大数据中，90% 以上的数据爆发来自于行为数据，就像现在的互联网、移动互联网、甚至在产生于物联网中用来描述人和物的每一分每一秒的变化的数据状态，这些都是行为数据。

行为数据能用做什么？

行为数据能做什么？有一个简单的例子 —— 分析访客行为的路径，我们拿一个网站的数据进行分析，针对网站的访客，我们可以通过分析其访问前期、中期、后期的行为习惯去了解哪些引流的渠道需要加强投入，以及使用这些来指导内容编辑和竞品研究分析工作。

实际上在做需求时，还有更多的细节要求如：对数据的实时性的要求比较高、要求数据的热点情报的准确性、与客户数据的协同分析等。

行为数据的处理方式

用户行为数据通常具备以下特征：

用户基数大；

高基数维度比较多；

数据量大；

时序的特征。

我们用到的高基维，其中有些维度都是上千万的高基维参数。用户行为数据的处理，在支持原始数据查询的同时，也要支持原始数据的聚合能力。

原始数据的聚合分析这块又分为两种，一种是过去常用的做法，通过一个固化的业务模型或者主题，提前计算好的数据，叫做物化视图。

第二种是基于原始数据存储之后，在实时查询的过程中进行多维交叉的计算，这个称为实时聚合。

在查询过程中对实时聚合的一个分析，也是大家在进行数据挖掘分析中共同面临的一个问题，就是针对海量数据。

首先，针对这些数据，需要快速的检索出所需要的数据的行号。其次，在获取数据所在位置之后，如何快速地把数据装载到内存里，最后是装载到内存之后通过分布式计算的方式，怎么去把我们的结果计算出来。

这些就是在做数据的实时查询过程中的需要具备的基本技术条件。

挖掘数据新的价值

面对海量实时行为数据的技术思考，主要是从四个角度来进行：

第一，必须要以原始数据存储。为什么要基于原始数据存储？因为在整个的数据分析阶段，可以细分为三个阶段。第一个就是传统的是 BI 阶段。第二个是数据的挖掘，第三个是数据的预测分析。

想解决这三个阶段的过程，以传统的方法是建一个数仓，基于数仓来实施的时，只能面向比较固化的业务报表模式，产生一些数据的分析结果，得到决策结果。如果想做数据挖掘时，基于固化业务模式计算的结果的很难满足数据挖掘需求，所以必须从初始阶段基于原始数据去提取其特征。

基于固化的的业务报表模型所获取数据计算的结果，对数据挖掘分析的价值不高。存储引擎必须以原始数据进行存储，才能既满足 BI 阶段的需求，又可以解决未来数据挖掘与数据预测分析的需求。

第二，要满足实时多维的查询，是为了在数据基于原始数据存储之后，去做到聚合结果能够满足用户对海量增量数据快速查询的需求。

第三，快速响应需求，在企业内部，其实数据部门的需求量是最大的，各个业务部门的需求都往数据中心提，所以数据部门必须去解决好如何快速地响应业务需求。

第四，数据的探索分析，以往把数据，按照固化的业务报表模式所获取的结果，做二次分析的空间量比较小。所以必须要基于原始多维的数据进行数据的探索，挖掘数据新的价值，而不是按照已有的固化的业务模式，只是生产出一些固化的业务模型的数据。

平台架构

数果现在基于之前做过的一些技术的预言跟验证，自行研发了一个基于 Hadoop 加速引擎，称为 Tindex。之前我也在网络上做过万亿级日志与行为数据存储查询技术剖析http://infoq/cn/articles/trillion-log-and-data-storage-query-techniques 的文章 ，也讲解了 Tindex 是如何实现的。Tindex 的实现主要基于三点，第一点基于索引，第二点基于类似存储的方式，第三点做了分布式内存计算的框架在 Tindex 中，使之能够支持数据的实时的多维分析的能力。

基于加速引擎这块，在其上层做了一个适配层，有 SQL引擎。SQL 引擎支持 SQL 语句和表达式，还有大数据生态技术，目前已经是完全支持。基于适配层，来做不同的行业应用。这是数果整个平台技术架构的一个图。

平台特性

平台的特性方面，支持海量增量数据实时接入。在数据接入这块，现在提供可视化埋点，跟文件、MR 的一些数据的采集，就像我们目前在做的单进程的接入式，基本上在 3 万以上，从数据的产生，到数据显示、出现查询结果，在 5 秒以内即可实现。

第二个特性，基于明细数据的存储与预聚合的存储分别去搭建。为什么不仅要基于原始数据存储，还需要预聚合存储？因为其有两种不同的需求。第一个是面向固化的高频查询的数据，我们可以基于预聚合存储的方式，去查询其周期跨度比较长的需求，一年两年都可以进行查询。但是基于近半年或者一年的数据需要进行深度数据探索分析的，便可以基于原始明细数据做实时聚合分析。还有在基于原始明细数据进行分析的时候，他会更佳灵活。

第三，海量数据中怎么去实现快速检索，是基于搜索引擎的索引技术进行改造的。但是在筛选方式上，目前只能支持时间筛选、文本筛选和数值筛选，例如文本筛选中支持分词与模糊匹配，数值筛选中，数值的分组和数值的范围这些均可支持。

这个展示的是灵活多维的分析，在这个界面中，左边的这一列中是基于原始明细数据产生的所有的维度，可以根据权限去进行显示。而在指标方面通过界面拖拽进行多维实时分析，选择想要的数据分析结果，进行可视化的展示，可以自由地数据探索。因为数据是基于原始明细数据的存储，所以不需要提前预计算。可以在界面上进行任意数据交叉分析，去了解数据的分布态是非常便捷的。

通过指标的灵活定义，来实现实时响应的业务需求，这个指标定义这块有几个指标，一种叫单指标，即按照某一个维度进行一个聚合计算，通过界面可以简单、快速完成。另一种叫复合指标，需要进行一些四则运算，可以通过这个界面定义出来。

在指标这方面还有比较复杂的，需要通过多个维度进行定义的，可以通过一些表达式，进行快速的定义，定义完成后就通过界面，直接看到结果，获得图形显示，进行数据分析。

支持实时监控与跟踪告警，在多维分析界面中把分析结果定义出来后，可以直接形成一个实时监控大屏，不需要重新开放，多站完成各类需求。

最后一个也是最重要的一个特性，是支持二次的开发。数果的平台提供普通类查询，有 Timeseries、TopN、select、groupby、firstN、scanQuery。也提供像用户分组，用户漏斗查询，用户留存查询这类高级查询，还支持多种条件的过滤，像日期范围、数值范围、地理坐标范围，还有字符串的精准匹配。还支持多种聚合的方式。如统计，分组，还有聚合再聚合，这类业务场景，也是在业务需求中经常出现的。

基于平台我们做了什么？

基于这个平台实现了指标任意定制，因为数据是基于原始明细记录存储的，所以指标的定制这方面，不需要提前预计算，直接通过界面，通过一些表达式便可以轻松实现。

维度的自由的筛选，可以通过界面，自由地拖拽数据，就可以完成交叉分析。

基于平台提供用户行为分析模型，例如实时的用户分群，可以通过界面快速的完成。再例如实时的路径分析，实时的流程分析，实时的漏斗分析。提供了一个智能算法模型，相当于在这个模块实现了，将机械学习跟深度学习的算法吸收进来，跟我们的平台打通，就可以实现通过界面的简单拖拽，来完成大部分算法的模型。用户也有一些固化的模型，像用户的扩群，用户 RFM 细分的模型，用户流失预测的模型。基于这方面也提供了一个实时大屏的模块，能够由用户自由拖拽完成其实时监控的需求。