中企动力 > 商学院 > 数据收集和分析
  • ?

    App数据分析到底要分析什么

    遵循

    展开

    按大众化的分法,产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期,在产品的每个阶段,数据分析的工作权重和分析重点有所区别,下面按阶段结合案例来聊聊。

    一、初创期

    初创期的重点在于验证产品的核心价值,或者说验证产品的假设:通过某种产品或服务可以为特定的人群解决某个问题。这个阶段应当遵循MVP(Minimum Variable Product) 的思想,以最小的成本来验证创业的想法,并根据用户的反馈快速迭代以调整解决方案,最终在数据上得到验证。

    案例:

    拿之前做的某款国外移动端论坛社交应用为例,产品在idea时期(12,13年左右)发现了论坛用户经常在吐槽从移动端Wap页访问论坛速度慢、广告多、完全没有移动端适配,于是我们提出假设:做一个App,连接论坛系统与用户,让论坛用户在移动端也能享受流畅的论坛访问体验,并且用户愿意为了这种体验付费。

    于是在初期,整个产品完全围绕看帖、发帖两个核心场景进行挖掘,在论坛里进行宣传,售价$18,发现有许多用户为之付费,且这些用户的留存率达到60%+(当然与用户付费了有关),有一半的用户使用时长都超过了70分钟。当时没过多久陆续出来了一些竞品 (Vbulletin团队,当时最大的论坛系统,开发了一个移动端的App,意图解决同样的问题),但是没过多久都远远落在了我们后面,就是因为整个团队遵循MVP的思想,按用户反馈专心反复打磨看帖、发帖的流畅体验,获得了非常好的用户口碑并领先市场,也获得了某著名硅谷投资机构的投资。

    关键数据——目标人群画像

    除此之外,初创期可以通过接入一些第三方的应用监测SDK来了解初期用户群体的画像,从侧面验证用户群体与假设的目标用户群体特征是否一致,常见的是人口学属性(性别、年龄、学历、地域)。

    案例:

    今年4月初在和国内某健身类的APP的产品经理聊到, 该APP最初是一款健身、运动记步的工具App,在产品前期新用户的次日留存处于业内平均水平,在其观察到目标用户群体的画像时,发现女性用户明显比男性用户要多,且女性用户留存明显比男性用户要高。于是决定在产品策略上向女性用户倾斜,主攻女性健身、减脂、美容方向的功能以及内容推荐,产品整体次日留存率相比之前增长近100%。

    同样,最近服务了一个鹅厂内部客户,他们开发了一款新产品,意在面向年轻人群体,结果却发现其用户年龄分布以青少年和老年人居多:

    这正好与他们的用户渠道相关,原来他们有一款面向青少年和老年人的产品,为了给产品带来第一批用户,他们直接从老的产品将用户引流过来,结果发现他们并非产品的目标用户。

    关键数据——留存率

    在当前用户符合目标受众特征时,核心关注这些用户的留存率、使用时长/频率、用户的黏性等指标,这里就留存率展开来讲。

    留存率的维度分很多种(7日,双周,30日等),依据产品特征来选择,若产品本身满足的是小众低频需求,留存率则宜选择双周甚至是30日;留存率高,代表用户对产品价值认可并产生依赖,一般来说,假设便能得到验证,通常低于20%的留存会是一个比较危险的信号。

    介绍一个以数据为驱动的先行指标模型,可以通过找到先行性指标指导产品设计,从而提升留存率。先看下先行性指标的定义,先行性指标是指新用户在使用产品早期的一种产品行为,这个指标与用户的留存率指标之间存在着非常高的线性相关关系,可以预测用户是否会在产品中留存下来。

    用自己总结的公式来描述,大致如下:

    积极预测可能性(%):表示用户执行了该行为,即可预测该用户留存活跃的可能性

    消极预测可能性(%) :表示用户如果不执行该行为,即可预测该用户不留存活跃的可能性

    最终,先行性指标的可信度=积极预测可能性 X 消极预测可能性 ,我们直接看案例。

    案例

    拿之前的论坛社交App为假设,假设“用户在注册前10天内添加好友超过7个”为先行性指标,那么我们计算一组数据:

    其中,用户前10天内添加好友超过7个,则其30日留存下来可能性为99%;若添加好友小于7个,则其30日不留存下来(流失)可能性为95%,综合指标可信度为0.9405。

    同理,计算以下两个先行性指标可信度:

    最终,我们得到对比:

    以上只是假设的数据,实际上,我们需要对比十几个甚至是二十几个行为指标才能找出先行性可信度最高的行为。

    这个模型中第一条“新用户在注册后的10天内添加好友超过7个”,也就是Facebook一个经典的“aha moments”,所谓”aha moments”即当用户意识到产品的核心价值的时刻,也就是我们的“先行指标”。

    (Facebook,Instagram推荐好友截图)

    除此之外,先行性指标应当满足以下条件:

    二、快速成长期

    经过了产品打磨的初始阶段,产品有了较好的留存率了,这个时候产品开始进入自发增长期。自发增长期的产品阶段,仍需要关注用户留存、用户时长、用户画像的变化等数据,但可以将侧重点关注在用户的整个生命周期的管理,其中以新用户的增长、激活、触发“aha moments”到产品稳定活跃用户的整个漏斗分析为主。

    新用户的增长和激活

    其中新用户的增长和激活一般有两种方式,第一种是构建产品的病毒性传播系数, 让产品自发增长,《精益运营数据分析》书中有提到的几个用户病毒式传播分类很有趣:

    原生病毒性,即通过App本身的邀请好友功能而传播吸引的新用户的方式;

    口碑病毒性,即通过口碑传播,用户主动通过搜索引擎成为的新用户;

    人工病毒性,即通过人工干预,如有奖邀请等激励措施来鼓励用户进行邀请行为。

    这里关注的一个指标称之为“病毒式传播系数”,感兴趣的同学可以自行深入了解。

    新用户下载->激活->‘Aha Moments’->产品稳定活跃

    产品开始进入自发增长期后,需要关注用户从新用户到活跃用户(留存后)、到核心用户的生命周期,并将每个过程的关键指标提炼并精细化。

    案例

    以之前的论坛社交APP为例,新用户进入产品会看到一个欢迎页(如左下图),经过注册、登录后会看到产品的首页(如右下图的Feed流页面),多数App都有类似的流程:

    一个新用户从进入App欢迎页到最终成为核心用户大概是以下流程:新用户(探索发现产品价值中)-> 旁观者(逐渐认知产品价值并有一定的参与感)->生产者(认同产品价值并积极参与):

    按大众化的分法,产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期,在产品的每个阶段,数据分析的工作权重和分析重点有所区别,下面按阶段结合案例来聊聊:

    此时,对各个阶段的用户行为进行指标分解:

    新用户&探索发现者:

    欢迎页跳出率新用户注册率新用户引导流程转化率初始看到Feed页跳出率搜索结果转化率推送权限开通率

    旁观者(路过者):

    平均每个用户关注板块数平均每个用户关注其他用户数平均每个活跃用户赞/分享数Feed卡片展示数Feed卡片点击数订阅内容推送点击率

    内容生产者:

    · 平均每个活跃用户发帖数

    · 平均每个活跃用户发照片、视频数

    · 平均每个用户在论坛内使用时长

    · 活跃用户在论坛内行为分布

    精细化的拆分用户生命周期前中期的行为指标,在产品快速增长期帮助了产品不断打磨细节,将用户从新进到成为核心用户体验不断完善。与此同时,在各节点数据提升并稳定后,产品运营的同学则开始进行各种推广、投放的宣传以扩大盘子、占领市场。

    三、成熟期

    随着用户快速增长,产品不断完善,产品在进入成熟期前后,数据运营关注的重心开始从用户生命周期的前半段(吸引、激活、留存)往后半段(流失、回流)开始偏移。

    这里分享一个在增长期和成熟期关注的数据模板 Daily Net Change (应用自John Egan@Pinterest),区别于只关注DAU、MAU数据,只关注活跃用户数的增减很多时候都是取悦自己,而这个模型能帮助直观地观察到用户增长的因子是什么,或者用户盘子变化的情况,通过一张图展示了产品的新增、回流和留存情况。

    其中Net Change = 新增用户 + 回流用户 – 流失用户。

    新增用户即当天有多少新用户加入

    回流用户即多少老用户连续28天没有使用,今天又开始使用

    流失用户即有多少已有用户刚好最后一次使用应用是在28天前

    流失与回流

    在关注流失回流的过程中,数据会揭示当前用户盘子的一个变化情况,具体分析流失原因则可以参考下方流程:

    核心思路即,通过回访定性+数据验证为主要手段,确定流失原因,改变产品运营策略以预防用户流失或拉回用户,促进回流。

    除此之外,对于一些稳定的投放渠道,普通的改善方法可能提升转化有限,此时可以进行更精细化的渠道分析来优化提升ROI:

    案例:

    提升ROI

    四、衰退期

    最终,产品进入衰退期,一般在进入衰退期前可以采取两种方式:

    1、规模化

    常出现在零售业中,如开一家按摩养生店,在一定范围内收获好评,那产品成熟的时候则可以开启连锁加盟模式,通过迅速而广泛的扩大市场形成品牌效应,以形成壁垒,此时衰退的风险则被抵御。

    2、生态化

    在产品增长或接近完善时,单一的产品很容易存在需求过于垂直、用户无法形成依赖的问题,可以开发具有协同能力的新产品以搭建完整的产品生态,使得在当前产品上无法被得到满足或失去兴趣的用户被引流到新产品,作为新产品的新用户;同时新产品的用户也能在新产品上被引流回老产品,产品之间形成互相依赖的链条,最终用户有效流转,形成生态。

  • ?

    什么是数据分析?数据分析的作用是什么?

    空白忆

    展开

    1.什么是数据分析?

    数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来,总结出所研究对象的内在规律。在实际工作中,数据分析能够帮助管理者进行判断和决策,以便采取适当策略与行动。比如:企业的高管希望通过市场分析和研究,把握当前产品的市场动向,从而制定合理的产品研发和销售计划,这就必须依赖数据分析才能够完成。

    简单的说,就是对数据进行分析,比较专业的说法是,数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能,发挥数据的作用。

    数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据,另一方面也包括分析数据,从中提取有价值的信息并形成对业务有帮助的结论。

    数据分析的成果通常以分析报告的形式呈现。对于数据分析报告,分析就是论点,数据就是论据,两者缺一不可。

    2.数据分析类别

    其中,探索性数据分析侧重于在数据中发现新的特征,而验证性数据分析则侧重于验证已有假设的真伪证明。

    数据分析的划分:描述性数据分析、探索性数据分析、验证性数据分析。

    1)描述性数据分析:属于初级数据分析,常见的分析方法有对比分析法、平均分析法、交叉分析法。

    2)探索性数据分析:侧重于再数据之中发现新的特征

    3)验证性数据分析:侧重于验证已有假设的真伪证明

    其中探索性数据分析和验证性数据分析属于高级数据分析,常见的分析方法有相关分析、因子分析、回归分析等等。

    3.数据分析的作用

    数据分析在日常企业运营中主要有三大作用:

    1.现状分析

    简单的说就是告诉你过去发生了什么。

    具体表现在:

    第一,告诉你企业现阶段的整体运营情况,通过各个经营指标的完成情况来衡量企业的运营状态,以说明企业整体运营是更好了还是坏了,好的程度是如何,坏的程度又到哪里。

    第二,告诉你企业各项业务的构成,让你了解企业各项业务的发展及变动情况,对企业经营状况有更深入的了解。

    现状分析一般通过日常通报来完成,如日报、周报、月报等形式。

    2.原因分析

    简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析,我们对企业的运营情况有了一个基本的了解,但是不知道运营情况具体好在哪里,差在哪里,是什么原因引起的。这时候我们就需要开展原因分析,以进一步确定业务变动的具体原因。

    原因分析一般通过专题分析来完成,根据企业运营情况选择针对某一现状进行原因分析。

    3.预测分析

    简单来说就是告诉你将来会发生什么。

    在了解企业运营现状后,有时候还需要对企业未来发展趋势做出预测,为企业制定经营目标以及提供有效的策略参考与决策依据,以确保企业的可持续健康发展。

    预测分析一般通过专题分析来完成,通常在制定企业季度、年度等计划时进行,其开展的频率没有现状分析及原因分析高。

    什么时候开展什么样的数据分析,需要根据自身的需求及目的来确定。

    分享 IT 技术和行业经验,请关注-技术学派。

  • ?

    竞争情报收集,如何进行竞品数据分析?

    叶静蕾

    展开

    竞争情报及数据收集,分析及解读是数据分析中的一个重要环节。获取竞争情报及数据的方法有很多种,常见的方法如爬虫数据抓取,官方披露文件,第三方调研机构研报等。从获取难度,数据时效性,数据颗粒度,可用维度及靠谱程度上对比来看每种方法各有利弊。本篇文章介绍如果通过解读公司财报获取竞争情报,这种方法的优势在于数据相对比较靠谱,但有利弊。

    01 如何找到竞品的财务报表

    通过财务报表获取竞争情报的第一步是如何找到这些公司的财报。根据公司上市地点的不同我们可以在四个地方找到所需的财报文件。

    官方网站投资者关系

    第一种获得财报的方法是通过目标公司的官网获取,通常在上市公司的官网中都会包含一个投资人关系页面。这个页面中会包含公司的各种财务报表信息。以下是京东的投资者关系页面。

    不过,官网中的投资人页面入口通常比较隐蔽,有些官网则很难找到。同时对于获取多家公司的财报来说,这种方法也比较麻烦。因此我们可以根据公司的上市地点通过交易所网站来获取财报信息。

    美国证券交易委员会(SEC)

    美国证券交易委员会(SEC --the U.S. Securities and Exchange Commission)简称SEC。所有在美国上市的公司无论是纳斯达克证券市场(NASDAQ)还是纽约证券交易所(NYSE)上市的公司都可以在SEC中找到。

    SEC中查找公司财报的方法比较简单,在主导航FILINGS下选择Company Filing Search就可以到达搜索页面。

    香港交易所(HKEx)

    香港交易所,全称“香港交易及结算所有限公司”(Hong Kong Exchanges and Clearing Limited,英文简称HKEx)。所有在香港上市的公司财务文件都可以在这里找到,例如最近新上市的平安好医生,以及即将上市的海底捞等。

    HKEx中查找公司财报的方法和SEC类似,在HKEx首页主导航的”市场数据”下选择”披露易”,然后在顶部”上市公司公告”区域选择”进阶搜寻”。输入股份代码或股份名称就可以找到目标公司的财务文件了。

    上海证券交易所和深圳证券交易所

    在大陆地区上市的公司和回归A股的互联网中概股,如”三六零安全”等分别可以在上海证券交易所,和深圳证券交易所的网站上通过搜索找到。方法和HKEx类似,这里不再赘述。

    02 哪几类财报需要重点关注

    上市公司的财报类型种类繁多,不同的时间节点及事件会发布不同的文件,例如IPO上市时会首先发布招股说明书,每个季度会发布季度财报,财年结束会发布年度财报,发生重大事件时还会发布重大事项报告(如并购和重大人事变更等)。

    在这些文档中,我们重点关注三类,第一是招股说明书(FormS-1/F-1),第二是公司的季度财报(Form10-Q),第三是公司的年度财报(From10-K)这三类文档从内容的详细程度来看招股说明书的内容最为全面,动辄三五百页。其次是季度财报和年度财报文档。我们可以利用SEC网站中的分类搜索功能筛选出这些文档。

    在筛选结果中点击Documents可以查看该文档的结构目录,这里显示了文档中所包含的图片等信息。选择并点击类型为F-1/A的htm文件,就可以查看文档中的详细信息了。这里以alibaba的招股说明书为例,

    03 财报中的哪些内容最有价值

    公司的财报和招股说明书中包含了大量的信息,按类别来分的话我觉得有三大类,第一大类内容信息量较低,主要是一些模板式的标准化文字。第二大类是专业的财务报表。第三大类是公司的运营信息。从竞争情报分析的角度来看,对我们最有价值的是后两类内容。因此建议重点关注财报中的下面几部分内容。

    风险(Risk Factors)

    第一个要关注的内容是目录中的“风险(Risk Factors)”部分,这部分根据不同公司主营业务和行业背景从产业链及上下游供应商关系,用户偏好,政策法规,行业竞争及内外部因素等几个维度介绍了影响公司运营及营收的主要风险因素。

    行业(INDUSTRY)

    第二个要关注的内容是目录中的“行业(INDUSTRY)”部分,这部分会从非常宏观的行业角度说明一下整个行业的增长驱动因素,互联网公司大部分的驱动因素都会包括互联网及移动互联网的普及率,以及国家重大政策带来变化。

    公司业务(Business)

    第四部分公司“业务(Business)”详细的介绍了公司的主营业务及流程,分别从用户,产品,渠道和竞争优势和技术能力的角度介绍了公司的商业模式,包括我们的用户是谁,我们提供什么样的产品和服务,以何种方式获得收入,未来的业务成长策略及路径,以及公司所特有的优势及创新能力创造的差异化和低成本的竞争壁垒。

    财务状况与经营成果的管理探讨与分析(MD&A)

    第三个要关注的内容是”财务状况与经营成果的管理探讨与分析(Management’s Discussion and Analysis of Financial Condition and Results of Operations)”,简称(MD&A)。这部分内容从管理者的角度解读公司最近一段时间的运营情况,主要包括公司规模,收入及变现能力,业务成果,关键驱动因素等。

    以上是财报中需要关注的主要信息部分,除此之外还可以通过其他财报解读媒体或财报电话会议中高管对财报的解读和与分析师的提问互动中获取信息。

    04 如何获取其他财报相关信息

    常使用的财报解读媒体主要是新浪科技和网易科技的上市公司财报解读,这两个媒体包含了主要的互联网中概股的信息,并按年份对财报信息和解读进行进行了整理和分类。 这两个的地址你可以在我博客网站分析库页面中的财务及运营数据分析部分找到入口链接。

    财报电话会议中公司高管对财报要点的解读,以及与分析师的提问互动内容则主要包含在财报解读部分中。在财报电话会议中会包含很多财报文档以外的信息,如2017年的京东财报电话会议中花旗集团分析师关注了京东在印度尼西亚的业务发展及市场战略目标,刘强东就分享了京东在东南亚及印尼前五年的市场战略。

    End.

    来源:蓝鲸网站分析博客

    作者:蓝鲸(王彦平)

  • ?

    什么是数据分析、数据分析本质又是什么?

    笑蓝

    展开

    一般情况下,我们所说的分析是指,使用大量数据、统计和定量分析、解释和预测以及基于事实的管理来推动决策过程与实现价值增生。

    根据分析的方法和目的,分析可以被划分为描述性分析(descri-ptive analytics)、预测性分析(predictive analytics)和规范性分析(prescriptive analytics)。描述性分析包括数据收集、整理、制表、制图以及描述正要研究的食物的特征,这类分析以往被称为“报告”。描述性分析可能非常有用,但它不能解释某种结果出现的原因或者未来可能会发生的事情。

    预测性分析不仅可以对数据特征和变量(可以假定取消范围的因素)之间的关系进行描述,还可以基于过去的数据预测未来。预测性分析首先会确定变量值之间的关联,然后基于这种已知的关联预测另一种现象出现的可能性,比如在看到某个广告后,一位消费者可能会去买产品的可能性。虽然预测性分析中的预测是基于变量之间的关系做出来的,但这不代表预测性分析中都需要明确因果关系。事实上,准确的预测并不一定与需要基于因果关系。

    规范性分析是更高层次的分析,如实验设计和优化等。就像医生会在出处方建议患者采取什么行动一样,实验设计试图通过做实验给出某些事情发生的原因。为了能够在因果关系研究中信心饱满地做出推断,研究人员必须妥善处理一个或多个独立的变量,并有效控制其他的变量。如果处于试验环境下的测试组的表现大大优于照相,决策制定者就应该立即推广这种实验环境。

    优化是规范性分析采用的一种方法,指试图识别出一个特定变量和另一个变量之间理想的关系水平。例如,我们可以能会对识别最有可能让产品实现高收益的价格感兴趣。同样地,优化这种方法能够识别出使了零售企业最大限制避免缺货情况的库存水平。

    根据分析采用的方法以及收集和分析的数据类型,我们可以将分析分为定性分析(qualitative analysis)和定量分析(quantitative analysis)。定性分析的目的是深入了解某种现象的根本原因和诱因。非结构化数据通常是从少数非代表性案例中收集而来,并进行了非统计性分析。定量分析是分析的最初阶段,他通常是探索性分析的有效工具,定量分析是指通过统计、数学或者计算的方式对现象进行系统的实证研究。通常情况下,结构化数据是从大量典型案例中收集而来,并进行统计分析。

    为了服务于研究者的不同研究目的,存在以下几种类型的分析:

    *统计学:收集、整理、分析、说明和呈现数据的学科;

    *预测:根据已有数据,预测一下一些感兴趣的变量在未来某个特定的时间点的情况;

    *数据挖掘:通常使用算法和统计技术,自动或半自动地提取大量数据中未知的有趣模式;

    *文字挖掘:用类似数据挖掘的方式从文本中得模式和趋势的过程;

    *优化:在同时满足约束条件的情况下,按照某些标准利用数学方法来寻找最优的解决方案;

    *实验设计:给各组随机分配被试。然后使用测试组和对照组来推导出特定结果中存在的因果关系。

    虽然此处给出了一些列常用的分析方法,但在使用过程中会不可避免地出现相当大的重叠。例如,回归分析(regression analysis)是预测分析中最常用的方法,与此同时,他也是统计学、预测和数据挖掘中常用的方法。此外,时间序列分析(time seties analysis)是用于分析数据随时间变化的一种具体统计方法、在统计学和预测中经常被用到。

  • ?

    携程用户数据采集与分析系统

    漫步者2017

    展开

    一、携程实时用户数据采集系统设计实践

    随着移动互联网的兴起,特别是近年来,智能手机、pad等移动设备凭借便捷、高效的特点风靡全球,同时各类APP的快速发展进一步降低了移动互联网的接入门槛,越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务(LBS)等方面的需求。

    我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足,分析了在移动互联网流量剧增的背景下,用户数据采集系统的需求,研究在多种访问终端和多种网络类型的场景下,用户数据实时、高效采集的方法,并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架(Netty)和分布式消息队列(Kafka)存储框架实现,其具有实时性、高吞吐、通用性好等优点。

    1、技术选型和设计方案:

    一个典型的数据采集分析统计平台,对数据的处理,主要由如下五个步骤组成:

    图1、数据平台处理流程

    其中,数据采集步骤是最核心的问题,数据采集是否丰富、准确和实时,都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

    为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求,同时能借鉴互联网大数据行业一些优秀开源的解决方案,所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示:

    图2(数据采集分析平台系统架构)

    其中整个平台系统主要包括以上五部分:客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志,业务服务器需要获取由客户端SDK统一生成的用户标识(C-GUID),然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台,都从Hermes(Kafka)中消费采集数据,进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控,这些监控信息先写入Hbase集群,然后通过Dashboard界面进行实时监控。

    (1)基于NIO的Netty网络框架方案

    要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件(如Netty、MINI、xSocket),用它们和NginxWeb服务器进行了性能对比,决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍:Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。

    图3(Netty框架内部组件逻辑结构)

    Netty的优点有:

    a、功能丰富,内置了多种数据编解码功能、支持多种网络协议。

    b、高性能,通过与其它主流NIO网络框架对比,它的综合性能最佳。

    c、可扩展性好,可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

    d、易用性,API使用简单。

    e、经过了许多商业应用的考验,在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

    Netty采用了典型的三层网络架构进行设计,逻辑架构图如下:

    图4(Netty三层网络逻辑架构)

    第一层:Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作,负责将网络层的数据读取到内存缓冲区中,然后触发各种网络事件,例如连接创建、连接激活、读事件、写事件等,将这些事件触发到Pipeline中,再由Pipeline充当的职责链来进行后续的处理。

    第二层:职责链Pipeline层。负责事件在职责链中有序的向前(后)传播,同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

    第三层:业务逻辑处理层,一般可分为两类:a. 纯粹的业务逻辑处理,例如日志、订单处理。b. 应用层协议管理,例如HTTP(S)协议、FTP协议等。

    我们都知道影响网络服务通信性能的主要因素有:网络I/O模型、线程(进程)调度模型和数据序列化方式。

    在网络I/O模型方面,Netty采用基于非阻塞I/O的实现,底层依赖的是JDKNIO框架的Selector。

    在线程调度模型方面,Netty采用Reactor线程模型。常用的Reactor线程模型有三种,分别是:

    a、Reactor单线程模型:Reactor单线程模型,指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景,可以使用单线程模型。

    b、Reactor多线程模型:Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

    c、主从Reactor多线程模型:主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程,而是一个独立的NIO线程池。利用主从NIO线程模型,可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的,它可以支持三种Reactor线程模型。

    在数据序列化方面,影响序列化性能的主要因素有:

    a、序列化后的码流大小(网络带宽占用)。

    b、序列化和反序列化操作的性能(CPU资源占用)。

    c、并发调用时的性能表现:稳定性、线性增长等。

    Netty默认提供了对GoogleProtobuf二进制序列化框架的支持,但通过扩展Netty的编解码接口,可以实现其它的高性能序列化框架,例如Avro、Thrift的压缩二进制编解码框架。

    通过对Netty网络框架的分析研究以及对比测试(见后面的可行性分析测试报告)可判断,基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

    》》点击阅读全文

  • ?

    竞争对手的全网数据收集与监控分析

    楼剑通

    展开

      上次,在可量化的搜索流量一文中,简单的谈了谈分析自己的站内流量,这次与大家分享下分析别人网站的信息与方法,大家都知道,越是高端的竞争,就越是需要对手,没有对手的生存让人恐惧和茫然。

      互联网上存在着大量的信息,我们需要了解我们的用户在找什么?他们想要什么?有不少聪明的站长去抓搜索引擎的相关搜索的关键词去了解行业用户的搜索需求,虽然有价值,但也同样束缚了思想,为什么这么说?关键词相关词每次十个,抓再多也是瓶颈工作,而且这些词的内容组织要求更高(因为已经被很多人知道),这些词短期内更新较少,这样一来,需求就产生了瓶颈,在一些交流或培训时,确实是有遇到这样的问题,我们该怎么做?

      在日常的网站运营中,我通常会用到这样一个工具“火车头采集器”抓取别人网站的文章,但和很多人的目的不同的是,自己抓文章不是要入库,而是要通过这些数据分析竞争对手。通过数据的分析,我可以取得大量或者说源源不禁的需求,更重要的是,网站的日常运营体现在网页上,我们拿到了对手的网页,就看到了他们的工作;例如,你可以知道他们的工作方向、栏目建设重点甚至大致的人员配比等等,当然,我们还可以将这种逻辑用到舆情检测、外链建设、策略依据等任务中去。

      思路的开阔对规模化运作有帮助,在日常,我始终用这样的话提醒自己;那么,通常我可能会做一些这样的事情:

      1.去查看竞争对手的招聘信息,别指望我是要去帮他,而是我可以通过分析他们的人才需求,了解他们的近期工作内容和发展策略;

      2.去解析他们的24小时的收录内容及数量,建立饼图及曲线,也许你可以有意外发现(比如:你可能会发现今天他们有个编辑请假了,呵呵)了解他们的内容建设方向和搜索流量支点;

      

      3.去查看谷歌趋势,了解他们的流量曲线变化(感觉谷歌给的是pv量);

      4.通过提交竞争对手的域名到linkhelper,记录他们的收录变化(大致);

      5.通过分析监控他们的关键排名,掌握他们的搜索引擎表现;

      6.通过监控他们的链接猫文本、源站点,分析他们的seo重点及策略;

      7.通过分析他们的投放关键词,了解sem投放数量和成本;

      8.通过监控他们的品牌词,了解口碑传播情况和渠道……

      总之,在我心中,永远有两个任务:思考如何监控、拓展、分析,另一个则是如何把这套东西用在竞争对手身上,以此来帮助自己做以上三点!

      运营的瓶颈是思路的瓶颈,不要太纠结你那些搜索词的拓展,想办法将自己的思路拓展;分析竞争对手,是整个行业的从业者帮你在思考,因为你关心的他们同样在关心,你思考的他们也在思考,你要做的就是想办法拿到这些,并且比他们做的更加细致和接近极致。

      以上实战心得,愚见,欢迎拍砖!

  • ?

    数据分析:统计学与概率论的教学思考,看完长见识了!

    章中道

    展开

    为了在教学方面自我完善,自我提高,更好的服务于教学工作,结合自己的教学实践浅谈一些自己的心得:  一、统计与概率的内涵的进一步认识  数据能够帮助我们认识世界、做出决策和预测,而统计正是与数据打交道的科学,它是在人们对现实生活中数据资料的收集、整理、分析的过程中发展起来的。  (1)紧密联系学生生活实际,创设情境。有了这样的情感学生学起数学知识来当然是事半功倍了。例如:“分苹果”的情境创设,动手操作,激发了学生提出问题,解决问题的欲望,让学生在情境中感受、理解数学问题。再如:圆的周长收集整理的实际测量,也练习了学生的动手操作。  (2)在课堂上让学生充分交流讨论。在民主、和谐的氛围中开拓思维,积极参与,充分合作。教师适时地参与到学生的讨论和交流当中,较好地扮演了组织者、参与者、合作者的角色。  (3)运用丰富多彩的课堂教学手段。随着科技的进步和发展,我们的课堂也要跟上时代的潮流改变传统的一支粉笔进课堂,这两节数学课让我增长了很多见识,随着一个个课件的展示,本来很难理解的数学难题变得形象、具体,一个个教学难点也随之被攻破。课堂也显得生动活泼了很多。如果有条件我们也要丰富我们的课堂,提高课堂的教学效率。

    (4)引用《不列颠百科全书》对统计学的一个定义。《不列颠百科全书》对统计学的一个定义:“统计学是关于收集和分析数据的科学和艺术”。我认为定义中有三个比较关键的核心词,第一个是数据。“数据”和“数”的最重要的区别是数据是具有实际背景的,而“数”则并不一定。从这个意义上我们就可以理解了为什么说可以把“统计”从过去我们认为的“数的运算”中单独出来,成为一个相对独立的学习领域,统计主要作用正是通过数据处理来提取信息从而帮助人们进行决策。进一步,“随着信息高速的增长,我们需要进一步扩大对数据的认识。事实上,现在的数据不仅仅是数,其实图像也可以看成是数据、语句也可以看成是数据。只要蕴含着一定信息的,无论是什么表现形式,都可以看作是数据”。  二、教学当中概念的处理方法  在教学中,我们应该首先注重学生统计观念的形成与培养。能从统计的角度思考与数据信息有关的问题;能通过收集数据、描述数据、分析数据的过程,作出合理的决策,认识到统计对决策的作用;能对数据的来源、处理数据的方法以及由此得到的结论进行合理的质疑。收集整理养出来的感觉,统计学习要培养学生能自觉地想到运用统计的方法解决有关的问题。学生没有经历数据的收集过程,随机的数据对他们来说还是确定的,学生也就根本无从体会统计思想方法的价值。因此必须创设原始的随机情境,突出活动性,让学生亲身面对实际问题,亲自调查、收集数据,先体会随机数据的不确定、杂乱无章,然后组织学生经历数据的分类整理,凸现随机数据的特点。在这样的教学情形下,学生才深深地领悟到统计思想确实很有用。

    我们还要注重学生在概率实验中的操作体验。教学中应以学生亲身经历和体验统计过程作为主线,即对数据从收集、整理、描述到分析、运用的全过程中突出学生的主体参与,再此过程中引导学生发现并提出问题,用适当的方法收集和整理数据,用合适的图表展示数据,对数据作简单的分析并对自己的分析、思考进行交流和改进。由于处理数据没有唯一的样式,在统计过程中,不同情况下、不同的学生会用不同的方法来记录和表示数据。因此,引导学生经历数据处理过程的教学具有很强的探索性。  三、如何介绍收集和数据的分析和运用  统计处理数据的步骤主要包括:第一是要确定需要解决什么问题;第二是决定收集数据的方法并收集数据;第三是整理并尽可能清晰地描述数据;第四是分析数据,并做出决策和推断。统计学有着它科学的一面,但也有艺术的一面。对于同样的数据,由于背景和目标不同可以有多种分析的方法,需要根据问题的实际背景选择合适的方法。也就是统计的方法没有简单的理论意义上的对和错,只有好和不好。  统计在收集数据和运用数据做出推断等方面吸收了概率的主要成果和主要方法,产生了以抽样为特征的数学与概率论的统计学。数理统计学是运用统计的方法来研究随机现象、从而描述随机现象总体趋势的数学模型,它不会把注意力停留在个别的现象特征上,而是了解大量随机现象的总体的变化趋势,并由此得出随机现象的基本统计规律,进而得到关于社会发展、科学发现的统计预测。

    最后,我们再概括地分析一下统计与概率的关系。实际上,众所周知,统计与概率都是研究随机现象的学科。“不论怎么说,机遇(或说偶然性)无所不在,机遇伴随着人的一生(当然随人的情况而有异),这是一个无法回避的现实”。统计与概率正是从不同的角度来研究怎样更好的刻画随机现象,统计主要侧重于从数据来刻画随机,概率则主要侧重于建立理论模型来刻画随机。另一方面,概率为统计提供了理论基础。在运用样本估计总体的过程中,抽样的合理性、样本推断总体的合理性,包括犯错误的风险,都需要概率的知识来提供科学依据(这在下文还要论述)。“‘机遇(机会)的数学’,它包含数学中的两个学科分支——概率论和数理统计学。概括来说就是,前者属于机遇数量化的理论基础。而后者则是其应用。”  四、统计与概率课程的教育价值  由上一段内容我们可以看出,统计的关键是客观地提炼和表述现实世界中广泛存在的随机信息,准确地分析并把握随机信息中的关键因素的规律性,科学地应用数据并做出正确决策是统计与概率的主要任务,而这也构成了大学阶段学习统计与概率的重要原因。具体来说,学习统计与概率的主要目的是让学生适应现代社会的需要;帮助学生形成和运用数据进行推断的思考方式;有助于学生朝着数学思考、解决问题、情感态度等多方面的发展。/ 

    在以信息和技术为基础的现代社会里,生活中充满着大量的数据和随机现象,各种信息量以成倍地速度增长,这时就需要人们面对它们做出合理的决策。事实上,每个人每天都会遇到许多需要判断和推理的事情。总之,生活已先于数学课程将统计与概率推到了学生的面前,统计与概率的思想已渗入人们日常生活和社会生活的方方面面。  许多的例子表明,随着计算机等信息技术的飞速发展,数据日益成为一种重要的信息,21世纪的公民面临着更多的机会和挑战,常常需要在不确定情境中,根据大量无组织的数据,做出合理的决策,这就需要人们能对纷繁复杂的信息做出恰当的选择与判断,具有一定的收集??处理信息、做出决策的能力,并且能够进行有效的表达与交流。而统计与概率正是通过对数据的收集、整理和分析,来为人们更好的制定决策提供依据和建议。因此,要培养学生具有收集并处理数据、做出恰当的选择和判断的能力,以适应现代社会的发展,就必须将统计与概率的基本思想、方法和知识作为义务教育阶段数学课程的重要组成部分。统计与概率的学习必将为数学与学生的日常生活及其他学科联系起来提供一条自然的途径。

  • ?

    如何做市场调研及经营数据的采集与分析?

    遥远

    展开

    最近在研究商超零售的数据分析,有不少干货和想法可分享。此前,一直注重店铺管理、商品库存管理、财务绩效管理的数据分析。后来发现,无论是零售商铺的选址,还是百货商场的招商营运,都有不少需要运用到数据管理思维的地方。

    店铺选址前或者招商营运前都要进行市场调研,小规模的店家可能会说,我照自己的经验,观测人流量以及周边店铺的经营情况来判断,这样的方法确实是有迹可寻。但是,店铺不是放着让你来选的,店铺商也是需要去谈的,甚至对于那些成体系的,每年都在扩张的一些企业,必须需要一套成体系的数据分析方法论来指导。

    一、市场调研的要点

    1、着重于项目周边状况调查,如:业态布局、购买力等;

    2、网点及竞争对手调研的要点

    3、收集品牌资源,是否符合定位,有无可备选方案,效益最大化;

    针对选址,

    可采用常用的SWOT分析模型,分析内部环境以及外部环境的优劣势;而后采用3C模型(Company商铺,Customer顾客,Competitor 竞争者)对开店的选址分析;看附近1小时经济圈、2小时经济圈、3小时经济圈的覆盖范围。

    而正式营运之后,最主要关注的就是客流量。

    传统零售的数据是基于交易客流,基本等同于俗称的会员。商超里面的客流其实分为交易客流、返店客流、进店客流、到达客流、潜在客流。这里最容易获取的就是交易客流,因为企业现有的CRM系统或者收银系统基本都能涵盖这部分客流。怎么得顾客数据?这就要建立一整套的全顾客全消费行为管理的客流分析系统。

    客流数据分析建模

    二、如何去经营分析?

    经营分析是指商业运营管理者通过数据采集并运用统计、分析、图表呈现等方式,对商场整体经营情况进行深入解析。

    确定这样一个流程后,经营分析按照时间划分一般分为日、周、月以及一些关键时期,比如活动、法定节假日等等。形式以经营报表为主。

    大体分析内容

    经营分析的指标解析

    做好全百货的经营分析要发挥主观能动性,有了数据和图表,要做好经营分析,还要发挥人的主观能动性,营运人员需根据数据和图表阐述现象并提出相关建议,加强与店铺、品牌负责人的沟通和联系,充分了解店铺的经营现状。

    三、关于品牌店铺活动的分析

    经营分析案例分享及关注点(日经营分析)

    以上每日的客流与销售趋势图,需要关注波动趋势、波动周期和波动异常。比如波峰大多是重大节假日或企划活动,或者特殊事件。

    店铺活动分析

    活动前期搭建好相关指标,收集活动数据,实时监测分析。

    至于如何搭建这样的分析体系,譬如以上用finereport搭建的活动监测模板,这里不多赘述。前提需要明确分析的指标,之后就是数据收集、整合、分析、展现的额工作啦~

  • ?

    干货丨收集最全的数据分析图

    Kalika

    展开

    来自:数据观 https://shujuguan

    DT时代,我们每天都会收获来自各种渠道的海量数据,它们是对我们上一步行动的反馈,但人脑消化数据的能力却是有限的——如何及时洞察数据中的涵义,就需要数据可视化工具的帮助了。然而,图表的类型非常丰富,如何做出正确的选择,达到“一图胜千言”的效果呢?

    [数据的五种关系]

    首先,我们需要了解,数据通常包含五种相关关系:构成、比较、趋势、分布及联系。

    构成

    主要关注每个部分所占整体的百分比,如果你想表达的信息包括:“份额”、“百分比”以及“预计将达到百分之多少”,这时候可以用到饼图。

    比较

    可以展示事物的排列顺序——是差不多,还是一个比另一个更多或更少呢?“大于”、“小于”或者“大致相当”都是比较相对关系中的关键词,这时候会首选条图。

    趋势

    是最常见的一种时间序列关系,关心数据如何随着时间变化而变化,每周、每月、每年的变化趋势是增长、减少、上下波动或基本不变,这时候使用线图更好地表现指标随时间呈现的趋势。

    分布

    是关心各数值范围内各包含了多少项目,典型的信息会包含:“集中”、“频率”与“分布”等,这时候使用柱图;同时,还可以根据地理位置数据,通过地图展示不同分布特征。

    联系

    主要查看两个变量之间是否表达出我们预期所要证明的模式关系,比如预期销售额可能随着折扣幅度的增长而增长,这时候可以用气泡图来展示,用于表达“与……有关”、“随……而增长”、“随……而不同”变量间的关系。

    对信息中包含的5种关系,可以简单归纳如下:

    构成:占总体的百分比

    比较:项目的排名

    趋势:如何随着时间变化

    分布:项目的频率情况

    联系:变量之间的关系

    [图表的具体适用场景]

    下面,我们具体来看一下图表特点及适用场景:

    以下图表均制作于数据观

    条图

    条图表达比较关系,按照强调的方式可以排列任何顺序,适用于高亮Top3或Top5数据,如在零售行业中统计畅销品的销售情况就是很好的应用。它是最通用的一种图表,应在所有的图集使用中占到25%。

    柱图

    柱图用高度反映数据差异,用来展示有多少项目(频率)会落入一个具有一定特征的数据段中,比如分析公司人员构成是否存在老龄化现象,可以通过柱图看到25岁以下的员工有多少,25岁到35岁之间员工有多少等这种年龄的分布情况。同时,柱图还可以用来表示含有较少数据值的趋势变化关系。

    分析图形有单指标柱图、多指标柱图以及堆叠柱图类型。

    (1)、单指标柱图

    (2)、多指标柱图

    (3)、堆叠柱图

    线图

    线图可用来反映随时间变化而变化的关系,尤其是在趋势比单个数据点更重要的场合。

    在柱图与线图的选择过程中,可以考虑数据的本质。柱图强调的是数量的级别,它更适合于表现在一小段时间里发生的事件,产量的数据很适合这个领域。线图强调的是角度的运动及图像的变换,因此展示数据的发展趋势时最好使用它,存货量就是一个很好的例子。柱图和线图的使用应占到图集看板的50%左右。

    线图类型中可以有单线图,还可以在图中进行多指标趋势性比较。

    (1)、单线图

    (2)、多指标趋势性比较

    饼图

    构成比例关系时,最好使用饼图,给人一种整体的形象,可以展示每一部分所占全部的百分比,比如产品A预计销售额占到所有产品销售额的最大份额。

    为了使饼图尽量发挥作用,在使用中不宜多于6种成分。人的眼睛比较习惯于按顺时针方向进行观察,所以应该讲最重要的部分放在紧靠12点钟的位置,如果没有哪一个部分比其他部分更加重要,那么就应该考虑让它们从大到小的顺序排列。

    数据观除了有标准饼图,还提供中空饼图和环形饼图两种类型。

    (1)、标准饼图

    (2)、中空饼图

    (3)、环形饼图

    Attention!不适用饼图的情况

    饼图是通过面积呈现数据的变化,当各指标所占比例接近时,无法直观的判断面积的大小,此时选择条图来呈现,规律就更加清晰。饼图是应最少使用的图表,在所有的陈述和报告中其使用率应少于5%。

    错误的图表类型:

    正确的图表类型:

    气泡图

    气泡图判断两个变量之间是否存在某种关系,可反映五维数据。每个气泡的不同颜色或标签,以及气泡点大小,都可以反映一个维度。一般使用率为10%。

    KPI图

    最直接显示结果,适用于高亮关注指标值或者差异,可以通过主要指标和次要指标进行体现。信息量避免过多,越直观越好。

    面积图

    与折线图较为类似,面积图强调变量随时间而变化的程度,也可用于引起人们对总值趋势的注意。用填充了颜色或图案的面积来显示数据,面积片数不宜超过5片。

    漏斗图

    漏斗图用来表示逐层分析的过程,从一个总值(最顶端),不断除去不关心的部分,最终得到关心的值的过程。

    多用于业务流程比较规范、周期长、环节多的流程分析,通过比较各个环节宽窄大小,能够直观地发现和说明问题所在。常见应用场景:电商网站、营销推广、CRM等。

    1)电商网站:通过转化率比较能充分展示用户从进入网站到实现购买的最终转化率。2)营销推广:反映搜索营销的各个环节的转化,从展现、点击、访问、咨询,直到生成订单过程中的客户数量及流失。

    3)CRM:销售漏斗图用来展示客户各个阶段转化比较。

    金字塔图

    金字塔图用于展示类似金字塔的层级结构和数据量。例如某个国家的收入分配,金字塔顶部显示高收入类别,逐渐降低到代表低收入的底部。

    雷达图

    雷达图可以用来表现一个周期数值的变化,也可以用来表现特定对象主要参数的相对关系。

    雷达图多用于在财务分析中,用来分析企业负债能力、运营能力、盈利和发展能力等指标。

    地图

    地图是信息密度最大的数据可视化方式,人们在日常生活中就使用地图,所以能直观理解地图。

    数据观基于不同的视觉化原理提供三种地图:区域地图、散点地图和热力地图。

    (1)、区域地图

    区域地图是按照国家、省市行政区划分,用来展现地理信息,以及与地理位置有关的信息,指标的多少可以用颜色深浅区分。

    (2)、散点地图

    散点地图基于高德地图实现,通过定位经纬度,用散点来表示所在位置的信息指标。

    (3)、热力地图

    热力地图以特殊高亮的形式显示访客所在的地理区域的图示,不同颜色反映不同区域密度的分布。

    表格

    表格可以通过拖拽所关心的指标,如通过一级、二级分类,了解更加明细的数据,起到数据透视表功能。

    综合使用

    饼图、柱图、条图、线图、气泡图可以组成可视化报告90%图形,其他视觉化展示可以将图表组合起来综合使用。

    以上就是为大家提供的图表基本使用原则,适用于日常工作中大多数的图表制作。

    最后,希望大家都可以需要根据自己想要表达的信息选择合适的图表,让数据可视化帮助我们的大脑减负,替我们的数据说话。

数据收集和分析

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP