数据分析是淘宝运营必备技能。如果当你懂得了利用数据分析竞争对手，那么你是很轻易的知道竞争对手是如何做起来的，他用的是什么手段，依靠的是哪一个渠道，只要你懂得分析，你就能知道。

淘宝如何做数据分析？有以下几步：

一、确定目标需求

在分析竞争对手的时候，我们的目标需求肯定就是想知道他是如何做起来，他的流量渠道有哪些，订单增长趋势，订单多少，他的时间发展趋势，这些就是我们的一个目标需求。

二、获取数据

获取数据指的是获取我们所需要完成目标需求的数据。从目标需求中，我们可以知道，要获取数据有竞争对手的访客数、流量渠道的来源、每天的销量情况，以及他的时间变化趋势是怎样的。

三、整理和处理数据

整理数据的时候，像这种情况，需要分类汇总的，我们一般会利用到数据透视表。

四、分析数据和展示数据

经过上一步的整理之后，我们的数据明显比刚刚一开始更加整洁了，但是这个数据还是不太直观，一般情况下，我们需要把它变成图表的展示模式。

五、撰写报告

这一步我就不详细写了，简单描述下报告的内容。一般来说，如果你是需要给公司写报告的话就是需要写的，如果仅仅只是自己用的话很多的时候就不用写了。一般来说，撰写报告可以从这些地方去写，报告背景，数据来源、数量等基本情况，分页图表内容及本页结论，各部分小结及最终总结，下一步策略或对趋势的预测。

作为竞价人员，你每天是不是这样分析数据的：看看消费、展现、点击、对话是否有下降，如果有下降，就去看看关键词排名，调调价格，做了这些操作之后，就期待着明天能马上出效果。结果，效果比昨天还差劲，不知道怎么办，然后，又去看看排名，调调价格，完全跟着感觉走，完全不知道如何去做数据分析。哪怕偶尔一次，效果变好了，也不知道自己到底是做了什么导致效果变好的。数据分析对于95%的新人来说，就好比撞大运，但是，幸运女神一般很少眷顾。那么你该怎么办？其实，大家都知道，数据分析就好比竞价老手和新手的分水岭，跨过去，你的新世界将被开启，跨不过去，你就永远停留在新手水平，升不了职也加不了薪。所以，想学数据分析的新人们，接下来的5分钟对你至关重要，这也许就是你打开数据分析大门的重要时刻，请打起12分精神！！！

首先，我会分享一张表，作为整篇文章的目录和结构，让大家知道数据分析是由哪几块组成的，然后，我再逐个对每个知识点进行剖析，帮助大家建立数据分析的知识体系。

做数据分析之前，我们要做的是数据统计。要做好数据统计，我们需要用到3个表，分别是：营销流程表、多维度数据表、竞价操作记录表。营销流程表的作用是统计每日数据，当数据累计得越来越多时，就可以做方向性的分析。多维度数据表，主要是统计产生对话的搜索词和关键词，多维度数据表可以看很多数据，比如：看哪个时段转化好，哪个地区转化好，工作日和周末转化是否有变化，哪个客服比较好，哪个计划转化比较好等等。竞价操作记录表，主要是做数据分析之后对进行的操作做记录，方便后期跟踪操作的效果是否达到预期，不会遗忘，失掉方向。接下来，开始给大家划重点了，打起精神来。

竞价数据分析之每日工作流程：

第一步：记录营销流程表数据。看昨天的数据，重点关注转化量是否波动较大。如果，是正常波动，则无所谓，如果波动太大，则需要去分析原因。

第二步：查看搜索词报告。看搜索词主要看两点：1、看昨天整体来的流量是否正常。操作：点击降序，浏览80%的搜索词是不是正常，如果不正常，则需要进行否词。2、按照平均点击价格降序，查看高价搜索词是否值，不值的就需要进行否词。PS：关于否词，这里有一个金句：低质量流量较多则收匹配，低质量流量较少则精确否定，非常不靠谱的流量则广否。

第三步：查看关键词报告：1、消费降序，查看高消费关键词的匹配是否正常，不正常则需要进行否词（请参考否词金句）。2、消费降序，结合转化量，看这个成本自己是否能接受，不能接受的关键词需要进行优化。对于关键词，可分为四类：高消费低转化、高消费高转化、低消费高转化、低消费低转化。后期，老王会写一篇文章，专门讲解如何对这四类词，进行分析和操作。

第四步：记录多维度数据表。为后期的分析积累数据。

第五步：记录竞价操作表。方便后期查看，自己的调整是否有效。

以上，即是老王为大家整理的竞价老手每日分析数据的工作流程，如有疑问欢迎交流，我是路人甲老王，一个希望新人快速成长的陌生人。

电商运营技巧：如何进行数据分析?济南优就业IT培训的小编给大家讲一下：

(一)日常性数据分析

1.流量相关数据：IP丶PV丶在线时间丶老用户比例丶新用户比例。

2.订单相关数据：总订单丶有效订单丶订单有效率丶总销售额丶客单价丶毛利率。

3.转化率相关数据：下单转化率丶付款转化率。

(二)每周数据分析

用户下单和付款不一定会在同一天完成，但一周的数据相对是精准的，所以我们把每周数据作为比对的参考对象，主要的用途在于，比对上周与上上周数据间的差别，运营做了某方面的工作，产品做出了某种调整，相对应的数据也会有一定的变化，如果没有提高，说明方法有问题或者本身的问题并在与此。

1、网站数据

IP丶PV丶平均浏览页数丶在线时间丶访问深度比率丶访问时间比率。这是最基本的，每项数据提高都不容易，这意味着要不断改进每一个发现问题的细节，需要不断去完善购物体验

2、运营数据

总订单丶有效订单丶订单有效率丶总销售额丶客单价丶毛利润丶毛利率丶下单转化率丶付款转化率丶退货;每日数据汇总，每周的数据一定是稳定的，主要比对于上上周的数据，重点分析内部的工作，如产品引导丶定价策略丶促销策略丶包邮策略等。

分析时大家思考三个问题：

1：对比数据，为什么订单数减少了?但销售额增加了?这是否是好事?

2：对比数据，为什么客单价提高了?但利润率降低了?这是否是好事?

3：对比数据，能否做到：销售额增长，利润率提高，订单数增加?

(三)：用户分析

会员分析数据：会员总数丶所有会员购物比率(新会员，老会员)

1.会员复购率

2.转化率

(四)：流量来源分析

流量分析是为运营和推广部门指导发展方向的，除了关注转化率，还有像浏览页数丶在线时间，访问深度等都是评估渠道价值的指标。

(五)：内容分析

主要的两项指标：首页装修和宝贝详情页的购买率。

1.查看哪款产品的销售差，哪个产品的销售好，基本会说明有些问题，然后全体团队重点讨论，发现问题，给出意见，然后依次进行改进。

2.首页肯定要与热点内容相符合，学会看新闻，学会看天气，分析消费者最关注什么，喜欢什么产品丶查看同行店铺的促销手段极其装修等等，从他人处学到精华，学会应用。

对于具体的业务场景问题，我们该怎么办呢?我们以一个电子商务网站为例，用数据分析产品 GrowingIO 对该网站进行快速地数据采集、清晰和可视化展示，然后给大家分享这 8 种常见的数据分析方法。

1 数字和趋势

看数字、看趋势是最基础展示数据信息的方式。

在数据分析中，我们可以通过直观的数字或趋势图表，迅速了解例如市场的走势、订单的数量、业绩完成的情况等等，从而直观的吸收数据信息，有助于决策的准确性和实时性。

对于电子商务网站，流量是非常重要的指标。

上图中，我们将网站的访问用户量(UV)和页面浏览量(PV)等指标汇汇聚到统一的数据看板(Dashboard)，并且实时更新。

这样的一个数据看板，核心数字和趋势一目了然，对于首席增长官来说一目了然。

2 维度分解

当单一的数字或趋势过于宏观时，我们需要通过不同的维度对于数据进行分解，以获取更加精细的数据洞察。

在选择维度时，需要仔细思考其对于分析结果的影响。

举个例子，当监测到网站流量异常时，可以通过拆分地区、访问来源、设备、浏览器等等维度，发现问题所在。

3 用户分群

针对符合某种特定行为或背景信息的用户，进行归类处理，是我们常常讲到的用户分群(segmentation )的手段。

我们也可以通过提炼某一群用户的特定信息，创建该群体用户的画像。 例如访问购物网站、寄送地址在北京的用户，可以被归类为“北京”用户群体。

而针对“北京”用户群体，我们可以进一步观察他们购买产品的频度、类别、时间，这样我们就创建出该用户群体的画像。

在数据分析中，我们往往针对特定行为、特定背景的用户进行有针对性的用户运营和产品优化，效果会更加明显。

上图中，我们通过 GrowingIO 的用户分群功能将一次促销活动中支付失败的用户挑选出来，然后推送相应的优惠券。

这样精准的营销推广，可以大幅度提高用户支付的意愿和销售金额。

4 转化漏斗

绝大部分商业变现的流程，都可以归纳为漏斗。

漏斗分析是我们最常见的数据分析手段之一，无论是注册转化漏斗，还是电商下单的漏斗。

通过漏斗分析可以从先到后还原用户转化的路径，分析每一个转化节点的效率。　　其中，我们往往关注三个要点：　第一，从开始到结尾，整体的转化效率是多少?　　第二，每一步的转化率是多少?　　第三，哪一步流失最多，原因在什么地方?流失的用户符合哪些特征?

上图中注册流程分为 3 个步骤，总体转化率为45.5%;

也就是说有 1000 个用户来到注册页面，其中 455 个成功完成了注册。

但是我们不难发现第二步的转化率是 56.8% ，显着低于第一步 89.3% 和第三步转化率 89.7%，可以推测第二步注册流程存在问题。

显而易见第二步的提升空间是最大的，投入回报比肯定不低;如果要提高注册转化率，我们应该优先解决第二步。

5 行为轨迹

关注行为轨迹，是为了真实了解用户行为。

数据指标本身往往只是真实情况的抽象，例如，网站分析如果只看访问用户量(UV)和页面访问量(PV)这类指标，断然是无法全面理解用户如何使用你的产品。通过大数据手段，还原用户的行为轨迹，有助于增长团队关注用户的实际体验、发现具体问题，根据用户使用习惯设计产品、投放内容。

上图中展示了一位用户在某电商网站上的详细行为轨迹，从官网到落地页，再到商品详情页，最后又回到官网首页。

网站购买转化率低，以往的业务数据无法告诉你具体的原因;通过分析上面的用户行为轨迹，可以发现一些产品和运营的问题(比如是不是商品不匹配等等)，从而为决策提供依据。

6 留存分析

在人口红利逐渐消褪的时代，留住一个老用户的成本要远远低于获取一个新用户。

每一款产品，每一项服务，都应该核心关注用户的留存，确保做实每一个客户。

我们可以通过数据分析理解留存情况，也可以通过分析用户行为或行为组与回访之间的关联，找到提升留存的方法。

在 LinkedIn，增长团队通过数据发现，如果新用户进来后添加 5 个以上的联系人(上图红色线条)，那么他/她在 LinkedIn 上留存要远远高于那些没有添加联系人(上图绿色和紫色的线条)的留存。

这样，添加联系人称为 LinkedIn 留存新用户的最核心手段之一。除了需要关注整体用户的留存情况之外，市场团队可以关注各个渠道获取用户的留存度，或各类内容吸引来的注册用户回访率，产品团队关注每一个新功能对于用户的回访的影响等等，这些都是常见的留存分析场景。

7 A/B 测试

A/B 测试用来对比不同产品设计/算法对结果的影响。

产品在上线过程中经常会使用 A/B 测试来测试不同产品或者功能设计的效果，市场和运营可以通过 A/B 测试来完成不同渠道、内容、广告创意的效果评估。

举个例子，我们设计了两种不同的产品交互形式，通过比较实验组(A 组)和对照组(B 组)的访问时长和页面浏览量两个衡量指标，来评估哪一种交互形式更佳。要进行 A/B 测试有两个必备因素：

第一，有足够的时间进行测试;

第二，数据量和数据密度较高。

因为当产品流量不够大的时候，做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样大体量的公司，每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往在公司数据规模较大时使用会更加精准，更快得到统计的结果。

8 数学建模

当一个商业目标与多种行为、画像等信息有关联性时，我们通常会使用数学建模、数据挖掘的手段进行建模，预测该商业结果的产生。

作为一家 SaaS 企业，当我们需要预测判断客户的流失时，可以通过用户的行为数据、公司信息、用户画像等数据建立流失模型。

利用统计学的方式进行一些组合和权重计算，从而得知用户满足哪些行为之后流失的可能性会更高。

我们常常说，不能度量，就无法增长，数据分析对于企业商业价值的提升有着至关重要的作用。

当然，仅仅掌握单纯的理论还远远不够，实践出真知。数据分析的方法大家不妨在自己日常工作中，有分析相关项目里尝试使用，相信可以事半功倍，创造更多商业价值。

文 | 帆软数据应用研究院 船长

数据分析就近几年看来，越来越有一种像通用技能发展的趋势，从生产、研发、市场、销售到运营，多多少会存在数据分析的需求。

关于数据分析，网络上有不少分析报告案例，但细细读来，好多都缺少辨证，逻辑不严谨，又或者分析得浅尝辄止。恰逢最近读了《大数据分析的道与术》，是一套很完整的理论书籍，结合自己多年的数据从业经验，积累了一些心得，想与大家分享。

作为一个唯物主义者，做事总是爱讲方法论。曾经“农村包围城市，武装夺取政权”作为方法论的代名词，总是挂在嘴边。那么数据分析工作，方法论是什么呢？是“先道后术，以道驭术”，也就是先了解数据分析的核心原则，再掌握数据分析的一些关键技术。

什么是数据分析？

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。其实简单理解，数据分析本身就是“数据”和“分析”两块工作。一方面是采集、加工、整理数据，另一方面是结合数据背景分析数据，从中提取出对业务有帮助的结论。

数据分析的成果通常是数据分析报告

。常见的就是带图、表的PPT、PDF文件，也有一些Web版的图表系统（有兴趣的，可以在应用商店搜索“数据分析”，有各类演示系统可以体验）。对于数据分析报告，类似议论文，分析是论点，数据就是论据。

数据分析有什么用呢？这个经常被问到，尤其当一篇花里胡哨的报告在网上发布，就有人说报告没用，顺带着撇一嘴数据分析也没用。

数据分析对企业的巨大价值体现在业务发展的前期（探索期）或阶段性改进期（颠覆期）。当探索和变革业务时，企业需要数据分析去明确业务中的问题、机遇及解决方案。企业最大的成本是决策成本，而数据分析是提高企业决策能力的关键；当业务模式相对成熟时，企业则需要数据建模来提升业务效率，减少运营成本等。

那，数据分析又有哪些普遍又典型的应用场景呢？笔者经验，主要是三个：掌握业务状态、分析业务潜力、评估业务进展。

场景-掌握业务状态

：我们需要通过对核心指标进行监控、解读和分析，掌握业务经营状况。比如某日销量出现异常波动，需要数据分析来定位原因。（产品A本周销量异常上涨10%，是什么原因？怎么分析？）在比如月末、季末部门做关键业务指标总结，并做业务发展趋势分析等。（本季度的关键数据指标如何？各项业务进展如何？都有哪些积极消极因素，具体多大影响，下个月、下个季度业务则呢么发展？）譬如下方用finereport搭建的数据平台，统计监测的业务数据。按照制定的业务分析规则展示，可以清晰地看到哪个环节出错。

销售额分析

销售团队分析

销售指标追踪

场景-分析业务潜力

：产品当前的主要问题是什么？下一步的发展潜力在哪里？从数据中挖掘问题原因并提出对策，指明产品的下一步改进方向。比如商品B近3个月流失了1000个会员，原因是什么（分析原因）？如何减少会员流失（找对策）？

场景-评估业务进展

：新上线的产品策略或新推进的运营活动，带来了多少业绩提升？项目的覆盖面和影响面如何？其中存在怎样的问题，如何进一步优化等等。比如针对部分客户，设计全新的促销策略，在本月执行后，如何评价促销策略带来的业绩提升？是否目标客户群比上个月购买额增长可以作为促销策略的成果？

既然数据分析有如此之多的应用场景和使用价值，那么怎么才能做好数据分析呢？只能说，太难，既需要工具技巧的掌握，又要有能明察秋毫洞若观火的业务经验。但相比而言，个人觉得后者更为重要，就像如果只知道方法论，但没有对业务的理解，如何实行的套路，数据分析只会浮于表面，既不能挖掘问题原因，也不能提供解决方案。

做好数据分析，不谈技术，先认清以下4个关键。

1、业务调研：理解业务是基础，否则分析是无本之木，甚至是个人意淫。

2、创新思考：广阔的知识面和积极的思考，是分析思路的源泉，数据分析的创新思考，实质上就是从更多的思路进行分析，找出最合理的思路。

3、逻辑推理：对数据指标作出正确的归因分析和判断。

4、可行建议：产生对业务切实有效的改进建议和执行方案。

“业务调研”是数据分析的起点，也是获取分析思路的基础，但是需要兼具深度和广度的“创新思考”，才能获取更独到的分析思路。分析思路也可以认为是统计数据的角度，完成数据统计后，需要“逻辑推理”来保证从数据到结论判断的正确性。最后，用“可行建议”来保证分析结论的落地执行，产生可量化的业绩。这就是数据分析从业务中来，回到业务中取得完成过程。

本文是笔者《大数据分析道与术》读书笔记第1篇，浅述了一下。下周将结合自身经验，对业务调研、创新思考、逻辑推理、可行建议逐一做解读分析。

文 |

帆软数据应用研究院

船长

先给大家讲一个数据分析的小故事，发生于四百年前。

在中世纪，科学界最大的争论在于，到底是地球围绕太阳旋转，还是太阳围绕地球旋转。那时候有一位伟大的天文学家叫第谷·布拉赫，为了解决这个人类科学最初的大争论，开始了寻求数据支持的伟大征程。当时丹麦国王专门为他建了一个天文台，配备了齐全的观测仪器。从那时之后的20年里，第谷每天晚上风雨无阻地观测行星运动的轨迹，把每个行星每天晚上的位置，精确地记录下来，是天文史上第一个真正地开始收集大数据的天文学家，但是他没有足够的智慧从中发现行星运行的规律。 后来，第谷的学生开普勒拿到大量的数据之后，摒弃了每一天的视角，他从每一年的视角来看：地球每365天就会回到原点，而其他的行星还在自己的轨道上运动。他把行星运动的轨道画出来了，得出了所有行星围绕太阳运动的结论。在此基础上，开普勒提出了著名的行星运动三大定律，成就了近代天文学的开端。

这个故事告诉我们：

1、数据是数据分析的基础。如果没有第谷20年如一日的观测记录，开普勒不可能取得如今的成就；而如果没有开普勒，第谷的所有观测数据，都将成为一堆毫无用处的废纸。

2、要客观的分析数据，具备数据分析的视角和思维。第谷一直以“地心说”的思想观察数据变化，开普勒接受了哥白尼的“日心说”思想，在新的角度上结合观测数据才发现行星运动的定律。

3、要学会合理利用数据。开普勒通过每年的观测数据，才发现了行星运动规律，当我们面对海量数据的时候，最需要的是独具慧眼，在繁杂的数据中找到我们需要的数据，才能真正的将数据运用起来。

大数据分析是检查大量和多样化数据集（即大数据）的过程，以发现隐藏模式，未知相关性，市场趋势，客户偏好和其他有用信息，可帮助组织做出更明智的业务决策。

大数据分析的好处

由专业分析系统和软件驱动，大数据分析可以指出各种业务收益，包括新的收入机会，更有效的营销，更好的客户服务，提高运营效率以及竞争对手的竞争优势。

大数据分析应用程序使 数据科学家，预测建模者，统计学家和其他分析专家能够分析结构化交易数据的不断增长的数量，以及传统商业智能（BI） 和分析程序通常未被挖掘的其他形式的数据 。这包括半结构化 和 非结构化数据的混合，例如，互联网 点击流 数据，网络服务器日志，社交媒体内容，客户电子邮件和调查响应中的文本，移动电话呼叫详细记录和连接的传感器捕获的机器数据到 互联网上的东西。

在广泛的范围内，数据分析技术和技术提供了一种方法来分析数据集并得出结论，以帮助组织做出明智的业务决策。BI查询回答有关业务运营和业绩的基本问题。大数据分析是一种高级分析的形式，涉及复杂的应用程序，其中包括预测模型，统计算法和假设分析等高性能分析系统。

大数据分析的出现和发展

术语大数据首先被用来指在90年代中期增加的数据量。2001年，咨询公司Meta Group Inc.的分析师Doug Laney扩大了大数据的概念，还包括组织生成的数据种类的增加以及数据创建和更新的速度。这三个因素 - 体积，速度和品种 - 被称为大数据的3Vs， Gartner在2005年收购Meta Group并招聘Laney后普及。

另外，Hadoop分布式处理框架是2006年作为Apache开放源代码项目推出的，它为基于商品硬件构建的集群平台种植种子，并且运行大数据应用程序。到2011年，大数据分析开始在组织和公众眼中牢牢掌握，Hadoop和各种相关的大数据技术纷纷涌现。

最初，随着Hadoop生态系统的形成和开始成熟，大数据应用主要是大型互联网和电子商务公司，如雅虎，谷歌和Facebook，以及分析和营销服务提供商。在接下来的几年中，大数据分析越来越多地被零售商，金融服务公司，保险公司，医疗机构，制造商，能源公司和其他主流企业所接受。

大数据分析技术和工具

非结构化和半结构化数据类型通常不适合 基于 面向结构化数据集的关系数据库的传统 数据仓库。此外，数据仓库可能无法处理需要频繁更新的大数据集合所提出的处理需求，甚至连续不断地进行，如在股票交易的实时数据的情况下，网站访问者的在线活动或移动应用的性能。如果你正在学习大数据，欢迎加群640193172讨论，大家都是大数据党，不定期分享干货，包括我自己整理的一份2017最新的大数据资料和零基础入门教程，欢迎初学和进阶中的小伙伴。

因此，许多收集，处理和分析大数据的组织将转向NoSQL 数据库以及 Hadoop及其配套工具，其中包括：

YARN： 集群管理技术和第二代Hadoop的关键特性之一。

MapReduce： 一个软件框架，允许开发人员编写在分布式处理器或独立计算机集群中并行处理大量非结构化数据的程序。

Spark： 一种开源并行处理框架，使用户能够跨集群系统运行大规模数据分析应用程序。

HBase： 构建为在Hadoop分布式文件系统（HDFS）之上运行的面向列的键/值数据存储。

Hive： 用于查询和分析存储在Hadoop文件中的大型数据集的开源数据仓库系统。

Kafka： 一种分布式发布订阅消息系统，旨在替代传统的 消息代理。

Pig： 一种开放源码技术，可为 Hadoop集群 上执行的 MapReduce 作业 的并行编程提供高级机制 。

在某些情况下， Hadoop集群 和NoSQL系统主要用作数据的着陆点和分段区域，然后才能加载到数据仓库或分析数据库中进行分析，通常采用更有利于关系结构的汇总形式。

然而，更频繁的是，大数据分析用户正在采用Hadoop 数据湖的概念，Hadoop 数据湖 作为原始数据流的主要存储库 。在这样的架构中，数据可以直接在Hadoop集群中进行分析，或通过像Spark这样的处理引擎运行。在数据仓库中，声音数据管理是大数据分析过程中的关键的第一步。存储在Hadoop分布式文件系统中的数据必须进行组织，配置和分区，以在提取，转换和加载（ETL）集成作业和分析查询方面获得良好的性能。

数据准备就绪后，可以用高级分析流程中常用的软件进行分析。这包括数据挖掘工具 ，筛选数据集以寻找模式和关系; 预测分析，构建用于预测客户行为和其他未来发展的模型; 机器学习，这些抽头算法分析大数据集; 和深度学习，机器学习更先进的分支。

文本挖掘 和 统计分析软件也可以在大数据分析过程中发挥作用，如主流BI软件和 数据可视化 工具。对于ETL和分析应用程序，查询可以以批处理模式MapReduce编写; 编程语言，如R，Python和Scala ; 和SQL，通过SQL-on-Hadoop 技术支持的关系数据库的标准语言 。

大数据分析使用和挑战

大数据分析应用程序通常包括来自内部系统和外部来源的数据，例如由第三方信息服务提供商编译的消费者的天气数据或人口统计数据。此外，流分析应用程序在大型数据环境中变得越来越普遍，因为用户希望通过Spark的Spark Streaming模块或其他开源流处理引擎（如Flink和Storm）对进入Hadoop系统的数据进行实时分析。

早期的大型数据系统主要部署在内部，特别是在收集，组织和分析大量数据的大型组织中。但是，像Amazon Web Services（AWS）和Microsoft 这样的云平台供应商已经更容易设置和管理云中的Hadoop集群，而像Cloudera和Hortonworks这样的Hadoop供应商也支持他们分发大数据框架在AWS和Microsoft Azure云端。用户现在可以在云中启动集群，根据需要运行它们，然后将其脱机，使用不需要持续软件许可证的基于使用的定价。

潜在的陷阱可能使组织陷入大数据分析举措，包括缺乏内部分析技能，以及招聘有经验的数据科学家和数据工程师填补空白的高昂成本。

通常涉及的数据量及其多样性可能会导致数据管理问题，包括 数据质量，一致性和治理; 而且，数据仓库可能是由于在大型数据架构中使用不同的平台和数据存储。此外，将Hadoop，Spark和其他大型数据工具整合到一个能够满足组织大数据分析需求的连贯一致的架构中，这对于许多IT和分析团队来说是一个具有挑战性的挑战，这些团队必须确定合适的技术组合，然后将这些组合放在一起。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。

这是一个来自百度内部培训关于数据分享的、阅读类的PPT，文字说明非常充分，适合刚入门数据分析的朋友进行学习。

主要内容：

1、什么是数据分析（道）

1.1 数据分析是什么？

1.2 什么是做好数据分析的关键？

1.3 分析要思考业务，尤其是接地气

1.4 分析要言之有物，行之有效

2、数据分析方法（术）

3、常见的统计陷阱

4、PPT蕴含的人生哲理

来自：36大数据

在互联网的下半场，不断精细化运营的背景下，产品经理不再是单纯的靠感觉来做产品，更需要培养数据的意识，能以数据为依归，来不断改善产品。

不同于公司专业的数据分析师，产品经理更多的可以从用户、业务的层面去看待数据，去更快更透彻的去寻找数据变动的原因。

科多大数据带你们看看在数据已经被有效记录的前提下，如何有效的去进行大数据分析呢？

一、明确数据分析的目的

1、如果数据分析的目的是要对比页面改版前后的优劣，则衡量的指标应该从页面的点击率，跳出率等维度出发，电商类应用还要观察订单转化率，社交类应用要注重用户的访问时长、点赞转发互动等频次。

不少新人在设计自己产品的时候，可能会花费很多时间在产品本身的设计上，却没有花精力思考如何衡量产品的成功与否，在产品文档上写上一句类似“用户体验有所”提升的空话，这样既不利于产品设计顺利通过需求评审，也无法更有效的快速提高产品的KPI指标。

2、如果数据分析的目的是探究某一模块数据异常波动的原因，则分析的方法应该按照金字塔原理逐步拆解，版本->时间->人群。

比如发现首页猜你喜欢模块最近的点击率从40%下降到了35%，暴跌5%个点，这个时候先看看是不是哪个版本的数据发生了波动，是不是因为新版本上线埋点遗漏或有误造成的。

如果版本的波动数据保持一致，再看看数据是从什么时候开始变化的，是不是因为受到了圣诞、元旦假日因素的影响，页面上其他模块上线了新的活动影响了猜你喜欢的转化。

如果不是，则再拆解是不是流量来源构成发生了变动，是不是新用户的曝光数量增加导致的。

产品经理需要带着明确的目的去分析数据，思考实现目标需要构建哪些维度去验证。大部分时候，产品经理需要非常耐心的一步一步的拆解细分，排查原因。

二、多渠道收集数据

收集方式一般有四类渠道。

1、从外部如易观或艾瑞的行业数据分析报告获取，需要带着审慎的态度去观察数据，提取有效准确的信息，剥离部分可能注水的数据，并需要时刻警惕那些被人处理过的二手数据。

2、从AppStore、客服意见反馈、微博等社区论坛去主动收集用户的反馈。我自己经常有空的时候就会去社区论坛看看用户的状态评论，一般这样的评论都是非常极端的，要么特别好，要么骂成狗，但这些评论对于自身产品设计的提升还是非常有益的，可以尝试去反推用户当时当刻为什么会产生如此的情绪。

3、自行参与问卷设计、用户访谈等调研，直面用户，收集一手数据，观察用户使用产品时所遇到的问题及感受。问卷需要提炼核心问题，减少问题，回收结果需剔除无效的敷衍的问卷。用户访谈需要注意不使用引导性的词汇或问题去带偏用户的自然感受。

4、从已记录的用户行为轨迹去研究数据。大公司一般会有固话的报表/邮件去每天甚至实时反馈线上的用户数据情况，也会提供SQL查询平台给产品经理或数据分析师，让他们可以更有深度的探究对比数据。

三、有效剔除干扰数据

1、选取正确的样本数量，选取足够大的数量，剔除极端或偶然性数据的影响。08年奥运会上，姚明的三分投篮命中率为100%，科比的三分投篮命中率为32%，那么是不是说姚明的三分投篮命中率要比科比高？显示有问题，因为那届奥运会，姚明只投了一个三分球，科比投了53个。

2、制定相同的抽样规则，减少分析结论的偏差性。比如两条Push文案，第1条“您有一个外卖暖心红包未领取，最大的红包只留给最会吃的你，点击进入”，第2条“送你一个外卖低温福利，足不出户吃喝热腾美味，点击领取”。实验数据表明，第二条Push文案的点击率比第一条同比高了30%。那么真的是第二条文案更有吸引力嘛？结果发现是第二条Push文案的接收人群的活跃度明显高于第一条造成的。

3、剔除版本或节假日因素的干扰，新版本刚上线时的数据表现往往会很好，因为主动升级的用户一般是高活跃度的用户。临近周末或大型节假日的时候，用户的消费需求会被触发，电商类应用的订单转化率也会直线上升。因此，在数据对比的时候，实验组和对照组的数据在时间维度上要保持对应。

4、对历史数据遗忘。人与数据技术不同，数据技术有着100%的记忆能力，而人类根据艾浩宾斯遗忘定律1天后只能记起33%，6天后25%，31天后21%。因此，我们要合理的选择筛选时间段。比如猜你喜欢模块不仅要对兴趣标签的计分进行一定的加权处理，也要结合商品的生命周期等因素做一系列的回归实验，得出受众人群对各类兴趣和购买倾向的衰退曲线，利用有规律的时间变化有效删除老数据，去提升模块的点击率。

5、实验需拆分A1组，也就是在实验组B和对照组A上再增加一组A1，A1和A的规则保持一致，然后探究AB的数据波动与AA1比较，剔除数据的自然/异常波动带来的影响。以我实际的A/B实验表明，设立A1组是非常重要且必要的，不管数据量级有多大，相同实验规则的两组在数据也会有一定的小幅波动，而这小幅波动在精细化运营的今天，对我们的判断可能形成较大的干扰偏差。

四、合理客观的审视数据

1、不要忽略沉默用户

产品经理在听到部分用户反馈的时候就做出决策，花费大量的时间开发相应的功能，往往结果，可能这些功能只是极少部分用户的迫切需求，而大部分用户并不在乎。甚至有可能与核心用户的诉求相违背，导致新版产品上线后数据猛跌。

忽略沉默用户，没有全盘的考虑产品大部分目标用户的核心需求，可能造成人力物力的浪费，更有甚者，会错失商业机会。

2、全面理解数据结果

如果实验结果的预期与我们的经验认知有明显的偏差，请不要盲目下结论质疑自己的直觉，而是尝试对数据进行更透彻的分析。

例如我曾经做过在首页给用户投放活动弹窗的实验，发现实验组的数据不管在首页的点击率，订单转化率乃至7日留存率方面都远超对照组，首页上的每一个模块的转化率都有明显的提升，远远超出了我们的预期，那这真的是活动弹窗刺激了用户的转化率嘛？

后来我们发现在首页能够展示出活动弹窗的用户，往往在使用环境时的网络状态比较好，在wifi环境下，而未展示弹窗的用户则可能是在公交/地铁/商场等移动场景下，网络通讯可能不佳，因此影响了A/B实验的结果。

3、不要过度依赖数据

过度依赖数据，一方面，会让我们做很多没有价值的数据分析；另一方面，也会限制产品经理本来应有的灵感和创意。

正像罗振宇在时间的朋友跨年演讲上提到的一样。用户要什么，你就给什么，甚至他们没说出来你就猜到了，这叫母爱算法，在内容分发领域没有人比今日头条做得更好，但母爱算法有很大的弊端，在推荐的时候会越推越窄。

另一面则是父爱算法，站的高，看得远。告诉用户，放下你手里的烂东西，我告诉你一个好东西，跟我来。正像乔帮主当年打造的iPhone系列产品一样，不看市场分析，不做用户调研，打造出超出用户预期的产品。

五、总结

美国最成功的视频网站Netflix通过基于用户习惯的分析，将大数据分析深入到电影的创作环节中，塑造了风靡一时的美剧《纸牌屋》。然而Netflix的工作人员告诉我们，不应该迷恋大数据

如果说电视剧评分9分是精品的话，大数据可以让我们脱离低分6分以下的风险，却也会带我们按部就班的走向平庸的绝大多数7-8分之间。

产品经理在直觉创造的心智能力，情感理解的社交能力，与大数据相结合，正确的理解数据，让数据真正嵌入到产品的设计中，切实解决用户的实际问题，方能真正做到所谓的“用户洞察”，让产品走到用户需求前面，超出用户的预期。