当今时代信息化产业飞速发展，各类底层大数据平台百花齐放，亿级数据、秒级响应已经不再是当年的遥不可及的神话。然而对于企业来说，数据计算快仅仅是满足企业进行业务数据分析的硬件基础，如何发掘这些海量的数据产生应用价值，走好数据分析这最后一公里，引导企业进行战略决策却是至关重要的一步。

本文以互联网行业为数据业务分析背景，希望能跟大家交流一些数据分析方面的心得和体验。

——本文使用数据分析工具为FineBI 商业智能工具

数据分析的本质其实是做数据对比分析，没有数据对比，单一的指标统计往往难以发挥数据价值。像我们常见的数据对比分析方法有同比、环比、占比等一系列分析指标，那是不是所有的数据业务场景都可以直接进行套用分析呢？比如我们统计企业2018年1月29日的同比流量，是不是可以直接对比2017年1月29日？表面上看好像2017年1月29日确实就是2018年1月29日时间层面上的同比日期，但是我们仔细对比查看这两个日期会发现2018年1月29日是周一，2017年1月29日确是周日。对于很多行业的企业来说，非工作日和工作日的数据往往是有很大差异的，这个时候单纯从日期层面来进行对比其实是没有什么意义的，选择对比同是周一的2017年1月30日的流量数据进行同比计算可能会更加有价值。

目前互联网行业做搜索引擎的有Google、百度，做综合门户的雅虎、新浪，做即时通讯的主要是腾讯，电子商务方面的主要是阿里、京东、亚马逊等。不论是以上的哪家互联网企业，往往都需要有一套引流、转化、消费、留存方面的运营策略，平台的流量数据分析往往都是非常重要的。

互联网流量数据分析方面，总结主要有如下四种数据常用分析方法：

1.对比分析流量规律，针对时段进行企业服务以及推广活动调整；

2.对比分析结构占比，指导进行定向群体营销推广

3.对比分析异常情况，及时追责并且进行调整；

4.对比追踪活动流量变化，总结活动效果经验以便后续有针对性调整。

如上图所示，我们通过FineBI工具制作出以上的流量数据分析模板，接下来尝试着对数据做一些对比分析。

一、用户浏览量周分布

对于互联网企业来说，流量数据往往都会呈工作周相关。对此，我们可以先宏观地统计出周一到周日中的总的平台流量柱状图数据对比情况。首先我们可以仔细观察工作日和非工作日的数据，发现周末的平台流量较工作日流量要高，这在互联网行业来说都是一个比较普遍的现象。

用户流量的周分布规律之后，我们就大致有一个推广方向，周末休息时间用户群体较大，相较于工作日可以投入更多的和丰富有吸引力推广活动来进行新用户引流和老用户活跃。

接着我们可以进行下一步思考，那工作日和周末我们的活动推广时间如何制定？有的同学们可能会觉得全天活动都可以，不需要关注具体的活动时间。但是对于互联网行业来说，每个时间段的推广费用都是较为昂贵的，我们完全可以分析出工作日和周末的用户流量趋势，进行有针对性的时间段投入推广，通过更小的成本获取到更多的用户流入。

首先是工作日的时间段流量统计分布，我们通过BI工具分时间段作图得到如下所示的流量分布图。可以看出，工作日的流量主要集成在每日的9点（上班时间）、13点（午餐时间）、20点（晚间娱乐休息时间），那么在得到这样的一些用户流量规律之后，便可以在这些用户活跃高峰期时间段有针对性对白领群体多做一些相关商品推广活动，以实现最小时间成本和推广费用最大化用户引流效果。

再来看周末的各时间段流量分布走势，和工作日所不同的是，周末的流量早高峰期延后到了10点，这可能和各位小伙伴们周日作息较晚有关（同学们周末都是几点起床呢），除此之外，晚上的流量高峰退潮期也有延后。针对与周末用户流量分布的特性，互联网企业在周末时可以将活动开始时间和活动结束时间都适当进行延后，这个时候不能再套用工作日制定好的活动时间计划了，因为符合用户群体作息规律的推广促销活动才能达到更好的效果。

二、推广渠道流量分布

对于互联网行业的推广渠道分布主要分为三级渠道：线上渠道、线下渠道、新媒体营销等等。对比分析每个渠道对企业所带来的价值占比差异，以指导制定有针对性营销策略。

如上图所示，由于推广渠道是分多层级的，我们通过BI工具的多层饼图进行数据的分析统计再合适不过了。分析下图的数据我们可以看出，首先是一级渠道的主要战斗力来自于新媒体营销，当今的微信、今日头条等社交媒介社区时代受众广泛，用户群体非常庞大，是公司需要投入主要成本进行推广的。其次线上渠道的效果也不容忽视，对于互联网企业来说，做好百度、Google等SEO搜索引擎关键词推广也是很重要的一部分工作。相较于线上渠道和新媒体营销，线下渠道说所需要的经费和时间、人力成本较大，受众又相对较小，所以此类活动往往针对核心粉丝进行运营即可。

三、各月份指标对比走势

在分析各月份指标对比走势数据之前，先简单介绍下互联网营销常用的几个指标概念：

1.浏览量（pv）

2.访问次数（visits）

3.访客数（uv）

以上三个基础指标常用来衡量流量数据的多少。另外平均访问深度（总浏览量/访问次数）、平均停留时间（总停留时间/总浏览量）、跳失率（跳出次数/访问次数），这三个指标通常可用于衡量流量指标的优劣性。

我们仔细分析上图中的平台流量指标，可以发现10月份是2017全年的流量高峰期，应该跟企业在国庆黄金假期所做的促销引流活动有关。浏览量、跳失次数、访问次数分别为4941、1290、2182，对比计算可得到跳失率为59.12%，明显低于其他时间段的跳失率，说明10月份的活动效果还不错，其经验对以后的营销推广可以起到参考作用。

最后是访问深度用户群体分布分析（跳失率=跳出次数/访问次数），我们通过BI工具将企业的VIP用户、老用户、新用户分别进行分时间段的用户群体访问深度分析统计。总体来说可以发现平台的VIP用户访问深度较老用户以及新用户稍微高些，但是不是太明显，说明平台运营的VIP这部分群体的活跃度还有待提升。同时，平台老用户访问深度和新用户更是相差无几，公司对于用户这方面的活跃运营明显需要加油了，建议将平台的部分忠诚度较高的老用户以VIP用户组建起来，共建平台生态圈，增加整体的用户活跃度。同时可以向老用户以及VIP用户实施一些优惠政策，如定向商品折扣、根据用户画像进行喜好商品特惠推送等。

本次的数据分析经验心得分享暂时先写到这里，后续将继续给大家分享关于互联网数据运营方法的转化、消费、留存等方面的一些经验，欢迎大家一起共同交流探讨互联网运营之道。

文 | 韩卯卯

来源：韩卯卯

入门思路有四步

第一步 熟悉各种数据指标

第二步 指标落实到报表和模板

第三步 掌握数据分析方法

第四步 运用数据分析方法论

第五步 系统性理解业务

「一 数据指标」

熟悉数据指标，是数据分析的基础，就好像是学英文先学字母一样。

「二 报表分析」

数据分析指标不仅要自己看得懂，还要落实到一个固定的模板去监控展示。

这样的好处有二，一是不用每次都找技术去导数据，用excel分析数据，有时候还卡得慢；二是通过把指标放到电子模板里展示，汇报分析结果是清晰明了，领导也能直观得看出数据差异，做决策性分析。

这个一般通过报表工具或者BI工具。如果没有，请死缠烂打找IT同事去开发去买~

下图以finereport开发的效果举例：

流量分析（finereport）

渠道转化分析（finereport）

活动推广分析（finereport）

「三 数据分析方法」

对比分析法

指将两个活两个以上的数据进行对比，分析他们的差异，从而揭示这些数据所代表的事物发展变化情况和规律。分成两类：

静态比较是在同一时间条件下对不同总体指标的比较，也叫横比

动态比较是在同一条件下对不同时期指标数值的比较，也叫纵比

分组分析法

深入总体的内部进行分组分析。其关键在于组数和组距。在数据分组中，各组之间的取值界限成为组限，一个组的最小值称为下限，最大值称为上限；上限和下限的差值称为组距

结构分析法

是指被分析总体内的各部分与总体质检进行对比的分析方法，即总体内各部分占总体的比例，属于相对指标。一般某部分的比例越大，说明其重要程度越高，对总体的影响越大。

结构相对指标（比例）的计算公式为：结构相对指标（比例）=（总体魔偶部分的数值/总体总量）*100%

平均分析法

运用计算平均数的方法来反应总体在一定时间、地点条件下某一数量特征的一般水平。

交叉分析法

用于分析两个变量之间的关系，即同时将两个有一定联系的变量及其值交叉排列在一张表格内，使各变量值成为不同变量的交叉节点，形成交叉表，从而分析交叉表中变量之间的关系。

杜邦分析法

杜邦分析通过利用各主要财务指标间的内在联系，对企业财务状况及经济效益进行综合分析评价的方法。它的特点是，将若干用于评价企业经营效率和财务状况的比率按照其内在联系有机的结合起来，形成完整的额指标体系，并最终通过权益收益率来综合和反应。

漏斗图分析法

以漏斗图的形式占线分析过程及结果。能对业务流程有直观的表现，能说明问题所在。单一的漏斗不能说明好坏，需要利用对比分析方法。

矩阵关联分析法

是指根据实物的两个重要属性座位分析的一句，进行分类关联分析，找出问题的一种分析方法，也称为矩阵关联分析法，简称矩阵分析法。在解决问题和资源分配时，为决策者提供重要参考依据。

「四 数据分析方法论」

单纯的罗列数据指标，是没有意义没有价值的。

需要以营销、管理等理论为指导，结合实际业务情况，搭建分析框架，这样才才能得到有价值有指导性的分析结果。

营销方面的理论模型有4P、用户使用行为、STP理论、SWOT分析等

管理方面的理论模型有PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART等

都是经典的营销、管理方面的理论，需要在工作中不断实践应用，体会其中的强大作用。

以分析理论为基础，搭建的分析框架，会使数据分析变得有血有肉有脉络，真正做到理论指导实践。明确数据分析目的以及确定分析思路，是确保数据分析过程有效进行的先决条件，它可以为数据的收集、处理及分析提供清晰的指导方向。

这些跟数据分析相关的营销、管理等理论统称为数据分析方法论。

4P营销理论

它是随着营销组合理论的提出而出现的。可以采用4P营销理论对数据分析指导了解一家公司的整体运营情况。

营销组合实际上有几十个要素，这些要素可以概括为4类：产品、价格、渠道、促销

产品：从市场营销的角度来看，产品是指能够提供给市场，被人们使用和消费并满足人们某种需要的任何东西，包括有形产品、服务、人员、组织、观念或它们的组合

价格：指顾客购买产品时的价格，包括基本价格、折扣价格、支付期限等。价格或价格决策关系到企业的利润、成本补偿，一级是否有利于产品销售、促销等问题。影响定价的主要因素有三个：需求、成本和竞争。

渠道：是指产品从生产企业流转到用户手上的全过程中所经历的各个环节。

促销：是指企业通过销售行为的改变来刺激用户消费，以短期的行为导致提前消费来促进消费的增长，吸引其他品牌的用户导致提前消费来促进销售的增长。广告、宣传推广、人员销售、销售促进都是一个机构促销组合的四大因素。

逻辑树分析

这是最经常使用的分析方法。主应用于业务问题的专题分析，将所有子问题分层罗列，逐步向下扩展。逻辑树的作用主要是帮助你理清自己的思路，避免进行重复和无关的思考。

「五 系统性的理解业务」

理解业务，可以先找行业大号的文章，有个初步的认识。

最主要的还是看这个行业的经典书籍，甚至是专业教科书。

关于广告营销行业，推荐两本书：

《营销管理》现代营销之父-菲利普·科特勒

现在各种分享会培训，里面流传的方法论、观点，其实科特勒在50年前就说过。

翻开书第一句话，就是产品经理的职业准绳——有利可图的满足用户需求。

《计算广告》360商业产品首席架构师-刘鹏

计算广告是新兴的综合性的课题，在在大数据和技术环境发展下催生出来的。

至少终于有本书，能有操守有底线的讲清楚DSP、SSP、DMP，它们是怎么来的，到底都是嘎哈的。

【私考】

正所谓 学好数理化，走遍全天下

能不能发展成为贺涵，就靠数据分析了~

有兴趣就好好学喽！

翻译 | AI科技大本营（rgznai100）

参与 | reason_W

不知道大家以前听没听说过“10x Developer”这个词，如果你连听都还没听说过，那可真是时候考虑放弃自己的程序猿事业了。就像传说一样，一些程序猿的战斗力能达到同行的10倍，也就是说一个10x程序猿能够替换一个10人的开发团队。

本篇文章我们就针对数据科学，来谈一谈如何才能成为一名传说中的10x老司机。本文作者主要从事数据挖掘及处理方面的开发工作，是西雅图女性程序员俱乐部PyLadies创始人，曾在PyData Seattle 2015上做过关于通过自然语言处理和机器学习调查用户体验的主题演讲。

以下正文~~

最近我在PyData Seattle(https://pydata.org/seattle2017/)发表了一个关于如何通过借鉴开发社区的提示和窍门来提高数据科学技能的主题演讲。这些建议将帮助开发者成为一名非常受团队成员和其他人欢迎的数据科学方面的老司机。

这篇文章分为五部分，其中包括：

10x开发者的历史和争议

项目设计

代码设计

工作工具

生产模式

当然，如果你想观看原始演讲的视频，可以点击这里(https://youtube/watch?v=nFVjLSvK5po)

10x开发人员，顾名思义，就是比普通开发人员生产力高出10倍的人。

一个10x的开发人员，不只是能在一定时间内比普通开发人员生产更多代码，还能像boss一样调试bug，代码里的bug也更少。因为他们会测试代码，指导初级开发人员，编写自己的文档，并且拥有很多其他技能来让自己超越仅仅知道如何写代码的境界。

H. Sackman，W. J. Erikson和E. E. Grant在1968年进行了一个叫做“比较在线和离线编程性能的探索性实验研究”的实验，发现程序员在完成写代码的任务上有很大的时间差异。

虽然该实验选取的被研究人员平均开发经验已经达到了七年之久，但相互之间的时间差异却能达到惊人的20倍。

虽然该实验的设计存在一定的缺陷，例如将使用低级语言的程序员和使用高级语言的程序员混合到了一起，但之后越来越多的研究都发现了类似的结果。

虽然关于到底存不存在10x开发人员仍有着广泛的争论，但本文重点关注的不是这些，而是关注开发人员，如何通过从那些经验丰富并且被认为开发速度更快的人那里得到的提示和窍门，成为一名更有生产效率的数据科学家。

你得真正了解业务

不管你是为教育、生物技术还是金融公司工作，都应该至少对解决问题的业务有一个比较深入的了解。

为了有效地沟通数据分析背后的故事，你应该了解是什么在驱动业务，并且了解业务目标。

例如，如果你负责优化食品卡车的位置，那么你就需要了解客流量，竞争，该地区发生的事件，甚至天气。你需要想了解公司为什么要优化位置。可能是因为公司要增加现有卡车的销售量，或者是想要增加卡车数量。

哪怕你可能是今天在搜索网站工作，明天就到了金融公司去当数据科学家，你也应该为了使你的分析与利益相关者相关知道是什么让业务成为可能。

你还应该了解你所在项目的业务流程，例如知道谁需要签署最终结果，一旦你负责的部分完成，数据模型被传递给谁，以及预期的时间表是如何安排的。

最后，你应该确保你知道这个项目的利益相关者是谁，并且能够向不懂技术的利益相关者讲明白这个项目实际的效果。就像是成为教育工作者一样，并能够向不懂技术的利益相关者讲明白为什么达成目标可能需要比他们预期的更多时间或资源。

当你了解了利益相关方的目标，并能够确保你沟通技术，专业知识和建立解决方案所需的时间，那么你在你们公司的价值一定会变得更大。

你得真正了解数据

了解业务很重要，了解数据更重要。你需要知道数据该怎样提取，何时提取，谁负责质量控制，为什么数据会可能存在差距（例如供应商的变化或提取方法的变化），什么可能会丢失，并且哪些其他数据源可以被添加进来以创建一个更准确的模型。

这真的需要你去和不同的团队交谈，并且不断地提出问题。不要害怕问他们正在做哪些工作，也不要害怕跟他们讨论你正在做哪些工作，因为你永远不知道大家是不是在做重复的工作，或者他们是否有一个更干净的版本的数据，而这恰恰是你需要数据。这样可以节省你大量查询数据库的时间，例如对SiteCatalyst进行多个API调用。

为什么在项目设计过程中多花费一些时间和精力可以让你成为10x数据科学家？

你只需要做那些需要完成的工作（在写代码之前已经思考过），这样就可以快速完成项目，因为你会减少工作量！

通过在客户/用户认为他们需要的东西和他们真正需要的东西之间发现不同，你就能把自己定位成这个领域的专家和共识的制定者。

你会巩固自己对问题的理解，从而减小犯那些重大错误的几率。

你得懂得代码设计

虽然在设计代码时有很多非常好的实践，但其中有一些非常突出的细节将大大增加你的生产效率。

我第一次听到关于清晰度或清晰度胜过聪明才智的论述是在大学写作课。 被自己一时的聪明想法抓住，并使用今天刚想到的最新词汇来表述想法是很容易的一件事，但是像编程一样，你这样做不仅可能会混淆自己，还会混淆别人。（小编注：比如不按变量命名规则，每次都是a，b，c。。。真的在日后看代码的时候很崩溃）

在上面的Scala示例中，第一行显示了使用简写语法的sortBy方法。虽然简明扼要，但很难想象下划线代表什么。虽然这是许多人在匿名函数中表示参数名称的常见模式，但对于不太高级的开发人员（或者当你过了一段时间再看你的代码）时，搞明白代码到底代表什么的做法就变得很头痛了。

在第二个例子中，我们起码使用了一个参数名称，加上它还显示了赋值，我们可以看到它是通过序列x中的最后一个元素排序的。

当代码不怎么抽象的时候，之后的调试才会更容易，所以在第三个例子中，我明确命名了我的参数，以便它表示数据。

当你的大脑必须要经历每一步，或者查找或回想代码的简写代表什么的时候，调试会需要更长的时间，添加新函数也会需要更长的时间，因此即使使用上述示例的简写可以简洁而快速地输入，从长远来看，明确命名参数对你和他人都会是有利的，从而避免你们耍小聪明犯下的错。

虽然我们不会检查缓存，但我们将介绍命名的重要性。想象一下，你正在查看一些旧的代码，你会看到序列按Scala示例进行排序：

.sortBy(x =>-x._2)

使用单个字母来命名序列根本提供不了有用的信息，因为当你可能从API，数据库或Spark中的数据流中提取数据时，你必须运行代码才能看到”x”到底代表什么。

所以保持与之前Scala的示例的代码应该是：

sortBy(clothesCount =>-clothesCount._2)

这样你就可以知道我们正在对什么进行排序，甚至不用运行代码。

但是，有时使用X作为变量名称却很好。例如，X通常用于机器学习库，其中X表示观察到的数据，而y是试图预测的变量。在这种情况下，使用这个领域约定俗成的表示，如“模型”，“拟合”，“预测”和“x”和“y”等字段是最好不过的。

除了数据科学方面的要求，你还要遵循你所使用的语言的编程语言惯例。例如，我建议你去检查一下文档，如PEP for Python，来了解最佳做法。

通过规范你的命名约定，并通过清晰而不是耍小聪明的代码，它将使重构和调试更容易和更快。按照这两个代码设计的窍门，你将走上成为10x数据科学家的道路。

保持代码样式一致，与刚刚我们说的保持命名约定一样重要。要获得一些基本的风格点，你应该坚持一种情况，不要在同一个脚本中混合使用驼峰式大小写和snake的命名规范，否则的话，你的代码很快就会变得难以阅读和浏览。另一种你应该保持一致的方法是同一种任务要坚持使用相同方法。例如，要从字典中删除重复项，并且需要在代码的好几个位置处执行此操作，那么就不要仅仅因为在Stack Overflow网站上看到过就使用其他创造性的方法来执行操作。使用最清晰和最不聪明的方法来让你的代码和脚本保持一致。并且，我还要再次强调，一致性的目的是为了避免让你自己和其他人混淆，这将有助于你更快地进行调试！（请注意，我们这段话的核心是调试）。

还记住我们刚刚谈到的，必须在代码中的多个地方删除字典中的重复项吗？使用函数，你就不需要多次重写代码。当然，即使你不重用代码，把代码封装在函数中也是至关重要的最佳做法。你的函数应该很小，小到只能做一件事情，以便可以重复调用。

当你不使用函数时，经常会有有全局变量导致命名冲突，代码不可测试和代码的不断重复。

通过使用函数，你的代码就可以自由组合，更易于编写测试单元。

但是不要仅仅止步于写一些只做一件事情的小函数，请务必抽象你的函数，以便重新使用它们 - 这样有助于降低代码冗余度，并能加快你的开发时间，这样做下去至少让你成为一个2x 程序猿。

尽管不太常见，但代码设计中很重要的一点是使用桩代码。桩代码是简单的mock类以及函数，可以显示输入，输出和注释，并为代码提供一个大纲。在你开始实际编写代码之前，使用桩代码会让你先考虑代码，并可以帮助你避免怪异的意大利面条式的代码。你会注意到你在编写代码之前有哪些重复的代码，并且会考虑最合适的数据结构。

上面的代码示例给我们展示了注释和文档。要真正成为一个被同事喜欢的程序猿，并提高自己作为一名数据科学家的效率，就要会写有用的简明扼要的注释。这不仅应该包括关于代码段的注释，还包括其输入和输出。

此外，关于docstrings可能最酷的是，它们可以通过大多数语言的库转换为文档。例如Python有一个名为Sphinx的库，可以让你将docstrings转换成完整的文档。

你现在可能知道你的代码是什么，但当你尝试调试或添加函数时，你和其他人将非常开心有注释。

无论你使用什么语言编写代码，请记得使用异常处理，并为你自己，同事和最终用户留下有用的错误信息。上面的代码显示了一个停止函数，能够传递来自正在调用的API的错误消息。

如果数据不是API需要的，那么它就会引发一个有用的错误消息。在你自己的代码中，你可以在停止函数中写一个消息，帮助用户：

stop(paste0(“Make sure all your inputs are strings: ”, e))

以上示例来自“Hitchhikers Guide to Python”，它使用Python测试库Pytest。

尽管编写测试单元对于开发人员来说相当普遍，但这在数据科学领域却很少使用。当然，你可以使用交叉验证，混淆矩阵和其他方法来验证你的模型。 但是，你是否测试了正在为你获取数据的查询？ 你使用的各种方法是如何清理和转换数据的，你的模型需要它们吗？ 这些方面对于安全防范“Garbage in, garbage out”（小编注：这两个单词的意思是，如果将错误的、无意义的数据输入计算机系统，计算机自然也一定会输出错误、无意义的结果。）至关重要。 当你测试代码时，不仅这两个未来的证据可以反映可能引入错误的变化，而且当你有能力自己给自己检查代码时，每个人都会认为你就像一个摇滚明星一样耀眼，因为一旦代码被用于实际生产就会发现bug非常少。

为你的项目使用版本控制是成为10x数据科学家的重要一步。这最明显的好处是保存模型的不同版本，既可以轻松地进行团队工作，也可以通过在存储库中使用版本控制进行备份，防止在笔记本电脑被盗或硬盘驱动器坠毁的情况下丢失工作。

在beta版中，有一个名为Data Version Control的开源数据版本控制项目，对于数据科学工作流程来说看着很有希望。 它依靠Git，并允许通过构建数据依赖图来跨团队重现项目。你的数据会与你的模型分开保存，它与其他版本控件一样工作，允许你回滚到以前保存的备份。

10x开发人员知道使用正确的工具来完成工作，无论是使用库来节省时间，切换语言以实现性能，还是使用API，而不是自己从头构建解决方案。

比方说你现在有一些Twitter或其他社交数据要用来进行情绪分析。一个选择是自己标注数据，训练自己的模型，另一个则是使用预先训练的模型。不去自己建立每个数据模型来重新造轮子是很薄的。使用最适合工作的工具，即使这意味着使用你没有构建过的工具。

我们都写过一个与Cron工作配对的Bash脚本来自动化一些报告，但是，在你花费一些时间尝试调试由Cron自动执行的其他人撰写的报告时，你甚至不知道它在哪里运行，你会意识到必须有更好的方法才行。通过使用自动化工具，如Puppet，Chef，Ansible或任何其他流行的自动化工具，你就可以从集中的位置运行你的工作，因此调试他人（或你自己）的工作就能快很多。

有时你可能找不到一个团队来负责你设计的模型，这个时候就需要知道如何自己部署自己的模型。

虽然上面那副图中的提供商之间有很多差异，但它们包含了从难以置信的易用性到你需要的更多的设置和知识。本节的内容其实可以单独成为一个话题。如果你想了解有关模型托管的更多细节，可以查看我们的其他几个不同的报告，分别...

文 | 邹昕-知乎

来源：再生谈|reborn_chat

受本人背景和知识水平所限，本答案局限性如下（包括但不限于）：

1. 更适用于中大型公司；

2. 更适用于互联网公司；

3. 可能更适用于美国的工作环境。

个人以为，一个三年工作经验的数据分析师应该具备以下方面的能力：对技术的掌握，对产品的理解，对数据的敏锐性，数据和产品之间互相转化的能力，分析思维的广度、深度和速度，数理统计的能力，沟通的能力，辅导新人的能力，面试把关的能力。

以下分开来说，同时举例的时候假设这个数据分析师是知乎这个产品的，目的是为了增长活跃用户。

【1】对技术的掌握

不一定需要非常高深的技术，但是基本的一定要过关。比如针对互联网行业的数据分析，SQL 是一定要过关的。在这基础之上，掌握公司惯用的BI工具或者报表工具，譬如帆软系列；Python / R 可以提高长期的工作效率，但在初期并不一定需要。

简单来说，技术能力决定了一名数据分析能力的下限，而对产品和业务的理解则决定了上限。

如果缺乏技术的支持，那就只能去当 CEO 了。

就好比在电影 Margin Call 里，底下的小兵负责分析数据，各种模型预测金融危机什么时候会发生。

而对于 CEO 来说，他的任务就是猜。

【2】对产品的理解

数据分析的目的是为了改进产品。如果缺乏对产品的理解，那么技术再好，也有可能像是无头苍蝇到处乱撞。

或者是变成 data dump，提供一堆一堆的图表，但其中有互相什么关联，能说明什么问题，提供什么样的建议，却并没有好的想法。

如果是初入行的话，这还是问题不大的。

因为新人可以有老板带着，或者是老人带着，但是如果想要更进一步，那就必须能够自己独立的做项目。

尤其是在互联网行业更是如此，除了新人之外，对大多数人的基本要求都是能单兵作战，不需要详细的指导。

同时在很多情况下，问题是很开放性的，对于如何解决并没有一个非常固定的套路，或者是因为这完全就是一个新的问题，或者因为不同产品之间套路无法直接套用，需要做大量的调整和创新。

比如这里面增长的例子，哪些是可以借用于知乎的，哪些是需要调整的，哪些是完全不适用的？

【3】对数据的敏锐性

对数据的敏锐性体现在两方面，一是在结果还不是那么清晰的时候，甚至根本就没有什么数据的时候，能够大致感觉往哪个方向深挖是更有可能出成果的；二是在数据出问题的时候，能够反应出来，及时找出原因。

比如做知乎的数据分析，目的是为了增长活跃用户，可以做的地方有很多，比如增加获新、增加内容、增加用户关注话题数、增加用户关注人数等等。一个经验丰富的老司机可以快糙猛的大概估算一下各个方面的机会有多大，大致的实施难度如何，风险是大是小，产品哪些方面是有缺陷可以改进的。

另一方面，是人就会犯错，最大的区别在于有的人可以很好的纠错，而有的人则需要别人提醒，还有的人即使别人提醒了也反应不过来。

【4】数据和产品之间互相转化的能力

在互联网行业，多数时候问题是很不清晰的，比如说问题可能是2017年新用户留存远差于2015年的用户，如何解决？

对数据分析师来说，并不会有一个详细的单子来告诉你都有哪些步骤，而是需要自己灵活处理。

一方面这些问题本身就比较新，虽然会有一个大致的套路，比如 AARRR 模型，解决增长需要先解决留存等等；然而再往下具体的时候，套路就没有那么固定了，因为不同的产品之间可以差别很大。

即使像是 Quora 和知乎这样理应非常类似的产品，也可能因为一些或大或小的差异，导致给分析数据也带来差别。

比如 Quora 的 upvote 并不完全代表赞同，而更多带有传播的意味。

而对于知乎来说，点赞即是赞同，传播只是副产品而已。

如果只懂数据不懂产品的话，很容易进入一个误区，要么产品/业务方追着问数据，要么没活儿干。

【5】分析思维的广度、深度和速度

速度这个比较好理解，尤其是在互联网行业，讲究快糙猛，没有时间精细打磨。

比如一个项目可以花两个月时间做出 95%，也可以花两周时间做 80%，那么多数时候都会是后者。

广度：产品的各个方面之间总是互相牵扯的。最简单的例子，如果知乎的拉新做得非常好，那么留存就有可能降低，用户活跃度也有会降低。

如何分析各者之间的关系，如何保持一个合理的平衡，如何增加其中一个不过于负面影响其它，这些数据分析都需要在广度上有一定的了解。

深度：有些问题一个人解决不了或者很难，多几个人就可以了，比如说搬砖，十人人搬总会比一个人搬快得多，哪怕不是十倍速度。而有些问题，靠堆人力是没用的。

【6】数理统计的能力

这一部分跟 1，3，5 是相关的。不一定需要特别高精尖，但是对于分析问题会有很大的帮助。比如说如何识别数据分析里可能出现的错误。

【7】沟通的能力

除非兼任软件工程师和产品经理的职，否则数据分析师总是需要通过说服产品和工程方面来改变产品，产生影响力。

有了好的结果是第一位，如何影响合作伙伴，让他们接受自己的建议甚至比有好的结果还重要。

毕竟，没有声音，再好的戏也出不来。

【8】辅导新人的能力

毛主席说过，人多力量大，要把敌人淹没在人民战争的汪洋大海中。

辅导新人，不只是团队 leader/manager 的要求，对于独立贡献者（inpidual contributor）也是一样重要的。

闻道有先后，术业有专攻。

一个人的力量终究是有限的，如果把自己的能力复制到整个团队甚至整个公司，是增大自己影响力最有效的办法之一。

【9】面试把关的能力

大多数人应该都希望自己的公司处于一个增长的状况，如果是高速增长那就更好不过了。

有增长，就必然要招人。

而招人并不是简单的招人来干活，而是招来更优秀的人进一步提高团队的水平。

这对于高速增长的团队来说是一个很大的挑战，所以提高面试技能和精准的判断面试者的能力，无疑是有效的扩张团队的不二法则。

【10】少睡的能力

比如说七周不睡觉，快速成为数据分析师（开玩笑的）。

【IT168 评论】这是一个用数据说话的时代，也是一个依靠数据竞争的时代。各大互联网公司都在不断完善自己的数据分析团队，数据分析师的薪酬也是水涨船高。业内人士透露，应届毕业生的平均薪资大概在6K左右，1至3年经验的大概在10K到20K之间，5至10年经验的大概在25K以上。薪资还是十分诱人的，那么，如何快速成长为一名年薪百万的数据分析师呢?快来看看，以下30道数据分析相关面试题，你会多少?

1、分析数据还要写java代码是不是效率有点低?

2、成为一名数据分析师需要具备哪些技能?

要成为一名数据分析师，需要掌握丰富的报告软件包(Business Objects)，编程语言(XML，Javascript或ETL框架)，数据库(SQL，SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计，数据模型，数据挖掘等方面的技术知识以及分析大型数据集(SAS，Excel，SPSS等)的统计软件包知识。

3、分析项目的各个步骤是什么?

分析项目的各个步骤包括：

·问题定义

·数据挖掘

数据准备

模型化

数据认证

实施跟踪

4、分析的结果数据特别大，在线请求这些结果数据扛不住了，咋搞?

5、列出数据清理的最佳实践?

一些数据清理的最佳实践包括：

按不同的属性排序数据

对于大数据集，逐步清理并改进数据，直到获得良好的数据质量

对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度

要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值

如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题

分析每列的汇总统计数据(标准差，均值，缺失值的数量)

保持对每一个清理操作的跟踪，以便可以根据需要更改或删除操作

6、海量日志数据，提取出某日访问百度次数最多的那个IP。

7、可用于数据分析的一些最佳工具清单有什么?

Tableau

RapidMiner

OpenRefine

KNIME

Google Search Operators

Solver

NodeXL

io

Wolfram Alpha’s

Google Fusion tables

8、数据挖掘和数据分析之间的区别是什么?

数据挖掘和数据分析之间的区别在于：

数据分析：针对个别属性的实例分析。提供有关属性的各种信息，如值范围，离散值及其频率，空值的发生，数据类型，长度等。

数据挖掘：重点关注聚类分析，异常记录检测，依赖关系，序列发现，多个属性之间的关系控制等。

9、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

10、用于处理分布式计算环境中应用程序大数据集的Apache框架有哪些?

Hadoop和MapReduce是由Apache开发的用于处理分布式计算环境中应用程序大数据集的编程框架。

11、腾讯面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在40亿个数当中?

12、解释KNN插补方法是什么?

在KNN插补中，通过使用与其值缺失的属性最相似的属性值来推断缺少的属性值。通过使用距离函数，确定两个属性的相似度。

13、数据分析师使用的数据验证方法是什么?

通常，数据分析师用于数据验证的方法是数据筛选和数据验证。

14、解释应该如何处理可疑或缺失数据?

准备提供所有可疑数据信息的验证报告。它应该提供信息，如失败的验证标准以及发生的日期和时间

有经验的数据分析师应该检查可疑数据以确定其可接受性

应该找出无效数据并用验证码替换

对缺失数据进行处理，使用最佳分析策略，如删除，单一插补方法，基于模型的方法等。

15、如何避免过拟合?

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化：增大数据集，正则化

16、解释异常值是什么?

异常值是分析师使用的一个术语，指的是一个远远超出样本总体模式的值。有两种类型的异常值：

Univariate

Multivariate

17、解释分层聚类算法是什么?

分层聚类算法结合并划分现有的组，创建分层结构并展示组划分或合并的顺序。

18、解释K均值算法是什么?

K均值是一种著名的分区方法。对象被分类为属于K个组中的一个，k是先验选择的。

在K均值算法中：

簇是球形的：簇中的数据点以该簇为中心

簇的方差/扩展是相似的：每个数据点属于最接近的簇

19、数据分析师所需掌握的关键技能是什么?

数据科学家必须具备以下技能：

数据库知识

数据库管理

数据混合

数据查询

数据操作

预测分析

基本描述性统计

预测建模

高级分析

大数据知识

大数据分析

非结构化数据分析

机器学习

演示技巧

数据可视化

报告设计

20、解释协同过滤是什么?

协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。

协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块，该模块通常会获取用户的浏览记录信息，以弹出用户可能喜欢或需要的商品。

21、大数据中通常会使用到哪些工具?

大数据中使用的工具包括：

Hadoop

Hive

Pig

Flume

Mahout

Sqoop

22、解释什么是KPI，实验设计和80/20规则?

关键绩效指标(KPI)：它代表关键绩效指标(Key Performance Indicator)，它是关于业务流程的报告或图表

实验设计：这是用于分解数据，采样和建立数据以进行统计分析的初始过程

80/20规则：这意味着你收入的80%来自客户的20%

23、解释Map Reduce是什么?

Map-Reduce是一个处理大型数据集的框架，可以将它们分解成子集，在不同的服务器上处理每个子集，然后混合每个子集上获得的结果。

24、解释聚类是什么?聚类算法的属性?

聚类是一种应用于数据的分类方法。聚类算法将数据集划分为自然组或集群。

聚类算法的属性是：

Hierarchical or flat

Iterative

Hard and soft

Disjunctive

25、对数据分析师有用的统计方法是什么?

对数据科学家有用的统计方法是

贝叶斯方法

马尔科夫过程

空间和集群进程

统计数据，百分位数，异常值检测

计算技巧等

简单的算法

数学优化

26、时间序列分析是什么?

时间序列分析可以在频域和时域两个域中完成。在时间序列分析中，可以通过指数平滑，对数线性回归等各种方法分析数据，来预测特定过程输出。

27、解释空间自相关分析是什么?

空间自相关分析是地理空间分析的常用形式。它由一系列为不同空间关系计算的估计自相关系数组成。当原始数据表示为距离而不是单个点的值时，它可以用于构建基于距离的数据相关图。

28、散列表是什么?散列表冲突是什么?如何避免?

在计算中，哈希表(散列表)是键值对的映射，这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引，从中可以获取所需的值。

当两个不同的键散列到相同的值时，发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。

为了避免散列表碰撞，有很多技巧，这里列出两个：

分离链接：它使用数据结构来存储散列到同一个插槽的多个项目。

再探测：在找到查找位置的index的index-1，index+1位置查找，index-2，index+2查找，依次类推。这种方法称为线性再探测。

29、解释 imputation是什么?列出不同类型的插补技术?哪种插补方法更有利?

在插补过程中，我们用替代值替换丢失的数据。插补技术涉及的类型有：

单一插补

热点插补：从随机选择的类似记录中推断缺失值

冷却板插补：与热点插补相同，但更先进，从其他数据集中选择供体

平均估算：在所有其他情况下，用该变量的平均值代替缺失值

回归插补：用基于其他变量的变量预测值替换缺失值

随机回归：与回归插补一样，但它将平均回归方差加入到回归估计中

多重插补：与单个插补不同，多重插补会多次估计值

虽然单一插补法被广泛使用，但并不能反映随机丢失数据所造成的不确定性。因此，在数据丢失的情况下，多重插补更有利。

30、解释N-gram是什么?

N-gram是来自给定序列文本或语音的n个项目的连续序列。这是一种以(n-1)形式预测下一个项目的概率语言模型。

在对数据分析岗位进行整理与研究时，通过对于这些岗位的企业性质、从事数据分析岗位职责、岗位要求及薪资待遇进行研究。我们对于未来的数据分析这个职业充满了希望，但是也对于这个职业二极分化充满了担忧。

一、数据分析职业概述

越来越多的企业将选择拥有项目数据分析师资质的专业人士为他们的项目做出科学、合理的分析，以便正确决策项目；越来越多的风险投资机构把项目数据分析师所出具的项目数据分析报告作为其判断项目是否可行及是否值得投资的重要依据；越来越多的企业把项目数据分析师课程作为其中高管理层及决策层培训计划的重要内容；越来越多的有志之士把项目数据分析师培训内容作为其职业生涯发展中必备的知识体系，数据分析这个职业应运而生，毫不夸张的说，数据分析师带给企业的不仅仅是一个个数据报告，更是一桶桶黄金，一片片亟待探索的蓝海。

二、数据分析职业现状分析

这个职位目前呈现是二八原则，好的数据分析师的收入是非常高，差不多平均水平在13k左右，但是处境不好的数据分析人员只能拿到跟内勤同等收入的水平。比如数据分析招聘中，185号岗位，这是一家公司需要大量招聘初级的数据分析师进行长期的培养广告公司；高级数据分析师在全国的范围内来说还是很少一个群体，主要承担对于某个数据分析项目进行建模与分析及算法研究等，这批人员一般的薪资待遇在16K以上，大多数在互联网与金融行业等利润率比较高的行业，数据分析招聘中，199号岗位，该岗位是杭州大型电商公司为其呼叫中心招聘数据分析师，待遇在P7左右，也就20-22K/月，还有盛大招聘数据分析师岗位也其实有很有代表性；最高端是一些互联网数据分析部门的管理层与数据科学家，一般是大型公司对于某个项目进行数据挖掘研究，全国也只有微软与阿里及一些从事数据挖掘公司里有这些数据科学家，一般的待遇差不多在50万以上年薪，这个大家可以关注一些互联网公司的招聘信息。

三、数据分析师的能力标准

格局是决定一个数据分析师的能力标准，一个好的数据分析师应该从行业的层面来分析公司现在所处的位置以及整个行业的分析，而且通过内外的数据得出富有逻辑性的结论，然后从这些结论中提供公司战略层面思考的策略，当然我也明白现在我们很多的分析师朋友都在沉浸在业务或者项目分析中，但是我认为格局观是决定一个数据分析师的能力标准。

数据分析师要做到基于内部与外部的数据结合通过严密的完整商业思考及严密逻辑推理，得出针对业务好坏的结论，并得出业务改进的策略。

什么内部与外部的数据的结合，我们即要看内部的数据还要结合行业的数据，而商业思考是做数据分析师通用的技能，那么结论是基本产出物，策略是分析师高级产出物。

四、数据分析师的三类素质

第一类是基本素质，第二类是通用技能，第三类是专业技能。

基本素质包括：1、聪明与好奇心；2、愿意学习并愿意能沉下心来付出；3、耐心与专注。

通用技能是核心思考能与展现自己的能力，第一点，结构化的思考能力与逻辑推理能力即智商不能差，如果是这样你看到的越多就做的越好，怎么来判断呢？第二点，良好商业感觉与商业判断能力；第三点，要有宏观思考能力，你要看到的格局要到；第四点，要有良好沟通能力。

专业能力从专业上要有基本统计学知识，从能力上要包括扎实数据分析能力与数据处理能力包括SAS\R\SPSS及tableau、FineBI等可视化表达的能力。那么高级数据分析师，我们应该更看中基本素质与通用能力，如果专业操作类分析师那么我们需要基本素质与专业技能。

五、企业要求及需备的知识点

大多数的互联网行业特别是电商行业对于数据分析师这块还是比较看重，主要的原因其主要的资产除了产品、人员就是长期积累的数据而这些海量的数据已经不能用人工经验来还原业务，这就需要数据分析师对于数据进行归纳与还原商业规则与逻辑，一般主要涉及商业分析、用户分析、产品分析、运唯支撑等这几块；从各家公司招聘信息来看，要求几乎雷同，同时也说明这个职业的互通性很强，说白了就是换个行业都可以在职场上存活下来；一般需要以下几个要求：

1、数据分析经验；

2、商业数据敏感度；

3、基本工具（SAS、SPSS、SQL、EXECEL等）；

4、建模；

5、知识点（统计学、会编程）；

六、如何获得数据分析知识点？

1、数据分析经验，大家可以每天浏览我们西线学院官网的文章，我们每天都会发布一些最新的分析实战文章；

2、基本工具类，我们西线学院帮助学员从零基础学会数据分析工具编程，丰富的知识扩展，实用性强,不掺杂无用讲解,只为给学员最极致的教学体验!

本文根据具有十七年数据分析行业经验的嘉宾陈晨的纪实采访整理。

本期专访嘉宾：陈晨

简历：现任电通安吉斯 – 美库尔(DAN – Merkle) 中国(上海/南京) 数据与分析部高级总监，兼任Merkle南京公司总负责人。十七年以上美国、加拿大及中国咨询业及行业领先公司数据营销、风险分析、定量模型，客户关系管理策略的经验，拥有市场营销、定量方法 、经济计量和统计学方面坚实基础，和建立银行/金融/零售业营销模型和信用评分模型的丰富项目背景。

Q：如果企业想要挖掘数据价值，但由于种种原因，导致数据本身维度不完备，或缺失较多等情况。您能利用多年项目经验，跟我们分享一下这类企业应该怎样有效利用数据吗？

陈晨：对于广告营销而言，有用的数据维度是越多越好。即使企业自身CRM做得非常完备，有了其他数据源的补充，对于理解现有客户群体，如何进行下一步营销活动的准备都是非常有好处的。

事实上，没有任何一家数据提供商能够满足品牌所有的营销信息需求，品牌需要的是因地制宜地购买、结合与其最相关的高质量数据内容。Merkle可以利用其购买力和强大的合作伙伴网络，帮助品牌在全球范围内找到需要的数据，再结合数据整合和落地效果分析，为客户创造了战略优势。

按照Merkle常用的用户生命周期来说，我们把用户的生命周期分成接触潜在用户(获客阶段)、老客维护(互动阶段)及留存分析(促使回购阶段)。在获客阶段，Merkle可以结合其他数据来源，丰富数据维度。比如我们在为某知名在线英语教育品牌服务中，由于客户本身数据不足以支撑建模，我们就利用运营商数据和某知名科技公司数据为客户做了数据增强，用户画像及建模准确度都提高了不少。

而且和运营商数据做对接有个好处，运营商天然有接触消费者的渠道，所以这个项目的第二阶段，我们会应用模型挑选最有可能转化的消费者，通过发短信、弹窗的形式，在合适的触点做营销活动。

如果是在互动阶段，数据维度越多，我们越能基于用户行为/状态对用户分群，实现个性化交互。举例来说，我们曾为NBA提供了Loyalty Plus平台解决方案，帮助客户打造出“NBA球迷圈“。”球迷圈”是Merkle通过收集、清洗和整合多个数据源的顾客数据，确立会员策略，为NBA中国建立的客户忠诚度系统，从而可以基于球迷的行为和状态建立球迷分群，个性化地实施与球迷的有效交互。

目前该忠诚度系统已有超过60万球迷注册，活跃用户达到64%，收集到的会员交互数据将用于客户分群和定制化的服务，实现营销上升闭环的效果。对于留存分析而言，更多的做竞品分析，了解用户为何流失。

在用户生命周期的不同时段，不同对应策略

Q：什么情况下公司会考虑利用数据分析/模型来做优化，具体怎么操作，落地效果又是如何评估的呢？

陈晨：从根本来说，数据分析/建模/统计等都是用来更科学的衡量数据资产的一些方法。就我的角度来讲，只要有数据，有余力，都可以尝试从数据中感知用户，提升营销效果。

我们姑且把公司分为两类，一类是注重用户增长型的企业，一类是注重客户维系的企业，当然这个划分不是很严格的，许多企业是两者并重的。注重用户增长意味着获客，获客没有哪个企业是不需要的，但是随着互联网的兴起，数据的兴起，获客在具体做法上有了很大的改变。

互联网刚兴起的时候，大家会发现网上获客又简单又便宜，比如在搜索引擎上投一投付费广告，或者做做SEO，效果很显著。

现在呢？网上的流量越来越贵，对于某些特定行业，比如汽车或者教育，一个销售线索的成本达到了几十甚至到几百人民币，所以如何在当下环境找到有效、便宜的方法来接触到更多的潜在消费者对企业来说是很重要的。

我们现在的做法是帮助客户量身打造一个精准获客的策略和完整的CRM(CustomerRelationship Marketing客户关系营销)解决方案。

首先了解到客户现有的获客流程，基于行业和客户自身特点提出解决方案，落地之后还可以通过与历史数据对比来看效果如何，在这个过程中我们又学习到什么，再去调整具体的操作或者实施步骤，形成闭环优化的结果。以某著名电脑品牌客户为例，原来的获客方法就是做线上线下活动，网上购买一些用户资源，但是我们可以帮他做细，我们可以通过模型来挑选出对品牌感兴趣的人群，在此基础上再做活动，省钱省力。

之后在转化阶段，原先客户的方法就是通过电话中心接触，或者直销的形式，我们可以丰富这些手段，比如可以结合数据来核实用户的真实意图和具体需求，在接触到的时候做到个性化推荐；或者可以用模型对这些用户做分群，之后再促进转化，都是非常好的方法。

Merkle CRM解决方案流程图

对于注重客户维系的企业，我们可以帮助企业建立用户价值和生命周期的体系。用户价值的主要目标是作为投资标准，而对用户的投资有多种形式：比如为高价值用户提供更频繁、便利的服务；在营销活动中为不同用户提供定制化的接触策略等。

我们在确定用户价值时会考虑很多因素，比如考虑到任期，流失，风险，营销和服务成本，交易历史以及预期的未来盈利能力和收入。而且用户价值会随着其生命周期的改变而改变，这是一个动态的过程，完全可以在这种变化中放大营销效果和增加决策正确性。还是举电脑行业的例子，我们可以结合用户历史购买/保修/网上浏览等行为，给每一个用户一个生命周期所在阶段，然后在合适的时间点接触到用户。

Q：能否给志在从事大数据行业的年轻人一些您的意见？

陈晨：我觉得从事大数据行业首先要可以沉得下心来，必须能够掌握一两种常用的数据分析工具，比如R，Python等，能够进行一定程度的编程，这样才能对数据理解和分析有一个直观的学习深入过程，也可以训练新人的数学和逻辑思维能力。

当然这是进入行业的基本前提。然后是要有一定的统计学基础和商业分析能力，能够迅速地从数据分析的结果中得出对商业运用或其他相关专业领域的洞察和应用方向。简单地说不是把模型跑出来，图表画出来就完事儿了，还需要能够从模型结果和数据可视化呈现中推断总结出后面真正的故事和意义。

在这些基本的能力和技能掌握后，要保持持续学习的心态，不断追随和了解行业最新动态和趋势，并能够横向进行多产业方向的融汇贯通。另外，大数据分析专业往往需要和不同部门，不同类型的客户进行沟通、讲解，所以如果在职业生涯的后端需要保持持续发展的竞争力，能用专业和非专业的语言和不同层次背景的合作方进行有效沟通也是必不可少的技能。

这次的访谈到此结束，谢谢陈晨分享关于数据整合/增强、数据分析和建模的一些项目经验。

End.

谨以此文献给所有数据从业苦逼之人，如有中伤之处，请自行戴好盔甲，以防中伤过深。同时也以此文献给后期对数据热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速的调整思路和方向，以对自己的职业生涯有更好的发展。

最近听到一些段子，很有意思，分享给大家！

这些段子是很多数据分析人员的真实写照：

新招进公司做大数据分析师，好开心好兴奋好激动！！！然而...

入职第一天，老板给了我一张 50M 的 Excel 表说：

“你看我们有 100多万条用户信息，这么大的数据，来个大数据分析下！”

还没从震惊中恢复过来，业务部又神补一刀：

“我们准备跟星巴克合作，来预测下明年多少人喝咖啡，几千万的大项目，预测不准公司要亏很多钱的，你加油哈！”

面对这样的业务部，我只想说：“我要是未卜先知为啥不去炒股来给你打工”

IT大哥贼兮兮的说：“哥们你可来了，那失散到天涯的数据有娘啦！”

没法，最终还是把数据拼起来开始分析...

发现好有规律啊~好工整啊~这...是不是有坑？！

去业务部一问才知道，这些都是被经销商篡改操纵的数据...

后来拿到了全真实的数据！全部没有规律了！喜极而泣！！

擦干泪仔细一看，80%的记录缺失，10%记录不全，5%记录出错……

整完数据开始统计，然而领导觉得只做加减乘除太简单了，有没有更深度的方法（解读：需要纠正的是，有用为先，花哨次之，这种说法不太合理）

简单了就做个模型吧，然而检验值还没讲完领导表示太复杂搞不懂，能简单点不（解读：这个是解读能力的问题，跟领导没关系...没关系..没关系...）

改来改去已很多遍了！我已不太记得领导唠叨了什么，总之又听到一句：“再改一下，看看其他维度深入分析分析”，然后默默新建一个文件：《分析报告V16-8版》

输出结果和业务部的认知差不多，被评价为：

“我们都知道了啊，这大数据做了跟没做一样啊”

输出结果和业务部的认知差很多，被评价为：

“这个与业务经验完全不同，肯定是数据的问题，我们都十多年经验了，快回去检查数据，上次我去见XXX客户人家就不是这样的！一定是你错了！一定！”

此段子一出，群里都炸开了锅，大家都开始不断的煽风点火，各种数据背锅，各种吐槽，说尽了数据分析师的辛酸苦辣。

我做数据分析师的时候也经常遇到上面这些遭遇，乃至后来找到了一些规避这些问题的方法，希望对大家有所帮助。

同时，我也希望借此号召所有的数据从业者，在数据应用实践上能够深入思考并有所突破，在正确的轨道上更好的发挥出数据的价值，从而让数据从业者有更大的 ，不再拘泥于每天的抱怨和自怨自艾中。

数据之苦

进入正文，数据人之苦最苦的是：有好处想不到你，出了问题都是你的错

这句话的意思就是你做好是应该的，做得不好就得承担责任。这种痛苦完全命中了马云蜀黍对离职的两点看法：

心累（得不到价值肯定）、钱少（没业绩肯定哪来的升职加薪）

区分数据流程的不同阶段，数据人之苦又有所区分侧重不同，说一下我的个人浅见。

根据数据应用的不同阶段，我的划分方法如下，从数据底层到最后应用：

大数据平台

目前很火，数据源头，各种炫酷新技术，搭建 Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂 Java，很多平台都是用 Java 开发的。

现在很多企业都把数据采集下来了。对于传统的业务，用传统的数据是完全够用的；可是对于用户行为和点击行为这些数据或者很多非结构化的数据，文本、图像和文本类的，由于数据量太大，很多公司都不知道怎么进行存储。

这里面要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之间如何耦合和解耦，如何进行容灾、平台稳定、可用是需要重点考虑的。

我的感觉是：最近两三年中，这块人才还是很稀缺的，因为大数据概念炒作的这么厉害，很多企业都被忽悠说，我们也来开始进入大数据行业吧。但是，进入的前提之一就是需要把数据存储下来，特别是很多用户行为方面的数据，对于业务的提升了比较明显的，如果你能很好的刻画用户，那么对你的产品设计、市场营销、开发市场都是有帮助的。

现阶段，很多公司都要做第一步：存储更多的数据。这也就是我们这块人员流动性比较高，因为都被高薪挖走了。

和传统的 SQL 不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看有两个方向

分布式已经被证明是个很好的一个方式。云端会是个很好的方向。不是每个公司都养得起这么多这么贵的大数据平台开发人员和运维人员 OPS，从事这个行业的我们要有很好的危机意识，及时贡献出自己的价值，积极主动的学习新技术、否则你就要被淘汰了。

此外，花点钱把数据托管给云服务提供商对于创业公司或者一些传统的企业来说是个很好的思路，这样能够最快速地确定数据对你的价值是什么，而不用采购这么多的服务器、雇佣这么多的运维和网站开发人员。

说了以上这些，主要是想给未来会从事这块的人或者想存储数据的公司一点方向。我自己不做这块，体会不深，大家看看就行。

这块工作最被吐槽的一点就是：Hive 速度好慢，SQL 查询好慢，集群怎么又挂掉了，Hadoop 版本升级后，怎么数据跑出来不对了等等。

因此，在这个领域内工作，需要有强大的

攻坚能力。快速定位和解决 bug 的能力。因为有很多工具都是开源的。Java 开发能力。因为是开源的，所以会出现各种坑爹，甚至出现无法向下兼容的情况。

如果想在这块做的很好，还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力，可以打入开源社区，这样就可以随时 follow 最新的潮流和技术。

数据仓库-ETL

确实做仓库的人很辛苦，单单 Oncall 就会让人望而却步。有很多数据库工程师，晚上睡觉的时候经常被 Oncall 电话吵醒，因为数据流程出问题，需要第一时间去排查，是哪个数据源出问题，并且要立即解决，否则整个数据流程都会受到影响。

如果数据流程受到了影响，你就可能会被大领导一言不合叫到办公室说：我要的数据怎么还没有准备好，我的业务报表今天怎么没有发出来。

通过上面这个情景，我们可以知道：这是个很重要的岗位，因为数据流程很重要，决定了数据从源头杂乱无章的状况，通过 ETL 之后变成了整齐的数据，这些整齐一致性的数据可以让你很方便地把各业务的统计结果计算出来，并且能够统一口径。要不然就会变成有几个部门，就有几种统计结果，到时候 A 部门说业务增长了 5%，B 部门说业务涨了 10%，OMG，到底信谁?

至少在以下几点上，我觉得数据仓库人员是应该要做好：

数据字典的完整性，用的人都希望能够清晰的知道这个字段的逻辑是什么。字段要保持很好的一致性，不要同样一个字段在不同表里有不同的定义。核心流程的稳定性，不要让每天订单主表能够使用的时间很不稳定，有的时候很早，有的时候要中午才出来，如果不稳定就会导致使用数据的人对你很没有信心。仓库版本迭代不要过于频繁，要保持不同版本之间的兼容性。不要做好了仓库 1.0，很快就把原来的推倒重来，变成了 2.0。在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了 1.0 的表结构，没办法这么快进行切换。简单地说，要能向下兼容。在这点上，我是深有体会，之前出现过每来一个大领导都来换一次数据仓库的。保持各业务逻辑的统一性，不要出现同样的业务逻辑，同一个组别的人统计出来的结果不同。原因在于共同的逻辑没有落地成通用的东西，所以导致每个人写法不同。这点其实需要特别注意。

针对以上，这个岗位的技能要求是：不要成为仅仅会写 SQL 的人，现在工具都很发达，如果你的技能很单一的话，那么可替代指数是非常高的，并且你自身也没有什么成就感。这里并不是说会写 SQL 的人很 low，只是说应该多学一些技能，否则你很危险。

技能上，除了 SQL 熟练之外，还需要知道如何写 Transform，MapReduce，因为有很多业务逻辑用 SQL 实现起来非常复杂，但是如果你会其他脚本语言，那么就能给你提供便利，让你的效率提升很多。

另外好的仓库人员需要写 Java 或者 Scala，通过写 UDTF 或者 UDAF 来提升你的效率是很有必要的。

仓库人员应该要常常思考，如何进行架构设计是最合理的，你要考虑是否需要字段冗余、行存储还是列存储、字段如何扩展最有效，热数据和冷数据如何拆分等，所以需要有架构思维。

数据仓库人员也应该常常考虑自动化和工具化方面的事情，需要很好的工具或者模块的抽象能力，动手实现自动化的工具来提高整个组织效能。针对经常碰到的数据倾斜问题，需要很快定位问题并进行优化。

说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！在每次阐述你的观点、分析结论或者用算法的时候，都需要先检查，源头数据正确性，否则任何结论都是伪命题。

数据可视化

这是个很炫的工作，最好是能懂点前端，比如 js。

数据可视化人员需要有很好的分析思维，不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多，所以没有特别深入的感悟，不过我觉得这个岗位需要有分析的能力，才能把可视化做好。

另外一方面来说，做数据应用的人都应该懂点数据可视化，要知道观点表达的素材顺序是：图片>表格>文字，一个能够用图片来阐述的机会千万别用文字来描述，因为这样更易于让别人理解。要知道，给大领导讲解事情的时候，需要把大领导设想成是个“数据白痴”，这样才能把一件事情说的比较生动。

4

数据分析师

现在对数据分析的需求是很大的，因为大家都想着说：数据有了，但是能做些什么呢？这就需要有数据分析师， 。

对数据分析师吐槽最多的是：你分析出来的不就是正常的业务逻辑吗，还需要你分析什么？或者是你分析的结论不对，跟我们的业务逻辑不符合。

特别是 ABTest 的结果和当初设定的预期不相符合的时候，分析师会常常被拉过去说：分析一下，为什么我的 AB 实验结果不显著，里面肯定有原因的。

很多时候，宝宝的心里苦啊，你说这个转化率下降了，从数据上可以看出哪个细分渠道下降了，至于为什么客户不下单，我们得问用户去，很多时候，数据上也体现不出来为什么，只能告诉你现状是什么。

如果你一直在写分析报告，给结论中，持续周而复始，没有直接在业务中体现成绩的时候，数据分析师们该醒醒了，你该想想这个是你要的岗位吗？

对于数据分析师的定位：个人认为，成为优秀的数据分析师是非常难的，现在市面上也没有多少优秀的分析师。

我个人对数据分析师的技能要求除了会数据分析、提炼结论、洞察数据背后的原因之外，还需要了解业务，懂算法。只有这样，当面对一个业务问题时，数据分析师们才可以针对问题抽丝剥茧，层层递进去解决问题，再根据定位的问题进行策略的应对，比如是先做上策略进行测试还是应用算法进行优化，用算法用在哪个场景上，能不能用算法来解决问题。

一个优秀的数据分析师，是个精通业务和算法的全能数据科学家，不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。

我们都说分析要给出结论，优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施，同时很多需求是分析师去主动发现并通过数据来挖掘出来的。

从上述描述中，可以看到对数据分析师的要求是：

会写sql拉数据精通业务会数据洞察精通算法主动性强

如果你一直只是忙于应付日常分析需求，热衷于写华丽的报告，那么你要记得，你很危险，因为会有一堆人在那里质疑你存在的价值，特别是小公司。因为数据人员的薪资是个不小的支出。

大部分不落地的分析都是伪分析，有一些探索性的可行性研究可以不考虑落地，但是其他的特定业务需求的分析都需要考虑落地，然后通过实践来反推你的作用，如此反复，才能慢慢的给你价值的肯定，同时提升你的分析技能，也只有这样才能证明你作为分析师、数据落地者的价值。

数据挖掘/算法

这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点：

一个规则搞定了，还用什么算法。你的准确率怎么这么低？！你的准确率可以到 99% 吗？你的推荐有价值吗？你不推荐客人也会下那个产品的订单的。帮我做个大数据预测他想要什么？

很多时候，不同的场景对准确率的要求是不同的，所以在一定合理的场景下和业务进行据理力争是必要，不要害怕让业务吐槽，更多的时候管理�...

1、看数据看维度

在对某一项业务或者业务的某个模块进行分析时，可以从大小两个角度去切入分析。

首先站在广阔的视角去看待一些数据。比如对某个产品（消费品），就要分析在大环境下是一个什么样的数据，如市场排名，市场占有率。还要记录市场整体波动情况，竞品的数据。这些一般可以通过第三方调研机构或者行业报告获得。

FineReport数据报表看板

然后需要分析针对这个产品你内部关心的数据是什么。比如每月每周的销售量，各渠道的销售量，广告、促销活动、线下活动、联合活动等带来的销售的提升和品牌知名度的提升。

当了解完以上的数据，就应该对这个产品方方面面的情况有个宏观的了解，对需要提升哪些数据指标有一个清晰的认识。之后就是细化到某个模块维度进一步分析，比如电商渠道需要关注的多一些，DAU、WAU、客单价、复购、用户流失等等，每个模块都可建立漏斗信息。实际分析时还要关注数据异常，做针对性分析。

2、什么是好的数据指标？

并不是所有的数据字段都可以当做指标。在选择监测的数据指标前可以先问自己几个问题：

一对于这个产品你核心关注的是什么？比如销售增长率、市场占有率？

二这些指标能够反映这个产品的走向趋势么？如果这些指标变好了能否说明公司是在往好的方向上发展？

三这个指标是否可控，能否操作？如果有些指标你目前的技术根本无法统计到，那也是无济于事。

四指标系设立是否严谨不存在漏洞。描述一个产品的一定是有系列指标，这些会标是否能完全的说明情况，在验证你的假设结论时，是否能完全支撑。

再来说说指标的数据和分析。

有时候数据本身也存在欺骗性，比如这个月的销售额是600W，另外两家最大竞品分别是300W和250W，似乎加起来也没有我们大。但是事实上，我们上个月的销售是800W，竞品分别是200W和180W。数据看上去很漂亮，但是按对比和比率来讲我们远下降了。

所以，好的数据最好一定是以比率的形式存在，要有对比性质的相对数据。

单纯一个或几个数据情况是没有意义的，点连成线，线构成面去展示，用图表展示一段时间的整体趋势，才能客观评价产品的健康程度。通常我们用BI或者报表搭建数据看板（dashboard）监测重要的数据指标。

FineReport数据报表看板

数据分析要有目的性，不要被数据迷惑。上面的数据就是只关注了销售额情况，但忽略了整体分析而导致的表面欺骗。

3、发现数据异常，该从哪几个维度去分析？

有时候总量的角度是无法看出问题的，比如销售额、UV下降了，我们需要进一步细化去分析。看销售额总量的时候明显是下降了，先确定大的市场有没有波动，竞争对手有没有动作，需要查看市场总额以及竞争对手每个品类的数据。然后分析自身，每个渠道的销售额情况监测，每个区域的销售额情况，每个时间段的销售情况，把活动时间比如五一的数据扣除拟合，将有问题的标记出来。如果是渠道问题优化渠道，如果是市场波动，需要全局考虑战略和市场对策。

所以如果是销售额的分析，需要从渠道、活动时间点、地域等情况去深入分析。比如，是不是因为十一的活动导致销量有个明显的上升趋势？是不是因为上周搞了促销活动，导致本周一线业务员有个消极缓冲的时段，整体销售额低迷。

另外，数据一场也不是什么坏事，如果再数据分析过程中发现某数据表现极好，比如某渠道的销售增长率很高，是不是可以思考为什么会这样，有什么好的经验借鉴，甚至是不是要考虑调整渠道的投放比率。

4、不同阶段的关键性指标应该是随着业务的变化而变化的

在做数据分析前，我们会确定分析的目标，每个阶段不同。以电商渠道为例，有时候是分析各类活动效果以进一步优化方案或者挑选最合适的方案，留下分析模型以便后续活动对比预测；有时候是研究广告投放，在预算内让营收最大化；有时候是增强用户粘性，提高用户活跃度。

所以不同阶段无论是关键性指标还是KPI都要做相应调整。比如产品投放初期，关注用户数、订单数，后续考虑用户活跃度，回购率，客单价等等。

作者：吴彬彬

我们在生活中，会经常听说两种推理模式，一种是归纳 一种是演绎，这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累，在此基础上快速定位业务问题，提升分析效率，但是对于刚入门的数据分析师，在项目经验不足的前提下，如何快速完成项目的分析报告？ 这里引进一种外展推理的思维模式，方便入门分析师的完成日常的工作。

那什么是外展推理模式呢？

在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分：规则，情况以及结果。

规则: 通常是对这个世界的看法；情况：就是这个世界存在的已知事实；结果：将规则用于情况，预期要发生的事儿。

这三个任何一个实体都可以作为推理的起点，然而起点不同意味着，推理的方法也有所差异。

以规则为起点的推理方法可以称之为演绎推理。

举个例子，如果平时不努力，考试成绩将不及格(规则)；现实中a平时不努力(情况)；所以a考试不及格(结果)。

以情况为起点的推理方法就是归纳推理。

a平时不努力(情况)；a考试不及格(结果)；所以a考试不及格的原因可能是平时不努力。

以结果为起点的推理方法就是外展型思维方法。

a考试不及格(结果)，考试不及格通常是由于平时不努力(规则)，检查是否平时不努力(情况)。

从日常工作中，我们可以发现，外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式，是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑，那如何进行外展推理呢？外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因，之后的重点就是收集资料，以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段，按日常的工作可以简化如下三个流程：

将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较，分离不同层级的因素，合并同一层级中相同的因素，确保各因素的独立性。按照正确的逻辑关系，把各因素进行排列组合。

如下图：我们可以将问题进行分解，分解的原则为

各部分之间相互独立 （Mutually Exclusive）所有部分完全穷尽 （Collectively Exhaustive）

在此基础上按层级进行数据分析定位，找到最细的原因。

在工作中，我们主要会用到的分解方法有这两种，

按业务职能结构划分，比如渠道，运营，功能等相关模块，将相关指标映射到主要模块，通过简单快速的沟通，能快速的定位问题原因，但是缺点是分析结果不够直接，依赖外部资源信息搜集。按因果结构划分（指标分解）营收=日活*付费率*arpu等指标因果关系进行划分，通过定位指标波动，定位最细指标，辅助维度下转，能够清楚的问题原因，该方式是较为稳妥的方式，是日常工作中的主要方式，但是缺点是需要构建相对完整的指标逻辑体系。

如上两种分解方法针对不同的项目要求进行组合应用，但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛，在经过阶段训练后，逐步利用归纳和演绎的思维，提升业务熟悉程度，完成业务的初始积累后，后续的分析过程中就可以逐步减少拓展推理的层级及组合，逐步提升问题原因定位的效率。

网易有数：企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台，采用PPT模式的报告制作，更加易学易用，具备强大的探索分析功能，真正帮助用户洞察数据发现价值。可免费试用。