方法/步骤

1、首先，打开或者是新建一组数据，这里是打开一组案例分析中的数据进行分析。

2、在浏览窗口中找到需要分析的数据。

3、选择分析，描述统计中的比率，单击打开。

4、弹出一个设置窗口，我们再这里设置比率的分子和分母还有分组变量。

分子和分母分别表示比率变量中的分子和分母变量。

分组变量一般是叙事变量，使用数值代码或者是字符串对分组变量进行编码。

5、这是根据数据中的变量设置的三个分值。

6、下面是对统计量进行设置分析。

打开统计量窗口，里面有四大块，根据数据统计分析自定义设置，设置完成之后确定即可。

7、下面是根据数据分析设置的显示结果，如下图所示：

（本文内容由百度知道网友贡献）

先给大家讲一个数据分析的小故事，发生于四百年前。

在中世纪，科学界最大的争论在于，到底是地球围绕太阳旋转，还是太阳围绕地球旋转。那时候有一位伟大的天文学家叫第谷·布拉赫，为了解决这个人类科学最初的大争论，开始了寻求数据支持的伟大征程。当时丹麦国王专门为他建了一个天文台，配备了齐全的观测仪器。从那时之后的20年里，第谷每天晚上风雨无阻地观测行星运动的轨迹，把每个行星每天晚上的位置，精确地记录下来，是天文史上第一个真正地开始收集大数据的天文学家，但是他没有足够的智慧从中发现行星运行的规律。 后来，第谷的学生开普勒拿到大量的数据之后，摒弃了每一天的视角，他从每一年的视角来看：地球每365天就会回到原点，而其他的行星还在自己的轨道上运动。他把行星运动的轨道画出来了，得出了所有行星围绕太阳运动的结论。在此基础上，开普勒提出了著名的行星运动三大定律，成就了近代天文学的开端。

这个故事告诉我们：

1、数据是数据分析的基础。如果没有第谷20年如一日的观测记录，开普勒不可能取得如今的成就；而如果没有开普勒，第谷的所有观测数据，都将成为一堆毫无用处的废纸。

2、要客观的分析数据，具备数据分析的视角和思维。第谷一直以“地心说”的思想观察数据变化，开普勒接受了哥白尼的“日心说”思想，在新的角度上结合观测数据才发现行星运动的定律。

3、要学会合理利用数据。开普勒通过每年的观测数据，才发现了行星运动规律，当我们面对海量数据的时候，最需要的是独具慧眼，在繁杂的数据中找到我们需要的数据，才能真正的将数据运用起来。

小R刚毕业，每天都在公司忙到10点半回家。

作为室友的我，总是打趣地问他：“是不是又在公司蹭空调蹭网络，干嘛不早点回来陪我吃鸡！”

没想到小R低下头落寞地抱怨道：“我也想早点回来，可是我真的搞不定啊！”

原来，小R每天的工作标配就是统计数据。可同事们十几分钟就能轻松搞定的Excel表格，他经常要加几个小时班才能勉强完成。刚开始，他以为是自己不够熟练，多多练习就好了。没想到埋头苦练了半个月，他还是全组最慢的那个，每天被领导催到怀疑人生，甚至被质疑工作能力。

没有对比就没有伤害。看着旁边妹子敲几下键盘就能轻松搞定表格，小R开始惧怕做Excel和数据统计。

如今，几乎所有公司在招聘时都离不开这条要求：熟练使用Excel，精通数据分析者优先。

做方案、汇报工作、数据分析、总账录入、项目进度、工作记录、写代码、帮助记忆、思维导图.......Excel几乎能解决你工作中的所有问题，它不仅仅是某一职业的必备技能，而真实涵盖所有行业：

做行政，你要学会做考勤表；做财务，你要学会做财会报表；做销售，你要学会做销售业绩表；做运营，你要数据分析、工作汇报；做数据分析师，Excel玩得6也是最最最基本的条件.....

大数据是眼下非常时髦的热词，同时也催生出了一些与大数据处理相关的职业，数据分析师便是其中之一。由于专业技能和量化的数据分析为客户或所在公司控制决策分析、保证利益最大化，“数据分析师”一职备受各界青睐，甚至被视为21世纪的黄金职业。

虽然发展前景大好，但很多想要转行数据分析的小白心里多少都会有些疑惑：不会R、Python、SPSS、Tableau，是不是做不了数据分析师？

事实上，精通Excel，对于转行数据分析来说相当重要。因为Excel拥有最大的客户群体，基本上所有的企业、个人的电脑中装的都是office，这也就意味着90%以上使用电脑的人，都会用到Excel，即便如BAT这样的企业，在处理百万级、千万级数据的时候，也会优先使用Excel。

那么，在没有统计学、数学、计算编程等基础的情况下，如何只用Excel，成功转行成为数据分析师呢？

这里就不得不介绍三款用Excel就可以实现数据分析的插件：Power Query（数据查询）、Power Pivot（数据建模）、Power View（数据可视化）。

这三个模块组成了数据分析全过程，这个过程就好比烹饪过程：

第一个模块数据查询——Power Query。与数据源直接对接，就像获取新鲜的食材，对食材进行清洗、分类、整理，使其达到准备入锅的使用状态。这一步非常重要，因为如果食材不新鲜，那么再厉害的大厨也不可能做出一道健康的美味，所以好的数据源是成功的一半。

第二个模块是数据建模——Power Pivot。这一步是数据分析过程中最具有技术含量的核心部分。我们把数据组合起来实现不同维度的分析，就像把食物组合起来利用烹、炸、煎、炒等方式，再添加油、盐、酱、醋等调料，以烹制出想要的味道。

但是光有味道是不够的，最后我们要呈现给顾客的是一道色、香、味俱全的菜，是否能以视觉效果吸引顾客品尝你的美味，这就要看第三个模块——Power View（数据可视化）的功力了。

例如，如果以前你的做表是这样的 :

那现在通过Power View几秒钟就可以做成这样：

是不是相当神奇？！

无论你是像小R一样的职场小白想要提高工作效率实现逆袭，还是零基础转行成为高大上的数据分析师，精通Excel可以让你彻底告别被数据搞晕的日子，实现加薪不加班！

Excel这么重要，如何在短时间内熟练掌握呢？这有一套为你打造的Excel精品课程：容大教育《Excel速成班——数据处理与分析实战》在线课程，教你用Excel实现数据采集、数据转换和清洗、数据分析与建模等，关注容大教育IT培训机构百家号获取学习资料！

在大数据时代，各个领域都出现了数据爆炸式的增长。我们在网上做的所有社交活动及其行为都将塑造社会，正如现在正在发生的事情、曾经的岁月、5000年的文化历史等等产生的大量数据，其中可利用的数据，公司应该更多地了解它们以及转化它们，用数据帮助企业会得更多的发展空间。

现在如今可以通过大数据来改善产品、创新又换产品更能用来监控供应商、客户和货件，企业必须了解大数据来营造更好的环境影响和好处。

由于公司手中涌入了大量数据，员工的人数有所增加，他们可以帮助处理大数据并对其进行分析，以便为企业发展提供必要的洞察力。当然小数据业务领域方面，经过这一新变化也意味着公司现在会寻找并要求专家知道如何处理当今大量信息流入的最重要问题。

大数据为企业运营带来的洞察力也带来了以前小型数据业务的巨大转变。在人们不得不手动监控公司的库存，发货地点以及如何完成工作之前，现在大数据的变化将使所有这些变得更加高效。自动软件可以进行艰苦的计算工作，并在销售方面提供更好的回报。

“大数据”一词描述了人们改变对世界运作方式的理解方式。如果不解决消费者的需求，所有这些变化和创新都将是不完整的。现在，它可以在不同的消费产品中建立传感器，从洗衣机到电表。来自此类产品的这些数据将使制造商，政府和民间社会更加了解。他们了解消费者如何享受他们的产品以及如何改进他们以创造更好的版本。

消费者和计算机使大数据现在变得更容易理解。毫无疑问，大数据为商业和个人生活带来了许多增长机会。随着这些变化带来风险。大数据的风险不应超过其利益。今天，我们的专家和政府雇员的工作是管理利益并抵消风险。这样做将确保我们可以从大数据的进展中受益。仍然没有妥协我们的社会陷入毁灭和隐藏的威胁。

产品运营三大核心指标：拉新、活跃、留存。相信每一个小伙伴都不陌生。

不同的产品阶段可能运营策略重心会有所不同，但肯定对于各种拉新活动并不陌生，例如H5活动、广告投放、软文扩散、渠道换量等。

每一轮的投放活动都需要衡量投入产出比ROI，每一次活动结束都需要进行复盘讨论，每一轮迭代投放都可能在验证一些猜想。

我们的目标是：用合理的投入成本，通过各类途径优化，最大化效果产出。

但实际的运营投放中，往往会遇到各式各样的投放方式：

这个渠道说，我们不能实现不了直接跳转下载；

那个渠道又说，我们是做品牌的，高曝光才是我们的优势，转化不关我事；

还有的时候，一个渠道上，就有3个不同的位置x3种素材x3种跳转方式，跳转应用市场之后到底下载了木有，打开APP了木有，效果怎么衡量，头有点晕……

但其实，我们关心的是以下几个方向：合理投入、优化路径、最大化产出。简而言之，我们关心的是：投入产出比。

（在不同的渠道进行拉新）

如何找到最大化的投入产出比，这是每一个负责拉新业务的小伙伴都曾经或者正在头疼的事情。

从上图的流程上看，我们可以优化的就是几个环节：产品是否吸引人、渠道是否优质、投放的方式是否高效、效果是否符合预期。

这里暂时不讨论产品定位，我们只讨论丰富多彩的渠道投放的效果优化。

我有100种投放姿势，就问你敢不敢试~

这里，我们虽然是以APP拉新为例，讨论的是一种多渠道效果数据分析体系，但其实适用于每一个就算不是APP产品，或者你的拉新不是以增加APP用户为核心，都可以复用这套数据分析框架。

设定预期目标

首先，对于任何一次投放活动，我们都必须界定它的目标产出。只有在清晰的效果衡量体系下，渠道数据的对比才有意义，多渠道的ROI才有可比性。

对于APP拉新的投放活动来说，常见的预期效果可能是：

提高对APP的认知（以传播广泛为目的）

成为APP用户（APP下载并激活）

在APP内完成特定行为（如购买、身份验证或者领取礼包）

我们以常见的拉新——“APP下载并激活”为例，先搭建一个数据漏斗，看看我们效果环节上需要观察哪些数据。

如果我们希望监控的是上述内容中③的效果数据，我们就在激活之后继续添加下一层级的漏斗，统计例如加入购物车、确认下单、付款这样的流程。

在这样的漏斗流程之上，我们可以搭建监控指标，有时候监控的数据可能无法实现理想的统计指标，我们可能会需要补充其他监控指标，有时候也无需如此精确的数据粒度。

我们最后监控的数据指标如下（表1）：

而效果数据部分，则可以通过MTA的新增报表——安装来源分析实现。

为什么这里增加了“下载所用网络占比”？

原因是在下载完成到安装，这两个事件属于APP应用市场的原生事件，开发者无法主动采集，但我们依然关心这其中的转化步骤，主要是担心用户如果处于较差网络环境下，下载行为可能会被终止，因此这里用了“所用网络占比”这样的辅助字段数据。

这里的辅助字段数据主要是为了优化转化效果所做的准备。确定了目标，我们第二步就可以做投放过程的数据记录了。

投放过程记录

做这一部分的数据记录，主要的目的，一是为了复盘的时候方便做分析对比，二是为了优化迭代的时候更有方向。

根据埃里克·莱斯的《精益创业》中的观点：每一次的实验迭代，其实都是为了得到一个经证实的认知。

应用在推广投放体系下，每一次投放策略的设计，都是为了验证一个投放策略的有效性，是为了提升效果产出。

这个环节是一个多路分支，我们需要做一些版本记录，以便更好的定位问题。过程图大致如下：

记录过程表2为：

（表2 广告投放策略记录）

*根据投放方式的不同，可能记录的方式也会略有不同

**具体的策略信息可以在详表中展开记录

然后把表1的效果数据映射在表2之后，得到一条投放活动的完整记录。然后就可以通过数据来验证具体的投放策略的有效性了。

验证目标是怎样的投放策略，这一点需要在投放开始前就规划好，这样数据分析的时候才能得到有效的结论。

分析与优化效果

对于搜集到的众多详细数据，我们接下来就可以做一些数据上的结果分析了。

首先，我们可能想验证的是投放素材对渠道1的banner-1的影响，那么，我们把表2中渠道1单独拿出来，可以得到如下表格：

（表3.投放素材对渠道1的banner-1的影响）

如果我们想比较渠道1上Banner和Feeds流的差别，我们可以得到：

我们也可以针对人群定向投放效果、不同的投放时间，乃至渠道效果质量对比等多个维度进行数据分析，通过数据来验证我们的策略，优化投入产出比。

所以，虽然说投放的姿势有千千万，但效果路径总是相似的。

如果你有丰富多彩的投放策略，不用急，不要慌，把路径理出来，控制策略的版本，采用A/B TEST等加快验证迭代速度，最终得到有效的投放策略与最大化的ROI效果。

以上是关于投放效果上的数据指标体系分享，相似的分析思路可以复用在不同需求的投放方案中，包括一些线上、线下的运营活动，其实也可以复用这个框架。

来源：pm28

文 | 张俊红

写在前面：本篇来源于书籍《数据之美—一本书学会可视化设计》的学习后整理所得。全篇主要围绕数据可视化的5个步骤展开，其中重点内容是第三步：“应该使用哪种可视化形式”。本篇旨在带你全面认识了解可视化，所以一些具体的工具的使用并未涉及，只是罗列类一些常用的可视化工具。

你有什么数据

关于可视化，人们一般的理解是先设想要达到的可视化效果，然后在去寻找相应的数据。

这样经常会造成：“现有的数据不能够做出事先设想的可视化效果，或者是想要制作理想的图表需要获取更多的数据。”

而实际上关于可视化的步骤应该是先认清你有什么数据。

为了更好的进行可视化，我们将数据分为分类数据、时序数据、空间数据、多元变量数据四大类。

1、分类数据

分类数据是指针反映事物类别的数据。如：用户的设备可以分为Iphone用户和andorid用户两种;支付方式可以分为支付宝、微信、现金支付三种等。诸如此类的分类所得到的数据被称为分类数据。

2、时序数据

时序数据也称时间序列数据，是指同一统一指标按时间顺序记录的数据列。如:每个月的新增用户数量、某公司近十年每年的GMV等。诸如此类按时间顺序来记录的指标对应的数据成为时序数据。

3、空间数据

空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，它可以用来描述来自现实世界的目标，它具有定位、定性、时间和空间关系等特性。空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。

4、多变量

数据通常以表哥形式的出现，表格中有多个列，每一列代表一个变量，将这份数据就称为多变量数据，多变量常用来研究变量之间的相关性。即用来找出影响某一指标的因素有哪些。

关于数据你想了解什么

关于数据你想了解什么也就是针对数据进行提问。

你想从中得到什么结论(平台上的用户中哪个地区的用户较多、数据分析领域最具有权威的人物是谁、2016年的GMV环比去年是增加类还是降低类)。

了解什么到什么现象(学生成绩好坏可能与家庭背景是否具有一定的相关性、应届生收入和毕业院校是否有一定的相关性)。

应该使用哪种可视化形式

在前面我们已经说过，在做可视化的过程中，我们需要先明确我们有什么数据，然后再去研究这些数据适合做什么类型的可视化，再然后从这些适合的可视化类型中选择能够很好的满足我们需求的(即能够更好的帮助我们了解我们想要的)视图。

为了找到合适的可视化形式我们需要先介绍两个内容：有哪些可视化形式、如何让可视化更加清晰。

1、有哪些可视化形式

基于数据的可视化形式有：视觉暗示、坐标系、标尺、背景信息以及前面四种形式的任意组合。

(1)视觉暗示：

是指通过查看图表就可以与潜意识中的意识进行联系从而得出图表表达的意识。常用的视觉暗示主要有：位置(位置高低)、长度(长短)、角度(大小)、方向(方向上升还是下降)、形状(不同形状代表不同分类)、面积(面积大小)、体积(体积大小)、饱和度(色调的强度，就是颜色的深浅)、色调(不同颜色)。

(2)坐标系：

这里的坐标系和我们之前数学中学到的坐标系是相同的，只不过坐标轴的意义可能稍有不同。常见的坐标系种类有：直角坐标系、极坐标系和地理坐标系。

大家对直角坐标系、极坐标系比较熟悉，这里说一下地理坐标系。

地理坐标系是使用三维球面来定义地球表面位置，以实现通过经纬度对地球表面点位引用的坐标系。但是我们在进行数据可视化的时候一般用投影的方法把其从三维数据转化成二维的平面图形。

(3)标尺：

前面说到的三种坐标系只是定义了展示数据的维度和方向，而标尺的作用是用来衡量不同方向和维度上的大小，其实和我们熟悉的刻度挺像。

(4)背景信息：

此处的背景和我们在语文中学习到的背景是一个概念，是为了说明数据的相关信息(who、what、when、where、why)，使数据更加清晰，便于读者更好的理解。

(5)组合组件：

组合组件就是根据目标用途将上面四种信息进行组合。

2、如何让可视化更加清晰

如何让可视化更加清晰：

(1)建立视觉层次：

把图表在视觉上进行分层，把非重点信息弱化，重点信息强化突出。

(2)增强图标可读性：

● 让数据点更容易比较

● 留白，图表之间留有一定空间的空白。

(3)高亮显示重点内容：

高亮就是以特殊形式显示的内容，便于读者在一堆数据中很快抓住重点。

(4)注释可视化：

一般指图标的标题部分。帮助读者更好地理解图表的意思。

能够进行可视化的工具有哪些

1、Microsoft Excel

对于这个软件大家应该并不陌生，对于一般的可视化这个软件完全足矣，但是对于一些数据量较大的数据则不太适合。

2、Google Spreadsheets

Google Spreadsheets是基于Web的应用程序，它允许使用者创建、更新和修改表格并在线实时分享数据。基于Ajax的程序和微软的Excel和CSV(逗号分隔值)文件是兼容的。表格也可以以超文本链接标记语言(HTML)的格式保存。

3、Tableau Software

Tableau Software现在比较受大家的欢迎，既可以超越Excel做一些稍微复杂的数据分析，又不用像R、Python那种编程语言进行可视化那么复杂。好多人都有推荐这款软件。

4、一些需要编程性语言的工具

R语言、JavaScript、HTML、SVG、CSS、Processing、Python。这里主要是列举一下有哪些编程语言可以实现可视化，具体如何实现需要读者自行学习。我目前主要是在学python的可视化，稍后会分享一篇用python进行可视化的学习笔记。

透过可视化你看到了什么、有什么意义

把数据可视化以后，你需要从中发现一些数据之间的相关性以及通过数据暴露出来的问题。比如你会发现某天的新注册用户显著高于或低于其他天的数量，你发现这个问题了，你就需要去调查该问题出现的原因，然后解决他。

或者是你发现某两个指标具有很强的线性相关关系，那么你就需要去通过其他方面去验证这个情况是真实存在的还只是偶然情况。

End.

来源：36大数据

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

为了寻找不焦虑，有意义，更幸福、成功的生活，我决定记录自己一整年的行为和习惯。这个计划被称为LifeOps。它是一个可以感知目标、行为以及想法的系统，会为你提供建议，帮你更好地实现目标，建立积极的习惯，以取得更大的成功。

一些看似与目标无关的行为会影响我们，但我们没有注意或意识到这种影响。通过了解行为，我们可以发现不足，并能作出相应的调整。通过记录和分析数据，改变行为，我希望能够实现目标，并对自己有更多的了解。

日常生活

白天工作

我的日常生活非常忙碌，不只是忙于本职工作——还需要不停地进行角色转换。我是一个定制软件开发公司解决方案的架构师，这个工作本身就需要我每天将注意力分配到不同的事物中。

作为一名解决方案架构师，处理问题时，我必须尽快地做出方案供大家讨论，没有太多时间去钻研业务领域和技术，或者成为该领域的资深专家。我需要快速了解业务领域和当前的问题，必须利用自己现有的技术知识和经验，然后为解决这些问题设计可能的方案。这些工作需要大量的沟通、协作和高层次的思考。

该工作还要与团队合作解决更具体的问题，设计出的解决方案要在未来带来最佳结果。这方面需要解决许多技术问题，并与开发团队协同工作。

思想和技术领导是工作的另一方面。我需要制定战略和策略(以及了解员工执行的情况)，以促进组织内部技术领导力的增长。这意味着我必须立足于高层，而不是在组织层面上，也不是在特定的业务领域。我必须对人们及其目标进行了解，以加强组织的可信度。我还需要指导和激励人们去执行一些战略，以加强组织并帮助他们个人成长。

工作的最后一个方面是研究和发展。我需要掌握最新的技术趋势，掌握新技术如何应用和配合。这有助于我更好地为客户和团队提供架构师的建议和解决方案，同时也很有趣。

梦想

除此之外，我还在2015年立下了多产的梦想。我的目标是为个人、企业和整个世界创造一个更高效、更多产的未来(是的，听起来很俗气)。

我一直相信，为人们创造一种非凡的体验，用科技做一些有用的事情是成功的关键。我会一直这样做下去，而在这场旅行中，我又意识到拥有一个完善的产品是不够的，还需要把思想和努力投入战略、营销、财务管理和其他与业务相关的领域中去。我必须学习和尝试很多东西。

更多的激情

除了上述内容，我还有一种热情在熊熊燃烧，我想教别人，并赋予人们力量。我每月都会举办一次人工智能会议或黑客马拉松，让当地的技术人员了解人工智能技术，从而进一步推进个人和专业项目。

我也经常在会议上分享自己的知识，并与黑客们见面，这对认识新朋友和学习截然不同的东西很有帮助。

另外，我喜欢游戏开发。这是我进入科技领域的重要原因，所以一有空闲，我就会去尝试新想法。

经验

生活的另一部分包括一些娱乐活动，如旅行和体验新文化，感受不同的人文和环境。我一直想去世界各地探索。

最后要说的是，我也是一个社会体验者。我希望能与朋友一起享受时间，讨论想法，合作和结识新朋友。但是，随着工作日渐繁忙，我大概很难有机会去实现工作以外的东西了。

更自然

我之前几年的目标之一是做到更自然。因为当我发现一些有趣或不一样的事情时，总会刻意评估事件走向的所有可能性，自己能掌握的时间，以及做这件事带来的影响。

我想放弃关注所有事情，只做那些感觉正确的事。这就意味着我要去做一些新的事，和那些打乱我原有计划的人一起工作。但结果比自己过度思考，错过那些可能带来乐趣的体验要好，而且也会改变我的心态。

从目前来看，我的生活是非常忙碌的。这些甚至还不包括日常生活中我的所有个人挑战和任务。身体健康和情绪健康是我一直在努力追求的大事，而这也是值得努力和关注的。

重要的一点是，这并不是单纯的忙碌问题——而是精神上的负担。很多人可能会说，“你活的太拼了”，我完全同意。然而，我对以上每一件事都充满热情，充满一种解决问题的渴望。

但是，我需要找到一种方法，在不燃尽激情的前提下继续工作。我讨厌这样忙乱的生活，并一直为此感到焦虑。

因此，这促使我使用数据来了解更多自己的信息，这样就可以尝试着去优化生活。

记录自己

记录生活指标这一想法对我来说并不新鲜。我和一个朋友一直有这个想法，我们一起做了一个平台，可以了解你的目标和行为，然后提供建议、支持和见解，帮助你实现目标。这个平台使用了游戏化技术，还能研究行为变化。这是在2013年的事。

开发了一个基本的原型之后，我意识到要让它变得可用，还需要做很多工作。几年过去了，我几乎没有时间去做这个项目，结果就停滞了下来。

2016年12月，我发现这个应用程序并不是最有价值的。最有价值的是这个想法和它实际能做什么。所以我决定拿我自己来做测试，用电子表格进行模拟。

收集正确的数据

我创建了一个电子表格，包含每天所做事情的指标，以此更深入地了解自己的行为和实现目标的进度。

我感觉自己需要注意的是：

1.要能进行任务切换。确定任务的优先顺序，并在脑海中移除其他事项，直到它们进入计划才开始考虑。

2.不要总想敦促自己去做更多的事情。在完成上一个想法之前，我总有一种冲动，想要开始一个新项目或者考虑其他想法。我总有那么多的想法和问题！这对自己不利。

3.不要总想去学习新事物。我列出了一些想学的东西，并且不断增加这份清单内容，但实际上我没有学好任何东西。

4.要学会关闭思维。大脑需要休息才能有良好的表现。

5.要解决失眠问题。失眠导致我早上睡眠不足，感觉不好。

6.不喝垃圾饮料。我喝了太多软饮料和能量饮料。

7.要自己做饭。我不做饭（真的应该学习），所以经常出去吃，或者从当地的商店买着吃。

8.要有正确的饮食习惯。我经常不吃早餐和午餐，然后吃一顿丰盛的晚餐，有时还会在晚上吃垃圾食品。

9.学会照顾自己。这有点泛泛，包括花时间照顾自己，重视健康，并明白偶尔的无所事事也是可以的。

我为自己制定了一个“固定”的时间表。每天固定安排部分工作，明确主题（最多选两个）。这让我有时间反思，自己当天说了什么，拒绝了什么。

时间表和主题每周都有轻微的调整，但有了上述注意事项，它就能让我消除脑海中那些无用、无效的事情。

组织化

平时我会严格执行待办事项列表中所列的活动。既然已经有了主题，我就可以把不属于当天任务的主题从列表中划掉。Wunderlist这款App真的很有帮助，它可以让你在一天不同时间段里，设定任务优先级来处理任务。

在分析了自己的问题，并对目标和激情有一定了解之后，我开始记录以下内容。

醒来的时间。我有时间照顾自己吗?吃过早餐吗?如果是，吃了什么?离开家上班时，周边的交通情况。到岗的时间。吃过午饭吗?如果是，吃了什么?学习或工作上的成就。下班时间。到家的时间。白天去过的地方。每天自由联想的时间，以及其中的收获。吃过晚餐吗?如果是，吃了什么?休闲时间。我做了什么消遣，花了多长时间（通常是打游戏或看电视）。各种体能练习的重复次数。例如，俯卧撑、蹲坐、仰卧起坐，等等。耗水量。垃圾食品消费情况。酒精消费情况。香烟的数量。试图减少吸烟(或戒烟)。体重。努力让自己更健康。情绪。积极、消极、无聊。日记。对一天的描述。

我从2017年1月10日开始记录每天的这些特征。这是每晚都要进行的“仪式”:上床睡觉时，我会把这些观察记录在文档中。我还做了一些统计，分析自己哪些行为是正确的，哪些是错的。

在几乎没有什么时间的情况下，每天记录数据成了我的第二天性。有很长一段时间，我很晚才到家，或者晚上要出去，但从未耽误收集数据。这也让我学会了反思自己的一天，并思考当天的行为是否能帮助自己实现目标。同时也指引着我去完成第二天的目标。

我还会观察过去几周的行为和趋势，决定下周需要关注的地方。

我的进步

通过评估数据和设定短期目标，我有了一定的改变。这些改变帮助我实现了一小部分目标。

1.时间安排：有了时间表和工作主题，我的工作效率大大提高，可以在特定环境中完成更多的工作。

2.重点任务：由于强迫自己在特定时间只专注于特定的事情，我开始更加关注手头的任务，并取得了很大成绩。

3.饮水量：通过统计分析，我给自己设定了一个饮水量（1.5升），把它当成一个任务来完成。

4.垃圾食品消费：在吃东西或喝东西之前，我都会停下来思考，是健康食品还是垃圾食品。这帮助我避免了大多数软饮料和典型的垃圾食品。

5.健康：通过记录饮水量、饮食，我找到了可以改善的地方。我决定，每天都吃一小份早餐，尽管时间紧迫。所以我每周都买一些酸奶和麦片，这些不需要花多少时间准备，吃起来也很快。

不要误解我的意思，因为之前早上不习惯吃东西，现在不得不强迫自己。我会争取让自己按计划行事。水也是一个大问题。我全天都杜绝喝软饮料，并让自己至少喝1.5升水。饭菜也在变化。有时尽管不是我最满意的一餐，但当我从商店买饭或自己做饭时，都会控制自己吃那些更健康的食物。

6.睡眠：我注意到自己睡眠中有大量不健康的习惯。当我无法入睡时，会想很多关于工作的事，所以我决定找到改善这个问题的办法。我买了一个睡眠追踪仪。还会在睡前洗个热水澡，避免使用手机或笔记本电脑。目前已经有了些效果，但还有很长的路要走。数据还显示，睡眠很可能是影响我一天计划的关键因素。它影响了我的能量、情感和动力。

从数据中汲取经验

我一直按计划管理自己的生活，记录行为数据，根据每天的主题，把注意力集中在待办事项上。以下是我通过分析发现的。

1.睡眠:我平均睡5.5小时，这需要改善。

2.水:摄入量为1.5升。

3.食物:强迫自己按时吃饭，尽管对情绪没有什么影响，但对减肥有好处。

4.垃圾食品:一直在减少，但是当我想作弊的时候，还是会作弊。

5.功能饮料:喝功能饮料会产生负面影响。睡眠受到干扰，并产生恶性循环。

6.学习:学到更多东西或在某件事上做出成就，感觉最快乐，无论目标是什么，都很高兴。

7.体重:通过增加水的摄入量，减少吃垃圾食品，轻度运动，我瘦了9公斤。

8.旅行:长时间的旅行让人疲惫不堪，但当我游览一个新地方时，情绪就会高涨。

9.工作效率:将每周的工作时间按主题段划分，提高了工作效率，减少了焦虑。

这是这项活动最大的成功之一。它让我的注意力更集中，更有效，让大脑每天只花几个小时来完成一项任务，而不是试图处理多个不同的任务。

下一步的打算

在分析了一年的生活数据后，我了解到有些事情必须要做，那就是进一步优化生活，实现目标，并尽可能地做到最好。

1.更细化的目标:我不能只有细碎的数据和远大的目标，需要创建每周的主题和目标，以及每月的主题和目标，通过创建工作重点来完成一些切实可行的事情。

2.思考和创意是伟大的(我一直都在做)，但要把它变成有意义的事情则需要行动，如果总把它放在待办事项清单上，那成功的一天永远不会到来。

3.快速完成任务:我经常在一些琐碎的事上拖沓，如清理垃圾，或者清理笔记本电脑。此时需要一个大型的系统管理软件帮你尽快地处理好琐碎任务，回复邮件，做家务，买重要的东西，等等。

通过尽快完成这些任务，你省了不少脑力。即使你认为这些事儿没有占用大脑空间，它们也会影响你。不管你知不知道，这些任务都会引起焦虑。尽可能快地完成一些琐碎任务，会让你觉得自己没有那么懒惰，更有效率，并且在整体上有积极的结果。

4.更多的数据:我需要每天记录更多的数据，以便更好地理解自己的具体活动，正在使用的东西，以及时间分配。

5.轻松处理:用电子表格来处理数据是非常麻烦的。 Misana（这是一个软件系统）的目标是使数据处理变得简单。理想情况下，我会通过手机传感器和机器学习来实现自动化。

6.实时分析和处理方法:我现在需要每天收集所有数据，通过电子表格中的一些高级公式来进行每日、每周、每月和整体分析。如果有什么东西能给我提供实时的分析和指导，我就可以轻松地专心为自己的目标而奋斗了。

除了这些要点外，我还学到了一些无法完全描述或量化的经验，包括承认不足就可以提升自我；努力分析自己(包括做的事，为什么做)，并与目标相比较，就可以取得了一些小小的进步。小小地改变了自己和生活，我就能在脑海里实现那些只是“未来目标”的事情，能用所经历的、小而有意识的行动改变生活。

【IT168 评论】这是一个用数据说话的时代，也是一个依靠数据竞争的时代。各大互联网公司都在不断完善自己的数据分析团队，数据分析师的薪酬也是水涨船高。业内人士透露，应届毕业生的平均薪资大概在6K左右，1至3年经验的大概在10K到20K之间，5至10年经验的大概在25K以上。薪资还是十分诱人的，那么，如何快速成长为一名年薪百万的数据分析师呢?快来看看，以下30道数据分析相关面试题，你会多少?

1、分析数据还要写java代码是不是效率有点低?

2、成为一名数据分析师需要具备哪些技能?

要成为一名数据分析师，需要掌握丰富的报告软件包(Business Objects)，编程语言(XML，Javascript或ETL框架)，数据库(SQL，SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计，数据模型，数据挖掘等方面的技术知识以及分析大型数据集(SAS，Excel，SPSS等)的统计软件包知识。

3、分析项目的各个步骤是什么?

分析项目的各个步骤包括：

·问题定义

·数据挖掘

数据准备

模型化

数据认证

实施跟踪

4、分析的结果数据特别大，在线请求这些结果数据扛不住了，咋搞?

5、列出数据清理的最佳实践?

一些数据清理的最佳实践包括：

按不同的属性排序数据

对于大数据集，逐步清理并改进数据，直到获得良好的数据质量

对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度

要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值

如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题

分析每列的汇总统计数据(标准差，均值，缺失值的数量)

保持对每一个清理操作的跟踪，以便可以根据需要更改或删除操作

6、海量日志数据，提取出某日访问百度次数最多的那个IP。

7、可用于数据分析的一些最佳工具清单有什么?

Tableau

RapidMiner

OpenRefine

KNIME

Google Search Operators

Solver

NodeXL

io

Wolfram Alpha’s

Google Fusion tables

8、数据挖掘和数据分析之间的区别是什么?

数据挖掘和数据分析之间的区别在于：

数据分析：针对个别属性的实例分析。提供有关属性的各种信息，如值范围，离散值及其频率，空值的发生，数据类型，长度等。

数据挖掘：重点关注聚类分析，异常记录检测，依赖关系，序列发现，多个属性之间的关系控制等。

9、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

10、用于处理分布式计算环境中应用程序大数据集的Apache框架有哪些?

Hadoop和MapReduce是由Apache开发的用于处理分布式计算环境中应用程序大数据集的编程框架。

11、腾讯面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在40亿个数当中?

12、解释KNN插补方法是什么?

在KNN插补中，通过使用与其值缺失的属性最相似的属性值来推断缺少的属性值。通过使用距离函数，确定两个属性的相似度。

13、数据分析师使用的数据验证方法是什么?

通常，数据分析师用于数据验证的方法是数据筛选和数据验证。

14、解释应该如何处理可疑或缺失数据?

准备提供所有可疑数据信息的验证报告。它应该提供信息，如失败的验证标准以及发生的日期和时间

有经验的数据分析师应该检查可疑数据以确定其可接受性

应该找出无效数据并用验证码替换

对缺失数据进行处理，使用最佳分析策略，如删除，单一插补方法，基于模型的方法等。

15、如何避免过拟合?

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化：增大数据集，正则化

16、解释异常值是什么?

异常值是分析师使用的一个术语，指的是一个远远超出样本总体模式的值。有两种类型的异常值：

Univariate

Multivariate

17、解释分层聚类算法是什么?

分层聚类算法结合并划分现有的组，创建分层结构并展示组划分或合并的顺序。

18、解释K均值算法是什么?

K均值是一种著名的分区方法。对象被分类为属于K个组中的一个，k是先验选择的。

在K均值算法中：

簇是球形的：簇中的数据点以该簇为中心

簇的方差/扩展是相似的：每个数据点属于最接近的簇

19、数据分析师所需掌握的关键技能是什么?

数据科学家必须具备以下技能：

数据库知识

数据库管理

数据混合

数据查询

数据操作

预测分析

基本描述性统计

预测建模

高级分析

大数据知识

大数据分析

非结构化数据分析

机器学习

演示技巧

数据可视化

报告设计

20、解释协同过滤是什么?

协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。

协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块，该模块通常会获取用户的浏览记录信息，以弹出用户可能喜欢或需要的商品。

21、大数据中通常会使用到哪些工具?

大数据中使用的工具包括：

Hadoop

Hive

Pig

Flume

Mahout

Sqoop

22、解释什么是KPI，实验设计和80/20规则?

关键绩效指标(KPI)：它代表关键绩效指标(Key Performance Indicator)，它是关于业务流程的报告或图表

实验设计：这是用于分解数据，采样和建立数据以进行统计分析的初始过程

80/20规则：这意味着你收入的80%来自客户的20%

23、解释Map Reduce是什么?

Map-Reduce是一个处理大型数据集的框架，可以将它们分解成子集，在不同的服务器上处理每个子集，然后混合每个子集上获得的结果。

24、解释聚类是什么?聚类算法的属性?

聚类是一种应用于数据的分类方法。聚类算法将数据集划分为自然组或集群。

聚类算法的属性是：

Hierarchical or flat

Iterative

Hard and soft

Disjunctive

25、对数据分析师有用的统计方法是什么?

对数据科学家有用的统计方法是

贝叶斯方法

马尔科夫过程

空间和集群进程

统计数据，百分位数，异常值检测

计算技巧等

简单的算法

数学优化

26、时间序列分析是什么?

时间序列分析可以在频域和时域两个域中完成。在时间序列分析中，可以通过指数平滑，对数线性回归等各种方法分析数据，来预测特定过程输出。

27、解释空间自相关分析是什么?

空间自相关分析是地理空间分析的常用形式。它由一系列为不同空间关系计算的估计自相关系数组成。当原始数据表示为距离而不是单个点的值时，它可以用于构建基于距离的数据相关图。

28、散列表是什么?散列表冲突是什么?如何避免?

在计算中，哈希表(散列表)是键值对的映射，这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引，从中可以获取所需的值。

当两个不同的键散列到相同的值时，发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。

为了避免散列表碰撞，有很多技巧，这里列出两个：

分离链接：它使用数据结构来存储散列到同一个插槽的多个项目。

再探测：在找到查找位置的index的index-1，index+1位置查找，index-2，index+2查找，依次类推。这种方法称为线性再探测。

29、解释 imputation是什么?列出不同类型的插补技术?哪种插补方法更有利?

在插补过程中，我们用替代值替换丢失的数据。插补技术涉及的类型有：

单一插补

热点插补：从随机选择的类似记录中推断缺失值

冷却板插补：与热点插补相同，但更先进，从其他数据集中选择供体

平均估算：在所有其他情况下，用该变量的平均值代替缺失值

回归插补：用基于其他变量的变量预测值替换缺失值

随机回归：与回归插补一样，但它将平均回归方差加入到回归估计中

多重插补：与单个插补不同，多重插补会多次估计值

虽然单一插补法被广泛使用，但并不能反映随机丢失数据所造成的不确定性。因此，在数据丢失的情况下，多重插补更有利。

30、解释N-gram是什么?

N-gram是来自给定序列文本或语音的n个项目的连续序列。这是一种以(n-1)形式预测下一个项目的概率语言模型。

1、看数据看维度

在对某一项业务或者业务的某个模块进行分析时，可以从大小两个角度去切入分析。

首先站在广阔的视角去看待一些数据。比如对某个产品（消费品），就要分析在大环境下是一个什么样的数据，如市场排名，市场占有率。还要记录市场整体波动情况，竞品的数据。这些一般可以通过第三方调研机构或者行业报告获得。

FineReport数据报表看板

然后需要分析针对这个产品你内部关心的数据是什么。比如每月每周的销售量，各渠道的销售量，广告、促销活动、线下活动、联合活动等带来的销售的提升和品牌知名度的提升。

当了解完以上的数据，就应该对这个产品方方面面的情况有个宏观的了解，对需要提升哪些数据指标有一个清晰的认识。之后就是细化到某个模块维度进一步分析，比如电商渠道需要关注的多一些，DAU、WAU、客单价、复购、用户流失等等，每个模块都可建立漏斗信息。实际分析时还要关注数据异常，做针对性分析。

2、什么是好的数据指标？

并不是所有的数据字段都可以当做指标。在选择监测的数据指标前可以先问自己几个问题：

一对于这个产品你核心关注的是什么？比如销售增长率、市场占有率？

二这些指标能够反映这个产品的走向趋势么？如果这些指标变好了能否说明公司是在往好的方向上发展？

三这个指标是否可控，能否操作？如果有些指标你目前的技术根本无法统计到，那也是无济于事。

四指标系设立是否严谨不存在漏洞。描述一个产品的一定是有系列指标，这些会标是否能完全的说明情况，在验证你的假设结论时，是否能完全支撑。

再来说说指标的数据和分析。

有时候数据本身也存在欺骗性，比如这个月的销售额是600W，另外两家最大竞品分别是300W和250W，似乎加起来也没有我们大。但是事实上，我们上个月的销售是800W，竞品分别是200W和180W。数据看上去很漂亮，但是按对比和比率来讲我们远下降了。

所以，好的数据最好一定是以比率的形式存在，要有对比性质的相对数据。

单纯一个或几个数据情况是没有意义的，点连成线，线构成面去展示，用图表展示一段时间的整体趋势，才能客观评价产品的健康程度。通常我们用BI或者报表搭建数据看板（dashboard）监测重要的数据指标。

FineReport数据报表看板

数据分析要有目的性，不要被数据迷惑。上面的数据就是只关注了销售额情况，但忽略了整体分析而导致的表面欺骗。

3、发现数据异常，该从哪几个维度去分析？

有时候总量的角度是无法看出问题的，比如销售额、UV下降了，我们需要进一步细化去分析。看销售额总量的时候明显是下降了，先确定大的市场有没有波动，竞争对手有没有动作，需要查看市场总额以及竞争对手每个品类的数据。然后分析自身，每个渠道的销售额情况监测，每个区域的销售额情况，每个时间段的销售情况，把活动时间比如五一的数据扣除拟合，将有问题的标记出来。如果是渠道问题优化渠道，如果是市场波动，需要全局考虑战略和市场对策。

所以如果是销售额的分析，需要从渠道、活动时间点、地域等情况去深入分析。比如，是不是因为十一的活动导致销量有个明显的上升趋势？是不是因为上周搞了促销活动，导致本周一线业务员有个消极缓冲的时段，整体销售额低迷。

另外，数据一场也不是什么坏事，如果再数据分析过程中发现某数据表现极好，比如某渠道的销售增长率很高，是不是可以思考为什么会这样，有什么好的经验借鉴，甚至是不是要考虑调整渠道的投放比率。

4、不同阶段的关键性指标应该是随着业务的变化而变化的

在做数据分析前，我们会确定分析的目标，每个阶段不同。以电商渠道为例，有时候是分析各类活动效果以进一步优化方案或者挑选最合适的方案，留下分析模型以便后续活动对比预测；有时候是研究广告投放，在预算内让营收最大化；有时候是增强用户粘性，提高用户活跃度。

所以不同阶段无论是关键性指标还是KPI都要做相应调整。比如产品投放初期，关注用户数、订单数，后续考虑用户活跃度，回购率，客单价等等。