一提到数据分析，很多人可能脑海中可能会浮现出各式各样的数据画面。

比如下图所示，这样的中国式复杂报表在企业中经常被使用，精密的复杂表格样式中蕴含着国人庞大的数据信息量。

再比如这样的数据Dashboard可视化，通常应用于展示KPI业务指标，例如销售额、毛利率、利润率等等，数据的可视化呈现形式清晰直观。

再就是目前火热的不行的可视化大屏，比如下图所示的双11全球天猫狂欢节当日的实时交易统计大屏，除了清晰直观地展示企业核心的KPI指标之外，狂拽炫酷是它至关重要的特征。

大道至简的数据分析方法

但无论是以上的哪一种，无论数据如何变换，所有看似神秘的数据分析过程都可以归纳总结为各种“维度+度量”的组合分析。

维度用于描述事物的属性信息，例如统计各个地区的交易数量时，地区就是维度。

度量（指标）是可以量化统计的数值，例如统计各个地区的交易数量时，交易数量就是度量。但是需要注意的是并不一定所有的数值都是度量，例如学生的学号虽然是数值类型，但是其实它是维度而非度量。

如此一来，我们对数据分析有了从整体上的解释。但是实际应用中，我们并非盲目地去进行各种维度和度量的拼凑组合，而是希望得出的数据分析结果能够指引业务进行决策，终而形成业务闭环效果的。

根据我自身的一些数据分析项目经验，90%以上的基本数据分析问题都可以套用我总结的这七步完成（深入的数据分析需涉及描述性统计分析、相关性分析等专业的统计分析技能）：

数据分析必然需要借助工具，Excel、BI或者R和Python语言都可以帮助实现。

这里为了帮大家更快速地理解数据清洗建模和数据差异分析环节的内容，借助比较简单的BI工具FineBI，为大家进行一个销售数据分析实例，加深大家对数据建模和数据分析过程的理解。感兴趣的可以到官网下载，个人完全免费。

一、确定分析目标

这是分析前的第一步，我们需要明确进行数据分析的对象，也就是需要确定分析目标。

通常来说我们会选取最关心的核心KPI指标，例如电商行业的销量、销售额、利润，制造行业的次品率，互联网行业的用户留存率等等。

一般来说，分析目标不要过多，如果实在是需要同时分析多个关键核心业务KPI指标，那么我们便可以将这些核心指标分解给对应业务负责人，例如销售总监负责提升公司销售业绩，运营总监负责降低成本花费。

二、核心目标拆解

确定好分析目标之后，通常来说我们需要再对核心目标进行子目标分解，这也符合企业各团队分工协作的特性。

核心目标拆解的过程中需要遵循MECE原则，也就是“完全穷举，相互独立”。例如下图所示的电子商务数据分析指标体系，就分别从网站运营指标、经营环境指标、销售指标、营销活动指标、客户价值指标几个方面进行了详尽的拆解，然后交由各个团队进行分工达成。

三、数据清洗和业务建模

确立和分解好数据分析目标之后，下一步就可以进入到数据清洗和业务建模环节了。

数据清洗方面，很多人可能会想到国外传统的一些ETL工具，但是这类工具过于庞大和复杂，国内真正成功落地的案例很少。FineBI商业智能工具其实就提供了轻量级的ETL功能可供用户对数据进行计算和处理，鼠标点击和拖拽操作即可完成轻量的ETL数据处理过程。

业务建模方面，FineBI也是提供了根据不同业务主题分类建立业务包的功能，一般来说按照维度表和事实表建立好关联关系即可，这样一来就为前端的数据差异分析准备好了数据模型。

四、数据差异分析

终于到了数据差异分析这一步，这也是离发现问题原因和业务决策最近的一步。

所谓数据差异分析，自然是需要有差异，才能有分析。

例如今年某某企业7月份的销售额是600万，那么大家会觉得对于这个企业来说是好还是坏？如果只有这一个数据，自然是无所谓数据差异分析的。

如果这家企业的6月份的历史销售额是400万，那么7月份600万的销售额自然是非常好的了，可是如果这家企业的6月份历史销售额是800万，7月份600万的销售额明显是有问题的。

a.纵向对比

按照这个基础的数据差异分析逻辑，我们借助FineBI来初步分析一下某家企业今年各月度的销售额统计走势图：

如上图所示，通过纵向对比不难看出该企业在7月份销售额下降严重，环比6月份的企业销售额下降了22.47%，不是个好现象。老板看到这个数据自然会前来问责，说为什么7月份公司销售业绩下滑这么厉害。那么会是什么原因导致企业7月的销售业绩相对6月下滑这么多呢？我们需要更新一步地进行数据分析，以排查出导致产生问题的”真凶“。

b.横向对比

一般来说销售型企业都会在全国划分各个销售区域，那么这样一来我们除了对时间进行纵向对比之外，还可以结合销售大区维度进行横向比较，分析探索看看能不能发现一些问题。

果不其然，如上图所示，通过时间维度结合销售大区进行横向对比发现，企业的东南大区7月份的销售额相对6月份反而是增长的，看来问题主要出在北方区和中西区，特别是北方区7月份的销售业绩下滑更为严重，最终导致企业7月份总的销售额比6月份严重下滑。

数据分析的丰富度一定程度上依赖于分析工具的功能，比如Excel可能需要写VBA，R和Python需要写代码。

由于FineBI是一款商业智能工具，故而这边可以轻松通过其提供的OLAP联动分析功能，以更进一步的观察各个区域7月份的表现情况，直接点击饼图区域即可联动到月度销售额统计，非常方便。这边我们可以看出，中西区7月份销售额环比轻微下降17.86%，北方区下降严重到50.07%，而东南区则提高了6.06%，综合三个大区的总体销售状况，导致最终表现为7月份销售额环比下降了22.47%。

c.综合对比

上面分析了时间、区域维度相关的销售额结果统计，为了避免结论片面，我们尽量采用多维度的综合对比方式来观察数据，甚至可以是友商的销售情况对比进行差异分析（此处不单独举例说明）。

如上图所示，我们通过时间维度结合产品类型来进行销售额分析，观察7月份各个产品线的数据发现各个产品线在7月份销售额环比都是有所下降的，这说明企业7月份销售额下降和产品种类本身是没有关系的。

五、发现问题原因

综合北方区域和中西区域导致7月份销售额环比下降的各种影响因素，最终发现是由于6、7月份北方区域降雨严重，导致物流周转严重滞后，库存商品无法及时供应，最终导致北方区域7月份销售业绩严重下滑了50.07%。而中西区域本身仓库比较小，按照之前各区域商品物流周转的设计，中西区域的本土供应的差额商品主要是由北方区域供应，但是北方区域由于严重的降雨导致物流周转严重滞后，进而导致中西区域7月份销售业绩也同比下滑了17.86%。

六、制定业务决策

通过结合FineBI工具的OLAP多维数据综合分析方法成功定位到问题原因之后，企业及时调整仓库商品物流周转策略，北方区域物流模式调整为水运，同时将东南区域的部分商品通过物流周转到中西区域。

七、评估决策效果

企业领导决策层8月份通过及时调整北方区域和中西区域的物流策略，北方区域物流模式调整为水运，东南区域的部分商品通过物流周转到中西区域，补充了北方区域和中西区域的库存商品周转。最终8月份企业的总体销售额达到了943万，环比7月销售额提高到了37.32%。

后记

随着信息化的飞速发展，大数据产业呈指数式增长。在我们不断地积累着企业的历史数据的同时，如何利用和分析好这些数据，真正利用大数据分析驱动企业的业务增长也成为了一个很重要的难题。希望本文给大家分享的数据分析方法，结合FineBI商业智能分析工具的OLAP多维分析能力，能够让大家下次在面对企业业务数据分析时不再迷惑，做到步步为营，让数据分析真正释放出潜能，驱动业务快速增长，形成数据和业务之间的闭环

文 | 张俊红

写在前面：本篇来源于书籍《数据之美—一本书学会可视化设计》的学习后整理所得。全篇主要围绕数据可视化的5个步骤展开，其中重点内容是第三步：“应该使用哪种可视化形式”。本篇旨在带你全面认识了解可视化，所以一些具体的工具的使用并未涉及，只是罗列类一些常用的可视化工具。

你有什么数据

关于可视化，人们一般的理解是先设想要达到的可视化效果，然后在去寻找相应的数据。

这样经常会造成：“现有的数据不能够做出事先设想的可视化效果，或者是想要制作理想的图表需要获取更多的数据。”

而实际上关于可视化的步骤应该是先认清你有什么数据。

为了更好的进行可视化，我们将数据分为分类数据、时序数据、空间数据、多元变量数据四大类。

1、分类数据

分类数据是指针反映事物类别的数据。如：用户的设备可以分为Iphone用户和andorid用户两种;支付方式可以分为支付宝、微信、现金支付三种等。诸如此类的分类所得到的数据被称为分类数据。

2、时序数据

时序数据也称时间序列数据，是指同一统一指标按时间顺序记录的数据列。如:每个月的新增用户数量、某公司近十年每年的GMV等。诸如此类按时间顺序来记录的指标对应的数据成为时序数据。

3、空间数据

空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，它可以用来描述来自现实世界的目标，它具有定位、定性、时间和空间关系等特性。空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。

4、多变量

数据通常以表哥形式的出现，表格中有多个列，每一列代表一个变量，将这份数据就称为多变量数据，多变量常用来研究变量之间的相关性。即用来找出影响某一指标的因素有哪些。

关于数据你想了解什么

关于数据你想了解什么也就是针对数据进行提问。

你想从中得到什么结论(平台上的用户中哪个地区的用户较多、数据分析领域最具有权威的人物是谁、2016年的GMV环比去年是增加类还是降低类)。

了解什么到什么现象(学生成绩好坏可能与家庭背景是否具有一定的相关性、应届生收入和毕业院校是否有一定的相关性)。

应该使用哪种可视化形式

在前面我们已经说过，在做可视化的过程中，我们需要先明确我们有什么数据，然后再去研究这些数据适合做什么类型的可视化，再然后从这些适合的可视化类型中选择能够很好的满足我们需求的(即能够更好的帮助我们了解我们想要的)视图。

为了找到合适的可视化形式我们需要先介绍两个内容：有哪些可视化形式、如何让可视化更加清晰。

1、有哪些可视化形式

基于数据的可视化形式有：视觉暗示、坐标系、标尺、背景信息以及前面四种形式的任意组合。

(1)视觉暗示：

是指通过查看图表就可以与潜意识中的意识进行联系从而得出图表表达的意识。常用的视觉暗示主要有：位置(位置高低)、长度(长短)、角度(大小)、方向(方向上升还是下降)、形状(不同形状代表不同分类)、面积(面积大小)、体积(体积大小)、饱和度(色调的强度，就是颜色的深浅)、色调(不同颜色)。

(2)坐标系：

这里的坐标系和我们之前数学中学到的坐标系是相同的，只不过坐标轴的意义可能稍有不同。常见的坐标系种类有：直角坐标系、极坐标系和地理坐标系。

大家对直角坐标系、极坐标系比较熟悉，这里说一下地理坐标系。

地理坐标系是使用三维球面来定义地球表面位置，以实现通过经纬度对地球表面点位引用的坐标系。但是我们在进行数据可视化的时候一般用投影的方法把其从三维数据转化成二维的平面图形。

(3)标尺：

前面说到的三种坐标系只是定义了展示数据的维度和方向，而标尺的作用是用来衡量不同方向和维度上的大小，其实和我们熟悉的刻度挺像。

(4)背景信息：

此处的背景和我们在语文中学习到的背景是一个概念，是为了说明数据的相关信息(who、what、when、where、why)，使数据更加清晰，便于读者更好的理解。

(5)组合组件：

组合组件就是根据目标用途将上面四种信息进行组合。

2、如何让可视化更加清晰

如何让可视化更加清晰：

(1)建立视觉层次：

把图表在视觉上进行分层，把非重点信息弱化，重点信息强化突出。

(2)增强图标可读性：

● 让数据点更容易比较

● 留白，图表之间留有一定空间的空白。

(3)高亮显示重点内容：

高亮就是以特殊形式显示的内容，便于读者在一堆数据中很快抓住重点。

(4)注释可视化：

一般指图标的标题部分。帮助读者更好地理解图表的意思。

能够进行可视化的工具有哪些

1、Microsoft Excel

对于这个软件大家应该并不陌生，对于一般的可视化这个软件完全足矣，但是对于一些数据量较大的数据则不太适合。

2、Google Spreadsheets

Google Spreadsheets是基于Web的应用程序，它允许使用者创建、更新和修改表格并在线实时分享数据。基于Ajax的程序和微软的Excel和CSV(逗号分隔值)文件是兼容的。表格也可以以超文本链接标记语言(HTML)的格式保存。

3、Tableau Software

Tableau Software现在比较受大家的欢迎，既可以超越Excel做一些稍微复杂的数据分析，又不用像R、Python那种编程语言进行可视化那么复杂。好多人都有推荐这款软件。

4、一些需要编程性语言的工具

R语言、JavaScript、HTML、SVG、CSS、Processing、Python。这里主要是列举一下有哪些编程语言可以实现可视化，具体如何实现需要读者自行学习。我目前主要是在学python的可视化，稍后会分享一篇用python进行可视化的学习笔记。

透过可视化你看到了什么、有什么意义

把数据可视化以后，你需要从中发现一些数据之间的相关性以及通过数据暴露出来的问题。比如你会发现某天的新注册用户显著高于或低于其他天的数量，你发现这个问题了，你就需要去调查该问题出现的原因，然后解决他。

或者是你发现某两个指标具有很强的线性相关关系，那么你就需要去通过其他方面去验证这个情况是真实存在的还只是偶然情况。

End.

来源：36大数据

图表对于数据分析师的作用是非常强大的。

图表是展示工作成果的利器，也是分析工作的精华。

字不如表，表不如图。

大概能代表了大部分的情况。

一、工具

新手做图表常用的工具：

百度echart

优点是配色比较好看。

Excel

基本可以完成大部分图表，操作难度这三者里最大。

Power BI

图表利器，配色的话一言难尽，建议自己下载配色方案。Mac用户需要装windows虚拟机。

二、常用图表

散点图的应用貌似并没有柱形图、饼图那么常见，

但散点图往往更能从大量的无规律数据中发现规律。

我们在拿到数据后，第一件事，就是要观察数据。

散点图就可以帮助我们做这件事。

单纯的散点图

这是一张最基础的散点图。由X轴、Y轴组成了单一象限，数据在象限中按坐标轴排列。

加入回归线的散点图

为了更好的看清楚数据规律，往往会在散点图中加入回归线。

回归线可以帮助我们更好的观察数据趋势。

下面介绍集中辅助线，可以根据业务需要添加。

带折线的散点图

带水平辅助线的散点图

带辅助坐标系的散点图

有时，还会增加散点图的维度。

三维散点图

在数据种类需要区分时，需要增加数据的维度。

按男、女分类数据的散点图

散点图与其他图结合使用，可以更直观的说明问题。

散点图+地图热力图

散点图+箱线图

散点图变种：气泡图

散点图应用

举了这么多散点图应用的案例，相信大家已经对散点图的应用有了一定的了解。之后会出如何制作散点图的教程。请多多关注支持哦~

工作中我们常常会遇到各种各样的数据，为了分析这些数据，往往会将其可视化。

数据可视化的第一步就是选择合适的图表。

怎么做图表？从Excel时代起，大家固有的思维就是按：有几个“分类”，分几个“系列”去填充数据。选择能直观展现结果的图表来展现。这个过程其实是先有大致的数据分析结果，后用图表来表达，我们称之为可视化1.0。而且，对于这种传统图表的展示形式，数据分析统计的人员来说往往会存在这样一些问题：

a.可视化效果取决于工具所提供的有限的图表类型

工具提供的图表类型是有限的，而分析的需求是无限的。设想一旦分析的结果是多维的，手中的图表就那么几个，那数据可视化就很受局限。

b.理解 “分类”/ “系列”等一系列人为定义的属性，本身就有很大的使用难度

这个小编深有体会，每次用excel做图表，我都不懂何为分类，何为系列，各种抓瞎点击。虽然excel 2013版本之后能自动出图表，但维度一多，免不了各种调试。其实“分类”，“系列”等概念，对于初步接触分析的用户来说，还是要花点时间深入理解的。

c.不知道用什么图表，为了做图而做图

从大部分想要数据分析的用户调研来看，有59%的用户表明“采用什么图表分析展示数据，是用户面临的最大问题。”

所以，现如今数据分析盛行且极有可能在未来成为必备技能的时代，图表更应该辅助分析，在庞大、杂乱无序的数据中讲信息精简出来，伴随分析思路，帮助探索式分析，我们称之为可视化2.0时代。

市面上的可视化工具大多是1.0，能辅助分析思路，可视化展现图表的工具并不多，Tableau是先驱。而最新出来的FineBI 5.0版本，除了探索式数据分析的体验，带有数据挖掘属性，可动态展现的特性，也同样值得推荐。

FineBI V5.0的可视化分析是基于著名的图形语法(The Grammar Of Graphics)设计，由此提供了无限的图表推荐，不限制属性映射效果以及全新的分析功能。

它取消了图表类型的概念，以“形状“和对应的“颜色“，“大小“，“提示“，“标签“等属性（除支持自由设置之外还支持与字段绑定动态展现）进行图表类型替代，这样一来FineBI也就摆脱图表类型对可视化效果的限制，从而达到无限制图表类型的展现能力。

智能图表推荐展现

FineBI能够根据用户拖入的字段（维度类型/个数、指标个数、数据周期性）进行智能图表类型推荐，用最适合的形态进行当前的数据统计呈现。

举个简单的例子，你拿到一串数据，比方说讲“月份”“销量“两个维度拖到面板汇总，就会自动选择用柱形图来展现。

如上图所示，从此以后再也不用纠结用饼图做好还是用折线图做好了。

FineBI可视化效果：

分析性图表

图表是追随于数据分析思路的。

比如“分面展示”其实是提供了一种将多项指标并列分析的数据观察视角。比如我想同时观察温度和衬衫销售的数据趋势，这个时候就可以使用分面分析来进行数据统计观察。通过分面，可以分析不同指标的相关性，从而发现数据的潜在关联。

列举一个简单的例子，我们使用分面展示模式来观察不同学历对加班时长和收入的影响（非实际数据）：

不同年份的销量与增长值之间的关联（非实际数据）：

Dashboard——构建数据分析故事

通常我们在做一些数据报告性质的场景下，需要利用数据创造出吸引人的、信息量大的、有说服力的故事。而FineBI除了提供无限的图表分析之外，仪表板还可供用户进行灵活地数据图表布局分析，轻松构建出你的数据图表思维逻辑，让你拥有独到的洞察性数据见解，进而达到有效沟通或者数据汇报的目的。

地产销售可视化数据分析故事

——销售额逐年逐月上涨

——各市房地产销售额均较高

——高层卖的好，销售面积遥遥领先

——住宅的销售在各年份都处于领先地位

多角度销售可视化数据分析故事

——何时何地应该出售什么？儿童服装、女士服饰、男士服饰？

——哪种品类销量最好？

——哪个区域销量最好？

——哪个门店销量最好

——哪个品牌销量最好

——哪一天销量最好？

图表自适应

除了丰富的图表呈现心态之外，FineBI中提供四种图表内部的自适应模式，包括：

标准适应：内置算法，当横纵向数据较多时，图表内部自动生成对应方向的滚动轴。

整体适应：横纵向填充满当前展示组件.

宽度适应：横向填充满数据，纵向根据数据情况，判断是否出现内部滚动轴。

高度适应：纵向填充满数据，横向根据数据情况，判断是否出现内部滚动轴。

四种适应模式，满足用户dashboard设计时，不同的布局需求。同时，FineBI还支持用户手动调整坐标轴元素宽度，满足更多的自定义展示需求。

动态图表呈现

除了静态的图表展现之外，FineBI还支持用户增加图表注释以及闪烁动画，可由用户自由定义条件进行动态展示，打破了传统图表静态呆板的呈现形式，让用户体验更加生动的数据图表展现效果。

大数据图表性能

此外，FineBI提供的图表大数据模式，依靠前端性能，可支撑百万以上数据量的图表展示。

数据分析人员的新利器——数据挖掘

FineBI这个数据分析工具，目前支持时间序列算法、聚类算法、分类算法等三类数据挖掘方法，还支持和R语言的集成。

如果你想预测未来的销售额，你想智能的给用户群分类，或者你想知道短信发给哪个用户获得的反馈可能性比较大，这些在FineBI中都将会成为现实。

此外，FineBI还将时间序列算法和聚类算法，和图表分析相结合，也就是大家不止可以实现预测和聚类，更进一步，只需要简单的拖拖拽着就可以立即看到预测和聚类的结果，让数据挖掘不止于能用，更要易用。

最后

由于篇幅限制，本文所讲的图表只是FineBI工具的冰山一角。其本质既是一个数据分析可视化工具，又是可以协助企业数据分析的工具。感兴趣的同学们可以到FineBI官网激活试用（个人免费），可以戳下↓↓↓了解！希望这款BI工具能够帮助大家提高日常工作中的数据分析效率。

Data Science 作为一个宽口径的新兴职业方向，充满了工作机会，同时，无论你是学什么与业出身的，都有新与业、新领域的知识要学。比如工作期间，学统计的去研究一下优化、计量经济，学计算机的深入加强统计知识，都可能有机会。看到市场对数据人才的追求日益激烈，许多大学开始与门开设数据分析类与业。

近几年来，美国很多学校也开设了analytics的多门硕士项目，比如 Northwestern、 NCSU，但是开设这类专业的学校，一般综合排名低，除了西北大学，以前少有学校问津 analytics；随着过去两年data science和bigdata的共起，UIUC、UT Austin、NYU等都相继开设了analytics、Data Science类的硕士项目，包括弗吉尼亚大学、哥伦比亚大学、俄亥俄州立大学等开设宣布计划开设数据科学方面的硕士研究生培养项目。例如，南加州大学马歇尔商学院就与门开设了商业数据分析的硕士项目。该项目总终的第一句话就是：商业数据分析是现在全美增长最迅速的领域。

数据科学专业需要具备的能力

（1）、计算机科学能力一般来说，数据科学与业大多要求具备编程、计算机科学相关的与业背景。简单来说，就是对处理大数据所必需的 Hadoop、Mahout等大规模幵发处理技术等机器学习相关的技能。（2）、数学、统计、数据挖掘的能力除了数学、统计方面的素养之外，还需要具备使用SPSS、 SAS等主流统计分析软件的技能。其中，面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R 的强项不仅在于其包含了丰富的统计分析库，而专具备将结果迚行可视化的高品质图表生成功能，不可以通过简单的命令来运行。此外，它还具备称为CRAN（The Comprehensive R Archive Network）的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。R语言虽然功能强大，但是学习曲线较为陡峭，建议从python 入手。

（3）、数据可视化

信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义迚行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其他服务统一起来，从而使分析结果可视化，这是对于数据科学家来说十分重要的技能之一。

（4）、跨界为王麦肯锡认为未来需要更多的“translators”，能够在IT 技术，数据分析和商业决策之间架起一座桥梁的复合型人才是最被人需要的。”translators“可以驱劢整个数据分析戓略的设计和执行，同时连接的IT ，数据分析和业务部门的团队。如果缺少“translators“，即使拥有高端的数据分析策略和工具方法也是于事无补的。天才的”translators“非常罕见。但是大家可以各敬其职，数据战略家可以使用IT 知识和经验来制定商业决策，数据科学家可以结合对与业知识的深入理解使用IT 技术开发复杂的模型和算法，分析顾问可以结合实际的业务知识不分析经验聚焦下一个行业爆点。

未来就业前景这类硕士项目的最大优势是在于读程设置，software system、machine learning、database、 optimization、decision science、statistics、business intelligence等所有涉及到的领域知识，往往都会学一些。因此，跟比如学统计戒者计算机出身的同学相比，有analytics硕士学位的同学，知识结构更合理、更全面。也正是因为这点，目前学这个与业的同学找工作很容易。以下数字可以说明数据人才有多稀缺。一个拥有博士学位的数据科学家的起薪通常是六位数，工作两年后，就可以轻松赚到 20万至30万美元的年薪。在美国职业社交网站领英网(LinkedIn)，有3.6万个数据科学家的职位虚位以待。另一家网站的数据显示，去年底有6000家公司正在招聘数据方面的人才。

【选校大揭底】

美国目前总有45所大学开设的数据分析相关与业硕士研究生读程项目。小科对这45 所院校做了整理的查校，总结如下：所有都相对集中在美国的东部、北部区域，所开设的大数据分析硕士学位课程可以分为三个类型。

1、数据分析科学硕士学位课程(MSA，Masterof Science in Analytics) 美国有14所大学，总性是属新开发的跨学科读程，将应用数学、统计学、计算机科学，以及各种商业学科诸如营销、财务等融合在一起，即使一些学位使用预测分析(Predictive Analytics)戒数据分析(Data Analytics)冠名其读程内容也大致相同;

2、商业数据分析硕士学位课程(MSBA，Masterof Science in Business Analytics) 美国有17所大学开设此学位课程，其特点基本上是由各大学商学院新开设戒改名而来的，也会有不与其他学院联合办学的情况，和MSA类似面向技术的读程稍少一些，但也不意味着MSBA就完全偏向商科。

3、属其他学科的硕士学位但主修方向是数据分析(Other M.S. Programs， Analytics Tracks andConcentrations) 开设该项目课程的有14所院校，常冠以数据科学(Data Science)这个名称，一般开设在商学院以外的学院，将数据分析课程与其他学科结合的硕士学位，还有的情况是将原有的旧专业改为数据分析与业，有时还可能沿用原有的与业名称，目标是从庞大数量种类的数据中去获得能有效沟通的可执行见解。

以下我们筛选了其中5所院校做以详细的查校结果汇总，如果想要了解更多院校查校信息

1、加州大学伯克利分校信息与数据科学专业（MS in Information and Data Science）：

专业介绍： 加州大学伯克利分校有两个相关的学位项目：数据科学工程硕士Masterof Engineering （concentration in Data Science），信息数据科学硕士Master of Information andData Science （MIDS），伯克利的两个硕士项目综合教授技术和企业运营的技能，立足现有最前沿的技术，扎实务实地培养学生成为领域内的佼佼者。

加州大学伯克利分校官网申请大数据：

GPA要求：3.0；TOEFL要求：90；IELTS要求：7.0；GRE 要求：Required；GRE Subject：Not Required

申请学期：夏季申请截止日期：2月14日

学费：$2,222.22/学分

申请说明：信息数据科学硕士（MS in Information and Data Science）：为期20个月，总计27个学分，受西部学校和学院学会（WASC）认证。要求申请者本科毕业，有计算机科学、数据结构、算法分析、线性代数等相关工作戒实习经验，如有5年以上工作经验则更受欢迎。毕业生可从事航空工程人员、建筑师、商业分析师、商业智能分析师、首席技术官、合同技术与家、数据分析师、互联网安全顾问、定量分析师、研究工程师、系统工程师等职业。无奖学金申请，国际学生需自费攻诺。

录取数据：

招生年：2016年春季学期；女生比例：24%；平均年龄：33；年龄范围：22-57；本科平均GPA： 3.49；GMAT数学均分：76%；GMAT 阅读均分：84%；GRE数学均分：82%；GRE阅读均分：82%；

伯克利是有着矛盾的两面性：一方面是草根的，平民的，大众的。BerkeleyHippie成为了伯克利学生自黑的主要槽点，校园附近随处可见千奇百怪的各色人等，如某街头艺人；但是，另一方面是尖端的，精英的，前沿的，比如叧有诺贝尔奖获得者才能用的停车位。在伯克利接触到的学生基本上可以分为两拨：一拨是以科研为主的有志青年（包括绝大多数的PhD 和极少部分的本科生），他们对本与业的热情天赋让我毫不怀疑地相信这波人是会引领未来人类科技进步的行业精英；另一拨则是普普通通的学生，他们由于机缘巧合，家庭背景，或者自己个人的奋斗，得以相聚在伯克利的校园里。他们大多想找个好工作回馈父母家人，他们得益于伯克利这个平台的帮劣也因此对这个平台感恩戴德，他们和平常人一样，不过多了顶绣着伯克利商标的帽子，他们中的大多数未来会湮没在茫茫人海中。

2、哥伦比亚大学数据科学专业（MS Data Science Track）

专业介绍：

哥伦比亚大学有一个业界顶尖的大数据科学的工程研究室（Institute for Data Sciences and Engineering），学生在此参与实验科研项目。该项目是2014年秋季新开设的，由此可见其对于这一与业的重视。项目开设在工学院下，项目侧重数据挖掘、算法和统计建模(i.e., Algorithms for Data Science, Machine Learning for DataScience, Statistical Inference & Modeling)，培养方案面向业界需求。

哥伦比亚大学官网申请大数据：开设学位：MS

要求：TOEFL99；GPA要求：3.0；IELTS要求：6.5；GRE要求：Required；GRE Subject： Not Required；

可申请学期：秋季申请截止日期：2月 15日学费：$1,858/学分

申请说明：

哥伦比亚大学数据科学（Data Science）与业由数据科学所（Data Science Institute）开设，研究生招收MS 学生。要求申请者本科毕业，拥有一定的数学及编程基础，需要递交GRE成绩，但无最低GRE、GPA等分数要求，不可使用GMAT代替GRE成绩。该MS 项目为期1 年，总修30个学分，无需撰写毕业论文。哥伦比亚大学工程不应用科学学院未设定有最低TOEFL/IELTS 分数要求，此外，该学院还认可PTE成绩，总分要求不低于68分；该项目无最低GPA要求，按美国大学研究生申请一般规定，GPA尤其是在校成绩平均不低于3.0 分；所有与业均需有GRE 成绩；除应用物理与业外，所有与业均无需GRE Subject成绩；未设定有最低GRE分数要求，但录取学生的GRE阅读平均百分比排名多在64%以上，数学多在82%以上；不接受GMAT成绩。

3、纽约大学数据科学专业（MS in Data Science）

专业介绍：

纽约大学的data science 既不是在 stern商学院下面，也不是在computer science下面，而是在 math下面。申请的时候应该比较看重数学背景，该与业开设于2013年，开设在 math下面的一个与门的Center for Data Science，为想迚入NYU的申请者多提供了一个录取的可能通道。基于这个与业的培养目标focuses on the development of new methods for data science。它录取的学生背景大多是理工科背景的居多：Math，Stat，也录取过几个 CS, EE, Econ与业的学生。

纽约大学官网申请大数据：开设学位：MS

要求：GPA要求：3.0；TOEFL要求：100；IELTS要求：不接受；GRE要求：Required；GRE Subject：NotRequired；

可申请学期：秋季申请截止日期：2月4日学费：$1,664/学分

申请说明：纽约大学数据科学硕士（MS in Data Science）一般为期4个学期，要求学生有足够强大的数学知识背景和一定的计算机科学基础知识，学习过微积分、线性代数、统计学、概率论以及计算机科学等读程。该项目仅秋季学期可以申请，截止日期为2月4日，无需GRE Subject数学科目考试成绩。该项目基本无奖学金。

纽约大学文理研究生院按学分收取学费，一般PhD要求修满72个以上的学分，硕士要求修满32-34个学分。按全日制授课项目，平均每年可修学分至少24个。此处为2016-17学年文理研究生院平均每个学分的学费标准，需要注意的是，该费用每年会有较小（不超过5%）的涨浮。

TOEFL：不低于100分，无单项要求，不接受IELTS成绩；数据科学硕士项目仅限秋季学期申请，申请截止日期为2月4日。课程设置：

该与业学制两年，总修36学分。

录取统计：我们从这个项目2013Fall 第一次招生的录取数据来看：打算要30个人，收到152封申请，发了50 个ad，刚好来了30个。 30个人里面，背景情况，undergraduate有11个，已经拿到一个 graduate的大概有10个（有1，2个phd，其余都是 master），剩下的就是已经工作了的。所以这 30个人是同时包括part-time和full-time 的。粗略分布： White10人，Asian20人吧，其中2个印度人，1个韩国人，1个日本人，1个台湾人，其余都是大陆的。average age=25. 大陆分布：10个左右美本，5个非美本吧。美本来源包括umn,uiuc,u of toronto, wisc-madison,git等等等等。感觉美本基本都是美国的数学强校，本科与业也都是math，stat，ieor，有几个cs ee econ的。非美本有 5个，其中一个港大，一个清华ee。当然随着Data Science的持续火热，未来的申请人数预测会增长到至少300人！知乎学长经验谈以下是NYU总体给我的感觉： NYU的优势是在于Data 的读太多了，DS自己的读不说，Cournat的CS也包含了一部分Big Data, NLP之类的读（同被DS的 Big Data坑= =，不过Cournat CS有门Real Time Big Data Analytics不知道会不会好些），Steinhard 的A3SR会有很多应用统计的读程，Stern有统计的PhD,还有 Info的偶尔也提供一些读程可以上， Tandon CS有可视化，CUSP 有城市数据分析（ML，Big Data这些的我们都开，不过和 DS的侧重不一样，还有通过传感器去采集数据，如何分析声音图像数据等等）Tisch的ITP还包含了一部分数据可视化（Data Art），前端（Creating API）和传感器的读程。除了Stern的读比较难选以外，其他学院的读基本开了就能选到。

4、普渡大学商业分析与信息管理专业（MS Business Analytics & Information Management, BAIM）

专业介绍：和麻省理工学院的MBA一样，该项目都有个单独的分支是商业分析，学生学习的基础读程涵盖高级商业分析、数据挖掘、数据管理等，选修课程可以从以下三个领域选择：

●商业分析咨询

●金融/财务咨询

●市场营销咨询

普渡大学官网申请大数据： USNEWS排名：47（商学院排名）GPA要求：3.0；TOEFL 要求：93；IELTS要求：7.5；GMAT要求： Required；工作经验要求：无；

可申请学期：夏季申请截止日期：1月16日-3月1 日学费：$46,000

申请说明：

普渡大学商业分析不信息管理硕士（MS Business Analytics & Information Management, BAIM）项目为期11个月，总计修36个学分。要求申请者本科毕业，不限与业背景，无前�...

大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。

本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。

为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职位角色。

我尽量详细地回答了每一项人们在学习大数据过程中遇到或可能会遇到的问题。为帮助你根据兴趣选择发展途径，我添加了一组树图，相信会对你找到正确的途径有所帮助。

注释：学习之路树状图

在这个树状图的帮助下，你可以根据你的兴趣和目标选择路径。 然后，你可以开始学习大数据的旅程了。 后台回复“职业路径”3个字，下载高清版本。

目录表

1.如何开始？

2.在大数据领域有哪些职位需求？

3.你的领域是什么，适合什么方向？

4.勾勒你在大数据领域的角色

5.如何成为一名大数据工程师？

o什么是大数据行业术语？

o你需要了解的系统和结构

o学习去设计解决方案并且学习相关技术

6.大数据学习路径

7.资源

1.如何开始？

人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和MapReduce计算框架组成的，他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性，因此成为最近流行的海量数据处理框架。hadoop这个单词来源于其发明者的儿子为一个玩具大象起的名字。）, 分布式计算，Kafka（Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统）,NoSQL（泛指非关系型的数据库）还是Spark（Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处）？”

而我通常只有一个答案：“这取决于你究竟想做什么。”

因此，让我们用一种有条理的方式来解决这个问题。我们将一步步地探索这条学习之路。

2. 在大数据行业有哪些职业需求？

在大数据行业中有很多领域。通常来说它们可以被分为两类：

大数据工程大数据分析这些领域互相独立又互相关联。

大数据工程涉及大量数据的设计，部署，获取以及维护（保存）。大数据工程师需要去设计和部署这样一个系统，使相关数据能面向不同的消费者及内部应用。

而大数据分析的工作则是利用大数据工程师设计的系统所提供的大量数据。大数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。

因此，简而言之，大数据分析是对数据的高级计算。而大数据工程则是进行系统设计、部署以及计算运行平台的顶层构建。

3.你的领域是什么，适合什么方向？

现在我们已经了解了行业中可供选择的职业种类，让我们想办法来确定哪个领域适合你。这样，我们才能确定你在这个行业中的位置。

通常来说，基于你的教育背景和行业经验我们可以进行如下分类：

教育背景（包括兴趣，而不一定与你的大学教育有关）

计算机科学数学行业经验新人数据学家计算机工程师（在数据相关领域工作）因此，通过上面的分类，你可以把自己的领域定位如下：

例1：“我是一名计算机科学毕业生，不过没有坚实的数学技巧。”

你对计算机科学或者数学有兴趣，但是之前没有相关经验，你将被定义为一个新人。

例2：“我是一个计算机科学毕业生，目前正从事数据库开发工作。”

你的兴趣在计算机科学方向，你适合计算机工程师（数据相关工程）的角色。

例3：“我正作为数据科学家从事统计工作。”

你对数学领域有兴趣，适合数据科学家的职业角色。

因此，参照着定位你的领域吧。

（此处定义的领域对你确定在大数据行业的学习路径至关重要。）

4.根据领域规划你的角色

现在你已经确定了你的领域，下一步，让我们规划出你要努力的目标职位吧。

如果你有卓越的编程技巧并理解计算机如何在网络（基础）上运作，而你对数学和统计学毫无兴趣，在这种情况下，你应该朝着大数据工程职位努力。

如果你擅长编程同时有数学或者统计学的教育背景或兴趣，你应该朝着大数据分析师职位努力。

5.如何成为一名大数据工程师

让我们先定义一下，一名受到行业承认的大数据工程师都需要学习和了解什么。首先以及最重要的一步是确认你的需求。你不能在不清楚个人需求的情况下直接开始学习大数据。否则，你将一直盲人摸象。

为了明确你的需求，你必须了解常用的大数据术语。所以让我们来看一下大数据到底意味着什么？

5.1 大数据术语

大数据工程通常包括两个方面 – 数据需求以及处理需求。

5.1.1 数据需求术语

结构：你应该知道数据可以储存在表中或者文件中。储存在一个预定义的数据模型（即拥有架构）中的数据称为结构化数据。如果数据储存在文件中且没有预定义模型，则称为非结构化数据。（种类：结构化/非结构化）。

容量：我们用容量来定义数据的数量。（种类：S/M/L/XL/XXL/流）

Sink吞吐量：用系统所能接受的数据率来定义Sink吞吐量。（种类：H/M/L）

源吞吐量：定义为数据更新和转化进入系统的速度。（种类：H/M/L）

5.1.2 处理需求术语

查询时间：系统查询所需时间。（种类：长/中/短）

处理时间：处理数据所需时间。（种类：长/中/短）

精度：数据处理的精确度。（种类：准确/大约）

5.2 你需要知道的系统和架构

情节1的解决方案：销售数据池

（这是我的个人解决方案，如果你想到一个更高明的解决方案请在下面分享一下）

那么，一个数据工程师会怎样解决这个问题呢？

需要记住的一点是，大数据系统的目的不仅仅是无缝整合各种来源的数据，而使其可用，同时它必须能使得，用于开发应用系统的数据的分析和利用变得简单迅速和易得（在这个案例中是智能控制面板）。

定义最后的目标：

1. 通过整合各种来源的数据创建一个数据池。

2. 每隔一定时间自动更新数据（在这个案例中可能是一周一次）。

3. 可用于分析的数据（在记录时间内，甚至可能是每天）

4. 易得的架构和无缝部署的分析控制面板。

既然我们知道了我们最后的目标，让我们尽量用正式术语制定我们的要求吧。

5.3.1 数据相关要求

结构：大部分数据是结构化的，并具有一个定义了的数据模型。但数据源如网络日志，客户互动/呼叫中心数据，销售目录中的图像数据，产品广告数据等是非结构化的。 图像和多媒体广告数据的可用性和要求可能取决于各个公司。

结论：结构化和非结构化数据

大小：L或XL（选择Hadoop）

Sink 吞吐量：高

质量：中等（Hadoop＆Kafka）

完整性：不完整

5.3.2 处理相关要求

查询时间：中至长

处理时间：中至短

精度：准确

随着多个数据源的集成，重要的是要注意不同的数据将以不同的速率进入系统。 例如，网络日志可用高颗粒度连续流进入系统。

基于上述我们对系统要求的分析，我们可以推荐以下大数据体系。

6.大数据学习路径

现在，你已经对大数据行业，大数据从业人员的不同角色和要求有所了解。 我们来看看你应该遵循哪条路来成为一名大数据工程师。

我们知道大数据领域充斥着多种技术。 因此，你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同，如数据科学和机器学习中，你可以从某些地方开始并努力完成这一领域内的所有工作。

下面你会发现一个你应该通过的树状图，以找到你自己的路。即使树状图中的一些技术被指向是数据科学家的强项，但是如果你走上一条路，知道所有的技术直到“树叶节点”总是很好的。 该树状图源自lambda架构范例。

任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适。这是处理大数据的基本要求。

核心是，大部分大数据技术都是用Java或Scala编写的。但是别担心，如果你不想用这些语言编写代码，那么你可以选择Python或者R，因为大部分的大数据技术现在都支持Python和R。

因此，你可以从上述任何一种语言开始。 我建议选择Python或Java。

接下来，你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据，没有人会认真对待。 请尝试在AWS，softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次，让学生练习。如果你想的话，你可以暂时跳过此步骤，但请务必在进行任何面试之前在云端工作。

接下来，你需要了解一个分布式文件系统。最流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库，以便根据你感兴趣的领域进行学习。

好了，今天的知识就分享到这里，欢迎关注爱编程的南风，私信关键词：大数据 ，获取更多学习大数据的资源，如果文章对你有有帮助，

请收藏关注，在今后与你分享更多学习大数据的文章。同时欢迎在下面评论区留言如何学习大数据。

对于这一问题，答案是多种多样的，此文分别从实践者，观察者和预言者三种角度来分析，看完会对您有所启发。

观点1，实践者的角度来看：

大数据- 表示数据的几个维度 - 可用数据的多样性，速度，体积和可信度。此外，大数据相关技术使我们能够处理和存储4V的一个或所有特性。

数据分析- 通常意味着探索性数据分析，可视化和报告。我们可以使用大数据或典型数据来了解和探索数据，并更好地了解上下文。或回答几个商业问题。

数据科学或更早的业务分析- 让我们建立统计学，数学和机器学习模型，以获得更好的业务成果。我们可以使用大数据来做到这一点。

观点2，实践者的角度来看：

大数据只不过是非结构化数据的收集。这些数据不是特定的格式，因为它的数据集大小通常是巨大的 - 测量数十TB，有时跨越PB的门槛。大数据术语之前是使用数据库管理系统（DBMS）进行管理的非常大的数据库（VLDB）。

大数据分析是检查大量和多样化数据集（即大数据）的过程，以发现隐藏模式，未知相关性，市场趋势，客户偏好和其他有用信息，可帮助组织做出更明智的业务决策。由专业分析系统和软件驱动，大数据分析可以指出各种业务收益，包括新的收入机会，更有效的营销，更好的客户服务，提高运营效率以及竞争对手的竞争优势。

虽然这些定义可能听起来很简单，但它们是相当复杂的领域。大数据和分析涉及很多步骤和技术。其中一些是数据采集，出生的数字数据，出生的模拟数据，非关系数据库，内存数据库系统，混合数据存储和处理系统 - Apache Hadoop和数据挖掘。

此外，使用弹性搜索，变得更加容易理解大数据。它用于网页搜索，日志分析和大数据分析。还有许多其他工具，但Elasticsearch更受欢迎，因为它易于安装，扩展到数百个节点，没有额外的软件，并且由于其内置的REST API而易于使用。

Google的AlphaGo计算机在Go游戏中击败了世界冠军Lee Se-dol，Data已经成为新的货币，全球政府已经开始大力投资智慧城市。围绕大数据的炒作终于结束了，在2017年的今年，我们可以预期数据在数量和种类上都会大幅增长。

观点3，预言者角度分析：

HADOOP将成为WIDESPREAD

今年，我们将看到Hadoop采用的激增以及组织的其他相关解决方案。随着Hadoop的采用，任何规模的组织都可以使用高级分析来处理大量和多种数据。采用更高级的数据库，如MemSQL，Exasol等，已经成为组织成功的关键。

IOT，云和大数据的收敛

随着几个互联网连接的IoT设备的出现，大量的结构化和非结构化数据的涌入。这些数据中的大部分部署在云服务中。该数据将驻留在包括Hadoop集群到NoSQL数据库的几个关系和非关系系统中。云迁移十大注意事项

混合现实

混合现实将改善数据可视化AR和VR在过去几年中赢得了客户的极大的关注。随着神奇宝贝的推出，增强现实在几个星期内就已经获得了大约1亿用户。虽然AR或VR可能对大公司来说可能不是很有用，但混合现实的概念可能非常好。混合现实将虚拟世界与现实世界结合起来，像微软全能组织这样的设备已经在吸引人。混合现实将为组织提供更好的执行任务以及更好地了解数据的巨大机会。chatbots上升的前五大平台

深度学习

深度学习是基于神经网络的高级机器学习形式。深度学习有助于从大量非结构化数据中识别特定的兴趣项目。从大量的结构化和非结构化数据中学习是非常有用的。因此，企业和组织应该更多地关注深度学习算法来应对数据的大量涌入。数据虚拟

化今年数据虚拟化将呈现强劲势头。数据虚拟化能够从大量数据中解锁隐藏的概念和结论。它还允许企业和组织随时检索和操纵数据。

结论

如前所述，今年将是一个令人兴奋的一年，大数据和分析系统将成为组织的首要任务。这些系统预计运作良好，履行对企业价值的承诺。

想了解更多关于大数据分析的精辟观点，加大数据学习交流8群640193172，或者去看BAT大数据专家私人圈TBanna521。

在我们日常工作中经常需要用到数据分析，但一些如回归，聚类、概率分析方法比较复杂，学习成本高，也不一定能用得上。实际分析的时候，有四种很简单的分析方法非常实用，这四种就是：对比、细分、转化和分类。只要掌握了这四种思想，基本上已经可以应付日常的分析工作了。

一、对比

对比又可以分为纵向对比和横向对比，指标间的横向对比帮助我们认识数据的合理性和分析是否有问题，而指标纵向的对比，如在时间维度上的对比，既可以做趋势分析也可以判断是否达到预期值。

如店铺的订单量，可以把最近30天的订单显示在坐标轴上，这样就可以很明显的看到最近的订单数量是否达到了预期，当然我们也可以以周或者月（或者季度，年等等）为单位。做对比一定要考虑实际的场景，因为今天和昨天的性质可能未必一样，例如今天可能是周六，或者恰好是节假日等等。所以我们在做纵向对比的时候，两个对比的数据是否合理，是否是同一性质。比如看最近30天的趋势数据，我们还可以考虑环比和同比，今天和上个月的今天，今年的双11和去年的双11进行对比。横向的对比，比如一个地区这周的成交额上涨了10%，那当地的子公司是不是应该高兴呢？但是例如其它子公司的店铺这周的成交额都上涨了20%！那这个子公司可能已经被其它子司拉大了距离。也就是说，我们对一个数据结果判断好不好，这是需要一个参照物的。

二、拆解

通过拆解方法我们对分析对象进行逐步拆分，最终定位到问题点。拆解的角度可以有很多，越细分越能准确描述问题。比如零售中的人货场分析，就是将零售中的问题，逐步定位某一个或几个细节上的问题，最终找出成本最低的解决方式。举个栗子，通过报表知道了这个月成交额下降了这个问题后，现在我们用拆解来找出问题的所在：

成交额 = 客单价 X 客户数。对比客单价和客户数的趋势，就可以判断出影响成交额变化的主要因素是什么，如果是客户数问题，我们则对客户数进行细分，如果是客单价问题，则对客单价进行细分。

客户数 = 新客户 + 老客户。老客户 = 二次成交客户 + 多次成交客户

一段时间内的新客户反映的是电商的引流效果，而老客户反馈的是电商的产品质量，服务质量和客户维护营销等。

客单价 = 成交价 X 人均成交数。 均成交数这是电商中一个非常值得关注的指标，它能最直接地反馈出电商的服务质量和客户维护营销等方面的效果，如果该值过小表明电商的客户流失率很大，应该重点关注。

成交价 = 件单价 X 连带率。 成交价反馈的通常是导购的能力，促销活动的效果等，成交价的上升或者下跌，反映的问题可能很多，对其进行分解后就很明确了。件单价的变化通常是有促销的力度，商品结构和消费结构（例如季节因素等）变化引起的。带率这个反馈的是店铺内导购的能力，或者促销手段（例如买一送一等）的效果，也是店铺管理人员重点要关注的指标。

拆解的方法其实就是不断用更小的量化指标去细分一个大的指标，从而达到定位问题的目的。

三、转化

拆解的方法可以从纵向定位问题，但是单单细分是不够的。这些指标是从哪里来的，每一个步骤的转化率怎么样，哪一个步骤的转化不好，可以改善？这些通过转化都可以分析出来。

例如我们要分析本周的活跃客户数（有成交的客户数），那么我们就要分析这些活跃的客户数是从哪里来的，梳理一下可以简单分为以下4个步骤：进入平台的客户数 ==》浏览过商品的客户数 ==》下单的客户数 ==》支付成功的客户数。这里4个步骤就会有3个转化率，哪些步骤转化率比较高，哪些步骤转化率比较低，历史趋势怎么样，是否合理，是否有改进的空间等等。通过应用转化的思想，能够有效的指导和优化实际的运营工作。转化的思想就是一种漏斗，每一步其实都会有转化率，通过改善我们的转化率来提高我们的运营业绩。

四、分类

分类就是把一些对象，按照某种规则，划分为若干个类别，然后分析各个类别的特征，并以此来指导我们的行动。分类思想的应用很多，例如对客户的分类，我们可以用RFM分析模型，也可以用简单的利用某个指标的值（例如渠道标识，这样我们就可以分析到各个渠道客户的质量等）。基于这些客户的分类，我们就可以进行精准的客户营销了。在电商或者零售业上，我们经常做的分类还有商品分类，经典的有按照品类分类，或者ABC分类，这些对于我们做商品运营都是非常重要的。

总结：

以上四种其实都是很简单的数据分析思想，而且在日常的运营中也非常实用，但需要注意的是一定要了解自己的业务，只有深入了解业务，才能很好的运用数据分析，并不是自己知道几种统计学的算法，就能做好业务数据分析了。

本期，我们总结不同设计类型分类数据在在各种情况下比较所用的统计分析方法、泊松分布数据的统计分析方法以及变量之间关联性的统计分析方法。

分类数据的统计分析

1. 样本数据与总体比较

1)二分类资料：

(1)小样本数据：用二项分布进行确切概率法检验；

(2)大样本数据：用U检验；

2)多分类数据：用Pearson检验（又称拟合优度检验）。

2. 四格表（2×2表）数据

1)完全随机设计的四格表数据的分析

（1）当样本量n>40，并且4个格子理论数均大于5时，则用Pearson 检验；

（2)当样本量n>40，并且4个格子理论数均大于1且至少存在一个格子的理论数<5时，则用校正检验或用fisher’s精确概率法检验；< span="">

（3)当样本量n40或存在任一格子理论数<1，则用精确概率法检验；< span="">

2)配对设计的四格表数据的分析

（1)b+c≥40，则用McNemar配对检验；

（2)b+c<40，则用二项分布确切概率法检验；< span="">

3. 2×C表或R×2表数据的统计分析

1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则可以采用行平均得分差（Row Mean Scores Differ）的CMH 或成组的Wilcoxon秩和检验；

2)列变量为效应指标并且为二分类，行变量为有序多分类变量，则可采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。

3)行变量和列变量均为无序分类变量：

(1)当样本量n>40，并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验；

(2)当样本量n40，或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s确切概率法检验；

4. R×C表数据的统计分析

1)完全随机设计的R×C表数据的统计分析

（1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则CMH 或Kruskal Wallis的秩和检验；

（2)列变量为效应指标，并且为无序多分类变量，行变量为有序多分类变量，则采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义；

（3)列变量和行变量均为有序多分类变量，可以作Spearman相关分析或者非零相关（none zero correlation）的CMH ；

（4)列变量和行变量均为无序多分类变量：

i. 当样本量n>40并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验进行分析；

ii. 当样本量n40或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s 确切概率法检验；

2)配对设计的C×C表数据：

（1)配对比较：用McNemar配对检验；

（2）一致性检验（Agreement）：用Kappa检验；

Poisson分布数据

1. 单样本数据与总体比较：

1)当观察值较小时：可以用确切概率法进行检验。

2) 当观察值较大时：可以用正态近似的U检验。

2. 两个样本数据的比较：可以用正态近似的U检验。

两个变量之间的关联性分析

1. 两个变量均为连续型变量

1)当两变量为小样本并且两个变量服从双正态分布时，可以用Pearson相关系数来衡量两个变量之间的关联性；

2)当两变量为大样本或两个变量不服从双正态分布，则用Spearman相关系数来衡量两个变量之间的关联性；

2. 如果两个变量均为有序分类变量，可以用Spearman相关系数来衡量两个变量之间的关联性；

3. 如果一个变量为有序分类变量，另一个变量为连续型变量，可以用Spearman相关系数来衡量两个变量之间的关联性。

“一站式”医学科研管理工具！

LinkLab帮您轻松做科研

成为更好的临床医生！

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...