什么是数据分析：

小编基于常年从事数据相关工作的经验来看，数据分析师是一个与实际经验结合非常紧密的岗位，其实数据分析本身的方法、程序语言或是软件工具，都不是最关键的，而真正关键的是如何用通过数据来

发现问题，并通过分析得出结论与建议，再通过数据的回馈来提升我们的业务本身进而不断迭代优化的过程。

那么一个合格的数据分析师，除了具备基本的数据分析方法与编程、工具的能力外更重要的是业务洞察力。我总结了以下8点能力。

1 收集信息的能力

2 沟通需求的能力

3 定义问题的能力

4 梳理流程的能力

5 定义标准的能力

6 探寻原因的能力

7 提出建议的能力

8 总结汇报的能力

本套课程也是在数据分析基础知识，基本Python数据分析的基础上，想让初学者真正的具备数据分析师的思维方式，因为在实际的工作中，不同项目，不同公司面对不同系统平台，不同数据载体，

应用的软件工具，编程语言是不确定的，所以通过多个小的案例，来锻炼大家的数据分析思维，解决问题的思路，或者说是套路，这个更为重要。

那么本套课程采用了Python语言这个目前最为主流的编程语言进行课程讲解，配合数据分析的四大最重要的工具，分析工具（Pandas）图表绘制工具（Matplotlib）空间分析工具（GIS）计算工具（Numpy）并结合多个实战项目，让学员能够有一个完整的数据分析师学习及工作流程的思路。

本套数据分析师课程师2018年全新录制，2018月6月15日完结，共七大阶段，分别为：小白扫盲、理论基础、语言入门、分析工具、算法进阶、数据可视化、项目实战，共169课，约35小时课时，本套课程是数据分析师体系完整的系统性课程，非胡乱拼凑可比，课时和章节设计合理，建立大家利用碎片化时间来学习，上午学习1个小时，下午学习1个小时，更多的时间用来跟着项目做练习。

如果您是抱着以下的心态来学习数据分析课程，恭喜您本套课程非常适合您：

1、想对数据分析师有一个全方位的了解。

2、想要系统的来学习下数据分析课程。

3、想知道数据分析师到底需要学会那些工具。

4、零基础小白不知道怎么入手学习数据分析师。

5、想通过大量项目案例来增加自己的实战经验。

小白扫盲 ：主要介绍数据分析的概念，以及所用到那些工具，也会以案例的形式讲解数据分析工作的思路和方法，以及学前的准备资料和软件安装等，建议大家在学习开始之前，先看看小白扫盲部分。3小时

理论基础：主要介绍数据分析师的特点，怎么从数据中挖掘价值，机器学习和数据的关系，以及是如何实现的，以案列的形式讲解什么是数据可视化。1小时

语言入门：本套数据分析师课程主要以python语言来开发，本章主要从零基础开始讲解python编程，主要内容：为什么选择python,开发环境及运行原理，数值类型，变量，运算符，序列，字典dict，语句，条件判断，循环语句，for循环，while循环，函数，局部变量，全局变量，python包管理工具，文件读取与写入，项目介绍，项目解答等，语言入门主要是针对零基础小白来设置的，也建议对python熟悉的同学学一下，本章讲的python比较有针对性，主要是针对数据分析而设置，学完本章未必能让你精通python,但作为数据分析师来说足够用了。

分析工具：本章主要讲解数据分析常用到的四种分析工具，数值计算工具（Numpy）分析工具（Pandas）图表绘制工具（Matplotlib）空间分析工具（GIS）什么是Numpy？，Numpy基础数据结构，Numpy通用函数，Numpy数据的输入输出，什么是Pandas，时间戳索引，时间序列，数值计算和统计基础，文本数据，去重及替换，透视表及交叉表， 数据结构Series，数据结构Dataframe，Matplotlib简介，散点图，极坐标图，箱型图，表格样式，刻度、注解、图表输出，图表绘制，柱状图、堆叠图，面积图、填图、饼图，直方图，什么是空间数据，GIS软件，坐标系，空间数据基本处理，几何计算，空间可视化制图，统计等

算法进阶：本章主要讲解数据特征的提取与分析、数据建模、数据处理，详细内容：分布分析，对比分析，统计分析，帕累托分析，正态性检验，相关性分析， 缺失值处理，异常值处理，数据连续属性离散化，数学建模概述，线性回归的python实现方法，线性回归模型评估，KNN最邻近分类，PCA主成分分析，K-means聚类，蒙塔卡罗模拟，案列解读等。

数据可视化：python数据可视化，关系网络数据可视化，空间数据可视化，数据图表表达，设计美学，时间线图表、热图，结构化图表可视化，Seaborn做图表，调色盘，分类散点图，线性关系数据可视化等

项目实战：主要以项目案例实战和练习，主要内容：用户增长分析项目，游戏设计项目，业务体系指标项目，汽车行业项目，消费者行为分析机器预测，数据挖掘项目。

koukou：718454839 weixin：agandjs

很多小伙伴在问，学习大数据需要什么基础才可以呢？今天小编就来解说一下大数据需要的学习能容及如何快速学习大数据。

首先我们分析0基础小白学习大数据，在这里讲一下所需要学习的内容。

首先小白入门必学课程，SQL是必须的编程语言，这个编程语言非常简单，基本大家都会很快学会，学完SQL进阶数据分析，数据分析的时候也是很简单的，只是电脑上鼠标点击很快就会得到数据挖掘。

接下来在这些的基础上还需要学习一些课程

1、Excel数据分析实战

2、SQL数据分析实战

3、PPT数据分析报告实战

4、Excel报告自动化实战

5、如何制作数据分析师简历

以上这些课程是都可以找到的，可以免费学习。

学完上边的可以看看下边这些知识。更多系统的内容，可以关注小编，小编置顶文章中有详细的学习路线及大数据课程的学习目录。

数据分析基础、Linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce、Ｈive和Hbase等 论知识和基于Spark的大数据分析，详细演示Hadoop三种模式的安装配置、基于Hadoop架构的大数据分析思想及架构设计、以及基于Spark的回归分析、聚类分析等算法的案例。

当然新手学习也可以这样快速学习大数据：

1、没有专业基础的可以从统计学、SQL开始学习：

2、对数学过敏的也可以先跳过统计学从Excel、SPSS开始，先熟练应用工具，再去理解背后的算法

现在很多学习大数据的小伙伴是大学毕业，想从事IT行业，第一是兴趣，第二是薪资高。那么有这两点想法就足够了。

那么小编在这里建议大家不要放弃自己的大学所学知识哦！例如大学上过的线性代数、概率统计等等知识，在这就可以用到了。小编读了大学一直在想，学的知识没用，现在才知道大学的知识是你初入社会学习的基础。当然，大学时光混迹在LOL世界里的小伙伴也不要慌张，大学没有学到，选择大数据你会重新开始学起。只是需要你的努力，大数据并不可怕。说了一大堆废话了，赶紧看看这些数学理论吧！

（1）概率论与数理统计

这有些与大数据技术开发的联系十分密切，条件概率、独立性等基本概念、随机变量及其分布、多维随机变量及其分布、方差剖析及回归剖析、随机进程（特别是Markov）、参数估计、Bayes理论等在大数据建模、发掘中就很主要。

当然以概率论为根底的信息论在大数据剖析中也有一定效果，比方信息增益、互信息等用于特征剖析的办法都是信息论里面的概念。

（2）线性代数

这有些的数学知识与大数据技术开发的联系也很接近，矩阵、转置、秩 分块矩阵、向量、正交矩阵、向量空间、特征值与特征向量等在大数据建模、剖析中也是常用的技术手段。

在互联网大数据中，很多使用场景的剖析对象都可以抽象变成矩阵表明，很多Web页面及其联系、微博用户及其联系、文本会集文本与词汇的联系等等都可以用矩阵表明。

以矩阵为根底的各种运算，如矩阵分化则是剖析对象特征提取的途径，由于矩阵代表了某种改换或映射，因此分化后得到的矩阵就代表了剖析对象在新空间中的一些新特征。所以，奇异值分化SVD、PCA、NMF、MF等在大数据剖析中的使用是很广泛的。

在学习大数据的时候我们还需要具备一些能力

1、逻辑分析能力

逻辑分析能力是指正确、合理思考的能力。即对事物进行观察、比较、分析、综合、抽象、概括、判断、推理的能力。

做大数据工作的人，他得知道什么是相关的，哪个是重要的，使用什么样的数据是最有价值的，如何快速找到每个业务最核心的需求。这个能力对于学习大数据是很大的助力，如果在学习大数据的时候能慢慢注意培养自己的逻辑分析能力，那么对你今后的工作也有很大的帮助。

逻辑分析最重要。即对事物进行调查、比较、剖析、归纳、判别、推理的能力。

做大数据开发的人，他得知道什么是相关的，哪个是关键的，运用什么样的数据是最有价值的，如何迅速找到每个业务最核心重要的需求。这个对于学习大数据是很大的帮助，如果在学习大数据的时候能慢慢培养自己的逻辑分析能力，那么对你往后的工作学习也有很大的作用。

2、快速学习能力

在大数据工作中，快速学习能力能帮助大数据工程师快速适应不同的项目，并在短时间内成为这个领域的数据专家。它能够帮助你快速的适应和理解相关知识，就算你是零基础学习大数据，如果你能找到大数据学习的核心关键点，快速学习，那么攻克大数据指日可待。

3、对数据的兴趣

兴趣是职业生涯选择的重要依据。兴趣是最好的老师，是一种强大的精神力量。兴趣可以使人集中精神去获得你所喜欢的职业知识，启迪智慧并创造性地开展工作。当一个人对某种职业产生兴趣时，他就能充分的调动自己的主动性，积极地去感知和关注该职业的相关知识、动态并积极地思考，大胆地探索；在你学习大数据之前，我觉得你最应该做的就是培养自己对于数据的兴趣。

4、沟通能力

在大数据工作中，沟通能力能让大数据工作者的工作开展地更顺利，因为大数据工程师的工作主要分为两种方式：由市场部驱动和由数据分析部门驱动，前者需要常常向产品经理了解开发需求，后者则需要找运营部了解数据模型实际转化的情况。

对于学过java的同学，那么你学习大数据就非常的容易了，java语言可以跟一切语言互通，例如Apache的基于Java的HBase和Accumulo以及 ElasticSearchas，因此学习Hadoop的一个首要条件，就是掌握Java语言编程。

欢迎关注小编，继续跟踪小编的学习文章。

Nginx介绍

一款轻量级的Web是Nginx， 也是反向代理服务器和电子邮件代理服务器。其、优点在于占有内存少，并发能力高，实际上它的并发能力确实在同等条件下相同类型的服务器中效果明显。通常情况下，我们会把nginx服务器当做一个静态资源的访问容器。

Nginx安装步骤

1. 用户root登录。

2. 观察nginx信息，执行命令：yum info nginx.

3. 如果nginx提示nginx找不见的信息，通过修改rpm源来处理后续操作，执行命令：rpm -ivh http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm

4. 观察nginx信息。

5. 安装，执行命令: yum install nginx。在安装的过程可以输入y。

6. 启动nginx，执行命令：service nginx start

7. 访问http://192.168.0.120 查看nginx下的web页面。

Flume介绍:

它是的特点是，一个提供高可用的，高可靠，聚合和传输的系统，支持日志系统中定制各类数据发出和运用于收集数据信息；同时它也能够提供对数据进行简易的操作和处理，并把数据写到接受对方。

现在Flume只有两个版本，

Flume0.9x 之前名字叫：Flume-og

Flume1.X 之前的名字叫：Flume-ng

它们的主要区别如下：

Flume-og采用master结构体，能够保证数据的统一性，把zookeeper引入进行管理。Flume-ng就取消了master和zookeeper管理机制，变成了单一的传输工具。

Flume-ng采用不同线程对数据进行读写；在Flume-og中，读数据和写数据是由相同的一个数量的线程处理的，写的比较慢，说明阻塞flume的接收数据的当然只是肯能。

Flume结构体

Flume选择Agent为基本单位，单个agent包含source、channel、sink，三种组件。

source组件功能是接收外部数据，将数据传递到channel中；

sink组件功能是发送flume，接收到数据到目的地；

channel作用为数据传输和保存。

Flume结构分为三类：1：单agent结构:2：多agent链式，3：多路复用agent。

多agent链式结构

多路复用agent结构

source介绍

Source的作用就是接收客户端发来的数据，将数据发到channel中，source和channel是多对多关系，通常情况下一个 source会相对应多个channel。

Flume常用的source都有这些：Avro Source、Thrift Source、Exec Source、Kafka Source、Netcat Source等。

格式看下图

Channel介绍

Channel的就是提供一个数据传输隧道，供数据传输和存储。

source将数据放到channel中，sink从channel中获得数据。

Flume用的channel都有有：Memory Channel、JDBC Channel等。

格式看下图：

Sink介绍

Sink作用就是定义数据写出形式，通常情况sink从channel中拿来的数据，将数据写出到file、hdfs上。

channel和sink关系是一对多的关系。

Flume用sink都有有：Hdfs Sink、Hive Sink、File Sink、HBase Sink等。

格式如下：

安装Flume步骤

·下载flume：wget

· 修改conf/flume-env.sh文件

· 添加到flume的bin目录到环境变量中去。

· 验证是否安装成功,执行命令： flume-ng version

Flume案例

Nginx身为日志服务器，通过exec source监听日志文件，使用memory channel作为数据传输隧道，用hdfs sink将数据存储到hdfs上面。

感谢谢今日头条平台，大家喜欢交流技术的加群233025331，里面提供技术解答和行业交流！

摘要：本文以国庆旅游产品为研究对象，通过数据分析探究产品类型、供应商、评分、服务等相关因素对产品销量的影响，建立对数线性回归模型展示各因素与旅游产品销量之间的关联。结论表明产品因素和游客因素对线上旅行产品的销量都有显著的影响。

背景介绍

暑假一过，小伙伴心心念念盼望的十一黄金周终于到来，难得的七天长假，天气又这么好，哪怕知道各大景区国庆都会是人挤人挤人，也按耐不住躁动的心。

因此，每年只要临近10月，各大线上旅行平台的旅游产品也会迎来销售热潮。各式旅游线路，纯玩/豪华旅游套餐层出不穷。这个国庆，你有为线上旅行平台贡献销量吗？

想知道国庆最热门、最挤的旅游线路是哪条？

哪些人群是国庆出游的主力军？

面对纷繁复杂的旅游产品，我们该如何理性地选择？

哪些旅行目的地性价比高人又少，下个假期可以去打卡？

下面我们就通过收集线上旅行平台的相关数据，对国庆出行产品的销量及其影响因素进行探究，从而发现游客选择旅游线路背后的秘密，通过数据分析的方法为大家未来的出游提供参考。

数据说明

本次分析中所使用的数据全部爬取自某在线旅游网站，进行清洗后一共有5680条产品数据，涵盖各式各样的旅行产品，我们首先用数据可视化软件Tableau对原始数据规模进行统计。

数据说明

数据来源：本次分析中所使用的数据全部爬取自某在线旅游网站及中国旅游局统计资料，涵盖各式各样的旅行产品。

数据周期：2018年9月1日-2018年10月7日

数据规模：进行清洗后一共有5680条产品数据相关字段：

旅游线路：文本变量

目的地：文本变量

出发地：文本变量

评分：连续变量【0,5】

评价人数：连续变量

出游方式：定性变量，包含跟团游，半自助游，自由 行等分类

销量：连续变量，单位：人次

出游天数：连续变量，单位：天

价格：连续变量，单位：元

其他信息：包括酒店、签证、产品钻级、服务保障等信息

描述统计

不得不说，年年“吐槽”却一年比一年火爆的国庆旅游市场在今年也创下了傲人的战绩。从文化和旅游部发布的数据来看，10月1日-4日全国接待国内游客5.02亿人次，同比增长8.80%；实现国内旅游收入4169亿元，同比增长8.12%。也就是说，国庆前四天，平均每天有超过1亿的游客出游，而他们每天的消费达到了1000亿。

我们通过该网站销售的旅游产品数量来窥探一下，黄金周期间最受大众喜爱的旅游地点。

旅游产品目的地销量情况：从销量分布图来看，对于颜色较深的区域，我们可以分为两类：第一类是东部沿海经济较发达但自然景观较少的区域，如江苏、山东、上海等地，该区域5A级景区较少但游客数量依然领先。究其根本，我们发现该区域人口密度大，大部分人都会选择周边游或者省内游，属于省内游客>外来游客的模式。第二类是以贵州、四川等地为首的，自然景观及旅游资源较多的区域，这些区域以其网红属性，带来了大量外地游客的涌入，属于外来游客>本地游客的模式。旅游产品目的地分类情况：中国境内游占绝对比例，约为61%。由于假期时间较短，大部分游客还是选择境内出游，但随着人民生活水平的提高，也不乏有很多游客选择出境游，主要分布在美洲、东南亚及欧洲等自然景观和人文资源较丰富的地区。

旅游产品销量

我们发现，在选择产品的过程中，很少有游客去选择两万以上的旅行产品，可能是因为游客对旅行产品的需求差异较大，导致旅行产品的选择是较为分散的。因此我们需要去研究哪些因素左右着旅客选择旅行商品。

产品的基本属性，目的地和价格显然都会影响到产品的成交量，且差异显著——近者如北京周边游，均价不足千元，其低价位产品的销量几乎是美洲游各类产品销量的两倍之多，而后者均价高达3万余。

国庆出游用户画像

我们对国庆出游人群的性别和年龄进行统计，发现国庆出游人群中，男女比例基本持平，相对于移动互联网人群性别比例来讲女性出游意愿更高；在出游人群年龄分布上， 26-35岁是国庆出游主力。

我们继续研究不同人群出行方式的差别，发现自驾游出游人群多已婚，且上海出游人群更加偏好航空出游。

我们对三种出行方式进行深入研究，使用app用户统计数据，窥探用户喜好。发现在自驾出游、铁路出游、航空出游三类人群中，自驾出游人群 相对偏好地图导航、游戏类应用，而航空出游人群更加偏好旅游、出行类应用。

冷门线路推荐

我们将携程旅行的线路信息进行汇总，找到销量较低，但评分很高的冷门线路推荐给大家。从数据的角度分析出有哪些人少又值得一去的景点。

从这份推荐中我们发现大部分人少又景美的景点都集中在祖国的中西部地区，看来要想在国庆黄金周省去看人的烦恼，还是需要付出时间与金钱的代价。

如果大家不想长途跋涉，那么我们对携程周边游频道数据采取同样的处理方式，得到短途旅游中那些较“冷门”的线路。

我们发现这张榜单中涵盖了北京、上海和广州三地的周边游信息，值得注意的是，这些“冷门”线路对应的出行方式均为自驾游，说明对于周边游来说，体验较好的旅行方式为自驾出行。

评论分析

除了旅游行程安排本身之外，作为在线旅游平台的一大优势——评论与游记攻略也在潜移默化的影响着人们的选择，不同旅游产品的评价也是游客选择的重要参考。我们展示了部分高销量旅行产品评价的词云图。

从图中可以看出，游客对这些高销量旅行产品总体来说是满意的，并且“住”和“行”的情况是游客对旅行产品关注的要点，因此这也是旅行产品发行方应着重提升游客体验的方面；游客也可以根据这些方面去重新权衡自己的选择。

建模分析

在对各类影响因素进行简单的观察之后，不难发现，众多的因素都会对产品成交量有所影响。那么接下来，对于商家来说，如何设计一款能成为爆款的旅游产品呢？

由于因变量Y（成交量）存在严重的偏态，因此对其进行取对数处理以减轻极端值的影响，分类型变量则通过设置基准组来生成多个0-1变量加入模型。最终通过AIC准则进行逐步回归筛选变量后的最终结果如下：

在控制其他因素不变时，可以得到以下结论：

对产品类型来说，半自助游产品较跟团游产品销量平均提升1.057%，自由行产品较跟团游产品销量平均提升3.816%。

对产品等级来说，有钻级和无钻级相比销量有所降低，且钻级越高，销量降低越多。这说明，大部分群众选择的旅游产品均属于平价旅游线路，并不一定追求奢华的体验。

对酒店情况来说，提供固定酒店比不提供的销量要降低0.69%，这说明大部分游客在计划多日游时，会选择多个地方，并非倾向于一地的多日游。

对游客因素来说，旅行产品评分每提升1%，旅行产品的销量提升0.614%，说明在线旅游网站的评分对大家选择旅游产品有着指导性的意见

说来我正式接触数据分析也快一年，对速成还是有一些心得。优秀的数据分析师是不能速成的，但是零经验也有零经验的捷径。

以上的前提针对入门，目的是达到数据分析师的门槛，顺利拿到一份offer，不涉及数据挖掘等高级技巧。我的方法倾向互联网领域，不论是分析师这个职位，还是运营、产品的能力发展都是适用的。其他领域就仁者见仁了。

市面上有《七周七数据库》，《七周七编程语言》。今天我们就《七周七学习成为数据分析师》。

没错，七周。

第一周：Excel学习掌握

如果Excel玩的顺溜，你可以略过这一周。不过介于我入行时也不会vlookup，所以有必要讲下。

重点是了解各种函数，包括但不限于sum，count，sumif，countif，find，if，left/right，时间转换等。

Excel函数不需要学全，重要的是学会搜索。即如何将遇到的问题在搜索引擎上描述清楚。

我认为掌握vlookup和数据透视表足够，是最具性价比的两个技巧。学会vlookup，SQL中的join，Python中的merge很容易理解。学会数据透视表，SQL中的group，Python中的pivot_table也是同理。

这两个搞定，基本10万条以内的数据统计没啥难度，80%的办公室白领都能秒杀。

Excel是熟能生巧，多找练习题。还有需要养成好习惯，不要合并单元格，不要过于花哨。表格按照原始数据（sheet1）、加工数据（sheet2），图表（sheet3）的类型管理。

专栏上写了三篇Excel的文章，比较简单，大体介绍了Excel应用，可以作为职场新人的指南。

第一篇数据分析—函数篇。主要简单讲解常用的函数，以及与之对应的SQL/Python函数。

第二篇数据分析—技巧篇。主要简单讲解我认为很有新价比的功能，提高工作效率。

第三篇数据分析—实战篇。主要将前两篇的内容以实战方式进行，简单地进行了一次数据分析。数据源采用了真实的爬虫数据，是5000行数据分析师岗位数据。

下面是为了以后更好的基础而附加的学习任务。

了解单元格格式，后期的数据类型包括各类timestamp，date，string，int，bigint，char，factor，float等。

了解数组，以及怎么用（excel的数组挺难用），Python和R也会涉及到 list。

了解函数和参数，当进阶为编程型的数据分析师时，会让你更快的掌握。

了解中文编码，UTF8和ASCII，包括CSV的delimiter等，以后你会回来感谢我的。

养成一个好习惯，不要合并单元格，不要过于花哨。表格按照原始数据、加工数据，图表的类型管理。

如果初步学习可以加群710219868代号风火领学习资料

第二周：数据可视化

数据分析界有一句经典名言，字不如表，表不如图。数据可视化是数据分析的主要方向之一。除掉数据挖掘这类高级分析，不少数据分析就是监控数据观察数据。

数据分析的最终都是要兜售自己的观点和结论的。兜售的最好方式就是做出观点清晰数据详实的PPT给老板看。如果没人认同分析结果，那么分析也不会被改进和优化，不落地的数据分析价值又在哪里？

首先要了解常用的图表：

各类图表的详细介绍可以查看第四篇文章：数据可视化：你想知道的经典图表全在这

了解图表后，还应该学会报表制作，这里准备了第五篇：数据可视化：打造高端的数据报表。将教会大家Excel的高级图表用法。

如果还不过瘾，我们得掌握信息图和BI

BI（商业智能）和图表的区别在于BI擅长交互和报表，更擅长解释已经发生和正在发生的数据。将要发生的数据是数据挖掘的方向。

BI的好处在于很大程度解放数据分析师的工作，推动全部门的数据意识，另外降低其他部门的数据需求（万恶的导数据）。

BI市面上的产品很多，基本都是建立仪表盘Dashboard，通过维度的联动和钻取，获得可视化的分析。第六篇：数据可视化：深入浅出BI 将以第一周的实战数据学习BI，上图的就是学习后的成果。

数据可视化的学习就是三个过程，了解数据（图表），整合数据（BI），展示数据（信息化）。

可视化也和审美息息相关，很多直男代表并不擅长做图，没关系，抽空可以看书：数据之美 (豆瓣)

PPT也别落下，Excel作图多练习，不会有坏处的。

本文源自陈老师遇到的真实案例。

老板说：“我们今年准备参加展会，做一年。以前我没参加过，没关系，这里有一份展会数据，你回去分析下哪些有价值，后边组织的时候有个指导”。现在你收到任务了，咋办？

一

屏

幕

思

考

时

间

第一步：拿到问题，先干什么？

5K表哥：“好嘞，我回去研究一下数据”

15K分析师：老板，我们做展会的目标是什么啊？是准备促业绩，还是做推广？促业绩我们考核意向成单还是实际成单？做推广，我们如何考核推广效果？是微信关注人数、还是获得销售线索数，还是……？如果两个都有，哪个更重要？如果一定要丢一个会丢哪个？

第二步：看到数据，思考什么

5K表哥：“恩，我是用层次分析法评价呢，还是建一个模型呢？要用什么模型呢？有没有模板可以参考呢？哪里有模板呢？”

15K分析师：“这个数据是从哪里来的？谁统计的？预计参与人数怎么预计？”

第三步：数据不够，要怎么办？

5K表哥：“回到眼前，这数据也太少了吧，手头的表格只有展会名称，举办方，参展预计人数，展会级别，展会主题等几个字段，好像也分析不出什么来”

15K分析师：“经查，数据是可信的，还可以用。看起来这里还有些字段可以做处理，比如展会参展人数，找一些参加过展会的人了解，1万人以上就算大型了，5千左右算中型，那可以先分个大中小。组织者级别可以分成高级，中级，初级。恩恩，还有其他一些字段，处理完再说。”

第四步：抓着数据，怎么分析？

5K表哥：“额，不知道咋分析，拍脑袋好了”

15K分析师：“依据现有的信息，可以列举三个假设：”

假设1：展会人数多的，成单量会高

假设2：展会级别高的，成单量会高

假设3：展会组织者专业度高的，成单量会高

依据这三个假设，可以先建议ABC三场会议参加，预计A的成单量最好，未来以A为成单参照。现场参与人员，需协助收集XXX信息，以辅助事后分析。

第五步：事后总结怎么做

虽然目前还没有真实开展，但是可以预计到，未来的总结会这么做

5K表哥：“额，谁有展会活动的总结模板啊，求一个模板”

5K表哥：“老板又说我考虑的不周全，可是数据就这么多啊！怎么周全”

5K表哥：“老板又让我修改，我快崩溃了，改了16版了”

15K分析师：“针对预期成单目标，本次达成率为x%，达成目标”

15K分析师：“对比两次活动，可见XX假设是不成立了，展会专业度比人数更有利于成单”

15K分析师：“未来可集中向专业度高的行业性展会，预计节省参展成本X万元，增加成单XXX万元”

——全文当然还没有完——

所以差别在哪里？差别就是等靠要和主动性的区别

差别是优秀的数据分析师不但有良好的职业知识，更有优异的职业素养

这种职业素养体现在九个方面：

收到任务时

目标明确：凡事必有一个目标，不能含糊，不能一锅炖，不能高大全。目标不清是万恶之源。

目标清晰：可量化，可追踪，可对比。可量化才能分析，不可量化是扯皮之源。

目标聚焦：有先后，有重点。如果有两个目标，那么两个之间要排先和顺序，如果有三个，三个必须要有重点。越多的目标，意味着事情本身越难达成，也意味着分析时候会越混乱。

数据处理时

清晰含义：清晰名称-来源-计算方式。避免歧义，防止错误是一切分析的基础。

重视收集：尽可能收集数据，提高质量。没有数据确实很难分析，优质的数据能极大的帮助分析，不加管理的垃圾数据只会把分析带沟里去。

解读含义：分类解读，找到数据后业务含义。很多分析师被业务部门嫌弃，就是因为只知道出数字，不懂得解读数据背后的含义。月消费10000和高消费群体，对业务部门是完全不同的两个概念，只有多多找含义，才能更好地找到数据的价值。

输出报告时

树立标杆：树立明确的评价标准。凡是涉及到“好”“坏”“高”“低”的，一定要有参照物，一定要有标杆，因为本身这些词语都是相对比较的词，而且很大几率和领导的个人看法有关系。如果不设标杆，在事后总结评估的时候就会陷入无休无止的口水战和扯皮里边去。

明确假设：设计待数据验证的假设。有了假设，分析的时候才容易总结，才容易看出来哪些路子是容易走通的，哪些是可能有坑的，才能在多次实验中沉淀下经验。

逐步迭代：每次分析，不断验证假设，沉淀经验。经验是越积累越多，越积累越丰富的。好的分析师知道把每一次经验总结起来，让自己的判断越来越准。

数据分析师的本质就是：用数据和逻辑代替拍脑袋，用系统和科学取代神秘主义，因此9条要点中有7条都和清晰明确有关。

数据分析师的价值在于：以数据指导工作，从数据找到方法。因此不能仅仅就数论数，而是要看清楚数据背后的含义，找到业务部门思考的脉络，这样才能让分析更接近业务部门的需求，让建议更贴合实际情况。

数据分析师的要求是专业，专业不仅体现在懂计算，懂代码，懂操作，更体现在深入全面的考虑问题，循循善诱的解答问题，因此面对业务部门的咨询的时候，保持头脑冷静，保持耐心，抽丝剥茧的问话，本身就是专业性的体现。

与大家共勉。

在前面写了《聊聊我的R语言学习路径和感受》一文，很多朋友在公众号后台给我留言，问如何学习数据分析、如何转行数据分析、如何快速的掌握数据分析技能等等类似的问题。为了回答这些问题，就在这里跟大家聊聊我个人从事数据分析行业后的一些感受和建议。也欢迎各位看官提出你自己的想法和经验，帮助到其他同行的朋友。

感受1：SQL很重要

SQL很重要！SQL很重要！SQL很重要！重要的事说三遍，数据库查询对于一个数据分析师来说真的是必备技能。没有它，你的工作真的非常难找，往往在面试的时候，对方都会出一些数据库相关的问题。数据库之所以重要，那是因为你工作中所需要分析的数据基本都是来自于数据库，如果你不会从数据库查询，就等同于“巧妇难为无米之炊”。

学习建议

数据库目前在市面是有很多种，如Oracal、SQL Server、MySQL、Hive等，并不是都要一一学个遍，因为它是结构化的查询语言，各种数据库的语法都非常相似，可以说是一通百通。如果你想从事数据分析岗，但又没有接触过数据库（学生或准备换行的朋友），建议你下载一个MySQL的社区版本（https://dev.mysql/downloads/mysql/），然后买一本相对实战且基础的书籍（《SQL必知必会》）进行学习。这本书一共介绍了30个章节的内容，你只需重点吸收数据库的查询、修改、删除、插入、存储过程等知识点，我认为通过这些知识点的吸收和应用，基本上可以满足数据分析岗的面试要求了。当然对于老手来说，这本书里面也有很多其他值得学习和实战的例子（如存储过程、游标、事件、性能等）。

感受2：可视化显水平

数据可视化的技能，也是数据分析师的必备要求，因为枯燥的数据表肯定不如一张张图更吸引眼球，更何况这些报表更多的是给那些业务繁忙的Boss看。那报表的展现方式总不能每次发一个PPT给对方吧，如何让对方随时随地的查看到你的报表呢？Tableau！

它有两个强大的版本，一个是DeskTop版，即分析人员的可视化设计版本；另一个是Server版，即通过DeskTop将设计好的可视化报表上传至服务器，实现随时查阅报表的功能，而这两个版本的结合就能恰到好处的满足随时随地查报表。最大的好处是你无需编程即可完成高质量的可视化任务，只需通过简单的托拉拽，就让数据可视化想怎么玩就怎么玩。目前越来越多的企业，在招聘时，都会要求或注明有Tableau的使用经验。

学习建议

这里推荐《Tableau数据可视化从入门到精通》一书，这也是我看的众多Tableau书籍中比较好的一本，而且该书籍在售书平台上的评价也非常棒。该书一共16个章节，从基础的工具简介、数据读取、字段操作、函数使用到可视化实操，讲到了很多细节方面的内容，最后还以两个案例作为压轴戏，分别是“网上超市运营分析”和“网站流量统计分析”。这两个主题抓的非常贴切，一个从电商运营角度来思考常见的可视化问题；另一个则从网站运营角度来分析有哪些核心指标可供选择和及对应的展现方式。这两个角度都顺应了互联网时代下的需求，我相信当你读完并操作完数里面的案例，会对你的可视化能力有一个质的提升，也是进入数据分析行业的加分项。

感受3：Excel很普及

作为一个数据分析师或BI，其实很多工作内容都可以通过SQL提数和Excel的加工就可以任务完成，困难的是如何梳理好SQL的提数逻辑和灵活的应用Excel减轻你的工作量。之所以说它应用很普及，是因为它不仅仅是个装数据的容器，更多的是会借助于强大函数、可视化等帮你完成工作。

各式各样的字符串函数（LEFT、RIGHT、MID、LEN、REPLACE、TRIM、FIND、SEARCH、CONCATENATE、REPT等）、数值函数（ABS、EXP、LOG、POWER、SQRT、CEILING、FLOOR、MOD、ROUND、SIGN等）、日期函数（DATE、YEAR、MONTH、DAY、WEEKDAY、WORKDAY、TODAY等）、统计函数（MIN、MAX、AVERAGE、MEDIAN、VAR.S、SUM、SUMIFS、COUNT、SKEW、NORM.DIST等）、匹配函数（ROWS、COLUMNS、MATCH INDEX、VLOOKUP）等可以让你在数据处理过程中变的非常简单而轻松；强大的可视化功能（如饼图、条形图、柱状图、折线图、面积图、散点图、气泡图、雷达图等）也会为你的数据分析助一臂之力，但面对大数据量时就显得非常捉急，这也是无法跟Tableau媲美的；灵活的宏功能，可以避免我们不断的做重复性工作，从而节约时间，提高我们的工作效率，宏语句是由一系列的命令和函数组织起来的，尽管它在工作中用的并不是那么的频繁，但一有机会，你去用它来开发报表或表计算的话，会大大提高你的成就感，当然，我希望你能够会一些宏语句，这样你身边的朋友或同事都会觉得你很了不起呢！

学习建议

这里向大家推荐《Excel函数与公式速查手册》和《Excel2016宝典》两本书。第一本书涵盖了近600个函数的讲解，而且这些函数都是借助于一个个实例来完成的，有助于读者的操作和理解，可以说，读完这本关于函数的书就可以在工作中使用函数时显得游刃有余；第二本光从书名就知道是一本知识点比较全面的书籍，该书涉及Excel的公式和函数、图表可视化以及Excel的各种设置。个人建议可以把这两本书当作工具来使用，没必要系统的过一遍，当你需要某个知识点时，从目录去查找相关关键词，然后操作几遍就记得如何使用了。

数据挖掘秀肌肉

我相信，当你找数据分析相关的工作岗位时，基本上都会看见对方要求你会数据挖掘或数据建模方面的能力，同时也会附上一条熟练使用Python、R等工具。此时你会掂量掂量自己，这方面的技能我会吗？工具使用的熟悉程度能够达到对方的预期吗？我有哪些相关的建模经验？

在面试或工作中比较常见的数据挖掘算法有四类，分别是预测、分类、聚类和关联，个人觉得前两类的使用频率会更高一些。这里提几个重要的挖掘算法：线性回归、Logistic回归、决策树、贝叶斯、SVM、随机森林、K均值和关联规则。希望不熟或不会数据挖掘的朋友可以先从这几个着手学习，而且学习的时候先通过代码完成落地，然后再去慢慢研究其理论知识。

学习建议

如果你是统计学或经济学等类似专业的朋友，建议你去学习R语言，而如果你是计算机专业或理工科的朋友，则建议你去学习Python。因为这两个工具的思维有一点点差异，毕竟R语言是由统计学家创建的（偏向于函数概念），而Python是由计算机学家创建的（偏向于类概念）。而且又有一些相似性，同时学习的话会比较容易混淆。如果你选择R语言的话，这里推荐《R语言实战》和《机器学习与R语言》这两本书，前一本书偏向于语法编程，同时也会含有案例来说明统计学方面的知识点，后一本则通过实战的方式来介绍常用的数据挖掘技术，能够助你快速的进入R语言的挖掘状态；如果你选择Pythond的话，同样介绍两本书，即《利用Python进行数据分析》和《Python数据分析与挖掘实战》，第一本更多的是介绍数据分析方面的Python库，如numpy、pandas和matplotlib，这也是一本基础书，第二本则是教你如何按部就班地完成每一个实战案例，具有代入感，让读者学习起来很顺畅；如果你还想补一补数据挖掘的理论知识，则推荐《数据挖掘概念与技术》，个人看了好几遍，不是很难，有比较好的操作性。

OK，如上就是我从事数据分析岗位的一些学习经验和感悟，希望对各位读者有一点点的帮助。学习是一种投资，需要耐得下性子，坐得住板凳，敲得住键盘，同时，还要不断的坚持。只有这样，我相信一定会成为数据分析或挖掘的强者。

End.

作者：刘顺祥（中国统计网特邀认证作者）

点击下面链接 查看历史文章

一文综述数据科学家必备的10大统计技术：线性回归、分类、无监督学习...

【漫画版】12星座程序员写代码

怎样成为知乎大V？爬取张佳玮138w+知乎关注者：数据可视化

一步一步教你分析消费者大数据

1、深入浅出数据系列书籍

深入浅出数据分析

入门级别，比较简单，但基本的内容涉及全面，讲解的比较清晰，最后谈到了R语言。以下两本是同一系列。

深入浅出统计学

深入浅出SQL

2、资料之美：优雅资料解决方案的幕后秘籍

知识普及性的书籍，集结了39位数据处理领域的翘楚，现身说法，分享他们如何开发各种简约而优雅的解决方案克服各种挑战，每章都解决一个具体问题，对理解数据分析的应用领域和具体做法很有帮助。

3、R 语言实战

全面而细致的R指南，高度概括了该软件和它的强大功能，展示了使用的统计示例，且对于难以用传统方法处理的凌乱、不完整和非正态的数据给出了优雅的处理方法。

4、数据之魅-基于开源工具的数据分析

包含大量的模拟过程及结果展示，并通过实例来阐述如何使用开源工具来进行数据分析。通过本书的阅读，读者可以清楚地了解这些方法的实际用法及用途。

5、数据挖掘技术:应用于市场营销、销售与客户关系管理

如何利用最新的数据挖掘方法和技术来解决常见的业务问题。

比如提高营销活动的响应率，识别新的客户群并估算信用风险。此外，它涵盖更多高级主题，如准备分析数据以及为公司数据挖掘创建必要的基础架构。

6、Python数据科学手册

每章介绍一到两个Python数据科学中的重点工具包。适合有编程背景，并打算将开源Python工具用作分析、操作、可视化以及学习数据的数据科学研究人员。对于需要处理大量数据的人而言，这是一本非常有价值的工作书，可以有效率地处理每天面对的问题，像是操作、转换，以及清理数据、可视化不同形式的数据，建立统计学或机器学习的模型等等。

7、用数据讲故事

通过大量案例研究介绍数据可视化的基础知识，以及如何利用数据创造出吸引人的、信息量大的、有说服力的故事，进而达到有效沟通的目的。如何充分理解上下文，如何选择合适的图表，如何消除杂乱，如何聚焦受众的视线，如何像设计师一样思考，以及如何用数据讲故事。

8、利用Python进行数据分析

提供了大量的实践案例研究，展示如何使用Python库（如NumPy，pandas，matplotlib, IPython等）有效解决一系列数据分析问题。

9、机器学习实战

用简单的语言把复杂难懂的机器学习算法解释清楚了，它将机器学习的基础理论与日常数据分析的实际工具相结合。使用灵活的Python编程语言来构建实现数据分类、预测、建议以及汇总和简化等更高级功能的算法的程序。

10、机器学习系统设计

比较简单，使用Python进行机器学习并开始构建自己的机器学习项目。本书适用于机器学习初学者的Python程序员，但希望学习机器学习。

最后，花时间将这些中外文书籍吃透，数据分析理论部分就基本入门了，实践方面就需要根据企业业务需求来进行系统的练习和学习！

来源：数据猿 作者：abby

从游戏产业诞生开始，数据分析就一直伴随游戏的研发和运营的全过程。 2001 年，盛大网络通过《热血传奇》开启了中国网络游戏产业。网络游戏的 24 小时在线和高度的用户互动，为游戏数据分析提供了前提条件；通过数据分析输出的结果，及时有效地反馈到游戏的研发设定和线上社区，形成了良性和有效的循环。

早在2003年，盛大网络向行业输出了 PRAPA 分析模型，针对游戏的用户推广（Promotion）、注册用户（Register）、活跃（Active）、付费（Pay）、平均用户收益（ARPU）进行有效的分析指导，为游戏行业的成熟提供了标杆。在当时的盛大内部，我们针对游戏的用户体验瓶颈环节，设立“卡外掉充安”（卡机、外挂、掉线、充值、安全）专项，通过数据分析不断进行验证和调整，使得用户体验满意度持续行业领先。

同时，游戏数据分析还指导着产业变革。在2005年，盛大率先变革游戏商业模式，从之前的时长计费变为道具收费，这意味着之前的逾10亿元年收入归零后重新开始。在此之前，公司内部已进行了超过半年的数据分析和业务试点，最终全面施行，深刻影响了游戏产业。伴随数据分析技术的发展、游戏形态从端游到手游的进化、渠道与社交网络的演进，基于大数据的用户画像和数据多维交叉分析，为游戏的精细化运营提供了新的契机和动力。

而《游戏数据分析实战》的作者黎湘艳就是盛大游戏数据分析专家，从事游戏行业16年，历经多种岗位，亲历了中国游戏行业从萌芽到蓬勃发展的历程。她在本书中集结了她完整的数据分析思想及50多个游戏项目数据支持的积累提炼。

《游戏数据分析实战》贯穿整个游戏生命周期，提供了丰富的数据分析案例，从预热到封测，再到公测， 均为作者在实际工作中经历的真实案例。案例分析包含数据来源、分析方法、分析过程、分析结论及小结。通过学习本书不但能较深入地学习数据分析方法，还能了解到运营和市场的相关知识。

该书主要分为三部分：

第一部分：主要介绍游戏数据分析相关指标体系，通过这套体系，可以初步监控游戏整体运营情况；

第二部分：主要介绍游戏正式发行前期的市场调研、渠道用户质量分析、竞品分析及投资收益预测，对游戏品质进行定位，评估正式上线后的效果；

第三部分：主要对游戏正式发行后的用户流失、活跃用户分类、付费习惯、版本迭代效果、区服合并等主要问题进行深入探讨，实现游戏的精益化运营。

该书的特色是以详细案例为主，通过SPSS、Excel 等工具逐步展示实施步骤，用手把手的方式让读者快速掌握游戏数据分析方法。

适读人群：

黎湘艳，盛大游戏数据分析专家，从2008年开始在盛大游戏从事数据分析工作，先后主持或参与50多款游戏的数据分析工作，主要产品有：《热血传奇》《传奇世界》《龙之谷》《永恒之塔》《最终幻想14》《血族》《超级地城之光》《Love Live》《城与龙》等。

叶洋，游卡桌游资深数据分析师，具有7年游戏行业数据分析、数据挖掘工作经验。

购买链接：https://item.jd/12248029.html

随着大数据相关技术的发展，大数据在行业内的应用越来越广泛，大数据又分为数据采集、数据清洗、数据存储、数据建模、数据呈现等多个环节。

由于缺乏对应的大数据人才，以及国家对大数据的支持，目前很多人都开始关注大数据领域。考虑到很多人想了解大数据，我们特地准备了一个关于大数据可视化分析的项目实战课，里面包含多个大数据分析项目的讲解和演示，每周两到三次。具体的信息说明在最后。

往期大数据分析项目展示：

大数据项目实战案例一：二手房交易数据分析

大数据项目实战案例二：数据可视化职位分析

大数据项目实战三：智慧城市运营中心项目

大数据项目实战案例四：空气质量监测

大数据项目实战案例五：全国IT行业招聘信息分析

项目知识点：大数据分析，大数据可视化呈现。在哪里学习？大数据项目实战467095527

我们所处的这个时代，是一个知识大爆发的时代。仅就编程这项技能来说，现在几乎人人都能写上一两行，程序员这个群体也比十年前有了更多维度上的扩展。所以面对热门的大数据技术，有必要多做了解，多学习，才有利于长远的发展。