小编将此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。

根据数据应用的不同阶段，本文将从数据底层到最后应用，来谈谈那些数据人的必备技能。

1、大数据平台

目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。

目前很多企业都把数据采集下来了，对于传统的业务数据，用传统的数据是完全够用的，可是对于用户行为和点击行为这些数据或者很多非结构化的数据，文本、图像和文本类的，由于数据量太大，很多公司都不知道怎么进行存储。

这里面要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之间如何耦合和解耦，如何进行容灾、平台稳定、可用是需要重点考虑的。

我的感觉是：最近两三年中，这块人才还是很稀缺的，因为大数据概念炒作的这么厉害，很多企业都被忽悠说，我们也来开始进入大数据行业吧。进入的前提之一就是需要把数据存储下来，特别是很多用户行为方面的数据，对于业务的提升比较明显的，如果你能很好的刻画用户，那么对你的产品设计、市场营销、开发市场都是有帮助的。现阶段，很多公司都要做第一步：存储更多的数据。这也是这块人员流动性比较高的原因，都被高薪挖走了。

这块工作最被吐槽的一点就是：Hive速度好慢，SQL查询好慢，集群怎么又挂掉了，hadoop版本升级后，怎么数据跑出来不对了等等。

如果想在这块做的很好，还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力，可以打入开源社区，这样就可以随时follow最新的潮流和技术。

2、数据可视化

这是个很炫的工作，最好是能懂点前端，比如js。数据可视化人员需要有很好的分析思维，不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多，所以没有特别深入的感悟，不过我觉得这个岗位需要有分析的能力，才能把可视化做好。

另外一方面来说，做数据应用的人都应该懂点数据可视化，要知道观点表达的素材顺序是：图片>表格>文字，一个能够用图片来阐述的机会千万别用文字来描述，因为这样更易于让别人理解。要知道，给大领导讲解事情的时候，需要把大领导设想成是个“数据白痴”，这样才能把一件事情说的比较生动。

3、数据分析师

对于数据分析师的定位：个人认为，成为优秀的数据分析师是非常难的，现在市面上也没有多少优秀的分析师。数据分析师的技能要求，除了会数据分析、提炼结论、洞察数据背后的原因之外，还需要了解业务，懂算法。

只有这样，当面对一个业务问题时，数据分析师们才可以针对问题抽丝剥茧，层层递进去解决问题，再根据定位的问题进行策略的应对，比如是先做上策略进行测试还是应用算法进行优化，用算法用在哪个场景上，能不能用算法来解决问题。

一个优秀的数据分析师，是个精通业务和算法的全能数据科学家，不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。我们都说分析要给出结论，优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施，同时很多需求是分析师去主动发现并通过数据来挖掘出来的。

从上述描述中，可以看到对数据分析师的要求是：会写sql拉数据，精通业务、会数据洞察、精通算法，主动性强，要求还是很高的。

4、数据挖掘/算法

对于这个岗位的技能要求来说，没有要求你一定要从零开始实现所有的算法，现在有很多现成的算法包进行调用。最基本的要求是，你要知道每个场景会用到哪个算法，比如分类场景，常用的分类算法就有LR/RF/Xgboost/ET等等，此外，你还要知道每个算法的有效优化参数是什么、模型效果不好的时候怎么优化。还需要有算法的实现能力，语言方面可以用Scala/python/R/Java等。我们常说：工具不重要，重要的是你玩工具，不是工具玩你。

另外针对有监督式学习算法，算法工程师最好有很好的业务sense，这样在feature设计的时候才能更有针对性，设计的feature才有可能有很好的先验性。

以上说了这么多，唠叨了这么多，其实核心就是：如何用数据创造价值，如果你没有用数据创造价值的能力，那么就只能等着被数据淹没，被数据拍死在职场上，早早到达职业的天花板。大数据学习群142973723大数据必学技术

Hadoop生态体系

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。

Hadoop “栈”由多个组件组成。包括：

1· Hadoop分布式文件系统（HDFS）：所有Hadoop集群的默认存储层;

2·名称节点：在Hadoop集群中，提供数据存储位置以及节点失效信息的节点。

3·二级节点：名称节点的备份，它会定期复制和存储名称节点的数据，以防名称节点失效。

4·作业跟踪器：Hadoop集群中发起和协调MapReduce作业或数据处理任务的节点。

5·从节点：Hadoop集群的普通节点，从节点存储数据并且从作业跟踪器那里获取数据处理指令。

Spark生态体系

Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark是在Scala语言中实现的，它将Scala用作其应用程序框架。与Hadoop不同，Spark和Scala能够紧密集成，其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。

Storm实时开发

Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。

Storm有如下特点：

编程简单：开发人员只需要关注应用逻辑，而且跟Hadoop类似，Storm提供的编程原语也很简单

高性能，低延迟：可以应用于广告搜索引擎这种要求对广告主的操作进行实时响应的场景。

分布式：可以轻松应对数据量大，单机搞不定的场景

可扩展：随着业务发展，数据量和计算量越来越大，系统可水平扩展

容错：单个节点挂了不影响应用

消息不丢失：保证消息处理

还会学习到SPARK\HIVE\HBASE等技术

近几年大数据发展趋势不容小觑，随着国家政策的支持以及相关行业的发展，大数据行业中紧缺大数据人才，所以大数据成为一门很火的课程，很多人都想通过培训的方式学习大数据分析，想要通过学习使自己获得一技之长，掌握一门技术，也是在社会上立足的一个筹码或者上升的一种方式，撇开这些，我们最关心的还是大数据培训费用的问题，但是不知道大数据培训多少钱？今天，我们就来聊一聊大数据培训课程费用贵不贵，大数据培训多少钱？对于此类职业技能的培训，实话说，一般价格不菲。原因简单，首先是此类培训投入的资金和设备等条件的成本很高，并且都属于针对性很强的专业培训。很多学员担心学费太贵，学费确实是很重要的一部分，但是能否真正的学到大数据知识，能否获得就业也是至关重要的，不要只看大数据培训学费便宜，小心掉入大数据培训陷阱，之后花了钱还没学到技术，这样得不偿失，所以学到技术才是王道。

小班授课，理论+实践学习智汇云校专注于大数据培训机构，因为大数据作为一门新兴技术，其技术门槛是较高的，一个零基础的人基本不可能通过网络上学习就达到一个比较好的效果。除了小班教学之外，还以项目式教学为宗旨，手把手辅导学员，进行大量的案例操作，保障学员不光学会书本上的知识，更具有实际操作的能力。大数据培训课程 大家都知道大数据课程真的很重要，这不单止是关乎就业问题，还有关乎你的未来事业，很多不知名的学校都是用一些3,5年前的课程来讲课，早已脱离了企业的需求，科技时代技术更新快，就是需要不断更新，不断挖掘更新更前沿的技术。智汇云校的大数据课程都是根据现在企业需求来定制课程的，讲师都是聘请一些教学经验多年的，了解最前沿的技术，知识经验丰富，通俗易懂，上手快，就业都是直接推荐给大公司，在这方面学员都是可以不用担忧的。

师资力量师资力量是一个大数据培训机构的重要组成部分，专业的老师在教学理念、大数据课程框架构造，都是比较专业的，根据自身多年的项目开发研究和教学经验都是促成导师的一个关键。 大数据培训收费基于实战项目是大数据分析培训要多少钱的衡量标准之一，学习大数据，不进行大数据实践项目，那也是等于纸上谈兵、闭门造车。市面上很多大数据培训机构属于半路出家，并没有专门的大数据实验室和大数据实战项目锻炼学员实践能力，对于很多大数据学员来说都不能起到学以致用的作用。懂行的人都知道，做过大型项目的导师都是很专业的，也有很多业内人士把一线项目作为评定大数据导师专业的其中一个标准，师资力量的强大和稳固也在一定程度上影响着大数据培训机构的收费标准。

就业保障 就业保障是可以看出培训机构的很多方面，比如好的就业率可以看出从这家培训机构出来的学员技术如何，现在这个社会虽然说IT人才需求量很大，但是也不是说懂一点点就能入职的。还可以看出这家公司的实力如何，因为一家培训机构可以和多家大公司打成合作关系推荐学员，那么必然是得到了这家公司的认可，竟然大公司都认可了，你还有什么可以挑剔的呢？

大数据培训多少钱

一般来说，大数据学费在1.5-2万多左右，因为针对不同的课程，不同人的基础所开设的课程也不尽相同，不过目前市面上的大数据培训机构，收费没有统一的标准，所以费用会有一个波动的起伏情况，在选择大数据培训机构的时候，不能光看大数据培训多少钱，因为学会大数据知识之后，收益将是一辈子的事情。

领取智汇云校三天免费试听大数据培训课程，不用花一分钱先让你试听，满意再入学。

1.Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：

熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；

学完此阶段可解决的现实问题：

搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；

学完此阶段可拥有的市场价值：

具备初级程序员必要具备的Linux服务器运维能力。

1.内容介绍：关注作者：需要大数据学习视频资料可以加我QQ群，此文里面连起来的数字，你会找到我的

在大数据领域，使用最多的操作系统就是Linux系列，并且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。

2.案例：搭建互联网高并发、高可靠的服务架构。

2.离线计算系统课程阶段

1. 离线计算系统课程阶段

Hadoop核心技术框架

学完此阶段可掌握的核心能力：欢迎加入722680258零基础到项目实战

1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用；2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发；3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发；4、掌握Hive数据仓库工具的工作原理及应用开发。

学完此阶段可解决的现实问题：

1、熟练搭建海量数据离线计算平台；2、根据具体业务场景设计、实现海量数据存储方案；3、根据具体数据分析需求实现基于mapreduce的分布式运算程序；

学完此阶段可拥有的市场价值：

具备企业数据部初级应用开发人员的能力

1.1 HADOOP快速入门

1.1.1 hadoop知识背景

什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍

国内外hadoop应用案例介绍

分布式系统概述、hadoop生态圈及各组成部分的简介

1.1.2 HIVE快速入门

hive基本介绍、hive的使用、数据仓库基本知识

1.1.3 数据分析流程案例

web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现

1.1.4 hadoop数据分析系统集群搭建

集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试

HIVE的配置安装、HIVE启动、HIVE使用测试

1.2 HDFS详解

1.2.1 HDFS的概念和特性

什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景

1.2.2 HDFS的shell操作

HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍

1.2.3 HDFS的工作机制

HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程

NAMENODE工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工作机制、DATANODE动态增减、全局数据负载均衡

1.2.4 HDFS的java应用开发

搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统

1.3 MAPREDUCE详解

1.3.1 MAPREDUCE快速上手

为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式

1.3.2 MAPREDUCE程序的运行机制

MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化

通过以上各组件的详解，深刻理解MAPREDUCE的核心运行机制，从而具备灵活应对各种复杂应用场景的能力

MAPREDUCE实战编程案例：通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下：

通过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现：

1.4 HIVE增强

1.4.1 HIVE基本概念

HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制

1.4.2 HIVE基本操作

HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例

1.4.3 HIVE高级应用

HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计

HIVE实战案例--级联求和报表实例：

离线数据挖掘系统

学完此阶段可掌握的核心能力：

1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程

学完此阶段可解决的现实问题：

1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;3、根据具体需求搭建起整套离线数据分析系统;4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现

学完此阶段可拥有的市场价值：

具备企业数据部中高级应用开发和初级架构师能力

2.1 数据仓库增强

2.1.1 数据仓库及数据模型入门

什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构

2.1.2 数据仓库设计

建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构

典型数据模型——星型建模实例

2.1.3 数据仓库建模样例

业务建模、领域建模、逻辑建模、物理建模

web点击流日志分析系统数据仓库设计实战：

通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型

2.2 离线辅助系统

2.2.1 数据采集系统

数据采集概念介绍

FLUME日志采集框架介绍、FLUME工作机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例

2.2.2 任务调度系统

任务调度系统概念介绍、常用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例

2.2.3 数据导出

数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量作业操作

2.3 web点击流日志分析系统实战项目

2.3.1 项目介绍

1. 在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。

2. 各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值。

3. 本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的全部流程。

2.3.2 需求分析

什么是点击流日志、点击流日志的商业价值、点击流日志分析需求

业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析

2.3.3 系统设计及开发

1. 系统架构设计

2. 数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现

3. 数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现

4. 数据统计设计及开发——数据预处理、数据加载、原始数据表的创建、数据入库、数据ETL

5. 报表统计设计——数据模型设计、事实表设计、维度表梳理

6. 业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析

2.3.4 任务调度系统设计实现

任务调度单元实现、各环节任务运行频次及依赖关系梳理、工作流设计及实现、工作流定义配置上传部署、工作流启动即状态监控

2.3.5 数据可视化——结果报表展现

1. hive分析结果使用sqoop导出到msyql数据库

2. 报表展现系统技术选型：

后台使用spingmvc + spring + mybatis

前端页面使用全静态异步刷新技术jQuery + Echarts

3. web展现程序架构搭建，使用maven构建项目工程

4. web展现程序页面设计开发：原型页面设计、js代码开发

5. 最终实现以下数据可视化效果：

(1)流量概况可视化效果：

(2)来源地域分析可视化效果：

(3)来源类型分析可视化效果：

3.Storm实时计算部分阶段

实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。

1.流式计算核心技术

流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。

学完此阶段可掌握的核心能力：

(1)、理解实时计算及应用场景

(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理

(3)、具备Kafka与Storm集成使用的能力

学完此阶段可解决的现实问题：

具备开发基于storm的实时计算程序的能力

学完此阶段可拥有的市场价值：

具备实时计算开发的技术能力、但理解企业业务的能力不足

1.1、流式计算一般结构

2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。如果庞麦郎在的话，他一定会说，这就是我要的滑板鞋!

上图是流式分析的一般架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。一般情况下，我们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习

1.2、流式计算可以用来干什么

一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是通过每天在云梯上定时运行的MR job来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。

携程-网站性能监控：实时分析系统监控携程网的网站性能。利用HTML5提供的performance标准获得可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，通过历史数据对比等判断规则，触发预警事件。

一个游戏新版本上线，有一个实时分析系统，收集游戏中的数据，运营或者开发者可以在上线后几秒钟得到持续不断更新的游戏监控报告和分析结果，然后马上针对游戏的参数和平衡性进行调整。这样就能够大大缩短游戏迭代周期，加强游戏的生命力。

实时计算在腾讯的运用：精准推荐(广点通广告推荐、新闻推荐、视频推荐、游戏道具推荐);实时分析(微信运营数据门户、效果统计、订单画像分析);实时监控(实时监控平台、游戏内接口调用)

为了更加精准投放广告，阿里妈妈后台计算引擎需要维护每个用户的兴趣点(理想状态是，你对什么感兴趣，就向你投放哪类广告)。用户兴趣主要基于用户的历史行为、用户的实时查�...

随着互联网IT行业的发展，越来越多的人选择入坑互联网，大数据开发工程师是一个很好的选择。

大数据是什么意思？

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性(Veracity)。 大数据分析师：简单的来讲是一群能通过数据分析技术和方法从海量数据里面挖掘和找出数据潜在价值或商业价值的人。

大数据分析师秉承着总结凝练最先进的商业数据分析实践为使命，明晰各类数据分析从业者的知识体系为职责。本课程就是为了这个目标而量身订做的。旨在加强全球范围内正规化、科学化、专业化的大数据及数据分析人才队伍建设。旨在全面培养能在互联网、零售、金融、电信、医学、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据分析人才。

但是很多没有基础的同学都会选择先去培训机构培训，今天容大教育小编先来给大家讲一下零基础学习大数据可以学会吗。

近年来，随着互联网的迅猛发展，大数据以爆炸方式增长，数据量已经从TB级别跃升到PB乃至ZB级别。（1TB=1024GB1PB=1024TB，1EB=1024PB）全球数据总量增长率将维持在50%左右；到2020年，全球的数据总量将达到40ZB。随着一系列政策的出台，大数据国家战略正在加速落地，大数据产业发展机遇空前。

现在许多传统行业的人士包括大学生群体多数瞄向了IT产业，如web全栈、人工智能、云计算等，在了解大数据培训课程期间也在担忧大数据会不会太难，自己没有基础能不能学会等疑问，那么下面给大家分析一下。

一、学习大数据培训课程是否有难度？

对于陌生领域通过学习掌握都是有难度的，就好比打新款游戏也一样，刚开始我们也总是操作不当，大数据也一样，刚开始我们要学习其语言、语法，因为他是计算机语言，需要一定的时间适应、摸索，等我们掌握基础之后就会感受到它的乐趣。

二、零基础是否能学会大数据培训课程

我们不得不承认，所有在职的大数据工程师、大数据讲师都是从零基础开始的，我们获取技术也是从职高院校、大学学各行各业的技术循序渐进开始的，那么大数据也一样，可以通过自学或者选择培训机构的方式选择进行学习，大多数培训机构在大数据培训课程设计上都是针对零基础由浅到深进行设计教学模块，培训机构的使命也是如此，通过自己的教学团队把技术传授给想学习的童鞋，不然培训机构便失去了其存在的意义。

因此，零基础是可以学会并且也可以学好大数据培训课程的，需要强调的一点是，进了培训机构并不意味着我们可以高枕无忧，依然需要我们拿出100%的精力刻苦研读，不断实践操作才会有长足的进步。

以上就是容大教育大数据在线学习小编给大家分享的文章，希望对小伙伴们有所帮助。

大数据具体是怎样的存在，不同的人，不同的立场有不同的看法。也可以抽象为大数据不仅仅是一种概念那么简单，更是一种方法。最终的目的就是通过分析和挖掘全量的非抽样的数据辅助服务决策。

很对人对于大数据没有清晰的认识，大数据一方面是基于海量的数据，另一方面最为重要的最有就是能我们是生活变得更加方便，能够依据个人喜好偏好，推荐为你有用的信息，减少我们搜寻浪费的时间，也能提高工作效率，筛出无用数据。随着IT互联网的发展，数据信息的不断增加，数据的积累越来越多，处理速度也越来越快，对数据从不同维度运用不同模型进行分析处理，数据结果也更加准确，而最终使的数据为我们的决策服务。大数据学习资料分享群119599574

同时依靠大数据企业和公司可以通过互联网非常方便的搜集信息，然后进行筛选调研，问答然后做出更加完善的产品，产品的更新周期也会大大缩短，省去了之前花费大量人力财力去市场调研的繁琐，同时这种结果也更加清晰准确。

大数据分析的五个基本方面：

1.大数据挖掘

大数据最主要的就是数据挖掘，这也是其核心所在。同时依据不同的格式和数据类型，使得数据呈现更加科学的技术特点，因为有这些数据挖掘的算法才能更快速的处理大数据。

2.大数据语擎

大数据分析广泛应用于网络数据挖掘，精准判断用户需求。

3.大数据预测性分析能力

从大数据中挖掘出特点，大数据分析最终要的应用领域之一就是预测性分析，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4.大数据管理

高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

5.大数据可视化

可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。基于大数据庞大的数据量，大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理还需要依托云技术才能实现。

大数据的前景和意义也就不言而喻了，未来，大数据能够对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。源于互联网的发展，收集数据的门槛越来越低，收集数据变成一件简单的事情，这些海量的数据中是含有无穷的信息和价值的，如何更好的提炼出有价值的信息，这就体现大数据的用途了。

“ 没有任何人任何事能够阻碍大数据、互联网。”马云爸爸在 2017 世界智能大会上如是说。

IDC公司对大数据也进行了预测：大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。

目前，大数据及分析市场正迅猛发展，与此相关的毕业生也成为炙手可热的专业人才。而随着新的大数据技术正在进入市场，未来大数据发展方向千变万化。

时代瞬息万变，对于年轻人来说，该如何规划自己的未来？是否要抓住这个时代风口，成为大数据人才的一份子？

对于留学生而言，是否从事大数据领域的工作，关心的问题还包括：

▲大数据发展情况如何，未来有什么发展趋势？

▲大数据在金融、教育等各领域是如何应用的？

▲大数据人才需求现状是怎样的，具体有哪些岗位？

▲大数据人才需要哪些技能？

▲怎么知道自己适不适合做大数据？

▲大数据人才如何做职业规划？

▲非 data science专业的学生该如何做大数据？

▲想做大数据，大学期间应该学哪些课程？

对Business Analyst，Marketing Analyst，Data Analyst 方向感兴趣的学生;想从事金融、商业、市场、数据等分析师岗位的人

想了解更多

关注并私信我吧

虽然题主问的是大数据的入门，但在我看来“大数据”就是数据科学的一个高阶状态。以下内容中除个别情况，我基本上都会使用“数据科学”这个概念。数据科学并没有一个独立的学科体系，统计学，机器学习，数据挖掘，数据库，分布式计算，云计算，信息可视化等技术或方法来对付数据。但从狭义上来看，我认为数据科学就是解决三个问题：

1. data pre-processing;

2. data interpretation；

3.data modeling and analysis.

这也就是我们做数据工作的三个大步骤：

1、原始数据要经过一连串收集、提取、清洗、整理等等的预处理过程，才能形成高质量的数据；

2、我们想看看数据“长什么样”，有什么特点和规律；

3、按照自己的需要，比如要对数据贴标签分类，或者预测，或者想要从大量复杂的数据中提取有价值的且不易发现的信息，都要对数据建模，得到output。

这三个步骤未必严谨，每个大步骤下面可能依问题的不同也会有不同的小步骤，但按我这几年的经验来看，按照这个大思路走，数据一般不会做跑偏。

这样看来，数据科学其实就是门复合型的技术，既然是技术就从编程语言谈起吧，为了简练，只说说R和Python。但既然是荐数据科学方面的书，我这里就不提R/Python编程基础之类的书了，直接上跟数据科学相关的。

1R programming

如果只是想初步了解一下R语言已经R在数据分析方面的应用，那不妨就看看这两本：

R in action：我的R语言大数据101。其实对于一个没有任何编程基础的人来说，一开始就学这本书，学习曲线可能会比较陡峭。但如果配合上一些辅助材料，如官方发布的 R basics （http://cran.r-project.org/doc/contrib/usingR.pdf），stackoverflow上有tag-R的问题集（Newest 'r' Questions），遇到复杂的问题可在上面搜索，总会找到解决方案的。这样一来，用这本书拿来入门学习也问题不大。而且这本书作者写得也比较轻松，紧贴实战。

Data analysis and graphics using R：使用R语言做数据分析的入门书。这本书的特点也是紧贴实战，没有过多地讲解统计学理论，所以喜欢通过情境应用来学习的人应该会喜欢这本入门书。而且这本书可读性比较强，也就是说哪怕你手头没电脑写不了代码，有事没事拿出这本书翻一翻，也能读得进去。

但如果你先用R来从事实实在在的数据工作，那么上面两本恐怕不够，还需要这些：

Modern applied statistics with S：这本书里统计学的理论就讲得比较多了，好处就是你可以用一本书既复习了统计学，又学了R语言。（S/Splus和R的关系就类似于Unix和Linux，所以用S教程学习R，一点问题都没有）。

Data manipulation with R：这本书实务性很强，它教给你怎么从不同格式的原始数据文件里读取、清洗、转换、整合成高质量的数据。当然和任何一本注重实战的书一样，本书也有丰富的真实数据或模拟数据供你练习。对于真正从事数据处理工作的人来说，这本书的内容非常重要，因为对于任何研究，一项熟练的数据预处理技能可以帮你节省大量的时间和精力。否则，你的研究总是要等待你的数据。

R Graphics Cookbook：想用R做可视化，就用这本书吧。150多个recipes，足以帮你应付绝大多数类型的数据。以我现在极业余的可视化操作水平来看，R是最容易做出最漂亮的图表的工具了。

An introduction to statistical learning with application in R：这本书算是著名的the element of statistical learning的姊妹篇，后者更注重统计（机器）学习的模型和算法，而前者所涉及的模型和算法原没有后者全面或深入，但却是用R来学习和应用机器学习的很好的入口。

A handbook of statistical analysis using R：这本书内容同样非常扎实，很多统计学的学生就是用这本书来学习用R来进行统计建模的。

2Python

Think Python，Think Stats，Think Bayes：这是Allen B. Downey写的著名的Think X series三大卷。其实是三本精致的小册子，如果想快速地掌握Python在统计方面的操作，好好阅读这三本书，认真做习题，答案链接在书里有。这三本书学通了，就可以上手用Python进行基本的统计建模了。

Python For Data Analysis：作者是pandas的主要开发者，也正是Pandas使Python能够像R一样拥有dataframe的功能，能够处理结构比较复杂的数据。这本书其实analysis讲得不多，说成数据处理应该更合适。掌握了这本书，处理各种糟心的数据就问题不大了。

Introduction to Python for Econometrics, Statistics and Data Analysis：这本书第一章就告诉你要安装Numpy, Scipy, Matplotlib, Pandas, IPython等等。然后接下来的十好几章就是逐一介绍这几个库该怎么用。很全面，但读起来比较枯燥，可以用来当工具书。

Practical Data Analysis：这本书挺奇葩，貌似很畅销，但作者把内容安排得东一榔头西一棒子，什么都讲一点，但一个都没讲透。这本书可以作为我们学习数据分析的一个索引，看到哪块内容有意思，就顺着它这个藤去摸更多的瓜。

Python Data Visualization Cookbook：用Python做可视化的教材肯定不少，我看过的也就这一本，觉得还不错。其实这类书差别都不会很大，咬住一本啃下来就是王道。

3Exploratory Data Analysis 和 Data Visualization

Exploratory Data Analysis：John Tukey写于1977年的经典老教材，是这一领域的开山之作。如今EDA已经是统计学里的重要一支，但当时还是有很多人对他的工作不屑一顾。可他爱数据，坚信数据可以以一种出人意料的方式呈现出来。正是他的努力，让数据可视化成为一门无比迷人的技术。但这本书不推荐阅读了，内容略过时。要想完整地了解EDA，推荐下一本：

Exploratory Data Analysis with MATLAB：这本书虽然标题带了个MATLAB，但实际上内容几乎没怎么讲MATLAB，只是每讲一个方法的时候就列出对应的MATALB函数。这本书的重要之处在于，这是我读过的讲EDA最系统的一本书，除了对visualization有不输于John Tucky的讲解外，对于高维的数据集，通过怎样的方法才能让我们从中找到潜在的pattern，这本书也做了详尽的讲解。全书所以案例都有对应的MATALB代码，而且还提供了GUI（图形用户界面）。所以这本书学起来还是相当轻松愉悦的。

Visualize This：中译本叫“鲜活的数据”，作者是个“超级数据迷”，建立了一个叫http://flowingdata的网页展示他的数据可视化作品，这本书告诉你该选择什么样的可视化工具，然后告诉你怎样visualize关系型数据、时间序列、空间数据等，最后你就可以用数据讲故事了。

4Machine Learning & Data Mining

这一块就不多说了，不是因为它不重要，而是因为它太太太重要。所以这一部分就推两本书，都是”世界名著“，都比较难读，需要一点点地啃。这两本书拿下，基本就算是登堂入室了。其实作为机器学习的延伸和深化，概率图模型（PGM）和深度学习（deep learning）同样值得研究，特别是后者现在简直火得不得了。但PGM偏难，啃K.Daphne那本大作实在太烧脑，也没必要，而且在数据领域的应用也不算很广。deep learning目前工业界的步子迈得比学术界的大，各个domain的应用如火如荼，但要有公认的好教材问世则还需时日，所以PGM和deep learning这两块就不荐书了。

The Element of Statistical Learning：要学机器学习，如果让我只推荐一本书，我就推荐这本巨著。Hastie、Tibshirani、Friedman这三位大牛写书写得太用心了，大厦建得够高够大，结构也非常严谨，而且很有前瞻性，纳入了很多前沿的内容，而不仅仅是一部综述性的教材。（图表也做得非常漂亮，应该是用R语言的ggplot2做的。）这本书注重讲解模型和算法本身，所以需要具备比较扎实的数理基础，啃起这本书来才不会太吃力。事实上掌握模型和算法的原理非常重要。机器学习（统计学习）的库现在已经非常丰富，即使你没有完全搞懂某个模型或算法的原理和过程，只要会用那几个库，机器学习也能做得下去。但你会发现你把数据代进去，效果永远都不好。但是，当你透彻地理解了模型和算法本身，你再调用那几个库的时候，心情是完全不一样的，效果也不一样。

Data Mining: Concepts and Techniques, by Jiawei Han and Micheline Kamber。数据挖掘的教材汗牛充栋，之所以推荐这本韩家炜爷爷的，是因为虽然他这本书的出发点是应用，但原理上的内容也一点没有落下，内容非常完整。而且紧跟时代，更新的很快，我看过的是第二版，就已经加进去了social network analysis这种当时的前沿内容。现在已经有第三版了，我还没看过，但应该也加入了不少新内容。其实这本书并不难读，只是篇幅较长，啃起来比较耗时。

其实这两本书里单拎出来一块内容可能又是几本书的节奏，比如bayesian方法，再拿出两三本书来讲也不为过，我个人用到的比较多，而且也确实有不少好书。但并非是所有data scientist都要用到，所以这一块就不再细说。

还有一些印象比较深刻的书：

Big Data Glossary：主要讲解大数据处理技术及工具，内容涵盖了NoSQL，MapReduce，Storage，Servers，NLP库与工具包，机器学习工具包，数据可视化工具包，数据清洗，序列化指南等等。总之，是一本辞典式的大数据入门指导。

Mining of Massive Datasets：这本书是斯坦福大学Web Mining的讲义，里面很多内容与韩家炜的Data Mining那本书重合，但这本书里详细地讲了MapReduce的设计原理，PageRank（Google创业时期的核心排序算法，现在也在不断优化更新）讲解得也比较详细。

Developing Analytic Talent：作者是个从事了十几年数据工作的geek，技术博客写得很有个人风格，写的内容都比较偏门，通常只有具备相关数据处理经验的人能体会出来，丝毫不照顾初学者的感受。比如他会谈到当数据流更新太快时该怎么办，或者MapReduce在什么时候不好用的问题，才不管你懂不懂相关基础原理。所以这本书不太适合初学者阅读。这本书其实是作者的博客文章的集结，用how to become a data scientist的逻辑把他近几年的博客文章串联了起来。

Past, Present and Future of Statistical Science：这本书是由COPSS（统计学社主席委员会，由国际各大统计学会的带头人组成）在50周年出版的一本纪念册，里面有50位统计学家每人分别贡献出的一两篇文章，有的回忆了自己当年如何走上统计学这条路，有的探讨了一些统计学的根本问题，有的谈了谈自己在从事的前沿研究，有的则给年轻一代写下了寄语。非常有爱的一本书。

5其他资料

Harvard Data Science：这是H大的Data science在线课，我没有修过，但口碑很好。这门课需要费用8千刀左右，比起华盛顿大学的4千刀的Data science在线课虽贵一倍，但比斯坦福的14千刀要便宜将近一半（而且斯坦福的更偏计算机）。如果想自学，早有好心人分享了slides: （https://drive.google/folderview?id=0BxYkKyLxfsNVd0xicUVDS1dIS0k&usp=sharing）和homeworks and solutions: （https://github/cs109/content）。

PyData：PyData是来自各个domain的用Python做数据的人每年举行一次的聚会，期间会有各路牛人举行一些规模不大的seminar或workshop，有好心人已经把video上传到github，有兴趣的去认领吧（DataTau/datascience-anthology-pydata · GitHub）。

6工具

R/Python/MATLAB（必备）：如果是做数据分析和模型开发，以我的观察来看，使用这三种工具的最多。R生来就是一个统计学家开发的软件，所做的事也自然围绕统计学展开。MATLAB虽然算不上是个专业的数据分析工具，但因为很多人不是专业做数据的，做数据还是为了自己的domain expertise（特别是科学计算、信号处理等），而MATLAB又是个强大无比的Domain expertise工具，所以很多人也就顺带让MATLAB也承担了数据处理的工作，虽然它有时候显得效率不高。Python虽然不是做数据分析的专业软件，但作为一个面向对象的高级动态语言，其开源的生态使Python拥有无比丰富的库，Numpy, Scipy 实现了矩阵运算/科学计算，相当于实现了MATLAB的功能，Pandas又使Python能够像R一样处理dataframe，scikit-learn又实现了机器学习。

SQL（必备）：虽然现在人们都说传统的关系型数据库如Oracle、MySQL越来越无法适应大数据的发展，但对于很多人来说，他们每天都有处理数据的需要，但可能一辈子都没机会接触TB级的数据。不管怎么说，不论是用关系型还是非关系型数据库，SQL语言是必须要掌握的技能，用什么数据库视具体情况而定。

MongoDB（可选）：目前最受欢迎的非关系型数据库NoSQL之一，不少人认为MongoDB完全可以取代mySQL。确实MongoDB方便易用，扩展性强，Web2.0时代的必需品。

Hadoop/Spark/Storm（可选）：MapReduce是当前最著名也是运用最广泛的分布式计算框架，由Google建立。Hadoop是基于MapReduce的框架建立起来的分布式计算系统，Spark更进一步，在MapReduce的思路上利用有向无环图构建了RDD，这样就减少了Map和Reduce之间传递的数据，所以非常适合反复迭代计算的场景。至于存储方面，他们之间的区别就是，Hadoop用硬盘存储数据，Spark用内存存储数据，Storm只接受实时数据流而不存储数据。

OpenRefine（可选）：Google开发的一个易于操作的数据清洗工具，可以实现一些基本的清洗功能。

Tableau（可选）：一个可交互的数据可视化工具，操作简单，开箱即用。而且图表都设计得非常漂亮。专业版1999美刀，终身使用。媒体和公关方面用得比较多。

Gephi（可选）�...

随着大数据行业变得越来越火，有很多上班族放弃本身的工作，然后积极的投入大数据的行列，但是自己对于大数据什么都不懂，那该怎么办呢？这便成了许多希望从事大数据行业的人们都开始疑问的问题，自大数据培训就业前景如何己本身还有工作，没办法找出大量的时间，或者说自己本身不是大数据专业的人，马上又要准备自己的毕业论文，也没有大量的时间，找出大量的时间来学习大数据根本不可能，那么，短期大数据培训应运而生，但是又会有很多的开始询问，大数据培训需要多久？

可想而知，培训时间也不会有那么长。所以想学的人尽管放心，小编这就为您分析一下，短期大数据培训的两大优势！

短期大数据培训效率高

有的人就会产生疑问，当你们用比人家短的时间，完成了和人家一样的教学，是不是教学得知来那个不如人家？我们缩短了教学时间，但最后的掌握效果都是一样的，也就是说明我们这样的安排大大的提高了教学的效率。那么，魔据效率都通过哪些方式提高了学习效率呢？主要表现在老师的安排上，专业的国家级讲师，并且都在有名气的企业中学习，能够随时通过企业对大数据要求的不同，更改教学大纲，让学生紧跟企业对大数据专业知识的要求。还安排了专业助教，在自习发现问题的时候，能过做到有专业的人答疑，使学生能够在课后及时的查漏补缺，还有班主任全程陪同学习，每天督促学习，解答心里疑问，无微不至的照顾学员。同时安排专业性强，企业认可度搞的四门实训项目Uber实时分析系统、高校学生分析系统、MOVIEPLEXhadoop分析系统、python爬虫。让学员在还为步入职场的时候，就已经能够感受大数据项目的处理方法和模式。

短期大数据培训周期短

既然大家忙于自己的毕业和工作，又想从事大数据工作，短期大数据培训简直就像普罗米修斯为人类带来火种，为这些保守黑暗威胁的人们，有机会做出选择。魔据教育，特意安排6个月的培训时间，为的就是不耽误学生忙碌的毕业季，还有专门为那些日常生活中的人们安排了周末班，这样把握周末的时间，既能学到东西，又不耽误自己的工作，一举两得。

大数据培训需要多久？因为大数据这门学科的繁琐和虚拟状态，让很多人觉得他的难度很大，但是在魔据教学的过程中，能够帮助你、陪同你，一起解决这个问题，大大提高学员对于知识的理解和应用，虽然只用了短短的6个月，但是效果是远远超出想象中能学到的知识。

没有任何牛逼的事情是能够速成的，越是像数据分析这种收益周期长的技能，越是这样。

但这并不代表，我们不能用一些有意思的方式，把学习的过程变得高效而有趣。这篇文章是要给所有正在学习数据分析，甚至还没入门的同学一个高效的学习路径，让更多人可以平滑地、高效地成为专业数据分析师。

学习一门技术之前，你应该知道，你想要达成的目标是什么样的，也就是说，你想通过这门技术来解决哪些问题。有了这个目标，你就可以知道要达成这样的目标，它的知识体系是怎么样的。只有明确的目标导向，学习最有用的那部分知识，才能避免无效信息降低学习效率。

如果你要成为数据分析师，那么你可以去招聘网站看看，对应的职位的需求是什么，一般来说你就会对知识体系有初步的了解。企业对技能需求可总结如下：

SQL数据库的基本操作，会基本的数据管理

会用Excel/SQL做基本的数据提取、分析和展示

会用脚本语言进行数据分析，Python or R

有获取外部数据的能力加分，如爬虫或熟悉公开数据集

会基本的数据可视化技能，能撰写数据报告

熟悉常用的数据挖掘算法：回归分析、决策树、分类、聚类方法

其次是数据分析的流程，一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：

高效的学习路径是什么？就是数据分析的这个流程。按这样的顺序循序渐进，你会知道每个部分需要完成的目标是什么，需要学习哪些知识点，哪些知识是暂时不必要的。

每学习一个部分，你就能够有一些实际的成果输出，有正向的反馈，你才会愿意花更多的时间投入进去。以解决问题为目标，效率自然不会低。

按照上面的流程，我们总结学习路径如下：

python基础知识

python爬虫

SQL语言

python科学计算包：pandas、numpy、scikit-learn

统计学基础

回归分析方法

数据挖掘基本算法：分类、聚类

模型优化：特征提取

数据可视化：seaborn、matplotlib

接下来我们分别从每一个部分讲讲具体应该学什么、怎么学。

- -

数据获取：公开数据、Python爬虫

如果接触的只是企业数据库里的数据，不需要要获取外部数据的，这个部分可以忽略。但还是建议每一个数据分析师，都兼备外部数据获取的能力。

外部数据的获取方式主要有以下两种。

第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。给大家推荐一些常用的可以获取数据集的网站：

UCI：加州大学欧文分校开放的经典数据集，被很多数据挖掘实验室采用。

http://archive.ics.uci.edu/ml/datasets.html

国家数据：数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据。

http://data.stats.gov/

CEIC：超过128个国家的经济数据，能精确查找GDP、进出口零售，销售等深度数据。

http://ceicdata/zh-hans

中国统计信息网：国家统计局官方网站，汇集了国民经济和社会发展统计信息。

http://tjcn.org/

优易数据：由国家信息中心发起，国内领先的数据交易平台，很多免费数据。

http://youedata/

数据堂：同为数据交易平台，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

http://datatang/

另一种获取外部数据费的方式就是爬虫。

比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。

在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………

推荐：Python-菜鸟教程

http://runoob/python3/python3-tutorial.html

以及，还需要了解如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。如果是初学，建议从 urllib 和 BeautifulSoup 开始。（PS：后续的数据分析也需要 Python 的知识，以后遇到的问题也可以在这个教程查看）

网上的爬虫教程不要太多，爬虫上手推荐豆瓣的网页爬取，一方面是网页结构比较简单，二是豆瓣对爬虫相对比较友好。

掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、模拟用户登录、使用代理、设置爬取频率、使用cookie信息等等，来应对不同网站的反爬虫限制。

除此之外，常用的的电商网站、问答网站、二手交易网站、婚恋网站、招聘网站的数据，都是很好的练手方式。这些网站可以获得很有分析意义的数据，最关键的是，有很多成熟的代码，可以参考。

- -

数据存取：SQL语言

你可能有一个疑惑，为什么没有讲到Excel。在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据，如果你是一个分析师，也至少要懂得SQL的操作，能够查询、提取公司的数据。

SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：

提取特定情况下的数据：企业数据库里的数据一定是大而繁复的，你需要提取你需要的那一部分。比如你可以根据你的需要提取2017年所有的销售数据、提取今年销量最大的50件商品的数据、提取上海、广东地区用户的消费数据……，SQL可以通过简单的命令帮你完成这些工作。

数据库的增、删、查、改：这些是数据库最基本的操作，但只要用简单的命令就能够实现，所以你只需要记住命令就好。

数据的分组聚合、如何建立多个表之间的联系：这个部分是SQL的进阶操作，多个表之间的关联，在你处理多维度、多个数据集的时候非常有用，这也让你可以去处理更复杂的数据。

SQL这个部分相对来说比较简单，可以去这个教程：

MySQL-菜鸟教程

http://runoob/mysql/mysql-tutorial.html

当然，还是建议你找几个数据集来实际操作一下，哪怕是最基础的查询、提取等。你可以去调用一些公司的数据来进行实际的演练，如果没有合适的，这里推荐UCI的经典数据集：

鸢尾花数据集

http://archive.ics.uci.edu/ml/machine-learning-databases/iris/

- -

数据预处理：Python（pandas）

很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。

比如销售数据，有一些渠道的销售是没有及时录入的，有一些数据是记录重复的。比如用户行为数据，有很多无效的操作对分析没有意义，就需要进行删除。

那么我们需要用相应的方法去处理，比如残缺数据，我们是直接去掉这条数据，还是用临近的值去补全，这些都是需要考虑的问题。

对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：

选择：数据访问（标签、特定值、布尔索引等）

缺失值处理：对缺失数据行进行删除或填充

重复值处理：重复值的判断与删除

空格和异常值处理：清除不必要的空格和极端、异常数据

相关操作：描述性统计、Apply、直方图等

合并：符合各种逻辑关系的合并操作

分组：数据划分、分别执行函数、数据重组

Reshaping：快速生成数据透视表

网上有很多 pandas 的教程，主要是一些函数的应用，也都非常简单，如果遇到问题，可以参看 pandas 操作的官方文档。

pandas 官方文档

http://pandas.pydata.org/pandas-docs/stable/tutorials.html

推荐书：《利用Python进行数据分析 》

- -

概率论及统计学知识

数据整体分布是怎样的？什么是总体和样本？中位数、众数、均值、方差等基本的统计量如何应用？如果有时间维度的话随着时间的变化是怎样的？如何在不同的场景中做假设检验？数据分析方法大多源于统计学的概念，所以统计学的知识也是必不可少的。需要掌握的知识点如下：

基本统计量：均值、中位数、众数、百分位数、极值等

其他描述性统计量：偏度、方差、标准差、显著性等

其他统计知识：总体和样本、参数和统计量、ErrorBar

概率分布与假设检验：各种分布、假设检验流程

其他概率论知识：条件概率、贝叶斯等

有了统计学的基本知识，你就可以用这些统计量做基本的分析了。通过可视化的方式来描述数据的指标，其实可以得出很多结论了：比如排名前100的是哪些，平均水平是怎样的，近几年的变化趋势如何……

你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。了解假设检验之后，可以对样本指标与假设的总体指标之间是否存在差别作出判断，以验证结果是否在可接受的范围。

推荐书：《深入浅出统计学》

- -

Python 数据分析

如果你有一些了解的话，就知道目前市面上其实有很多 Python 数据分析的书籍，但每一本都很厚，学习阻力非常大。但其实真正最有用的那部分信息，只是这些书里很少的一部分。比如用 Python 实现不同案例的假设检验，其实你就可以对数据进行很好的验证。

比如掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：

回归分析：线性回归、逻辑回归

基本的分类算法：决策树、随机森林……

基本的聚类算法：k-means……

特征工程基础：如何用特征选择优化模型

调参方法：如何调节参数优化模型

Python 数据分析包：scipy、numpy、scikit-learn等

在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。

当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。

然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去学习如何通过特征提取、参数调节来提升预测的精度。这就有点数据挖掘和机器学习的味道了，其实一个好的数据分析师，应该算是一个初级的数据挖掘工程师了。

你可以通过 Python 中的 scikit-learn 来实现数据分析、数据挖掘建模和分析的全过程。

推荐：scikit-learn官方文档

http://scikit-learn.org/dev/_downloads/scikit-learn-docs.pdf

- -

系统实战与数据思维

到这个时候，你就已经具备了数据分析的基本能力了。但是还要根据不同的案例、不同的业务场景进行实战，练习解决实际问题的能力。如何进行实战呢？

上面提到的公开数据集，可以找一些自己感兴趣的方向的数据，尝试从不同的角度来分析，看看能够得到哪些有价值的结论。

另一个角度是，你可以从生活、工作中去发现一些可用于分析的问题，比如上面说到的电商、招聘、社交等平台等方向都有着很多可以挖掘的问题。

开始的时候，你可能考虑的问题不是很周全，但随着你经验的积累，慢慢就会找到分析的方向，有哪些一般分析的维度，比如top榜单、平均水平、区域分布、年龄分布、相关性分析、未来趋势预测等等。随着经验的增加，你会有一些自己对于数据的感觉，这就是我们通常说的数据思维了。

大数据培训是IT领域热度最高的培训项目之一，其培训主体内容为统计学、运筹学、机器学习、沟通能力、编程、可视化、商业直觉、数据处理和行业知识等。大数据培训是大数据发展带动下的衍生行业，是培养大数据人才的关键。

大数据培训不可能速成

大数据培训的出现是因为大数据行业的人才极为缺乏。由于大数据发展时间较短，正规高等院校开设相关课程也较晚;而行业发展速度却飞快，因此行业人才缺乏问题始终得不到解决。

大数据培训基础很重要

大数据培训的发展可以说是顺应了市场需求的。可大数据行业与传统软件及编程等教学不同，大数据是一种综合性很强的学科，不仅要求教育机构有相应的教育水准，对学生的编程基础要求也较高。一般来讲，想要学习大数据至少应该对R语言、sql、Python、JavaScript、Scala、Java等有所了解，部分甚至要求Java达到精通水准，这种苛刻的要求让不少人望而却步。

人才的缺乏导致了大数据人才争夺分外激烈，相应的薪酬高涨，让大数据一词俨然成为了高薪的代言人。而抓住了这一点的部分培训学校，利用人们的惰性和投机心理，不顾自身是否具备成熟的大数据教学条件便开设大数据培训课程，这种急功近利的培训手段很难培养出真正的大数据人才。

优秀的大数据培训学校虽然少，但也存在。这些学校为学员提供hadoop、storm、spark等大数据前沿技术，另一方面提供项目实践的机会。大数据行业的薪资往往和工作经历有关，学员工作能力和经验越多，薪资也会随之增长。

大数据的处理流程

大数据培训关键在于能够完成大数据处理，而大数据处理的流程困难重重。处理过程一般来讲可以分为四步。

首先应当利用多个数据库接收来自不同的客户端的数据进行数据采集。用户通过这些数据库来进行简单的查询和处理，而在大数据采集过程中所面临的主要困难在于并发数过高，同时可能有成千上万的用户在访问或者操作，如何在数据库间完成负载均衡和分片是重难点。

第二步在于数据导入和预处理。由于数据采集涉及了多种数据库，在对这些数据进行有效的分析之前，需要将所有的数据导入集中的大型分布式数据库，然后对数据进行简单的数据清洗和预处理。这一步主要面临的问题在于导入数据量大，导入流量通常可以达到成百上千兆级别。

大数据处理流程困难重重

第三步统计和分析。利用分布式数据库将存储在其中的数据进行普通的分析及分类汇总，进行批量的处理。对于半结构化的数据还需要使用Hadoop等。而这一步主要面临的挑战是设计的分析数据量大，对系统资源占用率高，对于系统I/O挑战较大。

第四步就是数据挖掘。数据挖掘和分析过程不同，基于前三部的各种算法的计算，最终达到预测的效果，从而满足更高级的数据分析需求。该过程的特点在于挖掘算法十分复杂，涉及的数据量和计算量都很吊，常用的挖掘算法都以单线程为主。

大数据培训需要培训能够完成整套大数据处理或其中一环的人才，但是鉴于大数据的困难性，培训必然不可能一蹴而就，因此脚踏实地才是完成大数据培训的关键。