给大家整理一下本年度一些优质的文章，根据大数据相关的知识点一个个整理的，整理的内容包括知识点普及、学习书籍、学习路线图、学习笔记、学习资料、学习视频等等。

AI时代就业指南

未来已来：AI时代就业指南

AI时代就业指南：计算机、统计完全零基础，到底能不能学数据分析？

AI时代就业指南：数据科学人才成长之路

AI时代就业指南：Java 程序员如何转行做大数据？

AI时代就业指南：企业在招什么样的大数据工程师？

AI时代就业指南：女生适合做数据分析吗？

AI时代就业指南：数据挖掘工程师成长之路

AI时代就业指南：数学专业，你看不见的前尘似锦

AI时代就业指南：数据挖掘入门与指南

AI时代就业指南：普通程序员如何转向AI方向

AI时代就业指南：作为大数据从业人员，如何写好一份可堪入目的简历？

大数据

【入门】大数据行业如何入门-书籍、工具、案例（问题集锦）

【工具】2017 年你应该学习的编程语言、框架和工具

【资料】史上最全的“大数据”学习资源（上）

【资料】史上最全的“大数据”学习资源（下）

【路线图】大数据工程师学习路线图

【路线图】2017年最全的数据科学学习计划

【就业】2016年数据科学薪酬大盘点

【学习群】数据挖掘-机器学习

数据分析

【入门】数据分析那些事（数据分析师入门必看）

【职业】数据分析与数据挖掘类的职位必备技能

【职业】与大数据相关的工作职位有哪些？

【路线图】数据分析师学习路线图

【路线图】数据科学学习路线图

【书单】数据分析师的必读书单

【学习群】人人都是数据咖

统计学

【书单】统计学入门经典书单

【视频】大数据统计学基础

【学习群】大数据-统计分析

SQL

【文章】实用SQL语句大全

【笔记】SQL学习点滴合集

【视频】13次课了解sql2008的故事

Python

【教程】python快速教程

【文章】python爬虫实战

【文章】Python-pandas技巧系(量化小讲堂)

【路线图】python学习路线图

【路线图】Python大数据学习之路

【资料】python机器学习入门资料梳理

【视频】Python入门：数据分析与数据挖掘

【课程】Python进阶：数据挖掘实战

【学习群】Python数据挖掘-初级

【学习群】Python数据挖掘-高级

R

【文章】R语言知识体系

【文章】怎样学习R（上、下)

【文章】ggplot2绘图入门系列

【文章】R利剑NoSQL系列文章

【文章】R语言常用数据挖掘包

【路线图】R语言学习路线图

【视频】R学习免费学习视频

【课程】R语言入门

【课程】R语言实战

【课程】机器学习与R语言实践

【课程】R语言量化交易

【工具】全球最火的R工具包一网打尽，超过300+工具，还在等什么?

【学习群】R语言数据挖掘-初级

【学习群】R语言数据挖掘-中高级

Hadoop

【文章】Hadoop学习路线图

【文章】RHadoop实践系列文章

【教程】Spark入门实战系列教程

【课程】大数据实战工具Spark

【学习群】大数据-hadoop-spark

数据挖掘/机器学习

【入门】机器学习和数据挖掘推荐书单

【路线图】R语言学习路线图及R数据挖掘包

【路线图】Python数据分析和数据挖掘学习路线图

【路线图】机器学习路线图

【资料】近200篇机器学习&深度学习资料

【学习群】大数据-机器学习

因文本问题无法嵌入链接，请复制http://ppvke/Blog/archives/27665 至浏览器查看原文

大数据分析挖掘培训课程要点-基于Hadoop/Mahout/Mllib的大数据挖掘

目前对大数据的分析工具，首选的是Hadoop/Yarn平台。Hadoop/Yarn在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。

一、培训对象

1，系统架构师、系统分析师、高级程序员、资深开发人员。

2，牵涉到大数据处理的数据中心运行、规划、设计负责人。

3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。

4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

二、学员基础

1，对IT系统设计有一定的理论与实践经验。

2，数据仓库与数据挖掘处理有一定的基础知识。

3，对Hadoop/Yarn/Spark大数据技术有一定的了解。

三、培训要点

本课程从大数据挖掘分析技术实战的角度，结合理论和实践，全方位地介绍Mahout和 MLlib等大数据挖掘工具的开发技巧。本课程涉及的主题包括：大数据挖掘及其背景，Mahout和 MLlib大数据挖掘工具，推荐系统及电影推荐案例，分类技术及聚类分析，以及与流挖掘和Docker技术的结合，分析了大数据挖掘前景分析。

本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout和 MLlib挖掘工具来解决具体的问题，并介绍了从大数据中挖掘出有价值的信息的关键。

本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论Mahout和 MLlib解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动大数据分析挖掘项目开发上升到一个新水平。

四、培训内容

第一讲大数据挖掘及其背景

1)数据挖掘定义

2)Hadoop相关技术

3)大数据挖掘知识点

第二讲 MapReduce/DAG计算模式

1）分布式文件系统DFS

2）MapReduce计算模型介绍

3）使用MR进行算法设计

4）DAG及其算法设计

第三讲 云挖掘工具Mahout/MLib

1）Hadoop中的Mahoutb介绍

2）Spark中的Mahout/MLib介绍

3）推荐系统及其Mahout实现方法

4）信息聚类及其MLlib实现方法

5）分类技术在Mahout/MLib中的实现方法

第四讲 推荐系统及其应用开发

1）一个推荐系统的模型

2）基于内容的推荐

3）协同过滤

4）基于Mahout的电影推荐案例

第五讲 分类技术及其应用

1）分类的定义

2）分类主要算法

3）Mahout分类过程

4）评估指标以及评测

5）贝叶斯算法新闻分类实例

第六讲 聚类技术及其应用

1）聚类的定义

2）聚类的主要算法

3）K-Means、Canopy及其应用示例

4）Fuzzy K-Means、Dirichlet及其应用示例

5）基于MLlib的新闻聚类实例

第七讲 关联规则和相似项发现

1）购物篮模型

2）Apriori算法

3）抄袭文档发现

4）近邻搜索的应用

第八讲 流数据挖掘相关技术

1）流数据挖掘及分析

2）Storm和流数据处理模型

3）流处理中的数据抽样

4）流过滤和Bloom filter

第九讲 云环境下大数据挖掘应用

1）与Hadoop/Yarn集群应用的协作

2）与Docker等其它云工具配合

3）大数据挖掘行业应用展望

五、培训目标

1, 全面了解大数据处理技术的相关知识。

2，学习Hadoop/Yarn/Spark的核心数据分析技术。

3，深入学习Mahout/MLlib挖掘工具在大数据中的使用。

4，掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。

大数据是IT领域热度最高的项目之一，其主体内容为统计学、运筹学、机器学习、沟通能力、编程、可视化、商业直觉、数据处理和行业知识等。大数据培训是大数据发展带动下的衍生行业，是培养大数据专业人才的关键。北大青鸟旗舰总校给您更好的发展，体验不一样的大数据课程。

课程模块

模块一

模块二

模块三

模块四

模块五

产品体系-优势、亮点（专业版）

01课程绝对深度+前沿性 好工作、职业发展、各种技术转型

Java+大数据 全栈、技术储备

加入“互联网架构师”课程 绝对提升Level

业务架构

信息架构

应用架构

技术架构

安全架构

网络拓扑架构

不断增加的新技能点

02遇到问题、分析问题、解决问题—最佳实践性教学

业务级解决方案

03遇到问题、分析问题、解决问题—最佳实践性教学

业务级解决方案

系统级解决方案

04项目贯穿、真枪实弹

丰富的项目库，互联网项目为主

垂直架构 | 分布式架构 | 微服架构

互联网应用——最佳解决方案

架构方面

技术方面

业务方面

所有的项目均采用敏捷方式进行开发管理

传统行业

1、架构：垂直架构

业务相对简单、用户量较小、较少的高并发处理考虑

2、技术

Java Core、Web框架(SSM/SSH)等

3、数据存储

Oracle、MySql

互联网行业

1、架构：分布式集群架构

用户量/PV量大增、高并发/高访问处理、业务模块化…

2、技术

DubboX(微服)、MQ、分布式事务处理、缓存技术等

3、海量数据大数据(抓取数据+数据分析挖掘+可视化)

Hadoop、Spark、Storm、Deep-Learning

互联网技术岗位变化-1

1、技术相互交融，各岗位之间界限不明显

对人员的要求：广度+深度

2、技术岗位的职业发展

Backend Dev—技术转型便捷性

3、大数据岗位需具备开发语言基础

互联网技术岗位变化-2

1、产品变革，大数据学院更适应市场需求

2、开发语言作为基础纳入到大数据学院中

大数据岗位技术要求

1、java/Python

2、分布式、高并发、集群、架构设计

3、Hadoop、Spark、Storm、Hive......

4、数据库&缓存技术

5、Web框架

大数据岗位开发语言要求

在大数据岗位总体技术要求分析中，其中Java语言占到73.12%的出现频率，即在大数据工程师招聘信息中有73.12%的招聘信息对Java语言有技术要求

大数据岗位类型

大数据岗位薪资

规划思路

立足当下，把握趋势，分层次培养,成就高薪就业

旗舰总校具备拓展市场的能力

多产品，清晰各类产品的市场定位

产品体系：广度+深度 | 基础升级

产品模块化，可自由组合+拆分

线下培训是适用于所有想学大数据的朋友，对于基础差、自学能力较弱、自控力较弱的朋友来说，选择线下机构是最好的选择，远程和视频等教学方式很容易半途而废。

在如此快速的到来的大数据革命时代，我们还有很多知识需要学习，选择北大青鸟旗舰总校，未来定会前程似锦。

以下介绍的课程主要针对零基础大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习课程。课程框架是科多大数据的零基础大数据工程师课程，课程老师对课程不断进行更新升级，与企业的项目同步更新，保证课程的适用性。

一、第一阶段：静态网页基础(HTML+CSS)

1.难易程度：一颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等

4.描述如下：

从技术层面来说，该阶段使用的技术代码很简单、易于学习、方便理解。从后期课程层来说，因为我们重点是大数据，但前期需要锻炼编程技术与思维。经过我们多年开发和授课的项目经理分析，满足这两点，目前市场上最好理解和掌握的技术是J2EE，但J2EE又离不开页面技术。所以第一阶段我们的重点是页面技术。采用市场上主流的HTMl+CSS。

二、第二阶段：JavaSE+JavaWeb

1.难易程度：两颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括：java基础语法、java面向对象(类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等)、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)JDBC、线程、反射、Socket编程、枚举、泛型、设计模式

4.描述如下：

称为Java基础，由浅入深的技术点、真实商业项目模块分析、多种存储方式的设计

与实现。该阶段是前四个阶段最最重要的阶段，因为后面所有阶段的都要基于此阶段，也是学习大数据紧密度最高的阶段。本阶段将第一次接触团队开发、产出具有前后台(第一阶段技术+第二阶段的技术综合应用)的真实项目。

三、第三阶段：前端框架

1.难易程序：两星

2.课时量(技术知识点+阶段项目任务+综合能力)：64课时

3.主要技术包括：Java、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui

4.描述如下：

前两个阶段的基础上化静为动，可以实现让我们网页内容更加的丰富，当然如果从市场人员层面来说，有专业的前端设计人员，我们设计本阶段的目标在于前端的技术可以更直观的锻炼人的思维和设计能力。同时我们也将第二阶段的高级特性融入到本阶段。使学习者更上一层楼。

四、第四阶段：企业级开发框架

1.难易程序：三颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j整合、myBatis、struts2、Shiro、redis、流程引擎activity，爬虫技术nutch,lucene，webServiceCXF、Tomcat集群和热备、MySQL读写分离

4.描述如下：

如果将整个JAVA课程比作一个糕点店，那前面三个阶段可以做出一个武大郎烧饼(因为是纯手工-太麻烦)，而学习框架是可以开一个星巴克(高科技设备-省时省力)。从J2EE开发工程师的任职要求来说，该阶段所用到的技术是必须掌握，而我们所授的课程是高于市场(市场上主流三大框架，我们进行七大框架技术传授)、而且有真实的商业项目驱动。需求文档、概要设计、详细设计、源码测试、部署、安装手册等都会进行讲解。

五、第五阶段：初识大数据

1.难易程度：三颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括：大数据前篇(什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等)、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程(SHELL变量、循环控制、应用)、Hadoop入门(Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop)、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapReduce应用(中间计算过程、Java操作MapReduce、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP端优化，COMBINER使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK与 SED命令)

4.描述如下：

该阶段设计是为了让新人能够对大数据有一个相对的大概念怎么相对呢?在前置课程JAVA的学习过后能够理解程序在单机的电脑上是如何运行的。现在，大数据呢?大数据是将程序运行在大规模机器的集群中处理。大数据当然是要处理数据，所以同样，数据的存储从单机存储变为多机器大规模的集群存储。

(你问我什么是集群?好，我有一大锅饭，我一个人可以吃完，但是要很久，现在我叫大家一起吃。一个人的时候叫人，人多了呢?是不是叫人群啊!)

那么大数据可以初略的分为：大数据存储和大数据处理所以在这个阶段中呢，我们课程设计了大数据的标准：HADOOP大数据的运行呢并不是在咋们经常使用的WINDOWS 7或者W10上面，而是现在使用最广泛的系统：LINUX。

六、第六阶段：大数据数据库

1.难易程度：四颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括：Hive入门(Hive简介、Hive使用场景、环境搭建、架构说明、工作机制)、Hive Shell编程(建表、查询语句、分区与分桶、索引管理和视图)、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块(REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成)、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)

4.描述如下：

该阶段设计是为了让大家在理解大数据如何处理大规模的数据的同时。简化咋们的编写程序时间，同时提高读取速度。

怎么简化呢?在第一阶段中，如果需要进行复杂的业务关联与数据挖掘，自行编写MR程序是非常繁杂的。所以在这一阶段中我们引入了HIVE，大数据中的数据仓库。这里有一个关键字，数据仓库。我知道你要问我，所以我先说，数据仓库呢用来做数据挖掘分析的，通常是一个超大的数据中心，存储这些数据的呢，一般为ORACLE,DB2,等大型数据库，这些数据库通常用作实时的在线业务。

总之，要基于数据仓库分析数据呢速度是相对较慢的。但是方便在于只要熟悉SQL，学习起来相对简单，而HIVE呢就是这样一种工具，基于大数据的SQL查询工具，这一阶段呢还包括HBASE，它为大数据里面的数据库。纳闷了，不是学了一种叫做HIVE的数据“仓库”了么?HIVE是基于MR的所以查询起来相当慢，HBASE呢基于大数据可以做到实时的数据查询。一个主分析，另一个主查询

七、第七阶段：实时数据采集

1.难易程序：四颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括：Flume日志采集，KAFKA入门(消息队列、应用场景、集群搭建)、KAFKA详解(分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试)、KAFKA高级使用(java开发、主要配置、优化项目)、数据可视化(图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图)、STORM入门(设计思想、应用场景、处理过程、集群安装)、STROM开发(STROM MVN开发、编写STORM本地程序)、STORM进阶(java开发、主要配置、优化项目)、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化

4.描述如下：

前面的阶段数据来源是基于已经存在的大规模数据集来做的，数据处理与分析过后的结果是存在一定延时的，通常处理的数据为前一天的数据。

举例场景：网站防盗链，客户账户异常，实时征信，遇到这些场景基于前一天的数据分析出来过后呢?是否太晚了。所以在本阶段中我们引入了实时的数据采集与分析。主要包括了：FLUME实时数据采集，采集的来源支持非常广泛，KAFKA数据数据接收与发送，STORM实时数据处理，数据处理秒级别

八、第八阶段：SPARK数据分析

1.难易程序：五颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用(高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等)、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK进阶(DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型)、SPARK高级编程(Spark-GraphX、Spark-Mllib机器学习)、SPARK高级应用(系统架构、主要配置和性能优化、故障与阶段恢复)、SPARK ML KMEANS算法，SCALA隐式转化高级特性

4.描述如下：

同样先说前面的阶段，主要是第一阶段。HADOOP呢在分析速度上基于MR的大规模数据集相对来说还是挺慢的，包括机器学习，人工智能等。而且不适合做迭代计算。SPARK呢在分析上是作为MR的替代产品，怎么替代呢?先说他们的运行机制，HADOOP基于磁盘存储分析，而SPARK基于内存分析。我这么说你可能不懂，再形象一点，就像你要坐火车从北京到上海，MR就是绿皮火车，而SPARK是高铁或者磁悬浮。而SPARK呢是基于SCALA语言开发的，当然对SCALA支持最好，所以课程中先学习SCALA开发语言。

在课程的设计方面，市面上的职位要求技术，基本全覆盖。而且并不是单纯的为了覆盖职位要求，而是本身课程从前到后就是一个完整的大数据项目流程，一环扣一环。

比如从历史数据的存储，分析(HADOOP,HIVE,HBASE)，到实时的数据存储(FLUME,KAFKA)，分析(STORM,SPARK)，这些在真实的项目中都是相互依赖存在的。

　　深圳中鹏数据分析师的课程包括两个层面的内容，只有把数据分析师的所有课程都学会并且运用，你就能成为一名顶级的大数据分析师。

　　一、课程层面

　　第一级别：深圳中鹏数据分析课程培训内容主要是从理论-实操-案例应用步步进阶，能让学员真正充分掌握概率论和统计理论基础，能够熟练运用Excel、SPSS、SAS等一门专业分析软件，有良好的商业理解分析能力，能够根据业务问题指标来利用常用数据分析方法进行数据的处理与分析，并得出逻辑清晰的业务报告。

　　第二级别：在第一级别的基础上,第二级别分别包括建模分析师与大数据分析师，即为企业决策提供及时有效、易实现、可信赖的数据支持。建模分析师，指在ZF、金融、电信、零售、互联网、电商、医学等行业专门从事数据分析与数据挖掘的人员。本课程针对数据挖掘整套流程，以金融、电信、电商和零售业为案例背景深入讲授数据挖掘的主要算法。

　　并将SAS Enterprise Miner、SPSS Moderler、SAS编程和SQL进行有效的结合，让学员胜任全方位的数据挖掘运用场景。大数据分析师，本课程以大数据分析为目标，从数据分析基础、JAVA语言入门和linux操作系统基础入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境，详细演示hadoop三种模式的安装配置，以案例方式的形式，重点来讲解基于mahout项目的大数据分析之聚类、分类以及主题推荐。

　　通过演示实际的操作大数据分析案例，使学员能够在较短的时间内理解大数据分析的真实价值，掌握如何使用hadoop架构应用于大数据分析的过程和结论，使学员能有一个快速提升自己并成为兼有理论和实战的大数据分析师，从而能更好地适应当前互联网经济背景下对大数据分析师需求的旺盛的就业形势。

　　二、深圳中鹏数据分析师课程培训数据分析师的知识结构

深圳中鹏表示往数据发展的基本学习课程路径可以概括为以下内容：

1. EXCEL、PPT(必须精通)

数据工作者的基本姿态，话说本人技术并不是很好，但是起码会操作;要会大胆秀自己，和业务部门交流需求，展示分析结果。技术上回VBA和数据透视就到顶了。

2. 数据库类(必须学)

初级只要会RDBMS就行了，看公司用哪个，用哪个学哪个。没进公司就学MySQL吧。

NoSQL可以在之后和统计学啥的一起学。基本的NoSQL血MongoDB和Redis(缓存，严格意义上不算数据库)，然后(选学)可以了解各类NoSQL，基于图的数据库Neo4j，基于Column的数据库BigTable，基于key-value的数据库redis/cassendra，基于collection的数据库MongoDB。

3. 统计学(必须学)

如果要学统计学，重要概念是会描述性统计、假设检验、贝叶斯、极大似然法、回归(特别是广义线性回归)、主成分分析。这些个用的比较多。也有学时间序列、bootstrap、非参之类的，这个看自己的意愿。

其他数学知识：线性代数常用(是很多后面的基础)，微积分不常用，动力系统、傅里叶分析看自己想进的行业了。

4. 机器学习(数据分析师要求会选、用、调)

常用的是几个线性分类器、聚类、回归、随机森林、贝叶斯;不常用的也稍微了解一下;深度学习视情况学习。

5. 大数据(选学，有公司要求的话会用即可，不要求会搭环境)

hadoop基础，包括hdfs、map-reduce、hive之类;后面接触spark和storm再说了。

6. 工具类

语言：非大数据类R、Python最多;大数据可能还会用到scala和java。

其他框架、类库(选学)：爬虫(requests、beautifulsoup、scrapy)，日志分析(常见elk)。

以上便是对数据分析培训课程的相关知识介绍，如果您还存在疑惑或是想要了解更多详情，欢迎关注深圳中鹏官网。

在先进技术逐渐融入自然学科的过程中，学科交叉现象已是大势所趋。

上次我们谈到了机器学习方向的

统计学知识

的学习方法：

机器学习入门——我的统计学该从哪里补起？

而对于数据分析在人工智能领域的应用，本次

竹间智能 数据科学家 张旭

，将分享一些AI方向必学的数据分析课程和相关知识，希望对有意进入该领域的同学有所帮助。

学习数据分析（AI方向）的课程前提，需要明确数据分析（Data Analysis）和数据科学（Data Science）的区别。数据分析算作数据科学的一个分支，除了机器学习（Machine Learning）外，还有很多偏重数据分析的内容，所以如果对于数据科学的各个分支都学的话，可能会因为学的太宽泛而导致多个课程都较难取得突破。

学习数据分析的重点，不仅仅是通过课程来学习知识，更是需要通过课程来培养数据的敏感性，利用数据来激发出更深远的洞察（insights）。

数据分析是一个实践性很强并容易运用于各个领域的专业技能，所以为了有效地学习数据分析，我们需要了解数据分析所涉及的几个重要环节，然后根据兴趣点来学习相关课程。

首先数据分析可以分为：

一、

处理数据(数据准备工作)

在训练模型（train model）前或者整理所需要的数据时，最重要的就是

数据的清洗处理

工作。可能多数情况下我们都在讨论各种Machine Learning的模型，但是如果训练集这一基础环节出现了问题的话，模型也不会很好。人工智能方向训练模型所需要的数据量比较大、维度也甚广，通常这些数据会有各种各样的问题，所以需要花时间清洗、整理数据。比如，处理缺失值、重复值、异常值等等，尽量将海量数据转换为自己想要的规范格式。

二、训练数据（数据分析过程中

）

在处理完数据后，可以做可视化处理（visualization），观察数据的趋势然后思考模型的运用，从回归模型（regression model）到神经网络，都要进行各种参数的检验工作，这一部分偏重

模型的学习

。

三、数据验证、测试、展现（数据后勤工作）

模型训练完后，会准备测试集去检测模型是否准确，根据测试结果找出其精确率（Precision）和召回率（Recall），并根据结果调参优化；同时考虑数据的拟合性。当获得数据分析的结果后，接下来重要的一点是如何将数据展现给他人。

如上面的总结，数据分析的前中后期，都可作为数据分析的不同核心点来进行课程学习，因此对于可能需要学习的课程和补充的知识，我从

理论知识

和

编程课程

两个维度总结如下：

1.

统计学、数学：

从代数、微积分、概率论等做入门功课，再到学习线性回归（Linear Regression）、Classification、决策树（Tree-Based Methods），再到支持向量机SVM(Support Vector Machine)、无监督学习（Unsupervised Learning）及流行的各种神经网络；

AI行业知识：

数据分析要有产品思考，所以你需要了解感兴趣的某一个人工智能分领域或人工智能与某个行业相结合的领域知识(对话、图像识别、语音、金融等)。

2.

Python、R等：

Python、R是Kaggle平台上用到的主要工具，也是最流行的数据分析软件；很多咨询公司会用SAS、SPSS、MATLAB等，因此看对哪个软件有兴趣，再去学习编程课程以及和数据分析相关的有趣的package；

SQL、NoSQL：

数据分析通常都需要掌握结构化查询语言SQL (Structured Query Language)的query语句来进行数据库的操作；通常会有mongodb、hbase等NoSql数据库，因此这些也可当做一门课程去学习；

Spark or Hadoop：

用分布式系统处理大数据也是数据分析的一个亮点，将编程运用到MapReduce进行海量数据挖掘处理；另外，能将数据存储在HDFS上，同样是个加分项；

Office及其他图形化软件：

要熟练掌握PPT、Excel等基础技能，将获取的结果用简洁易懂的方式呈现给看的人；做数据分析visualization很重要，需要学会使用各种可视化图形工具。

图片来源于网络。

竹间智能Emotibot以类脑对话系统和情感计算为核心，希望以人工智能技术助力更多行业、机构及个人拥抱AI时代，分享AI发展的红利。

如需转载，请联系竹间智能Emotibot，并注明出处。

相关阅读：

作为面试官，如何判断一个面试者的深度学习水平？

随着时代的发展社会的进步，大数据的发展越来越好，越来越多的人选择大数据，有同学问小编：“我想要从事大数据实时分析都要学习哪些课程？”，下面小编就给大家介绍一下从事大数据实时分析需要学习的课程。

一、基础篇大数据实时分析需要学习的课程

任何高楼大厦都离不开一个稳固的地基，想要从事大数据实时分析也是如此，首先打好基础，那么需要学习哪些知识呢，首先需要掌握一门基础语言，Java是非常学习大数据基础语言之一，我们还需要熟练掌控Linux系统的命令，还有要学一些数据库，Mysql这些,学习这些需要花费很长的时间，不要焦躁，要静下心来，打好基础才能把大楼盖上云霄，也相信你这时的付出会换取你将来的回报。

二、进阶篇

当你打好基础后就可以登堂入室了，来一见大数据的真容，这个阶段你需要学习的东西也非常的多其中包括Hadoop（包含 大数据的概述，hadoop集群的搭建，HDFS基础概念介绍，HDFS API案例，YARN资源调度框架介绍，Mapreduce介绍，Mapreduce案例），zookeeper，hbase，hive，学完这些还有一些比较难理解的就是python，spark，flume，kafka这些，这些可以说是学习大数据的第三阶段，学习完之后你完全可以去做大数据的任何工作，不过一些高端的工作是需要开发经验的，当你从事大数据几年之后我相信你也会走向这些高端工作，走向人生的高峰。

三、spark实时分析

如果你学会了上面的内容那么恭喜你，你已经成为了一名合格的大数据开发工程师，相信无论走到哪里都不用去担心工作和薪资的问题，如果你想做实时分析那么也是非常容易的，因为你已经学会了spark，可以做实时和离线分析。

四、总结

想学习任何的东西，都需要扎实的基础，都需要漫长的时间去学习，宝剑锋从磨砺出，梅花香自苦寒来，相信你今天的汗水化作明天别人的仰望。

课程介绍

1.面向对象

有短期工作经验，希望通过学习进入数据行业的；研究生或高年级本科生（背景调查）

需要什么基础？高数。逻辑思维，热爱数据以及有恒心

2.学习环境

数据分析和挖掘的语言和环境：Python（x,y）,Anaconda

3.参考书

4.学习目的

理解数据，理解量化，理解模型

掌握概率统计

掌握一门工具

学会处理数据：收集、转换、载入

学会数据分析：分析思想和分析方法

学会基本的数据挖掘

就数据分析学习而言，需要的技能模块有统计基础+数据库知识+编程能力。其以后的的职业发展方向，一个是业务层面的方向，一个是数据挖掘层面的方向。今天科多大数据和你们一起来谈谈关于数据分析的学习。

1.统计基础

理工科的学生在本科阶段学习过概率论与数理统计，单从做数据分析的角度已经够用。其他方面，可以根据需要查看相关书籍，随时进行查漏补缺即可。个人推荐《深入浅出统计学》，可以让统计理论的学习有趣又自然。

2.数据库知识

关系型数据库很重要。在学习数据分析的初期甚至很长一段时间，你接触到的数据都存储在关系型数据库中，需要学习SQL语言进行数据查询。关于SQL语言，强力推荐《SQL必知必会》，整本书通俗易懂，是学习SQL语言的不二之选。

学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通，比如：SQL中对data进行group by的操作，这个在Excel里类似于透视表，在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程，你会接触到分布式数据库和所对应的no-SQL语句。

3.编程能力

Excel。 透视表（Pivot Table）是做数据分析的必备技能。透视表可以帮你迅速汇总数据，看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶，Excel自带的函数、各种插件，以及VBA也是很好的工具。

Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时，需要学些hardcore技能，即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python，一是代码简单易懂，容易上手；二是学习资料多，降低学习成本。推荐《利用Python进行数据分析》，涵盖了利用Python做数据清洗，数据可视化及分析的技能点，可以作为一本工具书随时查阅。

Python 是目前科多大数据分析课程里面非常重要的一项内容，下面这张图更能直观反映学习内容

当然需要特别指出，数据分析课程学习内容肯定不止python这一项内容，还包括数据分析基础，互联网电子商务、经济学基础，数据产品（可视化报表）等各个板块的学习。