本书为数据猿推出的《每周一本书》栏目丛书。

欢迎大家推荐好书给我们，让更多人受益。

这是一本务实之作，充分体现数据分析流程的各项环节，包含数据的采集、清洗和探索性分析，并通过大家耳熟能说的Python工具加以实操。更令人惊奇的是，本书的作者沈祥壮并非科班出身，他通过两年自学，系统掌握了数据的采集、处理、分析和可视化，真大神是也。

内容简介

第1章主要讲解了在Ubuntu和Windows系统下，Python集成开发环境的搭建。考虑到初学者容易为安装第三方库犯难，又介绍了三种简单实用的方法来安装这些常见的库。接着对几个后面要用到的高级语法进行了简单介绍，为之后的应用打下基础。

第2章集中讲解了数据采集的流程，即网络爬虫程序的设计与实现。首先本章没有拘泥于使用Python的内置库urllib库进行实现，而是直接介绍了requests和其他更加简捷强大的库来完成程序的设计。在进阶内容中，对常见的编码问题、异常处理、代理IP、验证码、机器人协议、模拟登录，以及多线程等相关问题给出了解决的方案。

第3章讲解数据的清洗问题。在具体讲解清洗数据之前，先介绍了TXT、XLSX、JSON、CSV等各种文件的导入和导出的方法，并介绍了Python与MySQL数据库交互的方式。接着介绍了NumPy和pandas库的基本使用方法，这是我们用于数据处理和科学计算的两个强大的工具。最后综合以上的学习介绍了数据的去重、缺失值的填补等经典的数据清洗方法。

第4章首先讲解探索性数据分析的应用，并且简单介绍了机器学习基本知识。然后演示如何应用sklearn库提供的决策树和最邻近算法来处理分类问题，并尝试根据算法原理手动实现最邻近算法。最后介绍如何使用pandas、matplotlib和seaborn这三个库来实现数据的可视化。

第5章是综合性学习的章节，讲解了三个小项目的完整实现过程，旨在通过操作生活中真正的数据来强化前面基础内容的学习。

作者简介

沈祥壮，自学Python两年，以数据分析为主线，系统学习的数据的采集、处理、分析和可视化。在研究统计机器学习理论的同理，使用Python语言实现了部分统计学习算法。研究方向包括数据采集、数据挖掘、统计机器学习及图像处理。

目录

1 准备

1.1 开发环境搭建

1.2 Python基础语法介绍

1.3 The Zen of Python

2 数据的获取

2.1 爬虫简介

2.2 数据抓取实践

2.3 爬虫进阶

2.4 爬虫总结

3 数据的存取与清洗

3.1 数据存取

3.2 NumPy

3.3 pandas

3.4 数据的清洗

4 数据的分析及可视化

4.1 探索性数据分析

4.2 机器学习入门

4.3 手动实现KNN算法

4.4 数据可视化

5 Python与生活

5.1 定制一个新闻提醒服务

5.2 Python与数学

5.3 QQ群聊天记录数据分析

购买地址

京东：https://item.jd/12330816.html

当当：http://product.dangdang/25247679.html

亚马逊：https://amazon/dp/B07BLJ8N33/ref=sr_1_1 ie=UTF8&qid=1527488436&sr=8-1&keywords=Python%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%85%A5%E9%97%A8%E2%80%94%E2%80%94%E4%BB%8E%E6%95%B0%E6%8D%AE%E8%8E%B7%E5%8F%96%E5%88%B0%E5%8F%AF%E8%A7%86%E5%8C%96

作者邮箱datahonor@gmail。

本书中使用的全部代码及相关数据已经托管至Github, 读者可以进入https://github/shenxiangzhuang/PythonDataAnalysis进行下载。

因为大数据爆发，因此出现了大数据开发、大数据分析这两大主流的工作方向，目前这两个方向是很热门，不少人已经在开始转型往这两个方向发展，相较而言，转向大数据分析的人才更多一点，而同时也有不少人在观望中，这边科多大数据收集了十个为什么要学习大数据分析的十个理由。

下面我们一起来看看大数据专家写给大数据分析学习者的10个理由

为什么大数据是新的前沿

如果你想在这个世界取得成功，你必须学习趋势。通过查看可用于您的利基的分析数据，您可以确定不同的方法 ，您可以通过这些方式取得积极的成果。一切都取决于数据。从大型跨国公司到小企业。所有伟大的人都使用这些数据为公司的未来制定更好的策略。现在想象成为所有这种疯狂的中心。想象一下，在作出重大业务决策之前，他们是如何做到的?那就是你将和谁同行才能快速成为优秀的数据分析决策师?

你应该学习数据分析的原因

1.数据分析现在是顶级组织的优先事项

随着市场竞争的加剧，顶级组织正在转向数据分析，以确定其服务和产品的新市场机会。目前，77%的顶级组织认为数据分析是业务绩效的关键组成部分。这意味着大数据专业人员对公司政策和营销策略产生巨大影响。

2.增加就业机会

随着公司开始意识到他们无法全面收集，解读和使用数据，他们开始寻找可以这样做的专家。如果您查看所有主要的就业机会平台，您将看到越来越多的职位发布寻找数据分析师和顾问。具有这一特殊技能的专业人士的需求正在上升，而供应仍然很低。这为这一-领域的个人创造了巨大的就业机会。

3.增加数据分析专业人员的工资

随着需求稳步增长，供应依然低迷，数据分析专家越来越多地得到报酬。在印度，像现在这样，数据分析专业人士的平均支付比其他IT专业人士的平均水平高出50%。随着越来越多的公司意识到这些专业人员对组织的重要性，这一趋势在全球显而易见。

4.大数据分析无处不在

正如现在在当今工作场所使用计算机一样，使用故据分析专业人士来促进增长是缓慢的。DataAnalytics几乎没有任何部门保持不变。

5.你会有不同的职业选择

数据分析专家拥有广泛的职称和领域。由于大数据几乎在今天使用。您可以选择:

-指标和分析专员

-数据分析师

-大数据工程师

-数据分析顾问

这些只是您有以在大型组织（如IBM.ITrend.Opera.oracle等）中掌握的一些职位，并且可能性是巨大的。

6.您将成为公司决策的核心

工作场所不满的主要原因之一是大多数员工觉得没有决策权。他们经常觉得这只是一个很棒的公司轮毂。作为数据分析专家，您将成为您所选公司决策的核心。事实上，您将成为企业决策和未来战略的一个组成部分，从而为组织内部发挥重要作用和目标。

7.大数据分析的采用率很高

正如公司开始转向社交媒体品牌广告和客户参与一样，他们也开始转向数据分析。今天几乎不可能找到没有社交媒体的品牌。就数据分析适应而言也是如此。在不久的将来，每个公司都将需要数据分析专家。这使得它成为一个明智的职业生涯，实际上有一个未来的业务。

8. 数据分析正在快于预期

Nimbus Ninety进行的一项调查显示，数据分析的速度要比预计的快得多。调查发现 数据分析技术将在未来3年内寻找技术。

9.它代表完美的自由职业机会

在不久的将来，绝大多数的劳动力不会被束缚在一个雇主身上。人们正在稳步寻找各种各样的收入来源和方法，通过这些渠道找到完美的工作与生活平衡。数据分析，这是一个研究数字、趋势和数据的一般问题 ，为您提供了一个完美的机会，成为世界上一些最大的公司的高薪自由职业者或顾问。在很大的IT基础上，这种工作可以在任何时候从世界任何地方完成。因此，您不必被绑在桌子上。

10.开发新的收入来源

您可以分析并将好的数据信息用于良好用途，您可以轻松识别新的和未开发的创收流。这是通过增加收入来丰富您的生活的最佳方式之一。

以上算是关于大数据专家写给大数据分析学习者的10个理由，可见就目前来看，大数据分析工程师算是一个不错的方向，而且由于其对编程要求不高，学习门槛相较而言也比较低，所以如果想要进入大数据行业，但是又对编程不感兴趣的朋友，可以考虑往大数据分析方向发展。

现在科多大数据更新大数据开发、数据分析、python爬虫等试听视频，小伙伴们可上科多大数据官网咨询领取哦~

在回答“从事数据分析师学什么专业”这个问题之前，小编想先给大家介绍下数据分析这师的就业现状！

一个优秀的数据分析师可以帮助企业根据现有数据做出科学、合理的分析，在前行中准确定位，为企业排除干扰，创造价值。数据分析师这个岗位的可以从事相关数据的职位有很多，如业务数据分析师、数据挖掘师、数据科学家、数据工程师等等。

业务/商业数据分析师（BA）是完全的咨询师设定，核心价值在分析框架+报告；

数据科学家是完全的算法设定，核心价值在算法+数学；

数据工程师是完全的程序员设定，核心价值在程序；

其他还有建模分析师、数据架构师、数据产品等等；

可以说数据分析师的就业面非常之广，在公司产生的价值与被重视程度不言而喻。

小编从各大招聘网站找到国内三家大企业的招聘，从中可以发现企业对数据分析人才专业要求是怎样的。

可以看到职责描述里，第七条，数学、统计学、信息管理、计算机专业等。

岗位要求里，第一条：本科以上学历，统计学、数学、电子商务、计算机、市场营销等相关专业。

任职要求，第一条可以看到数学、统计学、数量经济学、计算机、营销学等相关专业。

这几条招聘启事专业要求有数学、统计学、信息管理、计算机、电子商务、市场营销、数量经济学专业。这些专业具体都学些什么内容呢？

数学

随着科技事业的发展，数学专业和其他专业的联系也越来越紧密，所以数学专业知识也得广泛的应用。

数据分析师需要有专业的数学功底和严密的逻辑思维，而严密的逻辑思维则来源于扎实的数学功底。 学数学的同学更注重理论的完备性和逻辑链的完整性，即对于在分析过程中出现的任何一些命题，都要能证明它是正确的还是错误的。

统计学

统计学贯穿数据分析的全过程，没有统计学基础，很难有专业的数据分析。数据分析的 各个步骤，都要用到统计学的知识。

信息管理

信管专业主要对各种“系统”进行分析、设计与实现，技术与管理的有机结合。学习内容：财务、系统数据分析、IT技术，可以说信管专业非常对口数据分析师职位，从信息中 发掘财富。与计算机结合，使计算机作为工具， 信息管理更加有效和实用，随着企业经营规模的现代化，对信息管理 的要求越来越强烈。

例如铁路订票系统，就是对车票这种信息的查询和管理系统。可以说软件开发的最主要面向的客户就是 帮助企业制作良好的信息管理系统。

计算机

学习计算机专业同学可以从事数据研发/开发工程师，数据挖掘/机器学习工程师，对编程技术上的要求高一些。

电子商务

电子商务专业培养具备管理、经济、法律及网络技术、计算机技术、市场营销、电子商 务技术以及电子商务管理等方面的知识和基本技能，现在各大交易都在网站等网络平台 交易完成，数据分析在电商行业的应用非常广。

市场营销

数据分析师常要为企业的营销决策提供支持，这就要求懂营销。

具有营销背景的数据分析师思路会更清晰、更开阔。当让他做竞争分析时，他会想到波 特五个力；让他做环境分析时，他会想到PEST、让他做消费者偏好分析，他会想到科 特勒用户决策流程。

数量经济学

数量经济学是运用统计学、经济计量学、投入产出分析、最优规划方法、经济控制论和计算技术等各种手段，对各种经济问题进行理论分析、经验检验和政策分析的一门应用经济学科。数量经济学更偏技术类，相比其他经济学金融类专业，数经的优势是统计软件够独立编程。

刚毕业，无基础无经验，怎么入行呢？

我进入互联网行业完全是零基础，不是数据分析零基础，是样样能力零基础。零基础到什么样子?我找工作花了三到四个月时间，最后以运营身份入职。

我从来不是数理强人，大学虽学习过高数、统计学、SQL和C#语言，均是低空略过，都是简单的了解了，却没有学精。现在回头看，当时应该从哪一个感兴趣的方面多学一些。

刚开始接触数据分析的时候，了解到数据分析需要学到的工具有很多，包括EXCEL、SQL数据库、SPSS、SAS、Python等。学的东西太多，感觉自己学的挺难的。

其实零基础学习数据分析，最难的门槛不是技能，而是学习动力和坚持学下去。很大情况是环境因素逼迫人去学习，本身没有任何学习的驱动力和习惯。大学四年再一度过，可能学习性就消磨殆尽了。所以，从你决定学习的那一瞬间，你就要坚定你学数据分析的信念。

因为是零基础，所以才更需要主动性。数据分析本事是发展很快的行业，持续的学习是必须的能力，基础不如别人，至少靠努力来弥补吧。

至于从哪里学，就看你自己的选择了。自学的话可能会走一些弯路，还是需要一些老师带着你学，因为毕竟老师们都是有足够的经验的，能够教你在这个行业里面的一些前沿知识。至于是选择在线课程还是培训班，我个人建议是培训班了，自觉性这个东西在我这里是较为薄弱的，报班能在一定程度上提高我的学习效率。

在培训班的选择上，一定要注意培训班的实力。尤其是培训班的师资力量上，一定要至少7年经验的导师来带着你，这样你会受益更多。在这点上，我选择了AAA教育，他们的师资力量是非常雄厚的，而且有国际和国内一流的实践操作项目带着增长经验。

“数据分析”作为时下流行的词汇和技术，相信很多人都不会陌生，想要学习和已经开始学习数据分析的人也越来越多。但是，遇到不少相关人士后，我发现大家对“学习数据分析”的理解存在着很大的偏差。

那么，应该怎么学习数据分析呢？

针对不同的受众，这个问题的答案也五花八门。从最基础的理论开始一步一个脚印来学，从实际中常用的数据分析算法或软件来学，还是从行业领域的数据分析应用中学习？？？

对我们来说似乎很难抉择。虽说这几种学习方向都是绝对可行的，而且无论从哪个方向出发似乎总能掌握数据分析能力，然而事实却没这么简单，我们常常信心满满、干劲十足地出发，去学理论、学技术或者学应用，也常常无可奈何地草草放弃。

这些，并不是因为我们不求上进、不够努力，甚至有时候是因为我们太想努力了，太想真正提高自己了，但是无法看清学习的原因、动力、过程还有结果，甚至学习的意义。

“只要还在学习，人生就有无穷的可能。”

这句话的信服度还是低了点，所以，在学习数据分析的过程中，被枯燥的内容和越来越多的不清楚包围着，我们需要更加有效更加轻松的学习方法。

“为什么学习数据分析？”，不知道大家有没有仔细地考虑过这个问题。数据分析的目的是什么，大家的理解几乎一致，为了解决实际问题，为了提供决策依据等等之类的。然而学习数据分析的目的，每个人肯定都是不大相同的，有人为了提升自己，有人单纯因为好奇，但是，大部分人的目的不外乎借此有一份薪资不错且能驾驭的工作。

我常义正言辞地讲，我们不能为了数据分析而进行数据分析，更不能为了学数据分析而学习。

在这里我还是这样强调，我们不能为了学数据分析而学习，无论让你学习的原因是什么，都不能仅以此作为学习的动力。

学习的动力应该更具体一些，更实际一些，如学数据分析的目的，展现、预测、决策还是其他应用等等之类的。学习数据分析的目的，因人而异，但是也离不了“应用”，除非是想只搞理论研究的。

过年那段时间，因为一些个人的原因和比较无聊，我对“Cosplay圈（简称C圈）脱单的情况”比较感兴趣，想要试着研究一下“在C圈，一个人是否脱单可能跟哪些因素有关”。

提出这个研究内容后，我想了很多，也查了一些相关的资料，首先主观上选择了一些可能的变量，年龄、性别、星座、颜值、薪资、学历、爱好、性格等等，共计30个问题（由于C圈低龄化比较严重和颜值的主观判断不够合理，薪资、学历、颜值等因素实际上优势偏差，但因为比较有趣所以也作为研究变量）。

收集数据之前，作为一个熟悉各种算法的理论研究者，我是这么认为的——首先，这个问题看着像是要用分类算法，而且想要看自变量对因变量的影响程度，因此用逻辑回归看来是比较合适的。

但是收集数据之后，我发现，逻辑回归真的不行，拟合度实在太低了。所以直接看了下数据特征，举个例子，年龄和感情状态的交叉分析图如下：

似乎很难看出来什么眉目，那我们再把单身和非单身的分开列出各年龄段的脱单率看看是否脱单和年龄有什么关系，整理后的数据如下：

那么问题来了，我的研究目的是“在C圈，一个人是否脱单可能跟哪些因素有关”（其实也想知道具体是怎么影响的），而到这里其实大致就能看出来年龄跟是否脱单的关系了，可能过了30岁我的脱单率会提高一些OTZ。（其他因素用同样的方法也做了相应研究，结论还是很有趣的，这里不再过多说明。）

举这个简单的案例，并不是要说数据分析就是这样，数据分析应该这么来之类的，而是想让大家看的数据分析的有趣之处，并且，避免数据分析算法先入为主，一切从我们的研究目的出发，得到我们的研究目的为止。在这个过程中，我们可以借助的辅助工具很多很多，什么软件啊算法啊图形之类的，但需要借助什么，怎么借助也是需要由我们的研究目标支撑的。

数据分析是一门多学科、多领域的交叉学问，涉及到的东西非常多。但是具体的到应用，一个切实的应用需要用到的知识并不多，但要有完整的思维和清晰的目标。很多人在学习数据分析的过程中都会有“为什么这里要这么用？为什么那里要那么做？”这种问题，为防止盲目套用，我们必须时刻考虑想要解决的问题和想要达到的目的，那么不管是在获取数据、清洗数据还是选择模型的过程中，我们都会更加清晰明确、游刃有余，而且能够及时调整数据分析过程。

最后，我非常赞成在生活学习中发现并应用数据分析，但绝不可滥用，在已有的条理化工作中强行引入数据分析甚至可以说是一种灾难。比如客户的数据体量非常大，如果想要知道客户的某种行为与什么因素有关，收集客户数据并进行整理、拟合等，这种做法常常是不可取的，业务方面的问题引起的客户行为，常常并不需要直接研究客户行为。

因此，学习数据分析要注意培养思维和意识，创新地提出确实能实际应用的方向，绝对不能滥用数据分析。无意义的数据分析不仅是浪费，还是思维的误导，是在给你通往数据分析师的道路挖坑。

希望大家能结合实际需求来系统地学习数据分析，无论以何种具体的方式，只要思维和习惯是对的，走向数据分析师的道路就是对的。

来源：CPDA 数据分析师

1. 《数据之美：一本书学会数据可视化设计》

这是一本教大家如何制作一张精美的可视化图表、挖掘大数据背后意义、足够系统的数据可视化入门书。书中，作者提供了丰富的可视化信息及探索数据的多元视角，他避开了一些技术性细节，从宏观和感性的角度介绍如何将数据转变为直观可视的图形，并且深入浅出地介绍了数据可视化的步骤和思想，丰富了读者对数据及可视化的认知。

2. 《数据之魅：基于开源工具的数据分析》

作者在书中详细分享了他从事数据分享工作的丰富经验，阐述了数据分析所涉及的概念和方法。包括如何用图形及表格来观察数据、如何建模分析数据等。书中的主题部分介绍了该如何进行数据挖掘，并包含了大量的模拟过程及结果分析。

3. 《社交网站的数据挖掘与分析》

目前，各类社交网站已经渗入大家日常生活中的各个角落，它们无时无刻不在产生着大量宝贵的社交数据，而这本书中便告诉了大家如何利用这些社交网络数据并通过可视化技术来挖掘出数据背后更深层次的价值。

书中分章节系统地介绍了如何在不同社交网络中应用数据挖掘技术。需要特别指出的是，阅读并学习这本书需要一定的编程知识及学习基本 Python 工具的意愿。

4.《数据挖掘技术》

这本书是数据挖掘领域的经典著作之一，自 1997 年第一版出版以来便经久不衰。书中从技术、应用两个方面系统、全面地介绍了数据挖掘的商业环境、及其在商业环境中的应用。本书的包含了数据挖掘技术的核心内容，包括：

决策树、神经网络、协同过滤、关联规则、链接分析、聚类和生存分析等，极具技术深度与广度。

5.《大数据时代》

《大数据时代》一书在大数据研究领域具有举足轻重的地位，作者维克托 迈尔 舍恩伯格认为大数据的核心就是预测，并前瞻性地指出，大数据带来的信息风暴正在颠覆我们的生活、工作和思维，大数据开启了一次重大的时代转型。

全书用三个部分讲述了大数据时代的思维、商业、管理变革。

6. 《集体智慧编程》

此书是 Web 开发者、构架师、应用工程师的绝好读物。书中以机器学习和计算机统计为背景，着重讲述如何挖掘和分析 Web 上的数据和资源。包括协作过滤技术、集群数据分析、所搜引擎核心技术、社交网络的信息匹配技术。

读书最好的时候是学生时期，其次是现在。有不少人求小编给推荐数据分析入门或者自我成长的书籍，今天刚好有空闲，小编就从入门级到高级的书籍循序渐进推荐给大家，大家根据自己的水平挑选，如果有更好的书，欢迎大家留言给小编！

以下为入门级书籍

适合对数据分析的入门者，对数据分析没有整体概念的人，常见于应届毕业生，经验尚浅的转行者。

Excel

《谁说菜鸟不会数据分析》

知名度比较高的一套书，适合新手，优点是它和数据分析结合，而不是单纯地学习函数。学会函数适用的场景和过程比它本身更重要。

这本书不仅讲解了一些常见的分析技巧，并附带 Excel 的一些知识以及数据分析在公司中所处的位置，对职场了解亦有一定帮助。这本是入门篇，还有一本是专门介绍工具篇的，有兴趣的同学可以看看。

数据分析

《深入浅出数据分析》

HeadFirst 类的书籍，一向浅显易懂形象生动，可以对分析概念有个全面的认知。

数据可视化

数据可视化的书不多。市面上多以编程为主，面向新手和设计的教程寥寥无几。 如果只是了解图表，看 Excel 的书籍也管用。

《鲜活的数据》

内容很丰富，涉及可视化的方方面面，也囊括更类编程语言和设计软件：Python+JS+R+Excel。作者还有另外一本书《数据之美》。

可视化是一门侧重灵感的学科，有一种入门技巧是从他人设计中学习，从模仿开始，了解他人是如何设计的，这个网络上有大量的信息图可以参考。当然数据分析师更需要的是如何发现，别只学习展示。

《赤裸裸的统计学》

本书的主旨，结合生活讲解统计知识，生动有趣。可以避免统计学一上来就大讲贝叶斯概率和随机分析的枯燥。

进阶版

具有一定的行业针对性，要求具备一定的分析常识，适合网站分析师，商业分析师以及数据产品经理。

《数据化管理：洞悉零售及电子商务运营》

本书讲述了两个年轻人在大公司销售、商品、电商、数据等部门工作的故事，通过大量案例深入浅出地讲解了数据意识和零售思维。作者将各种数据分析方法融入到具体的业务场景中，最终形成数据化管理模型，从而帮助企业提高运营管理能力。书内全部案例均基于 Excel，每个人都能快速上手应用并落地。

统计学

统计学是比较大的范围，分析师往后还需要学线性代数和矩阵、关系代数等。初学者不需要掌握所有公式定理的数学推导，懂得如何应用就行用。

《深入浅出统计学》

大概是最啰嗦的深入浅出系列，从卖橡皮鸭到赌博机的案例，囊括了常用的统计分析如假设检验、概率分布、描述统计、贝叶斯等。书本注重应用和趣味性，数学推理一般。

SQL

数据库有很多种，常见有 Oracle，MySQL，SQL Server 等。我推荐学习 MySQL，这是互联网公司的主流数据库。以后学习 Hadoop 生态时，MySQL 也是最接近 Hive 语法的语言。

MySQL 不需要专门看书学习，因为数据分析师以查询为主，不需要考虑数据性能、数据安全和架构的问题。

《MySQL 必知必会》

学习 SQL 的入门书，薄册子一本，看起来很快。SQL 是个性价比很高的技能，简单而强大。任何想进一步提高自己数据分析技能的产品 / 运营 / 分析师 同学，都建议点亮 这个技能点。

《网站分析实战》

互联网不再是网站的天下，但是移动端依旧有 Web，我们在朋友圈看到的所有 H5 活动、第三方内容等，都是依托网页实现。网站的数据分析依旧有存在空间，网站的数据指标还是能够指导我们运营。

Python/R

欢迎来到数据分析的最后殿堂，Python 和 R 都是大分支，基本是前面所有内容的实现。Python 的学习以 PY3 为前提，毕竟 2017 年了，我实在想不出不用 Python3 的理由。

除了书籍，Python/R 更多依靠博客和文档学习。Python 的学习路径不陡峭，新手水平取决于查询能力，所以也请学会如何高效搜索。

《深入浅出 Python》

还是深入浅出系列，完全适合零基础的新人。需要注意的是，编程学习不同于其他知识，如果计算机基础不稳固，在使用中会遇到各类问题。知其然不知其所以然，这是本书缺点：能掌握，但是 Bug 比较多。

《Python 学习手册》

对于拥有编程基础的人，这本书系无巨细的有些啰嗦，不过对新人，可以避免不必要的坑。把它当作一本工具文档吧，当遇到不理解的内容随时翻阅。这是纸质书比电子书好的优势之一。

《Python Cookbook》

Python 的进阶书，如果想要掌握更好的编程能力，这是一本经典，值得时时翻阅。注意，它更偏向程序员。

《R 语言实战》

R 语言的入门书籍，从数据读取到各类统计函数的使用。虽然没有涉及机器学习，依靠这本书入门 R 是绰绰有余了。

《统计学：从数据到结论》

这本书是将 R 语言和统计学结合的教材，可以利用这本书再复习一遍统计知识。缺点是书本后面的内容质量不如前部分。

到这里，入门到进阶级别的书籍推荐完毕，当然好书不嫌多，例如《数学之美》、《集体智慧编程》、《统计学习方法》等，有兴趣不妨阅读。上面的内容都吃透，不论是成为一名数据分析师，还是往后向机器学习、数据科学家、数据产品发展、都有了良好的基础。

希望小伙伴们都能沉下心阅读。

大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。

本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。

为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职位角色。

我尽量详细地回答了每一项人们在学习大数据过程中遇到或可能会遇到的问题。为帮助你根据兴趣选择发展途径，我添加了一组树图，相信会对你找到正确的途径有所帮助。

注释：学习之路树状图

在这个树状图的帮助下，你可以根据你的兴趣和目标选择路径。 然后，你可以开始学习大数据的旅程了。 后台回复“职业路径”3个字，下载高清版本。

目录表

1.如何开始？

2.在大数据领域有哪些职位需求？

3.你的领域是什么，适合什么方向？

4.勾勒你在大数据领域的角色

5.如何成为一名大数据工程师？

o什么是大数据行业术语？

o你需要了解的系统和结构

o学习去设计解决方案并且学习相关技术

6.大数据学习路径

7.资源

1.如何开始？

人们想开始学习大数据的时候，最常问我的问题是，“我应该学Hadoop（hadoop是一款开源软件，主要用于分布式存储和计算，他由HDFS和MapReduce计算框架组成的，他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性，因此成为最近流行的海量数据处理框架。hadoop这个单词来源于其发明者的儿子为一个玩具大象起的名字。）, 分布式计算，Kafka（Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统）,NoSQL（泛指非关系型的数据库）还是Spark（Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处）？”

而我通常只有一个答案：“这取决于你究竟想做什么。”

因此，让我们用一种有条理的方式来解决这个问题。我们将一步步地探索这条学习之路。

2. 在大数据行业有哪些职业需求？

在大数据行业中有很多领域。通常来说它们可以被分为两类：

大数据工程大数据分析这些领域互相独立又互相关联。

大数据工程涉及大量数据的设计，部署，获取以及维护（保存）。大数据工程师需要去设计和部署这样一个系统，使相关数据能面向不同的消费者及内部应用。

而大数据分析的工作则是利用大数据工程师设计的系统所提供的大量数据。大数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。

因此，简而言之，大数据分析是对数据的高级计算。而大数据工程则是进行系统设计、部署以及计算运行平台的顶层构建。

3.你的领域是什么，适合什么方向？

现在我们已经了解了行业中可供选择的职业种类，让我们想办法来确定哪个领域适合你。这样，我们才能确定你在这个行业中的位置。

通常来说，基于你的教育背景和行业经验我们可以进行如下分类：

教育背景（包括兴趣，而不一定与你的大学教育有关）

计算机科学数学行业经验新人数据学家计算机工程师（在数据相关领域工作）因此，通过上面的分类，你可以把自己的领域定位如下：

例1：“我是一名计算机科学毕业生，不过没有坚实的数学技巧。”

你对计算机科学或者数学有兴趣，但是之前没有相关经验，你将被定义为一个新人。

例2：“我是一个计算机科学毕业生，目前正从事数据库开发工作。”

你的兴趣在计算机科学方向，你适合计算机工程师（数据相关工程）的角色。

例3：“我正作为数据科学家从事统计工作。”

你对数学领域有兴趣，适合数据科学家的职业角色。

因此，参照着定位你的领域吧。

（此处定义的领域对你确定在大数据行业的学习路径至关重要。）

4.根据领域规划你的角色

现在你已经确定了你的领域，下一步，让我们规划出你要努力的目标职位吧。

如果你有卓越的编程技巧并理解计算机如何在网络（基础）上运作，而你对数学和统计学毫无兴趣，在这种情况下，你应该朝着大数据工程职位努力。

如果你擅长编程同时有数学或者统计学的教育背景或兴趣，你应该朝着大数据分析师职位努力。

5.如何成为一名大数据工程师

让我们先定义一下，一名受到行业承认的大数据工程师都需要学习和了解什么。首先以及最重要的一步是确认你的需求。你不能在不清楚个人需求的情况下直接开始学习大数据。否则，你将一直盲人摸象。

为了明确你的需求，你必须了解常用的大数据术语。所以让我们来看一下大数据到底意味着什么？

5.1 大数据术语

大数据工程通常包括两个方面 – 数据需求以及处理需求。

5.1.1 数据需求术语

结构：你应该知道数据可以储存在表中或者文件中。储存在一个预定义的数据模型（即拥有架构）中的数据称为结构化数据。如果数据储存在文件中且没有预定义模型，则称为非结构化数据。（种类：结构化/非结构化）。

容量：我们用容量来定义数据的数量。（种类：S/M/L/XL/XXL/流）

Sink吞吐量：用系统所能接受的数据率来定义Sink吞吐量。（种类：H/M/L）

源吞吐量：定义为数据更新和转化进入系统的速度。（种类：H/M/L）

5.1.2 处理需求术语

查询时间：系统查询所需时间。（种类：长/中/短）

处理时间：处理数据所需时间。（种类：长/中/短）

精度：数据处理的精确度。（种类：准确/大约）

5.2 你需要知道的系统和架构

情节1的解决方案：销售数据池

（这是我的个人解决方案，如果你想到一个更高明的解决方案请在下面分享一下）

那么，一个数据工程师会怎样解决这个问题呢？

需要记住的一点是，大数据系统的目的不仅仅是无缝整合各种来源的数据，而使其可用，同时它必须能使得，用于开发应用系统的数据的分析和利用变得简单迅速和易得（在这个案例中是智能控制面板）。

定义最后的目标：

1. 通过整合各种来源的数据创建一个数据池。

2. 每隔一定时间自动更新数据（在这个案例中可能是一周一次）。

3. 可用于分析的数据（在记录时间内，甚至可能是每天）

4. 易得的架构和无缝部署的分析控制面板。

既然我们知道了我们最后的目标，让我们尽量用正式术语制定我们的要求吧。

5.3.1 数据相关要求

结构：大部分数据是结构化的，并具有一个定义了的数据模型。但数据源如网络日志，客户互动/呼叫中心数据，销售目录中的图像数据，产品广告数据等是非结构化的。 图像和多媒体广告数据的可用性和要求可能取决于各个公司。

结论：结构化和非结构化数据

大小：L或XL（选择Hadoop）

Sink 吞吐量：高

质量：中等（Hadoop＆Kafka）

完整性：不完整

5.3.2 处理相关要求

查询时间：中至长

处理时间：中至短

精度：准确

随着多个数据源的集成，重要的是要注意不同的数据将以不同的速率进入系统。 例如，网络日志可用高颗粒度连续流进入系统。

基于上述我们对系统要求的分析，我们可以推荐以下大数据体系。

6.大数据学习路径

现在，你已经对大数据行业，大数据从业人员的不同角色和要求有所了解。 我们来看看你应该遵循哪条路来成为一名大数据工程师。

我们知道大数据领域充斥着多种技术。 因此，你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同，如数据科学和机器学习中，你可以从某些地方开始并努力完成这一领域内的所有工作。

下面你会发现一个你应该通过的树状图，以找到你自己的路。即使树状图中的一些技术被指向是数据科学家的强项，但是如果你走上一条路，知道所有的技术直到“树叶节点”总是很好的。 该树状图源自lambda架构范例。

任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适。这是处理大数据的基本要求。

核心是，大部分大数据技术都是用Java或Scala编写的。但是别担心，如果你不想用这些语言编写代码，那么你可以选择Python或者R，因为大部分的大数据技术现在都支持Python和R。

因此，你可以从上述任何一种语言开始。 我建议选择Python或Java。

接下来，你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据，没有人会认真对待。 请尝试在AWS，softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次，让学生练习。如果你想的话，你可以暂时跳过此步骤，但请务必在进行任何面试之前在云端工作。

接下来，你需要了解一个分布式文件系统。最流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库，以便根据你感兴趣的领域进行学习。

好了，今天的知识就分享到这里，欢迎关注爱编程的南风，私信关键词：大数据 ，获取更多学习大数据的资源，如果文章对你有有帮助，

请收藏关注，在今后与你分享更多学习大数据的文章。同时欢迎在下面评论区留言如何学习大数据。

没有计算机基础，没有编程基础的人，该怎么学习数据分析，第一步要做到什么，然后应该做什么？怎么一步一步自学？先打哪些基础？很多人都在了解数据分析的时候，都会这么说。数据分析一定要统计学，编程基础吗？

数据分析如何开始？

我最早做数据分析是从网站统计开始的，从CNZZ到Google Analytics都有用过。我们能够这些地方知道什么呢？网站流量，用户情况，行为统计等等。以GoogleAnalytics为例，以下是我一个网站的流量图：

从这个图里面，我们可以看出什么呢？用户数有多少，每个用户访问几个网页，每个用户停留多长时间，跳出率有多高等等。

如果你是第一次看到这种图，那你肯定是一头雾水，WTF？什么是跳出率？什么是平均会话时长？

这也是开始学习的过程，接触到陌生概念，就去了解，不要因为一个概念不懂就停止学习。

经过一段时间的了解，我们学会了各个名词是什么意思，例如我们发现跳出率太高了，那么就证明网站存在某些问题，导致了用户很容易流失。那么我们就进一步， 查看用户的行为数据，例如热点图，点击图等等，分析是什么地方导致了这个问题。

PS：图上这个跳出率算是很低了，还不错。

这个图是流量获取概览图，我们可以通过这个图来了解流量是从哪来的，这也能帮助我们做流量的优化甚至引流的工作。

不要嫌网站统计显得low，基础数据分析都是从这个开始的。

接下来可以着手去搞一些自己感兴趣的数据，当然，这可能需要学习爬虫知识，一些数据库的知识。

你可以爬歌词，看大家在唱什么，也可以把公司的订单倒入，看订单有什么规律，还可以把女朋友的微博全部拿出来，看她到底对什么感兴趣。

这些，其实都是数据分析的应用，从简单的，基础的，自己感兴趣的开始。

就数据分析学习而言，需要的技能模块有统计基础+数据库知识+编程能力。其以后的的职业发展方向，一个是业务层面的方向，一个是数据挖掘层面的方向。今天科多大数据和你们一起来谈谈关于数据分析的学习。

1.统计基础

理工科的学生在本科阶段学习过概率论与数理统计，单从做数据分析的角度已经够用。其他方面，可以根据需要查看相关书籍，随时进行查漏补缺即可。个人推荐《深入浅出统计学》，可以让统计理论的学习有趣又自然。

2.数据库知识

关系型数据库很重要。在学习数据分析的初期甚至很长一段时间，你接触到的数据都存储在关系型数据库中，需要学习SQL语言进行数据查询。关于SQL语言，强力推荐《SQL必知必会》，整本书通俗易懂，是学习SQL语言的不二之选。

学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通，比如：SQL中对data进行group by的操作，这个在Excel里类似于透视表，在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程，你会接触到分布式数据库和所对应的no-SQL语句。

3.编程能力

Excel。 透视表（Pivot Table）是做数据分析的必备技能。透视表可以帮你迅速汇总数据，看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶，Excel自带的函数、各种插件，以及VBA也是很好的工具。

Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时，需要学些hardcore技能，即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python，一是代码简单易懂，容易上手；二是学习资料多，降低学习成本。推荐《利用Python进行数据分析》，涵盖了利用Python做数据清洗，数据可视化及分析的技能点，可以作为一本工具书随时查阅。

Python 是目前科多大数据分析课程里面非常重要的一项内容，下面这张图更能直观反映学习内容

当然需要特别指出，数据分析课程学习内容肯定不止python这一项内容，还包括数据分析基础，互联网电子商务、经济学基础，数据产品（可视化报表）等各个板块的学习。

业务分析是巨大的！业务分析有助于决定如何使用数据，以及可以使用哪些模型来做出更好的业务决策。业务分析可以被称为“企业的数据科学”。尽管有许多模型可用于做出业务决策，但业务分析有助于识别最佳模型。

2.业务分析是一个使用组织中可用的所有统计数据达成建设性结论的程序/研究。组织雇用业务分析专家，评估公司以前的报告，以了解他们是否正确进行。过去的报告有助于他们评估即将发生的事件是否有利于组织或反对。在这两种情况下，对公司都有利。如果企业处于正确的轨道，他们仍然可以改善，如果没有，那么它可以帮助他们找到解决办法来纠正这个问题。

3.首先要掌握基础数学和统计学。了解为什么和在哪里使用平均值，中位数和模式。在你开始之前，你需要爱上你的数据，这是我的教授所说的。当你写关于女朋友的诗，你必须知道我可以从中知道什么。不要用大数据驱动我的误解或数据分析是hadoop，spark等框架。当然，他们有助于更快地获得结果，但逻辑与我们如何将数据转化为有用的信息。按照array老师的视频课程。无论你是学生还是做任何工作，如果你能知道你做什么，那就很容易根据它来找到答案。

4.

· 了解统计信息和多变量统计信息

· 学习SQL和数据库

· 学习编码（Python，R）

· 学习使用新的非结构化数据类型

· 参加MOOC课程数据科学课程（Coursera，Udacity等）

· 考虑数据科学或数据分析的研究生学位

5.您应该深入分析计算的基础知识。您应该了解可扩展性，容错能力，复制性，开放性，地理独立性等分布式编程中的问题。要分析大数据，您需要对统计信息或机器学习有较好的了解。您也可以使用Hadoop，HBase，Hive等分析大数据的工具。DBMS的基础知识也是首选。要使用任何大数据工具，如hadoop，您应该知道一种编程语言（比如Java或Python）。如果要集中精力编程大数据，从分布式计算开始，然后尝试设置一个hadoop集群（单节点，然后是多节点）。我们公司的一个java开发在学Hadoop，别人给了他一套视频，我看了看从基础入门、生态圈组件、商业项目讲解都挺详细的。需要视频的可以到他鹏you圈留言，你可以通过TBanna521找到他。