本书为数据猿推出的《每周一本书》栏目丛书。

欢迎大家推荐好书给我们，让更多人受益。

这是一本务实之作，充分体现数据分析流程的各项环节，包含数据的采集、清洗和探索性分析，并通过大家耳熟能说的Python工具加以实操。更令人惊奇的是，本书的作者沈祥壮并非科班出身，他通过两年自学，系统掌握了数据的采集、处理、分析和可视化，真大神是也。

内容简介

第1章主要讲解了在Ubuntu和Windows系统下，Python集成开发环境的搭建。考虑到初学者容易为安装第三方库犯难，又介绍了三种简单实用的方法来安装这些常见的库。接着对几个后面要用到的高级语法进行了简单介绍，为之后的应用打下基础。

第2章集中讲解了数据采集的流程，即网络爬虫程序的设计与实现。首先本章没有拘泥于使用Python的内置库urllib库进行实现，而是直接介绍了requests和其他更加简捷强大的库来完成程序的设计。在进阶内容中，对常见的编码问题、异常处理、代理IP、验证码、机器人协议、模拟登录，以及多线程等相关问题给出了解决的方案。

第3章讲解数据的清洗问题。在具体讲解清洗数据之前，先介绍了TXT、XLSX、JSON、CSV等各种文件的导入和导出的方法，并介绍了Python与MySQL数据库交互的方式。接着介绍了NumPy和pandas库的基本使用方法，这是我们用于数据处理和科学计算的两个强大的工具。最后综合以上的学习介绍了数据的去重、缺失值的填补等经典的数据清洗方法。

第4章首先讲解探索性数据分析的应用，并且简单介绍了机器学习基本知识。然后演示如何应用sklearn库提供的决策树和最邻近算法来处理分类问题，并尝试根据算法原理手动实现最邻近算法。最后介绍如何使用pandas、matplotlib和seaborn这三个库来实现数据的可视化。

第5章是综合性学习的章节，讲解了三个小项目的完整实现过程，旨在通过操作生活中真正的数据来强化前面基础内容的学习。

作者简介

沈祥壮，自学Python两年，以数据分析为主线，系统学习的数据的采集、处理、分析和可视化。在研究统计机器学习理论的同理，使用Python语言实现了部分统计学习算法。研究方向包括数据采集、数据挖掘、统计机器学习及图像处理。

目录

1 准备

1.1 开发环境搭建

1.2 Python基础语法介绍

1.3 The Zen of Python

2 数据的获取

2.1 爬虫简介

2.2 数据抓取实践

2.3 爬虫进阶

2.4 爬虫总结

3 数据的存取与清洗

3.1 数据存取

3.2 NumPy

3.3 pandas

3.4 数据的清洗

4 数据的分析及可视化

4.1 探索性数据分析

4.2 机器学习入门

4.3 手动实现KNN算法

4.4 数据可视化

5 Python与生活

5.1 定制一个新闻提醒服务

5.2 Python与数学

5.3 QQ群聊天记录数据分析

购买地址

京东：https://item.jd/12330816.html

当当：http://product.dangdang/25247679.html

亚马逊：https://amazon/dp/B07BLJ8N33/ref=sr_1_1 ie=UTF8&qid=1527488436&sr=8-1&keywords=Python%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%85%A5%E9%97%A8%E2%80%94%E2%80%94%E4%BB%8E%E6%95%B0%E6%8D%AE%E8%8E%B7%E5%8F%96%E5%88%B0%E5%8F%AF%E8%A7%86%E5%8C%96

作者邮箱datahonor@gmail。

本书中使用的全部代码及相关数据已经托管至Github, 读者可以进入https://github/shenxiangzhuang/PythonDataAnalysis进行下载。

“Excel数据透视表有一个灵活的特点，根据你的需求实时变动汇总方式”

01

—

实例分析

如下所示：是一份销售流水数据，有时间，月份，区域，商品，数量，金额几个字段，如下所示：

现在针对不同的数据汇总需求，可以制作不同的数据透视表进行汇总分析数据，关键是各个字段需要放置的位置不同，从而得到我们想要的结果

02

—

呈现数据方式案例

问题1、需要知道各个区域销售的数量和金额情况？

思考几秒钟，这种需要将“区域”字段拖动至行，将“数量”和“金额”字段拖动至值即可，操作窗口如下所示：

问题2：需要知道每个区域，各种商品销售的金额，有两种展示方式

第1种是将区域和商品字段都拖入行，将金额插入值，效果如下：

第2种是将区域拖入至行，将商品拖入至列，将金额拖入至值，得到的结果如下：

问题3：需要知道各个区域，各种商品销售的数量和金额情况，也有两种展示方式

第1种是将区域和商品两个字段拖入行，将数量和金额拖入值，展示效果如下所示：

第2种是将区域插入至行，将商品拖入至列，将数量和金额拖入至值，展示效果如下所示：

从中我们总结一个数据透视表的规律，当我们的值标签里面有两个字段时，最好列标签里面不要放内容，要不然表格会很庞大。

问题4：需要知道每个区域每个商品，每个月销售金额是多少

当然根据自己的需要，月份，区域，商品，三个字段的位置可以调整，并且行项目里面可以上下级的更换位置，如下是商品和区域调换位置的结果：

主要看我们分析的侧重点在哪，然后决定字段的位置摆放

本节完，有什么不懂的可以留言讨论，期待您的转发分享

欢迎关注，更多精彩内容持续更新中...

--------------

有两份新老员工花名册，如果核对出哪些员工已经离职？

模拟数据

在Excel中建立两列数据，分别代表新老员工花名册中的姓名

如何找出名单一中离职的员工？

解

公式使用

1、建立辅助列

在B2单元格输入公式：

=COUNTIF(D:D,A2)

对名单一中的各个名字在名单二中进行计数统计

当姓名在名单二中出现时，辅助列便会显示结果为1

2、使用筛选

对辅助列进行筛选，将数字为0的值筛选出来

这部分姓名在名单二中的计数为0，则为离职名单。

思考：

若名单二中新增了部分新进员工，那么如何找出哪些是新进员工？

按同样的思路，找出辞职员工的名单，同时在E2单元格输入公式：

=COUNTIF(A:A,D2)

在辅助列2中筛选中值为0的数据即为新进公司名单！

这招学会了吗？

=================

收藏了几十篇《如何快速学Excel》的文章，到头来，除了四则运算，还是一脸茫然。

那，为什么会这样呢？

第一：不明白公式到底是什么语言！

就拿我们可能最常使用的IF函数来说，标准的语法是这样的：

IF(logical_test,value_if_true,value_if_false)

这难道就是传说中的火星文？反正，我也看不出这是符合语法的英语……

那如果，这么念呢？

如果(指定的条件，如果指定的条件成立就显示这里，如果指定的条件不成立就显示这里）

用个例子带入以下呗：

如果（X=1，如果X=1成立就显示Yes，如果X=1不成立就在这里显示No)

那，实际书写，这样写：

if(A1=1,"Yes","No")

第二：已经明白了第一条的意思，然后收藏了本文，然后就到这里了

鼓励大家收藏知识碎片，但，知识碎片无法转化成自己的知识，那就是垃圾。

学Excel公式的核心就是在联系中，找到对公式自己的理解。

很多朋友，可能收藏的Excel相关的学习方法，都可以整理成一本书了，但是，整理后，从来不看！

第三：总想着学习牛逼的公式，可以瞬间逼格爆表

不存在的！

请先学会基础的公式，如果可以用基础公式解决复杂问题，那又何必装逼用自己都不理解的的数组公式呢？

那么，有哪些基础公式，推荐新手学习的呢？

以下几个，请务必掌握，因为绝大多数问题，靠他们就足够了，而且，活好易学，一看就会！

left() | right() | mid():对字符串取左|取右|取中find() 查找某字符在指定字符串中的位置len() 计算字符串的长度sum() 对多个数字求和if() 条件判断sumif() | sumifs() 条件求和 | 多条件求和countif() | countifs() 条件计数 | 多条件计数

掌握以上7类函数，工作中基本的需求都可以满足了。

举个例子：从身份证中，提取出生年月日：

身份证号（虚拟）：440101201806111234

用mid搞定：=--MID(A1,7,6);

不允许用MID：=--RIGHT(left(A1,12),6);

思路有很多，看你怎么用。所以，学不会EXCEL真心不是难不难的问题，真正难的，你可能用不到。

大学生们就业难，连一些将被社会淘汰行业人员想要转行也不是件容易的事情？其实，很大一部分原因还是因为这些人既不愿意做辛苦的工作，又不愿意工资低，或者是因为没有选择一个前景好的行业。在这样的情况下，不如多多提升自身的技能，选择一个高薪的机会，而大数据就是这样的一个行业。下面西线学院为想要学习大数据的朋友们解答一些疑问。

一、为什么要学大数据？

大数据应用产业发展快速，大数据技术人才需求量大，麦肯锡预测，到2018年，在“具有深入分析能力的人才”方面，美国可能面临着14万~19万人的缺口，而“可以利用大数据分析来作出有效决策的经理和分析师”缺口则会达到150万。国内大数据人才有多大的缺口？目前尚无权威研究报告指出，不过今年2月万达集团的一份“求贤帖”颇能说明问题：万达开出50万~70万元年薪吸纳大数据架构师、大数据研发工程师和算法工程师，应者寥寥。

二、大数据难不难学？

回答是肯定的，大数据的学习是有一定的难度，但是只要你用心去学习，结果不会差。现在很多大数据培训机构都有零基础的课程，就是针对从来没有接触过大数据的朋友们的。其次，在大数据的职位中，如果你实在怕自己学不会，可能数据分析相对来说会简单一些。

这里也想对那些嫌弃自己薪资低又不愿意付出努力提升自己的朋友说：不要在空想了，不努力就踏实做自己现在的工作吧。

三、大数据要学习哪些课程？时间要多久？

课程可能每个培训机构学习的都是不同的，大数据需要java的基础，一般课程会分为R语言，python和大数据部分。时间要看你学习什么课程，零基础课程在4个月左右。西线学院课程每个阶段都有案例和项目结合，从简单到专业一步一步带领学生走进大数据世界，帮助学生顺利走上数据分析师的道路！

四、大数据该选择什么学习方式呢？

学习的方式有自学、视频学习、在线学习和线下学习。那么什么样的学习方式最适合你呢。建议是如果是零基础学习、自控力比较差、自学能力不是很强选择线下培训，有人监督加上交了钱，学习效果肯定要比自学好很多。另一种选择线下培训的情况是想要快速学习，不想办周期拖太长。其他如果是自学能力强，自控力也好的，可以选择自学。

五、大数据的薪资有多少？

大数据行业现在正是用人的时候，对于不少刚毕业的学生，薪资是非常可观的。而且经过沉淀，薪资过万很容易。

六、有没有哪家培训机构是可以保障就业薪资的？

有，但是你的想想，薪资是不是得按照个人的技术掌握情况来定，如果你自己都知道技术掌握不够好，培训机构跟你说保障你1万，你自己会信吗？心里有底吗？所以，薪资的多少，还是要根据个人的学习情况。

以上就是一些关于大数据的疑问解答，说得不对的地方，希望大家根据自身情况吸收。

在我们日常工作中经常需要用到数据分析，但一些如回归，聚类、概率分析方法比较复杂，学习成本高，也不一定能用得上。实际分析的时候，有四种很简单的分析方法非常实用，这四种就是：对比、细分、转化和分类。只要掌握了这四种思想，基本上已经可以应付日常的分析工作了。

一、对比

对比又可以分为纵向对比和横向对比，指标间的横向对比帮助我们认识数据的合理性和分析是否有问题，而指标纵向的对比，如在时间维度上的对比，既可以做趋势分析也可以判断是否达到预期值。

如店铺的订单量，可以把最近30天的订单显示在坐标轴上，这样就可以很明显的看到最近的订单数量是否达到了预期，当然我们也可以以周或者月（或者季度，年等等）为单位。做对比一定要考虑实际的场景，因为今天和昨天的性质可能未必一样，例如今天可能是周六，或者恰好是节假日等等。所以我们在做纵向对比的时候，两个对比的数据是否合理，是否是同一性质。比如看最近30天的趋势数据，我们还可以考虑环比和同比，今天和上个月的今天，今年的双11和去年的双11进行对比。横向的对比，比如一个地区这周的成交额上涨了10%，那当地的子公司是不是应该高兴呢？但是例如其它子公司的店铺这周的成交额都上涨了20%！那这个子公司可能已经被其它子司拉大了距离。也就是说，我们对一个数据结果判断好不好，这是需要一个参照物的。

二、拆解

通过拆解方法我们对分析对象进行逐步拆分，最终定位到问题点。拆解的角度可以有很多，越细分越能准确描述问题。比如零售中的人货场分析，就是将零售中的问题，逐步定位某一个或几个细节上的问题，最终找出成本最低的解决方式。举个栗子，通过报表知道了这个月成交额下降了这个问题后，现在我们用拆解来找出问题的所在：

成交额 = 客单价 X 客户数。对比客单价和客户数的趋势，就可以判断出影响成交额变化的主要因素是什么，如果是客户数问题，我们则对客户数进行细分，如果是客单价问题，则对客单价进行细分。

客户数 = 新客户 + 老客户。老客户 = 二次成交客户 + 多次成交客户

一段时间内的新客户反映的是电商的引流效果，而老客户反馈的是电商的产品质量，服务质量和客户维护营销等。

客单价 = 成交价 X 人均成交数。 均成交数这是电商中一个非常值得关注的指标，它能最直接地反馈出电商的服务质量和客户维护营销等方面的效果，如果该值过小表明电商的客户流失率很大，应该重点关注。

成交价 = 件单价 X 连带率。 成交价反馈的通常是导购的能力，促销活动的效果等，成交价的上升或者下跌，反映的问题可能很多，对其进行分解后就很明确了。件单价的变化通常是有促销的力度，商品结构和消费结构（例如季节因素等）变化引起的。带率这个反馈的是店铺内导购的能力，或者促销手段（例如买一送一等）的效果，也是店铺管理人员重点要关注的指标。

拆解的方法其实就是不断用更小的量化指标去细分一个大的指标，从而达到定位问题的目的。

三、转化

拆解的方法可以从纵向定位问题，但是单单细分是不够的。这些指标是从哪里来的，每一个步骤的转化率怎么样，哪一个步骤的转化不好，可以改善？这些通过转化都可以分析出来。

例如我们要分析本周的活跃客户数（有成交的客户数），那么我们就要分析这些活跃的客户数是从哪里来的，梳理一下可以简单分为以下4个步骤：进入平台的客户数 ==》浏览过商品的客户数 ==》下单的客户数 ==》支付成功的客户数。这里4个步骤就会有3个转化率，哪些步骤转化率比较高，哪些步骤转化率比较低，历史趋势怎么样，是否合理，是否有改进的空间等等。通过应用转化的思想，能够有效的指导和优化实际的运营工作。转化的思想就是一种漏斗，每一步其实都会有转化率，通过改善我们的转化率来提高我们的运营业绩。

四、分类

分类就是把一些对象，按照某种规则，划分为若干个类别，然后分析各个类别的特征，并以此来指导我们的行动。分类思想的应用很多，例如对客户的分类，我们可以用RFM分析模型，也可以用简单的利用某个指标的值（例如渠道标识，这样我们就可以分析到各个渠道客户的质量等）。基于这些客户的分类，我们就可以进行精准的客户营销了。在电商或者零售业上，我们经常做的分类还有商品分类，经典的有按照品类分类，或者ABC分类，这些对于我们做商品运营都是非常重要的。

总结：

以上四种其实都是很简单的数据分析思想，而且在日常的运营中也非常实用，但需要注意的是一定要了解自己的业务，只有深入了解业务，才能很好的运用数据分析，并不是自己知道几种统计学的算法，就能做好业务数据分析了。

数据有效性（也叫数据验证）是我们使用频率最多的一个功能，比如下拉菜单的制作、限制性输入等，那你真的会用数据有效性吗？本期通过6个经典案例与大家分享一下数据有效性的用法。

1、下拉菜单的制作

下拉菜单是数据有效性最经典的用法，这里与大家分享一下相关的制作方法。

一级下拉菜单的制作：

选择区域，点击数据——数据验证——设置——验证条件——序列，之后选择来源区域即可。

注意：来源若是手动输入，要注意的是文本之间的分隔符是英文状态下的逗号。

二级下拉菜单的制作：

先选中区域，点击公式——定义名称——根据所选内容创建——勾选首行，之后建立一级菜单和二级菜单，做二级菜单时，来源写公式=INDIRECT(单元格地址)。

2、在指定的区域输入数字

选中区域，打开验证对话框，在允许条件中选择整数，之后根据需要输入相应的区间。

3、只允许输入数字

这时选择的条件是自定义，之后输入公式=ISNUMBER(B1)=TRUE。

4、逐行输入内容

一样是选择自定义，在公式中输入=COUNTA(A$1:A13)=ROW(A1)

5、输入唯一值

同理，选择自定义输入公式=COUNTIF(A:A,A1)=1

6、输入当前时间

选中区域，之后按Ctrl+1打开设置单元格格式，然后选择自定义，输入数字格式H:MM:SS，点击确定。

这里需要在其他任意单元格输入公式=NOW()

完成以上操作之后，直接选中区域，打开数据验证，选择序列，来源设置=刚刚输入的公式的单元格。

这几个用法，你会了么？若有什么问题欢迎在下方留言。

对Excel小技巧来一次总结，整理出十个最经典的小技巧 。

1、不复制隐藏行

如果直接复制，隐藏的行也会粘贴出来，这时你只需要在选取后按Alt+; 选中可见单元格，再复制粘贴后就不会有隐藏行了。

2、下拉菜单的制作方法

数据 - 有效性（验证) - 序列 - 在下面的框中输入以逗号分隔的字符串

使用技巧：把工作表中的多行内容用逗号连接在一起，只需要用=区域，按F9转换为值，然后再替换“，”为逗号即可。

3、批量删除空行

删除空行最快的方法，是选取后按CTRL+G定位，定位条件 -空值，然后删除行。

【例】删除E列为空的行

使用技巧：只删除整行为空的行，可以定位常量 - 按Ctrl+9隐藏行 - 定位可见单元格（快捷键Ctrl+;） - 删除 -取消隐藏

【例】删除DE列均为空的行

4、单元格内强制换行

按Alt+Enter可以强制换行（删除换行可以输入Ctrl+j替换为空）

使用技巧：公式法换行，可以用substitute函数把空格替换成换行符（char(10))。然后公式所在单元格设置成自动换行。

=SUBSTITUTE(C2," ",CHAR(10))

5、锁定标题行

视图 - 冻结窗格 - 冻结首行，就可以锁定第一行不动。（如果是冻结2，就选取第3行 - 窗口 - 冻结窗口）

使用技巧：插入表格后向下翻，标题也会锁定

6、删除重复值

数据 - 删除重复值，可以按某列删除重复，也可以按整行判断重复。

使用技巧：03版可以使用数据 - 筛选 - 高级筛选的方法，在筛选时勾选“选择不重的记录”。

7、同时查看两个excel文件

同时查看多个打开的工作簿，视图 - 全部重排

使用技巧：同时查看同一个工作簿的两个工作表，要先新建窗口，然后再点全部重排。

8、表格只能在指定位置填写

把可以编辑的区域取消锁定，然后保护工作表。

使用技巧：限定使用密码编辑的方法。

9、日期格式的转换

数据 - 分列 - 第3步选日期

使用技巧：可以用Text函数完成格式转换 =--TEXT(F2,"0-00-00")。需要注意：Text转换的是文本型日期，加--可以转换为数值型日期

10、筛选后粘贴

想完成筛选后粘贴，其实可以借用排序功能来完成，插入一序号列，排序 - 粘贴 - 再根据序号列恢复到原来的行次。

使用技巧：如果粘贴的是相同值，可以按 Alt+; 定位可见单元格，然后粘贴。

分享的小技巧，原来每一个都称得上是绝技。但随着时间的推移，这些都成了Excel用户必备的基本技能。所以...这些都必须要学会哦。

图文转载网络侵联系删。

对于excel很多复杂却又经典的操作，下面来看看这些操作吧。

1、表格中那么多####，是怎么啦？

不用担心哟，这是Excel列宽不够了。只要选中数据所在列，光标靠近任意两列的列标， 双击就可以了。当然你也可以慢慢拖动增加列宽。

2、我想把A列的单元格样式复制到B列，怎么弄？

选择A列，复制，单击B列，选择性粘贴——格式。

3、如何把A列的会计科目提取出来呢？

有两种方法，分列和公式都可以。

选中A列，分列，分隔符选择其它，在文本框输入左半边括号。

B2单元格输入公式：

=LEFT(A2,FIND("(",A2)-1)，下拉完成。

公式解释：find函数部分：FIND("(",A2)，找到左半边小括号的位置，然后减掉1，得到要从左边提取的个数。

4、不同数据量级的数据如何进行计算呢？有好的思路吗？

这些操作学会了吗？欢迎评论留言

上一篇给大家分享了一下筛选功能的使用，特别要注意不能随意复制粘贴的原因和解决办法。有兴趣的朋友们可以点击或关注百家号，进去查看历史文章。

那么，今天给大家分享下EXCEL透视表功能的简单使用。通常情况下，我们需要做批量数据的统计、用excel出图表等等的时候，需要计数或者求和的结果作展示的时候都会用到。可以说是在大数据分析以及展示结果的时候，所必须会使用到的一个功能。

在此，让我们一起通过一个实例来看一下，excel数据透视表的具体使用方法。只需要简单几步，就可以完成一个简单的数据透视！

首先，我们打开一个要处理的EXCEL，比如需要统计各部门总工资。如下图的数据。通过1月到5月每个人的工资记录，来计算出部门工资的总数及每个月的走势。

第一步：选定A列到H列，即包含所有数据的列。

第二步：点击插入-数据透视表，出现一个创建数据透视表的小窗口，直接点击确定。

此时出现了一个新的sheet页，如下图。这里为了方便大家看全，我把表格横向缩小到了一起。实际上数据透视表字段是在EXCEL最右侧。

第三步：新sheet页的最右侧数据透视表字段，有一个选择要添加到报表的字段，可以看到原始表格的标题列。继续往下看，有四个区域，分别为筛选器，列，行，值。我们把月份点住，拖动到列的区域中。

再分别把部门、姓名拖动到行，部门在上。最后把工资拖动到值。

第四步：值里边默认是计数项，我们需要修改一下，工资是以求和来统计。点击计数项：工资，会出现值字段设置。打开后，选择求和，然后点击确定。

第五步：此时已经可以看到表中的数据都已经出现，每个部门每个人1月到5月工资以及总计的工资。可以点击技术部、科研部、运营部前边的-号，代表隐藏姓名；最后一列的总计，每一行代表这一行数据的总计，比如第一行代表技术部1月到5月的总计工资数目；最后一行的总计，每一列代表的是这一列数据的总计，比如1月的那一列代表1月各个部门的总计工资。这样就满足我们的需求了，可以看到每个部门在每个月以及合计的工资数目。

习惯而言，统计的数据都喜欢有高低顺序来浏览，方便一眼看出哪个部门的工资总额高低。我们可以再点击一下总计那列，然后点击排序，选择降序排列。这样就可以看到一个按高到低排序的工资图表了。

好了，本篇就给大家讲到这里，大家可以自己试着随意在四个区域里，把其他的标题也拖进去，看看会出现什么变化？其实看似枯燥的Excel工具也有非常有趣的一面，更多的技巧就留给大家自己开发吧！有什么问题欢迎留言给我们哦！