大数据分析实战

在前两天的直播课——尚硅谷在线课堂第27季中，尚硅谷老师分享了《大数据实战-仿天猫用户行为分析》的课程。满满的大数据实用干货，让对大数据感兴趣的程序员和编程爱好者，欲罢不能。更有听众表示：光是这份讲义，至少值1000元！

本着为更多程序员服务的原则，我们决定，将这份讲义免费公开，供学习者使用。今天与大数据学习分享第三部分，也就是最后一部分。

欢迎关注尚硅谷，更多技术干货，你不能错过！

《大数据项目实战-仿天猫用户行为分析》PPT完整版（三）

至此，这份价值千元的《大数据实战-仿天猫用户行为分析》讲义已经全部跟大家分享完毕。

价值1000元的讲义免费公开！《大数据实战-仿天猫用户行为分析》完整版（一）

价值1000元的讲义免费公开！《大数据实战-仿天猫用户行为分析》完整版（二）

“未来，数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。”

— 《大数据时代》美国.维克托·舍恩伯格

“大数据蕴藏大机会。”—IBM

“我们正在迎来大数据时代。” —马云

“我们不知道世界怎么变，我们能做的就是自己扑到这股浪潮中去。” —平安马明哲

大数据1.0时代,社会大数据成就了Google，yahoo，百度

大数据2.0时代,消费大数据造就了亚马逊，Ebay ，阿里巴巴，腾讯

大数据3.0时代，你如何掌握应用，创造新的商业机会？

大数据零基础实战教程给你的就是 把握时代脉博，掌握大数据时代前沿；使学员能在较短的时间内理解大数据分析的真实价值，使学员能有一个快速提升成为兼有理论和实战的大数据分析师，从而更好地适应当前互联网经济背景下对大数据分析师需求的旺盛的就业形势。从入门知识学起的课程体系设计和面向大数据分析师的培训理念，引导学员一步步深入学习，适合零基础学员从零学起。

那你还等什么？赶紧学起来吧！

前言书要读懂，先求不懂。 因为很多人私信问我大数据应该读什么书比较好，所以小编特意找了二十本大数据实战可依赖的书籍，想要转职或者深入学习大数据的朋友可以注意了，点赞收藏加转发，鼓励一下小编的良苦用心

1、互联网大规模数据挖掘与分布式处理

作者：Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman

译者：王斌

书号：978-7-115-39525-2

定价：79

页数：388

畅销书全新升级，新增影响与同质性、社交媒体推荐和行为分析等超实用内容

涵盖解决数据挖掘核心问题所用算法，及实际应用数据挖掘所需知识，理论与实现并重

斯坦福大学数据挖掘方向专家Jure Leskovec、Anand Rajaraman、Jeffrey David Ullman重磅力作

http://ituring/book/1561

2、数据挖掘导论（完整版）

作者：Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman

译者：范明 范宏建

书号：978-7-115-24100-9

定价：69

页数：480

本书全面介绍了数据挖掘的理论和方法，旨在为读者提供将数据挖掘应用于实际问题所必需的知识。

本书涵盖五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题都包含两章：前面一章讲述基本概念、代表性算法和评估技术，后面一章较深入地讨论高级概念和算法。目的是使读者在透彻地理解数据挖掘基础的同时，还能了解更多重要的高级主题。此外，书中还提供了大量示例、图表和习题。

http://ituring/book/83

3、数据科学实战

作者：Cathy O’Neil，Rachel Schutt

译者：王群锋 冯凌秉

书号：978-7-115-38349-5

定价：69

页数：312

英文原版数据挖掘和算法类畅销书，随机模型类No.1

谷歌、微软、eBay数据科学家通过实际案例分享算法、方法与模型

MIT数学博士后Cathy O’Neil，前谷歌高级统计师、哥伦比亚大学讲师Rachel Schutt力作

http://ituring/book/1193

4、命令行中的数据科学

作者：Jeroen Janssens

译者：王晓伟 刘峰

书号：978-7-115-39168-1

定价：49

页数：188

本书讲解众多实用的命令行工具。无论使用Windows、OS X，还是Linux，都可以安装包含80多个命令行工具的“数据科学工具箱”，迅速创建自己的数据分析环境。

http://ituring/book/1539

5、重新设计互联网

作者：徐立冰

书号：978-7-115-31150-4

定价：59.00

页数：312

“弯曲评论”网站“拨云见日”系列热文加量10倍的强烈之书首次完整呈现。

云计算时代，网络面临怎样的挑战？大数据之下，网络设计应着眼何处？虚拟化的最后1000米你该如何冲刺？OpenFlow、FCoE、LISP、FabricPath、VN-Tag、VPLS、VXLAN

……当所有这一切结合到一起，你将面临怎样的情形？

是时候，重新设计互联网。

通过阅读本书，读者将清楚地了解到如何在云计算与大数据时代构建安全、可靠、高速与灵活的网络。

http://ituring/book/966

5、机器学习入门第一书

作者：杉山将

译者：许永伟

书号：978-7-115-38802-5

定价：49

页数：240

最简单的机器学习入门书，187张图轻松入门

覆盖机器学习中最经典、用途最广的算法

提供可执行的Matlab程序代码

本书用丰富的图示，从最小二乘法出发，对基于最小二乘法实现的各种机器学习算法进行了详细的介绍。第Ⅰ部分介绍了机器学习领域的概况；第Ⅱ部分和第Ⅲ部分分别介绍了各种有监督的回归算法和分类算法；第Ⅳ部分介绍了各种无监督学习算法；第Ⅴ部分介绍了机器学习领域中的新兴算法。书中大部分算法都有相应的MATLAB程序源代码，可以用来进行简单的测试。

http://ituring/book/1371

7、机器学习系统设计

作者：Willi Richert，Luis Pedro Coelho

译者：刘峰

书号：978-7-115-35682-6

定价：49

页数：224

微软Bing核心团队成员推出

聚焦算法编写和编程方式

结合大量实例学会解决实际问题

本书将向读者展示如何从原始数据中发现模式，首先从Python与机器学习的关系讲起，再介绍一些库，然后就开始基于数据集进行比较正式的项目开发了，涉及建模、推荐及改进，以及声音与图像处理。通过流行的开源库，我们可以掌握如何高效处理文本、图片和声音。同时，读者也能掌握如何评估、比较和选择适用的机器学习技术。

http://ituring/book/1192

8、机器学习实战

作者：Peter Harrington

译者：李锐 李鹏等

书号：978-7-115-31795-7

定价：69

页数：332

最畅销机器学习图书

介绍并实现机器学习的主流算法

面向日常任务的高效实战内容

全书通过精心编排的实例，切入日常工作任务，摒弃学术化语言，利用高效的可复用Python代码来阐释如何处理统计数据，进行数据分析及可视化。通过各种实例，读者可从中学会机器学习的核心算法，并能将其运用于一些策略性任务中，如分类、预测、推荐。另外，还可用它们来实现一些更高级的功能，如汇总和简化等。

http://ituring/book/1021

9、R语言入门

作者：Richard Cotton

译者：刘军

书号：978-7-115-35170-8

定价：69

页：360

语言幽默，通俗易懂

完美讲述R 核心组件

示例丰富，快学快用

“这本书读起来感觉棒极了，示例完整清晰，内容通俗易懂，是目前市面上介绍R核心组件最优秀的图书之一。”

——Rebecca Smith，TDX 公司分析经理

http://ituring/book/1187

10、R语言实战

作者：Robert I. Kabacoff

译者：高涛 肖楠 陈钢

书名：978-7-115-29990-1

定价：79

页数：408

本书从解决实际问题入手，尽量跳脱统计学的理论阐述来讨论R语言及其应用，讲解清晰透澈，极具实用性。通读本书，你将全面掌握使用R语言进行数据分析、数据挖掘的技巧，并领略大量探索和展示数据的图形功能，从而更加高效地进行分析与沟通。

http://ituring/book/857

11、Hadoop基础教程

作者：Garry Turkington

译者：张治起

书号：978-7-115-34133-4

定价：65

页数：324

本书着重讲解如何应用Hadoop和相关技术搭建工作系统并完成任务。本书从Hadoop的基本概念和初始设置入手，讲述了如何开发Hadoop程序，如何在数据规模增长的时候维持系统运行，涵盖有效使用Hadoop处理实际问题所需用到的全部知识。

http://ituring/book/1168

12、Hadoop实战

作者：Chuck Lam

译者：韩冀中

书号：978-7-115-26448-0

定价：59

页数：268

经典畅销书，广受赞誉

揭开云计算的神秘面纱

深入分析，追本溯源

本书分为3个部分，深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实践技能及Hadoop之外更大的生态系统。

http://ituring/book/733

13、Mahout实战

作者：Sean Owen，Robin Anil等

译者：韩冀中 吴海星 段菲

书号：978-7-115-34722-0

页数：340

Apache基金会官方推荐

Mahout核心团队权威力作

大数据时代机器学习的实战经典

Mahout作为Apache的开源机器学习项目，把推荐系统、分类和聚类等领域的核心算法浓缩到了可扩展的现成的库中。使用Mahout可以在自己的项目中应用亚马逊、Netflix等公司的机器学习技术。

http://ituring/book/862

14、Storm源码分析

作者：李明 王晓鹏

书号：978-7-115-37126-3

定价：79

页数：484

微软搜索技术部门高级研发工程师实战经验分享

从源代码的角度深入剖析Storm设计与实现

学习如何实现和高效利用“实时的Hadoop”

“本书从源代码角度深入浅出地分析了Storm的设计及实现，一方面可以使读者更好地了解并用好Storm技术，另一方面可以让读者学习如何设计大规模分布式系统，相信读者一定会受益匪浅。”

——于伟，微软资深开发总监

http://ituring/book/1507

15、Elasticsearch服务器开发

作者：Rafal Kuc，Marek Rogozinski

译者：蔡建斌

书号：978-7-115-38032-6

定价：59

页数：292

Elasticsearch百科全书式著作，用户权威指南

所有示例和功能基于Elasticsearch服务器1.0版

在云计算平台上建立稳定、可靠、方便快速的实时搜索技术

Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful风格的搜索引擎。它被设计用于云计算中，具有实时搜索、稳定、快速、安装使用方便等优点。本书是关于Elasticsearch的百科全书式著作，介绍了Elasticsearch这个优秀的全文检索和分析引擎从安装和配置到集群管理的方方面面知识。

http://ituring/book/1447

16、Openstack部署实践

作者：张子凡

书号：978-7-115-34679-7

定价：59

页数：284

从研究D版以来，我在各个群中回答了很多新手在OpenStack系统安装部署方面碰到的各类问题，虽然在博客中公布了很多，但仍比较零散，我也一直盼望能有一本较为系统的书给新手提供帮助。看到本书后我非常高兴，对于OpenStack初学者和在公司内使用OpenStack部署私有云的系统运维工程师来说，此书将会帮助大家解决很多问题，同时更有助于大家灵活地运用OpenStack系统。

——北京-YZ（博客http://xiaoyinzei），

KVM虚拟化群群主（93146027）

一线高手实践总结

实例讲解使用OpenStack建设企业私有云系统

有效降低企业IT 成本

http://ituring/book/1356

17、Docker开发实践

作者：曾金龙，肖新华，刘清

书号：978-7-115-39519-1

定价：59

页数292

出自国内最强云加速+ 云存储“迅雷云”团队

基础篇：原理、操作全面解析；案例篇：带你一步步构建复杂应用；高级篇：网络、安全、API 实战、kubernetes集群实战

“腾讯的互娱的开发节奏，只有Docker跟得上！如果你想你的团队加快开发速度，那么我推荐你使用Docker，而本书从基础、案例到高级话题，都有很全面的覆盖。”

——易剑，腾讯互动娱乐事业群高级架构师

http://ituring/book/1631

18、非技术读本 《精益数据分析》

作者：Alistair Croll， Benjamin Yoskovitz

书号：978-7-115-37476-9

定价：79

页数：356

精益系列丛书，《精益创业》作者埃里克·莱斯主编

本书围绕精益创业展开讨论，融合了精益创业法、客户开发、商业模式画布和敏捷/持续集成的精华。本书汇聚了100多位创始人、投资人、内部创业者和创新者的成功创业经验，呈现了30多个极具价值的案例分析，可以为各阶段的创业者提供行为准则。

http://ituring/book/1125

19、非技术读本《大数据的冲击》

作者：城田真琴

译者：周自恒

书号：978-7-115-31787-2

定价：49

页数：268

本书是日本最畅销的大数据商业应用指南。书中结合野村综合研究独家披露的调查数据，网罗了美国、日本标杆企业与政府的应用案例，总结了大数据的商业模式，以及在大数据应用中需要注意的隐私问题，并就如何为大数据时代做好准备展开了深入的探讨，提出了诸多有益的建议。

http://ituring/book/1128

20、非技术读本《有趣的统计》

作者：Bruce Frey

译者：邹澍

书号：978-7-115-35621-5

定价：59

页数：292

本书介绍的实用技巧运用了统计学原理，还借鉴了教育学和心理学上的测量和实验研究方法。这些技巧可以帮你解决商业、游戏以及日常生活中的各类问题。利用统计推断的各种工具，揭开概率的神秘面纱、发现相关性，预测事件。

http://ituring/book/1094

做大数据分析时，经常遇到求分组TopN的问题，如：求每一学科成绩前5的学生；求今日头条各个领域指数Top 30%的头条号等等。Spark SQL提供了四个排名相关的统计分析函数：

dense_rank() 返回分区内每一行的排名，排名是连续的。

rank() 返回分区内每一行的排名，排名可能不连续。

percent_rank() 返回相对百分比排名。

row_number() 返回每个分区的从1开始的连续行号。

排名函数使用例子

假如有一个表Affairs，共有25行数据。数据如下表：

Affairs表数据

在这个表上分别使用这四个函数，通过结果可以很明显看出他们的异同。

Spark SQL 排名函数使用例子

Spark SQL 排名函数执行结果

常见问题实战

1. 分别查找男女中年龄由大到小排名前3的人（排名不连续，人数可能大于3）

rank函数使用例子

rank函数执行结果

2. 分别查找男女中年龄由大到小排名前3的人（排名连续，人数可能大于3）

dense_rank使用例子

dense_rank执行结果

3. 分别查找男女中年龄最小的3个人（人数一定为3）

row_number使用例子

row_number执行结果

做大数据分析时，经常遇到求分组TopN的问题，如：求每一学科成绩前5的学生；求今日头条各个领域指数Top 30%的头条号等等。Spark SQL提供了四个排名相关的统计分析函数：

dense_rank() 返回分区内每一行的排名，排名是连续的。

rank() 返回分区内每一行的排名，排名可能不连续。

percent_rank() 返回相对百分比排名。

row_number() 返回每个分区的从1开始的连续行号。

排名函数使用例子

假如有一个表Affairs，共有25行数据。数据如下表：

Affairs表数据

在这个表上分别使用这四个函数，通过结果可以很明显看出他们的异同。

Spark SQL 排名函数使用例子

Spark SQL 排名函数执行结果

常见问题实战

1. 分别查找男女中年龄由大到小排名前3的人（排名不连续，人数可能大于3）

rank函数使用例子

rank函数执行结果

2. 分别查找男女中年龄由大到小排名前3的人（排名连续，人数可能大于3）

dense_rank使用例子

dense_rank执行结果

3. 分别查找男女中年龄最小的3个人（人数一定为3）

row_number使用例子

row_number执行结果