1.Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：

熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；

学完此阶段可解决的现实问题：

搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；

学完此阶段可拥有的市场价值：

具备初级程序员必要具备的Linux服务器运维能力。

1.内容介绍：关注作者：需要大数据学习视频资料可以加我QQ群，此文里面连起来的数字，你会找到我的

在大数据领域，使用最多的操作系统就是Linux系列，并且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。

2.案例：搭建互联网高并发、高可靠的服务架构。

2.离线计算系统课程阶段

1. 离线计算系统课程阶段

Hadoop核心技术框架

学完此阶段可掌握的核心能力：欢迎加入722680258零基础到项目实战

1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用；2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发；3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发；4、掌握Hive数据仓库工具的工作原理及应用开发。

学完此阶段可解决的现实问题：

1、熟练搭建海量数据离线计算平台；2、根据具体业务场景设计、实现海量数据存储方案；3、根据具体数据分析需求实现基于mapreduce的分布式运算程序；

学完此阶段可拥有的市场价值：

具备企业数据部初级应用开发人员的能力

1.1 HADOOP快速入门

1.1.1 hadoop知识背景

什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍

国内外hadoop应用案例介绍

分布式系统概述、hadoop生态圈及各组成部分的简介

1.1.2 HIVE快速入门

hive基本介绍、hive的使用、数据仓库基本知识

1.1.3 数据分析流程案例

web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现

1.1.4 hadoop数据分析系统集群搭建

集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试

HIVE的配置安装、HIVE启动、HIVE使用测试

1.2 HDFS详解

1.2.1 HDFS的概念和特性

什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景

1.2.2 HDFS的shell操作

HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍

1.2.3 HDFS的工作机制

HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程

NAMENODE工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工作机制、DATANODE动态增减、全局数据负载均衡

1.2.4 HDFS的java应用开发

搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统

1.3 MAPREDUCE详解

1.3.1 MAPREDUCE快速上手

为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式

1.3.2 MAPREDUCE程序的运行机制

MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化

通过以上各组件的详解，深刻理解MAPREDUCE的核心运行机制，从而具备灵活应对各种复杂应用场景的能力

MAPREDUCE实战编程案例：通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下：

通过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现：

1.4 HIVE增强

1.4.1 HIVE基本概念

HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制

1.4.2 HIVE基本操作

HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例

1.4.3 HIVE高级应用

HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计

HIVE实战案例--级联求和报表实例：

离线数据挖掘系统

学完此阶段可掌握的核心能力：

1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程

学完此阶段可解决的现实问题：

1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;3、根据具体需求搭建起整套离线数据分析系统;4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现

学完此阶段可拥有的市场价值：

具备企业数据部中高级应用开发和初级架构师能力

2.1 数据仓库增强

2.1.1 数据仓库及数据模型入门

什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构

2.1.2 数据仓库设计

建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构

典型数据模型——星型建模实例

2.1.3 数据仓库建模样例

业务建模、领域建模、逻辑建模、物理建模

web点击流日志分析系统数据仓库设计实战：

通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型

2.2 离线辅助系统

2.2.1 数据采集系统

数据采集概念介绍

FLUME日志采集框架介绍、FLUME工作机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例

2.2.2 任务调度系统

任务调度系统概念介绍、常用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例

2.2.3 数据导出

数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量作业操作

2.3 web点击流日志分析系统实战项目

2.3.1 项目介绍

1. 在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。

2. 各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值。

3. 本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的全部流程。

2.3.2 需求分析

什么是点击流日志、点击流日志的商业价值、点击流日志分析需求

业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析

2.3.3 系统设计及开发

1. 系统架构设计

2. 数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现

3. 数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现

4. 数据统计设计及开发——数据预处理、数据加载、原始数据表的创建、数据入库、数据ETL

5. 报表统计设计——数据模型设计、事实表设计、维度表梳理

6. 业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析

2.3.4 任务调度系统设计实现

任务调度单元实现、各环节任务运行频次及依赖关系梳理、工作流设计及实现、工作流定义配置上传部署、工作流启动即状态监控

2.3.5 数据可视化——结果报表展现

1. hive分析结果使用sqoop导出到msyql数据库

2. 报表展现系统技术选型：

后台使用spingmvc + spring + mybatis

前端页面使用全静态异步刷新技术jQuery + Echarts

3. web展现程序架构搭建，使用maven构建项目工程

4. web展现程序页面设计开发：原型页面设计、js代码开发

5. 最终实现以下数据可视化效果：

(1)流量概况可视化效果：

(2)来源地域分析可视化效果：

(3)来源类型分析可视化效果：

3.Storm实时计算部分阶段

实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。

1.流式计算核心技术

流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。

学完此阶段可掌握的核心能力：

(1)、理解实时计算及应用场景

(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理

(3)、具备Kafka与Storm集成使用的能力

学完此阶段可解决的现实问题：

具备开发基于storm的实时计算程序的能力

学完此阶段可拥有的市场价值：

具备实时计算开发的技术能力、但理解企业业务的能力不足

1.1、流式计算一般结构

2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。如果庞麦郎在的话，他一定会说，这就是我要的滑板鞋!

上图是流式分析的一般架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。一般情况下，我们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习

1.2、流式计算可以用来干什么

一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是通过每天在云梯上定时运行的MR job来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。

携程-网站性能监控：实时分析系统监控携程网的网站性能。利用HTML5提供的performance标准获得可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，通过历史数据对比等判断规则，触发预警事件。

一个游戏新版本上线，有一个实时分析系统，收集游戏中的数据，运营或者开发者可以在上线后几秒钟得到持续不断更新的游戏监控报告和分析结果，然后马上针对游戏的参数和平衡性进行调整。这样就能够大大缩短游戏迭代周期，加强游戏的生命力。

实时计算在腾讯的运用：精准推荐(广点通广告推荐、新闻推荐、视频推荐、游戏道具推荐);实时分析(微信运营数据门户、效果统计、订单画像分析);实时监控(实时监控平台、游戏内接口调用)

为了更加精准投放广告，阿里妈妈后台计算引擎需要维护每个用户的兴趣点(理想状态是，你对什么感兴趣，就向你投放哪类广告)。用户兴趣主要基于用户的历史行为、用户的实时查�...

“未来，数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。”

— 《大数据时代》美国.维克托·舍恩伯格

“大数据蕴藏大机会。”—IBM

“我们正在迎来大数据时代。” —马云

“我们不知道世界怎么变，我们能做的就是自己扑到这股浪潮中去。” —平安马明哲

大数据1.0时代,社会大数据成就了Google，yahoo，百度

大数据2.0时代,消费大数据造就了亚马逊，Ebay ，阿里巴巴，腾讯

大数据3.0时代，你如何掌握应用，创造新的商业机会？

大数据零基础实战教程给你的就是 把握时代脉博，掌握大数据时代前沿；使学员能在较短的时间内理解大数据分析的真实价值，使学员能有一个快速提升成为兼有理论和实战的大数据分析师，从而更好地适应当前互联网经济背景下对大数据分析师需求的旺盛的就业形势。从入门知识学起的课程体系设计和面向大数据分析师的培训理念，引导学员一步步深入学习，适合零基础学员从零学起。

那你还等什么？赶紧学起来吧！

随着时代的发展和进步，“大数据分析”以前所未有的速度进步着。但大数据的快速发展也带来一个思考的问题：如何理解大数据?如何将大数据用于解决现实世界的问题?

经济社会持续快速发展，全国各地的经济文化交流越来越频繁，在警务工作中人流、物流、信息流不断加强，我们能获取的数据量以爆炸式的速度增长，即使我们在计算能力方面有着令人难以置信的指数级增长，但我们想从大数据中获取的东西远远超过如今我们从数据中挖掘的东西。

数据科学并不只是一门技术，它更多地是一种实践的艺术。适应新的治安形势，创新社会管理模式，提升动态环境下治安防控能力，积极解决“基层设施薄弱、基层采集负担重、民警应用手段少、底层数据资源整合不到位、研判应用工具智能化程度不高、资源应用服务缺乏”等老大难问题，将当前的技术转化成最大的价值，努力打造现代警务，提升公安工作的科技含量和现代化水平才是智慧警务的核心目标追求。

可视化在智慧警务中发挥着至关重要的作用，它能帮助警务工作者更好地理解数据中可能存在的结构和规律。

可视化让大数据成为决策利器

第五元素警务大数据实战平台花费大量时间和精力对数据进行挖掘、建模、算法、分析等一系列深度加工处理，平台结合了社会现状和实战业务迫切需要，能有效解决系统分割、信息孤岛等制约信息共享的突出问题，在实际的应用当中，当决策者需要基于数据做出决策时，可视化无疑是可以让决策者快速对海量数据做出判断的最佳方式。

可视化是让大数据接地气的唯一方法

数据能够“触动”的人越多，其所产生的真正的价值越大。

以第五元素大数据警务实战平台为例，警务实战应用平台主要围绕“人、案、物、地”四大警务实战元素，充分利用和整合公安内部资源数据及社会资源数据，汇聚整合本区一体化采集、警综系统、图侦系统、电子笔录等各类业务系统, 进行无缝对接和数据资料共享，通过讲述“数字故事”来表达数据反映的数据潜在内容。警务实在平台不仅仅在于“数值”和“变量”的分析，更体现在它汇集整合了有用的数据信息，面向实战平台的应用需求，实现系统互联互通，信息共享，实现服务资源的统一管理，切实提升控制和预警能力，将违反直觉的内容转化为直观内容的科学。

可视化能最大化大数据的价值

第五元素警务实战平台功能主要包括案件管理、重点人员管理、智慧地图功能、一键搜功能、设备管理、社会资源管理和为用户提供案件侦破的各种实战应用，包括案件串并碰撞分析、轨迹分析，多维碰撞、布控预警等功能，是平台可视化展示的内核。它可以根据业务需求变化进行灵活扩展，从而便捷快速地帮助警务工作者了解数据中的真理：这是什么数据?这些数据能说明什么?这些数据之间有什么样的内在关联？

如今数据的量越来越大，数据的复杂性也越来越强，但追求视觉表达形式的趋势不会变，即使数据科学和大数据分析技术不断发展，新的分析方法和分析应用不断涌现，也都始终无法撼动可视化的重要地位。

关于第五元素

第五元素大数据科技有限公司是一家专注于技术研究、产品开发、系统设计、项目运行的大数据系统集成解决方案提供商，致力于为智慧城市、平安城市、智慧公安、智慧政务等业务建设提供整体解决方案及业务支撑，全面推进我国新型智慧城市发展。

第五元素大数据

领先的大数据集成系统解决方案提供商。

关注

在前两天的直播课——尚硅谷在线课堂第27季中，尚硅谷老师分享了《大数据实战-仿天猫用户行为分析》的课程。满满的大数据实用干货，让对大数据感兴趣的程序员和编程爱好者，欲罢不能。更有听众表示：光是这份讲义，至少值1000元！

本着为更多程序员服务的原则，我们决定，将这份讲义免费公开，供学习者使用。今天与大数据学习分享第三部分，也就是最后一部分。

欢迎关注尚硅谷，更多技术干货，你不能错过！

《大数据项目实战-仿天猫用户行为分析》PPT完整版（三）

至此，这份价值千元的《大数据实战-仿天猫用户行为分析》讲义已经全部跟大家分享完毕。

价值1000元的讲义免费公开！《大数据实战-仿天猫用户行为分析》完整版（一）

价值1000元的讲义免费公开！《大数据实战-仿天猫用户行为分析》完整版（二）

一、大数据实战项目

想了解更多大数据学习的知识点，请加大数据学习交流8群640193172，共同讨论。

主要项目（4个项目）

日志分析系统 （分析海量数据 用户互联网实时数据记录 每一个用户互联网数据进行事实存储和调取 ）例如 航空公司的订票系统 淘宝每一笔订单 ofo的精准投放

2.精准营销 （电商平台产品营销 阿里 京东 等相关 QQ广点通 ）

3.精准推荐（网易云音乐 以前是播放量 现在是根据用户搜素习惯 个人行为更好优化提升用户体现 ）

4.手写ELK可视化项目

通过项目实战 让学员从 数据采集 到数据存储 数据处理 数据展示（可视化） 一整套流程 完整掌握。可以模拟实时数据从而真正掌握大数据工程师所需要的必备技能 成为一名拥有相当于3年工作经验的大数据工程师。

大数据实战特训项目：24个课时，学完之后可以独立完成从数据抓取，存储，计算，可视化完整实战项目。

在前两天的直播课——尚硅谷在线课堂第27季中，尚硅谷老师分享了《大数据实战-仿天猫用户行为分析》的课程。满满的大数据实用干货，让对大数据感兴趣的程序员和编程爱好者，欲罢不能。更有听众表示：光是这份讲义，至少值1000元！

本着为更多程序员服务的原则，我们决定，将这份讲义免费公开，供学习者使用。今天与大数据学习分享第二部分。

《大数据项目实战-仿天猫用户行为分析》PPT完整版（二）

数据需求分析

数据处理流程架构

核心代码大公开

（未完待续）

今天跟大家分享了《大数据实战-仿天猫用户行为分析》中的软件体系架构介绍，以及平台分阶段讲解的一部分。感兴趣的同学可以关注我们，以免错过以后的分享。

第一部分在此：

价值1000元的讲义免费公开！《大数据实战-仿天猫用户行为分析》完整版（一）

前言书要读懂，先求不懂。 因为很多人私信问我大数据应该读什么书比较好，所以小编特意找了二十本大数据实战可依赖的书籍，想要转职或者深入学习大数据的朋友可以注意了，点赞收藏加转发，鼓励一下小编的良苦用心

1、互联网大规模数据挖掘与分布式处理

作者：Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman

译者：王斌

书号：978-7-115-39525-2

定价：79

页数：388

畅销书全新升级，新增影响与同质性、社交媒体推荐和行为分析等超实用内容

涵盖解决数据挖掘核心问题所用算法，及实际应用数据挖掘所需知识，理论与实现并重

斯坦福大学数据挖掘方向专家Jure Leskovec、Anand Rajaraman、Jeffrey David Ullman重磅力作

http://ituring/book/1561

2、数据挖掘导论（完整版）

作者：Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman

译者：范明 范宏建

书号：978-7-115-24100-9

定价：69

页数：480

本书全面介绍了数据挖掘的理论和方法，旨在为读者提供将数据挖掘应用于实际问题所必需的知识。

本书涵盖五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题都包含两章：前面一章讲述基本概念、代表性算法和评估技术，后面一章较深入地讨论高级概念和算法。目的是使读者在透彻地理解数据挖掘基础的同时，还能了解更多重要的高级主题。此外，书中还提供了大量示例、图表和习题。

http://ituring/book/83

3、数据科学实战

作者：Cathy O’Neil，Rachel Schutt

译者：王群锋 冯凌秉

书号：978-7-115-38349-5

定价：69

页数：312

英文原版数据挖掘和算法类畅销书，随机模型类No.1

谷歌、微软、eBay数据科学家通过实际案例分享算法、方法与模型

MIT数学博士后Cathy O’Neil，前谷歌高级统计师、哥伦比亚大学讲师Rachel Schutt力作

http://ituring/book/1193

4、命令行中的数据科学

作者：Jeroen Janssens

译者：王晓伟 刘峰

书号：978-7-115-39168-1

定价：49

页数：188

本书讲解众多实用的命令行工具。无论使用Windows、OS X，还是Linux，都可以安装包含80多个命令行工具的“数据科学工具箱”，迅速创建自己的数据分析环境。

http://ituring/book/1539

5、重新设计互联网

作者：徐立冰

书号：978-7-115-31150-4

定价：59.00

页数：312

“弯曲评论”网站“拨云见日”系列热文加量10倍的强烈之书首次完整呈现。

云计算时代，网络面临怎样的挑战？大数据之下，网络设计应着眼何处？虚拟化的最后1000米你该如何冲刺？OpenFlow、FCoE、LISP、FabricPath、VN-Tag、VPLS、VXLAN

……当所有这一切结合到一起，你将面临怎样的情形？

是时候，重新设计互联网。

通过阅读本书，读者将清楚地了解到如何在云计算与大数据时代构建安全、可靠、高速与灵活的网络。

http://ituring/book/966

5、机器学习入门第一书

作者：杉山将

译者：许永伟

书号：978-7-115-38802-5

定价：49

页数：240

最简单的机器学习入门书，187张图轻松入门

覆盖机器学习中最经典、用途最广的算法

提供可执行的Matlab程序代码

本书用丰富的图示，从最小二乘法出发，对基于最小二乘法实现的各种机器学习算法进行了详细的介绍。第Ⅰ部分介绍了机器学习领域的概况；第Ⅱ部分和第Ⅲ部分分别介绍了各种有监督的回归算法和分类算法；第Ⅳ部分介绍了各种无监督学习算法；第Ⅴ部分介绍了机器学习领域中的新兴算法。书中大部分算法都有相应的MATLAB程序源代码，可以用来进行简单的测试。

http://ituring/book/1371

7、机器学习系统设计

作者：Willi Richert，Luis Pedro Coelho

译者：刘峰

书号：978-7-115-35682-6

定价：49

页数：224

微软Bing核心团队成员推出

聚焦算法编写和编程方式

结合大量实例学会解决实际问题

本书将向读者展示如何从原始数据中发现模式，首先从Python与机器学习的关系讲起，再介绍一些库，然后就开始基于数据集进行比较正式的项目开发了，涉及建模、推荐及改进，以及声音与图像处理。通过流行的开源库，我们可以掌握如何高效处理文本、图片和声音。同时，读者也能掌握如何评估、比较和选择适用的机器学习技术。

http://ituring/book/1192

8、机器学习实战

作者：Peter Harrington

译者：李锐 李鹏等

书号：978-7-115-31795-7

定价：69

页数：332

最畅销机器学习图书

介绍并实现机器学习的主流算法

面向日常任务的高效实战内容

全书通过精心编排的实例，切入日常工作任务，摒弃学术化语言，利用高效的可复用Python代码来阐释如何处理统计数据，进行数据分析及可视化。通过各种实例，读者可从中学会机器学习的核心算法，并能将其运用于一些策略性任务中，如分类、预测、推荐。另外，还可用它们来实现一些更高级的功能，如汇总和简化等。

http://ituring/book/1021

9、R语言入门

作者：Richard Cotton

译者：刘军

书号：978-7-115-35170-8

定价：69

页：360

语言幽默，通俗易懂

完美讲述R 核心组件

示例丰富，快学快用

“这本书读起来感觉棒极了，示例完整清晰，内容通俗易懂，是目前市面上介绍R核心组件最优秀的图书之一。”

——Rebecca Smith，TDX 公司分析经理

http://ituring/book/1187

10、R语言实战

作者：Robert I. Kabacoff

译者：高涛 肖楠 陈钢

书名：978-7-115-29990-1

定价：79

页数：408

本书从解决实际问题入手，尽量跳脱统计学的理论阐述来讨论R语言及其应用，讲解清晰透澈，极具实用性。通读本书，你将全面掌握使用R语言进行数据分析、数据挖掘的技巧，并领略大量探索和展示数据的图形功能，从而更加高效地进行分析与沟通。

http://ituring/book/857

11、Hadoop基础教程

作者：Garry Turkington

译者：张治起

书号：978-7-115-34133-4

定价：65

页数：324

本书着重讲解如何应用Hadoop和相关技术搭建工作系统并完成任务。本书从Hadoop的基本概念和初始设置入手，讲述了如何开发Hadoop程序，如何在数据规模增长的时候维持系统运行，涵盖有效使用Hadoop处理实际问题所需用到的全部知识。

http://ituring/book/1168

12、Hadoop实战

作者：Chuck Lam

译者：韩冀中

书号：978-7-115-26448-0

定价：59

页数：268

经典畅销书，广受赞誉

揭开云计算的神秘面纱

深入分析，追本溯源

本书分为3个部分，深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实践技能及Hadoop之外更大的生态系统。

http://ituring/book/733

13、Mahout实战

作者：Sean Owen，Robin Anil等

译者：韩冀中 吴海星 段菲

书号：978-7-115-34722-0

页数：340

Apache基金会官方推荐

Mahout核心团队权威力作

大数据时代机器学习的实战经典

Mahout作为Apache的开源机器学习项目，把推荐系统、分类和聚类等领域的核心算法浓缩到了可扩展的现成的库中。使用Mahout可以在自己的项目中应用亚马逊、Netflix等公司的机器学习技术。

http://ituring/book/862

14、Storm源码分析

作者：李明 王晓鹏

书号：978-7-115-37126-3

定价：79

页数：484

微软搜索技术部门高级研发工程师实战经验分享

从源代码的角度深入剖析Storm设计与实现

学习如何实现和高效利用“实时的Hadoop”

“本书从源代码角度深入浅出地分析了Storm的设计及实现，一方面可以使读者更好地了解并用好Storm技术，另一方面可以让读者学习如何设计大规模分布式系统，相信读者一定会受益匪浅。”

——于伟，微软资深开发总监

http://ituring/book/1507

15、Elasticsearch服务器开发

作者：Rafal Kuc，Marek Rogozinski

译者：蔡建斌

书号：978-7-115-38032-6

定价：59

页数：292

Elasticsearch百科全书式著作，用户权威指南

所有示例和功能基于Elasticsearch服务器1.0版

在云计算平台上建立稳定、可靠、方便快速的实时搜索技术

Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful风格的搜索引擎。它被设计用于云计算中，具有实时搜索、稳定、快速、安装使用方便等优点。本书是关于Elasticsearch的百科全书式著作，介绍了Elasticsearch这个优秀的全文检索和分析引擎从安装和配置到集群管理的方方面面知识。

http://ituring/book/1447

16、Openstack部署实践

作者：张子凡

书号：978-7-115-34679-7

定价：59

页数：284

从研究D版以来，我在各个群中回答了很多新手在OpenStack系统安装部署方面碰到的各类问题，虽然在博客中公布了很多，但仍比较零散，我也一直盼望能有一本较为系统的书给新手提供帮助。看到本书后我非常高兴，对于OpenStack初学者和在公司内使用OpenStack部署私有云的系统运维工程师来说，此书将会帮助大家解决很多问题，同时更有助于大家灵活地运用OpenStack系统。

——北京-YZ（博客http://xiaoyinzei），

KVM虚拟化群群主（93146027）

一线高手实践总结

实例讲解使用OpenStack建设企业私有云系统

有效降低企业IT 成本

http://ituring/book/1356

17、Docker开发实践

作者：曾金龙，肖新华，刘清

书号：978-7-115-39519-1

定价：59

页数292

出自国内最强云加速+ 云存储“迅雷云”团队

基础篇：原理、操作全面解析；案例篇：带你一步步构建复杂应用；高级篇：网络、安全、API 实战、kubernetes集群实战

“腾讯的互娱的开发节奏，只有Docker跟得上！如果你想你的团队加快开发速度，那么我推荐你使用Docker，而本书从基础、案例到高级话题，都有很全面的覆盖。”

——易剑，腾讯互动娱乐事业群高级架构师

http://ituring/book/1631

18、非技术读本 《精益数据分析》

作者：Alistair Croll， Benjamin Yoskovitz

书号：978-7-115-37476-9

定价：79

页数：356

精益系列丛书，《精益创业》作者埃里克·莱斯主编

本书围绕精益创业展开讨论，融合了精益创业法、客户开发、商业模式画布和敏捷/持续集成的精华。本书汇聚了100多位创始人、投资人、内部创业者和创新者的成功创业经验，呈现了30多个极具价值的案例分析，可以为各阶段的创业者提供行为准则。

http://ituring/book/1125

19、非技术读本《大数据的冲击》

作者：城田真琴

译者：周自恒

书号：978-7-115-31787-2

定价：49

页数：268

本书是日本最畅销的大数据商业应用指南。书中结合野村综合研究独家披露的调查数据，网罗了美国、日本标杆企业与政府的应用案例，总结了大数据的商业模式，以及在大数据应用中需要注意的隐私问题，并就如何为大数据时代做好准备展开了深入的探讨，提出了诸多有益的建议。

http://ituring/book/1128

20、非技术读本《有趣的统计》

作者：Bruce Frey

译者：邹澍

书号：978-7-115-35621-5

定价：59

页数：292

本书介绍的实用技巧运用了统计学原理，还借鉴了教育学和心理学上的测量和实验研究方法。这些技巧可以帮你解决商业、游戏以及日常生活中的各类问题。利用统计推断的各种工具，揭开概率的神秘面纱、发现相关性，预测事件。

http://ituring/book/1094

01

随着移动互联网的高速发展，一个以信息为核心的大数据时代正在到来，时代的变化给我们的生活带来了巨大的改变，互联网+正渗透到各个领域，影响着人们生活中的方方面面。与此同时，警务工作作为与平民百姓最为密切紧要的领域，也越来越多地受到互联网变革带来的突破和提升。

02

第五元素大数据警务实战平台以适应新的治安形势需求，促进创新社会管理信息化转型，提升动态环境下治安防控能力为目标，对海量分散式的数据进行归档整合开发，通过合理的数学算法对海量数据进行采集、分析和建模，挖掘出各类数据背后所蕴涵的内在的、必然的因果关系，进而研判出某一事件发生的概率，科学预测其发展趋势，把控数据之间的联系，以达到警务管控流程协同、可视化分析研判、智能预测预警等功能。

03

第五元素大数据警务实战平台基于公安内部资源库和社会资源库，根据警务大数据实战平台应用需求，经过整合和处理建立面向相关应用的专题数据库。

警务大数据实战平台建立的专题数据库从公安内部资源库和社会资源库中获取并抽取相关数据，统一规划，统一建设、统一管理、统一共享，源源不断地为警务大数据实战平台提供鲜活的、高质量的数据支撑服务，并根据应用工作需要从专题数据库中提取特定数据资源进行重新组合、分析与存储。

1

关系型数据库

主要是应用于平台日常产生数据的持久化存储服务；

2

内存数据库

主要是应用于专题库的建设，并为实战分析提供服务。

04

警务大数据实战平台的建设主要围绕数据大集中、平台大整合、手段大融合、研判大合成等四个层次和方面开展，满足警务大数据实战平台建设的目标和功能，实现市局内部各单位融合贯通，由市局、分局、派出所三级操作界面组成。

主要针对刑事侦查过程中的人、案、物、线索及责任等，特别是将明确岗位职责贯穿在侦查破案的始终，对其他已有平台能实现共享数据及结果分析，同时能对后来的数据或技术开放，实现即来即合。

警务大数据实战平台与现有的全文检索、情报平台、视频实战平台、卡口平台等系统在数据、应用层面进行对接和整合，面向不同的场景和任务开展应用，实现覆盖全局，深度合成的业务平台。

05

一套集成数据库、一个个人工作台、三个核心应用以及平台的运行支撑和管理体系。

一个个人工作台

个人工作平台主要是实现对当前已经建设完成的各类信息化应用系统的集成。桌面上直接集成、整合的应用等功能模块。

三个核心应用

即智慧地图、多维碰撞、可视化分析等相关的研判应用工具，通过这三个应用的建设，实现对基层及相关警种在研判过程中的各项支持，提供整合化的研判工具，支持数据查询、轨迹分析、异常挖掘、关系分析等工具，以及GIS、各类图表的应用和展现方式。另外，为了研判的效果，平台拥有更加全面、丰富的数据来源，不仅仅限于本地数据，也通过各种途径和方式获取兄弟单位数据，以及各类社会数据。

运行支撑和管理体系

该体系是为保障平台安全、稳定地运行提供各项支撑、管理的工具和手段，主要包括用户管理和权限控制方面的子系统、平台数据及应用的状态监控和报警子系统、用户应用日志的记录、管理以及审计子系统，平台数据及应用的备份与恢复管理等。

内容来源：2017年5月20日，腾讯高级软件工程师吴友强在“中生代技术沙龙系列之互联网大数据”进行《腾讯云大数据实战》演讲分享。IT 大咖说（id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。

阅读字数：1954 | 3分钟阅读

嘉宾演讲视频回顾及PPT：http://t/R1rnCxI

摘要

腾讯云是腾讯公司倾力打造的面向广大企业和个人的公有云平台。腾讯高级软件工程师吴友强将为我们分享大数据在腾讯云的实践。

一、TDF（数据工坊）简介

TDF简介

源于腾讯云数智大数据套件的轻量云上大数据产品，提供基于SQL的大数据计算框架。

适用于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库应用的场景。

因为公有云上的用户需要简单，所以要有一个可视化的集成开发环境，在这环境中可以进行数据血缘管理、工程/工作流管理、用户管理和告警/日志。通过一些工具把数据导入到数据存储里面，然后对数据进行处理，最终输出数据。下层的任务和资源调度是用来调度用户的任务在各个资源上运行起来。底层就是腾讯云的基础设施。

二、CDP（数据管道）实现详解

CDP整体架构-设计

上图是我们刚开始在开发之前做的设计。最左边有很多客户的数据点，比如log、DB Binlog、自建的Kafka以及自定义数据。我们会利用一些工具开发一个Flume插件，帮助它把数据上云。

数据到达中间部分，对数据进行校验和处理。处理完成后根据用户的需求通过插件的方式实时导入到TDF、COS或者其它存储里面。

CDP整体架构-目前

上图是目前我们已经实施的工作。我们自己开发了一个Flume插件，把数据实时发送到腾讯公有云的数据接收器endpoint上。数据接收器会根据用户的选择来决定用Kafka还是CKafka。CKafka也是腾讯云内部自行研发的一套兼容转换协议的消息系统，基于C++开发，性能方面会比原生的提升很多。把数据导入到Nifi里进行二次开发，最终导到Hive中。

Flume简介

FlumeNG是一个分布式、可靠、可用的系统。它能够将不同数据源的海量日志进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量级的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。

Flume的架构主要有一下几个核心概念：

Event：一个数据单元，带有一个可选的消息头。

Flow：Event从源点到达目的点的迁移的抽象。

Client：操作位于源点处的Event，将其发送到Flume Agent。

Agent：一个独立的Flume进程，包含组件Source、Channel、Sink。

Source：用来消费传递到该组件的Event。

Channel：中转Event的一个临时存储，保存有Source组件传递过来的Event。

Sink：从Channel中读取并移除Event，将Event传递到Flow Pipeline中的下一个Agent（如果有的话）。

Flume插件

Flume支持插件开发，最简单的方法就是直接拷贝已有插件进行改造。

我们提供的endpoint需要权限验证，主要是基于腾讯云的一些帐号，通过这个方式可以实时地在客户端进行加密或格式化的存储。

首先我们是多用户的系统，其次要防止用户数据量过大。通过数据大小限制能够满足90%以上的用户需求，而对于数据大小的限制是根据自身配置来决定的。

在传输过程中我们采用了一些自定义的协议，这个协议基于avro进行格式化，主要是便于对数据进行序列化和反序列化。

Kafka客户端改造支持CKafka

CKafka（Cloud Kafka）是一个分布式的、高吞吐量、高可扩展性的消息系统，100%兼容开源 Kafka API（0.9版本）。Ckafka 基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，无需彼此等待。Ckafka 具有数据压缩、同时支持离线和实时数据处理等优点，适用于日志压缩收集、监控数据聚合等场景。

CKafka主要开放给公有云上的部分VIP用户使用，VIP只能绑定对应的虚拟机，这样保证了它的安全性。但我们是直接使用内网IP访问的，所以我们需要调整客户端的交互协议，通过某种手段把VIP替换成真实的IP，以保证数据的通畅。还有自定义的管理API和封装Java SDK。

NiFi

ApacheNiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持强大且可高度配置的基于有向图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。Apache NiFi原来是NSA的一个项目，现在开源出来，由Apache基金会进行管理。

主要特性：

基于web的用户界面：无缝体验设计、控制和监控。

高度可配置：数据丢失容错和保证交付；低延迟和高吞吐量；动态优先级；流可以在运行时修改；背压（Back presure）。

数据来源：从始至终跟踪数据流。

为扩展设计：构建自己数据处理器；支持快速开发和有效的测试。

安全：支持SSL、SSH、HTTPS加密内容等等；多租户授权和内部授权/策略管理。

Hive插件

获取元数据：获取Hive表结构信息，是否支持Streaming API写入。

数据写入：insert插入，支持多分区批量插入；支持streaming；可以直接写hdfs。

CDP未来？

1、支持etl功能，对前端进行分组和做一些实时的计算。

2、支持实时的计算和分析。用户需要可以直接拿到结构去在前端进行展示，而不是再到其它系统上去做计算和分析。

3、支持实时SQL。实时计算对部分用户来说使用成本可能会更高，大部分做数据统计的人员对SQL的掌握度会更高。实时SQL是对数据进行SQL的查询计算。

4、可视化图像操作界面。用户的需求越来越多样化，腾讯云上的很多产品都需要用到数据来做，我们希望以这种方式让用户可以自己选择数据源

我今天的分享就到这里，感谢聆听！

随着大数据相关技术的发展，大数据在行业内的应用越来越广泛，大数据又分为数据采集、数据清洗、数据存储、数据建模、数据呈现等多个环节。

由于缺乏对应的大数据人才，以及国家对大数据的支持，目前很多人都开始关注大数据领域。考虑到很多人想了解大数据，我们特地准备了一个关于大数据可视化分析的项目实战课，里面包含多个大数据分析项目的讲解和演示，每周两到三次。具体的信息说明在最后。

往期大数据分析项目展示：

大数据项目实战案例一：二手房交易数据分析

大数据项目实战案例二：数据可视化职位分析

大数据项目实战三：智慧城市运营中心项目

大数据项目实战案例四：空气质量监测

大数据项目实战案例五：全国IT行业招聘信息分析

项目知识点：大数据分析，大数据可视化呈现。在哪里学习？大数据项目实战467095527

我们所处的这个时代，是一个知识大爆发的时代。仅就编程这项技能来说，现在几乎人人都能写上一两行，程序员这个群体也比十年前有了更多维度上的扩展。所以面对热门的大数据技术，有必要多做了解，多学习，才有利于长远的发展。