今日荐文

今日荐文的作者为中国电子进出口总公司专家高坤，戴江山，张慕华。本篇节选自论文《基于大数据技术的电子战情报系统》，发表于《中国电子科学研究院学报》第12卷第2期。

摘 要：介绍了电子战情报系统面临的挑战，分析了电子战情报系统的大数据应用需求和关键技术，提出了基于大数据的电子战情报系统的总体框架及情报产品信息模型。

引 言

随着电子对抗侦察技术的不断提升、侦察手段的增多，侦察到的数据种类越来越多，数据格式越来越复杂，数据量也呈爆发式增长，这就给电子对抗情报处理带来了困难。另外，在情报处理过程中，还需要综合空情、海情、技侦以及各种资料情报数据。如何从多源、海量的侦察数据中快速、及时地获取有价值的情报信息是电子战情报系统亟待解决的重要课题。

大数据时代已然到来，各种大数据分析技术发展得如火如荼。大数据分析就是对大量多种类的数据进行分析处理，获得潜在的、有价值的情报信息。本文首先分析了大数据时代电子战情报系统面临的挑战；其次面向情报系统，分析了大数据技术的应用需求及主要关键技术；最后提出了基于大数据的电子战情报系统的构想。

1 电子战情报系统面临的挑战

电子战情报系统主要就是利用陆、海、空、天平台的通信侦察、雷达侦察等电子对抗侦察设备，获取辐射源目标在空域、时域、频率域的特征参数数据，并结合海情、空情、技侦、图像、资料数据，进行数据关联、多源融合处理，获取辐射源情报、电子目标情报及电子战斗序列（EOB）情报等，形成战场态势，为信息作战提供情报支持。

随着电磁环境的日益复杂和电子侦察能力的日益提升，电子对抗侦察数据在数据量级、数据类型、数据格式等各个方面均有显著增加。电子战情报系统在情报处理过程中面临以下挑战：

（1）数据来源多样化。既包括通信侦察、雷达侦察、敌我识别侦察、导航侦察等各类传感器获得的侦察数据，也包括海情、空情、技侦、图像等外部系统的数据，同时还包括各种资料情报、人工谎报，对多源情报融合提出了更高的要求。

（2）数据量非常庞大。各种侦察原始数据、解调的音频数据，随着时间的积累，数据量增长很快，通常以TB及至PB来计算，要在海量数据中快速提取高价值的情报对系统的数据挖掘效率提出了更高的要求。

（3）数据类型多样。系统处理的数据源既有辐射源特征参数等结构化数据，也有原始侦察数据、文本、网页等半结构化数据，同时还包括音频、图像等非结构化数据，这就决定了单一的情报处理和分析方式已经不能适应情报处理的需求。

2 电子战情报系统大数据应用需求及关键技术

在上一章中分析了海量数据的存储、快速处理等问题给电子战情报系统带来了新的挑战，体现出大数据处理能力的新需求。因此，本章主要分析电子战情报系统大数据应用需求和主要关键技术。

2.1 大数据的定义

什么是大数据？麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统软件工具能力范围的数据集合，具有海量的数据规模（Volume）、快速的数据流转（Velocity）、多样的数据类型（Variety）和价值密度低（Value）四大特征。

大数据技术指能够处理4V特征数据，有助于分析事物间关系的技术。从数据获取、分发与处理的整个过程看，包括数据的采集、传输、存储、整合、分析和呈现等多个环节，各环节均有相关关键技术。

2.2 大数据应用需求及关键技术

（1）海量数据存储管理

电子战情报系统包括通信侦察、雷达侦察等多种数据来源。

一方面，非结构化异构数据大幅增长，传统的关系型数据库无法实现高效的存储管理，带来了对海量非结构化数据的存储需求；

另一方面，数据量呈现爆炸性增长，传统的物理存储方式扩展性差，难以有效应对大容量数据的存储管理，带来了存储的弹性扩容需求。

大数据分布式存储融合接入陆、海、空、天等多类侦察平台的数据，支持结构化和非结构化大数据的统一存储管理，支持弹性扩容、大容量、高并发和高速一体化的数据访问。其关键技术包括数据的采集和质量控制、安全有效的分布式文件系统和分布式数据库等。

（2）海量数据的计算处理

在计算模式方面，目前系统采用传统的集中式数据计算模式，该模式以数据迁移为代价，无法支撑大数据的高效计算。为实现高效计算处理，需要通过分布式的大数据计算技术，以计算迁移实现高效处理。多模式大数据计算支持批处理、内存计算、流计算和图计算等，实现多种计算模式的资源分配和统一调度，为大数据的分析处理提供高效和可定制的计算框架。关键技术包括计算任务的智能解析、计算的智能管理调度等。

（3）智能情报分析

通过对海量历史数据的分析处理，如快速智能的检索目标相关信息、挖掘目标的特征、规律和行为意图，以提升系统的情报智能分析能力。大数据的分析挖掘技术针对海量历史数据的目标静态特征和行为特征，构建战场目标特征知识库，以知识库为基础，结合战场实时信息的快速检索和处理，动态识别目标身份及行为，实现对其作战能力及意图的认知。关键技术包括基于知识图谱的情报检索、多源异构数据联合挖掘、关联分析等。

3 基于大数据的电子战情报系统

3.1系统架构

为应对大数据时代的挑战，借助大数据技术在多源海量数据管理、高效计算、分析处理等方面的优势，构建基于大数据的电子战情报系统，系统体系架构如图1所示。系统分为数据源层、大数据层、分析层和应用层。

图1 基于大数据的电子战情报系统体系架构

数据源层负责接入各类数据源各种形式的情报数据，包括雷达侦察数据（ELINT）、通信侦察数据（COMINT）、雷达数据（RADINT）、图像数据、语音数据技侦数据及其他资料数据等。

大数据层用于对各种形式的数据进行存储，并支持上层服务和应用的海量运算请求和并发访问请求，包括OLTP（联机事务处理）引擎、OLAP（联机分析处理）引擎、分布式计算框架、分布式消息框架和数据仓库等。

分析层是系统的通用算法层，为上层应用提供算法支撑，包括情报模型、查询、统计、可视化、文本分析、自然语言处理、图像分析和知识图谱等。

应用层是系统的业务层，为用户提供不同的情报分析业务功能，包括辐射源情报分析、平台目标情报分析、部队/组织情报分析和综合情报分析。

3.2情报模型

情报模型是分析层的核心，是大数据分析算法的设计输入，也是系统分析处理成果的最终表现形式。根据电子战情报处理领域情报产品设计的经验，经裁剪和扩充，形成了如图2所示的电子战情报产品信息模型，描述了情报产品实体以及实体之间的关系。

图2 电子战情报产品信息模型

情报产品实体包括辐射源、平台目标、部队/组织及综合。辐射源是配备在平台目标上的，如飞机、舰船等，每个平台目标可配备多个不同类型的辐射源，比如飞机上有通信电台和雷达等。平台目标装备于部队/组织，每个部队/组织可装备多种类型的平台目标，部队/组织间也存在隶属关系。综合情报是对部队/组织、平台目标、辐射源等的综合分析。

（1） 辐射源

辐射源主要指通信电台、雷达等辐射电磁波的电子设备，利用基本属性、技术参数、通联关系、活动情况、方位/位置等进行描述。

基本属性：用于描述辐射源的基本情况，包括辐射源的型号、类型、用途等信息。

技术参数：用于描述辐射源的频率域特征参数，对于通信辐射源，包括工作频率、带宽、调制样式等，对于雷达辐射源，包括工作频率、脉宽、重频等。

通联情况：用于描述通信辐射源的通联活动情况，包括通联关系、通联时间、通信内容等。

活动情况：用于描述辐射源的工作情况，包括工作时序、工作用频、工作模式等。

方位/位置：用于描述辐射源的活动方位/位置，如侦察设备通过测向/定位获得的辐射源方位/位置信息。

（2） 平台目标

平台目标主要是指配属有辐射源、服务于部队/组织的各种作战平台或设施，包括空中目标、海上目标、地面目标等，利用基本属性、武器配备、通信网络、活动情况、位置等进行描述，平台上可配属多种类型的辐射源。

基本属性：用于描述平台目标的基本情况，包括平台型号、类型、平台战技参数等。

武器配备：用于描述平台目标配备的武器情况，包括武器型号、类型等。

配属的辐射源：用于描述平台目标所配属的辐射源，包括辐射源型号、类型等。

通信网络：用于描述平台目标基于通信、互联而建立的通信系统，包括通信网络的技术特征、网络拓扑、通信成员等。

活动情况：用于描述平台目标的活动规律，包括活动频度、活动时间、活动区域等。

位置：用于描述平台目标的位置信息，可以是固定位置，也可以是一段时间的航迹。

（3） 部队/组织

部队/组织主要是指由人员组成的、具有特定层次结构的军事/民间机构，利用基本属性、组织关系、位置进行描述，部队/组织可配属多种类型的装备。

基本属性：用于描述部队/组织的基本情况，包括名称、所属国家、类型、任务等。

组织关系：用于描述部队/组织的组织结构，包括编制、层次关系等。

位置：用于描述部队/组织的驻地或作战部署地。

装备的平台目标：用于描述部队/组织所装备的平台目标，包括平台型号、数量等。

（4） 综合情报

综合情报主要是指在某个条件下对部队/组织、平台目标、辐射源的综合分析结果，如在某段时间某个区域内部队/组织、平台目标、辐射源的部署及活动情况。

3.3情报分析

利用大数据分析平台及各种分析算法，电子战情报系统对各类数据源进行分析处理，生成辐射源、平台目标、部队/组织及综合情报等产品。

（1）辐射源情报分析。对各类侦察传感器获得的信号数据进行分析，获得辐射源的特征参数，对同类辐射源的特征参数进行关联和归并处理，掌握辐射源的准确参数信息。对于通信辐射源来说，还可分析掌握其通联情况。通过对辐射源工作时序、工作用频等进行分析，掌握辐射源的活动规律。

（2）平台目标情报分析。对通信侦察数据、雷达侦察数据、海空情、图像、技侦等多源情报信息进行融合处理，建立飞机、舰船等平台目标与通信电台、雷达等辐射源的关联关系。通过通信辐射源的通联情况分析，掌握平台目标的通信网络关系。通过对不同数据来源的目标活动情况、目标辐射源的活动情况等数据进行关联分析，掌握目标的活动规律。

（3）部队/组织情报分析。通过关联和分析辐射源、平台目标、通信网络和资料情报等数据，掌握部队/组织EOB情报，包括指挥层级、部队编配、装备编配、运用规律等。

（4）综合情报分析。综合通信侦察、雷达侦察、海空情等多源情报信息，生成空中、海上、地面目标的分布及活动态势，并根据平台目标活动规律对作战意图进行预测分析。

结 语

利用大数据分析技术，能够高效地对海量电子侦察数据进行管理、分析和处理，提取各类不同数据源的关联关系，挖掘出高价值的情报数据，对于提升电子战情报系统的情报处理能力具有重要作用。

（参考文献略）

《 召 集 令 》

身怀学术绝技的你速速前来！

1，有学术水准：一定的专业学术水准是必须的！

2，有独到思想：具深度，广度，锐度者为最佳！

3，内容范畴：自然科学，社会科学等等不设限！

4，资讯或翻译类文章：符合上述条件的均可以。

学术plus咨询/投稿邮箱

xueshuplus@163

《中国电子科学研究院学报》欢迎各位专家、学者赐稿！投稿链接 http://kjpl.cbptki

电话：010-68893411

邮箱：dkyxuebao@vip.126

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

1.Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：

熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；

学完此阶段可解决的现实问题：

搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；

学完此阶段可拥有的市场价值：

具备初级程序员必要具备的Linux服务器运维能力。

1.内容介绍：关注作者：需要大数据学习视频资料可以加我QQ群，此文里面连起来的数字，你会找到我的

在大数据领域，使用最多的操作系统就是Linux系列，并且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。

2.案例：搭建互联网高并发、高可靠的服务架构。

2.离线计算系统课程阶段

1. 离线计算系统课程阶段

Hadoop核心技术框架

学完此阶段可掌握的核心能力：欢迎加入722680258零基础到项目实战

1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用；2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发；3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发；4、掌握Hive数据仓库工具的工作原理及应用开发。

学完此阶段可解决的现实问题：

1、熟练搭建海量数据离线计算平台；2、根据具体业务场景设计、实现海量数据存储方案；3、根据具体数据分析需求实现基于mapreduce的分布式运算程序；

学完此阶段可拥有的市场价值：

具备企业数据部初级应用开发人员的能力

1.1 HADOOP快速入门

1.1.1 hadoop知识背景

什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍

国内外hadoop应用案例介绍

分布式系统概述、hadoop生态圈及各组成部分的简介

1.1.2 HIVE快速入门

hive基本介绍、hive的使用、数据仓库基本知识

1.1.3 数据分析流程案例

web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现

1.1.4 hadoop数据分析系统集群搭建

集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试

HIVE的配置安装、HIVE启动、HIVE使用测试

1.2 HDFS详解

1.2.1 HDFS的概念和特性

什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景

1.2.2 HDFS的shell操作

HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍

1.2.3 HDFS的工作机制

HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程

NAMENODE工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工作机制、DATANODE动态增减、全局数据负载均衡

1.2.4 HDFS的java应用开发

搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统

1.3 MAPREDUCE详解

1.3.1 MAPREDUCE快速上手

为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式

1.3.2 MAPREDUCE程序的运行机制

MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化

通过以上各组件的详解，深刻理解MAPREDUCE的核心运行机制，从而具备灵活应对各种复杂应用场景的能力

MAPREDUCE实战编程案例：通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下：

通过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现：

1.4 HIVE增强

1.4.1 HIVE基本概念

HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制

1.4.2 HIVE基本操作

HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例

1.4.3 HIVE高级应用

HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计

HIVE实战案例--级联求和报表实例：

离线数据挖掘系统

学完此阶段可掌握的核心能力：

1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程

学完此阶段可解决的现实问题：

1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;3、根据具体需求搭建起整套离线数据分析系统;4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现

学完此阶段可拥有的市场价值：

具备企业数据部中高级应用开发和初级架构师能力

2.1 数据仓库增强

2.1.1 数据仓库及数据模型入门

什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构

2.1.2 数据仓库设计

建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构

典型数据模型——星型建模实例

2.1.3 数据仓库建模样例

业务建模、领域建模、逻辑建模、物理建模

web点击流日志分析系统数据仓库设计实战：

通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型

2.2 离线辅助系统

2.2.1 数据采集系统

数据采集概念介绍

FLUME日志采集框架介绍、FLUME工作机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例

2.2.2 任务调度系统

任务调度系统概念介绍、常用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例

2.2.3 数据导出

数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量作业操作

2.3 web点击流日志分析系统实战项目

2.3.1 项目介绍

1. 在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。

2. 各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值。

3. 本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的全部流程。

2.3.2 需求分析

什么是点击流日志、点击流日志的商业价值、点击流日志分析需求

业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析

2.3.3 系统设计及开发

1. 系统架构设计

2. 数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现

3. 数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现

4. 数据统计设计及开发——数据预处理、数据加载、原始数据表的创建、数据入库、数据ETL

5. 报表统计设计——数据模型设计、事实表设计、维度表梳理

6. 业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析

2.3.4 任务调度系统设计实现

任务调度单元实现、各环节任务运行频次及依赖关系梳理、工作流设计及实现、工作流定义配置上传部署、工作流启动即状态监控

2.3.5 数据可视化——结果报表展现

1. hive分析结果使用sqoop导出到msyql数据库

2. 报表展现系统技术选型：

后台使用spingmvc + spring + mybatis

前端页面使用全静态异步刷新技术jQuery + Echarts

3. web展现程序架构搭建，使用maven构建项目工程

4. web展现程序页面设计开发：原型页面设计、js代码开发

5. 最终实现以下数据可视化效果：

(1)流量概况可视化效果：

(2)来源地域分析可视化效果：

(3)来源类型分析可视化效果：

3.Storm实时计算部分阶段

实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。

1.流式计算核心技术

流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。

学完此阶段可掌握的核心能力：

(1)、理解实时计算及应用场景

(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理

(3)、具备Kafka与Storm集成使用的能力

学完此阶段可解决的现实问题：

具备开发基于storm的实时计算程序的能力

学完此阶段可拥有的市场价值：

具备实时计算开发的技术能力、但理解企业业务的能力不足

1.1、流式计算一般结构

2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。如果庞麦郎在的话，他一定会说，这就是我要的滑板鞋!

上图是流式分析的一般架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。一般情况下，我们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习

1.2、流式计算可以用来干什么

一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是通过每天在云梯上定时运行的MR job来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。

携程-网站性能监控：实时分析系统监控携程网的网站性能。利用HTML5提供的performance标准获得可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，通过历史数据对比等判断规则，触发预警事件。

一个游戏新版本上线，有一个实时分析系统，收集游戏中的数据，运营或者开发者可以在上线后几秒钟得到持续不断更新的游戏监控报告和分析结果，然后马上针对游戏的参数和平衡性进行调整。这样就能够大大缩短游戏迭代周期，加强游戏的生命力。

实时计算在腾讯的运用：精准推荐(广点通广告推荐、新闻推荐、视频推荐、游戏道具推荐);实时分析(微信运营数据门户、效果统计、订单画像分析);实时监控(实时监控平台、游戏内接口调用)

为了更加精准投放广告，阿里妈妈后台计算引擎需要维护每个用户的兴趣点(理想状态是，你对什么感兴趣，就向你投放哪类广告)。用户兴趣主要基于用户的历史行为、用户的实时查�...

系统简介

后台图形及数据走向

客户手机APP，实时数据观测

服务案例

整体服务

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息！

引言： 2017年6月17日，广州思迈特公司在北京举行Smartbi大数据分析技术年度峰会。思迈特公司CEO吴华夫先生亲临现场，携最新的Smartbi Insight V7版本分享数据分析新四化的最新成果，并演示人工智能和数据分析的”首次融合”。

Smartbi智能语音助手数据分析演示

下面分享具体演讲内容：

很感谢大家在周末休息的时候来参加Smartbi V7产品的发布会。

下面，我会介绍一下关于思迈特公司的情况、Smartbi Insight V7版本的新特性和功能。

公司简介

思迈特公司定位成一家大数据分析可视化和商业智能的产品提供商。我们知道数据是企业最重要的资产，要发挥它的价值，就需要使用数据分析，数据分析是企业的重要武器。思迈特软件Smartbi insight就是一个利器，能够有助于发掘企业数据资产的价值。

思迈特公司成立于2011年底，通过这几年的发展，我们在北上广、成都、西安、武汉都有技术支持和销售，希望为各个地方的用户提供更好的体验和服务。

客户介绍

下面介绍我们的客户，我们在金融、政府、企业、高校等领域都有很多的应用。

金融行业。我们的银行客户并不仅仅是项目级别的应用，而是总行、全行、全业务线级别的应用。比如中国银行，我们的产品应用在20多家分行。股份制银行比如说民生银行、光大银行也是我们的老客户。

保险有泰康人寿，PICC、太保、中英人寿、幸福人寿等；证券有中信证券、银河证券、中投证券等客户；另外还有基金、投资公司、金融公司、财务公司等。

政府领域。我们在卫生、税务、财政、工商、公安等政府领域都有比较广泛的应用。

企业客户。比如海航集团、中国电信、石化、南方电网等。

教育行业。我们做了部级、省厅级、以及一百多个大学的大数据分析系统。

Smartbi Insight V7产品重要特性

刚刚介绍了公司和客户的情况，现在我们介绍Smartbi Insight V7的重要特性。

技术架构

Smartbi Insight 是一个大数据中间件产品，定位为数据分析和数据可视化软件产品。

第一层是数据层。包含RDBMS、OLAP Server、MPP、 Hadoop数据库。

第二层是引擎层。目前包含四个引擎：

元数据引擎。它是把技术的数据转换成业务数据，基于它实现我们的自助多维分析。

数据查询分析引擎。包含多维数据库、关系数据库、以及其他扩展的查询。

分布式内存计算。主要功能有ETL数据处理、机器学习、跨数据库计算。

人工智能引擎。这个是我们新增的，在目前所有的国内大数据分析产品中人工智能引擎是我们首创并最先提出来的。

第三层是功能层。主要包含报表报告、数据可视化、数据探查和分析、移动协同决策和人工智能深度学习这五个方面，后面我们会详细介绍。的

第四层是行业产品。除了平台产品，我们还根据行业的应用提供大数据分析解决方案产品。主要包括银行自助分析云平台和高校大数据分析系统。

报表报告

企业报表

Spreadsheet（电子表格）是企业报表平台的解决方案专家，创新的基于Office Excel实现报表设计，满足各种格式的行业监管报表、内部管理报表的需求。包括：清单报表、交叉报表、分组报表、多源分片报表、分块报表、表单报表、图形报表、回写报表、假设分析报表、二次计算报表、套打报表、段落式报表、预警报表（Excel条件格式）、组合报表（智能评语）。

它包括三个特点：

1、 简单易用。电子表格使用Excel、WPS作为报表设计器，可以帮助用户在最熟悉的环境中很容易的获取广泛和丰富的资源去实现需求。

2、 功能强大。不仅支持一般业内的负责报表如交叉报表等，还支持市场上其他报表不具备的统计预测和规划求解，如支持使用Excel函数，包括财务函数、统计函数等。

3、 图表丰富。Excel报表、图形模板资源丰富，本身作图能力也非常强大，日本画家可以基于Excel可以做很多水墨画，甚至美女图。只要有想象力，就可以创造出非常丰富的图形出来。

在V7版本继续增强了报表的功能，主要体现在：

1、 照相机功能。通过照相机拍照功能可以把多个报表合并组合成新的页面，类似黑板报，从而使页面布局灵活、数据格式动态同步，并易于维护更新。

2、 功能增强。包括大清单表的性能优化和对填报审核流程的改进。

3、 增加动态图形。不仅支持Excel静态图形，还支持Echarts动态图形，使图形效果更佳动感，交互性更强。

分析报告

Office Word/PPT也可作为报告的开发工具，基于报表体系制作可刷新数据的报告模板，将数据从IT环节贯通到办公系统，提高报告的制作效率，使业务的工作重心回归问题的原因分析和解决方案设计上。

Smartbi支持使用Word和PowerPoint来开发报告，在开发过程完全可视化，无程序编码，开发的工具Office插件还支持检测更新，自动提醒升级；开发的报告不仅支持在浏览器、移动端上直接查看和一键刷新，还支持后台定时任务，发布报表到个人邮箱。

数据可视化

数据可视化是目前一个炙手可热的话题，我们产品也有自己的可视化特色。主要包括：

交互仪表盘

我们的交互仪表盘就是基于Web上实现的H5版本的水晶易表，和市面上其他的可视化工具不一样，我们是基于Excel的数据模型，利用Excel的计算能力，并通过绑定关系多维数据源来实现交互性强的页面出来。

交互仪表盘的设计更简单、交互性更强、计算能力更强。如下示例：

图一：参数控件、图表联动，在Excel中配置，几分钟即可实现。

图二：what-if分析的示例。它是基于数据模型，通过简单点击交互操作的方式来挖据数据之前的关联影响，从而找到经营指标之间的关系，让领导更容易做出决策。

对公司来说，增加研发费用投入，成本增加了，利润是会增加还是会减少呢？若研发的投入会使产品的竞争力更强，则会有更多的收入。对于这样一个测算的过程，我们只需要通过简单的点击，基于底层的数据模型，就会很容易看出增加的经费对净利润、产品销售量、成本、收入等指标的关联关系的影响。

数据大屏幕

数据大屏幕适用于大型的管理机构，信息量高度集中，相比仪表盘来说弱化交互性，强化炫酷的展示效果。 Smartbi Insight支持非常灵活的布局、样式和图形效果，并且设计、上线速度极快，远超各种开发技术实现的大屏幕！

图形可视化

我们现在有两套图形引擎：静态图形引擎和动态图形引擎。除了内置的两套图形引擎，还支持扩展接口，第三方图形引擎很容易接到我们产品中来。

*动态图形。Smartbi Insight提供丰富的ECharts图形可视化选择，包括散点图、、南丁格尔玫瑰图、油量图、散点图、气泡图、雷达图、关系图、热力图、词云图等等。

*静态图形。通过电子表格（Excel）作图时可使用Excel完成更为复杂的图形设计，如：甘特图、山形图、手风琴图、子弹图、小又多图等等。以及对表格设置条件格式（数据条、色阶、图标集）。

地图分析

地图分析将企业经营数据在地图上进行可视化呈现，形成企业经营的地理导航仪，通过点击、下钻以及图表联动等方式，进行数据分析和展示。

直接支持迁徙地图、航线图、百度地图、热力地图、散点地图、地产密度图等等。地产密度图是和ArcGIS更专业的GIS系统结合，我们产品本身也内置GIS引擎，可以支持各种各样的地图分析。

数据探索和分析

我们在数据自助分析包含两个方面：查询数据和分析数据。这个功能尤其应用在金融电信行业。目前，我们有专门的自助分析云平台的解决方案。

自助查询

自助查询是指用户通过鼠标简单的勾选拖拽就可以找到关心的指标和字段，很轻松在上亿的数据中进行明细查询。这个功能的应用经验是从银行中积累的，因此我们在大数据支撑方面做过很多优化，是经过实践检验的，性能上相对于其他产品是有优势的。

多维分析

企业用户都希望对业务、管理数据进行多维度分析，Smartbi Insight充分满足此类OLAP需求，无论客户的数据环境为多维数据库还是关系数据库，都可以提供相应的功能。

*若使用关系数据库，则无须建模。支持自由钻取、切片、同环比、分组、计算字段、预警、图表联动等。

*若使用多维数据库，可使用Analysis功能，同样可以完成切片、钻取、同环比等功能。

移动协同

移动应用

移动应用让企业员工可以随时随地通过手机、平板查看和分析数据。丰富的图形让数据展现栩栩如生，离线下载随身携带数据，手写批注让信息分享、决策讨论更加轻松。

我们的移动应用开发简单、功能强大，特点如下：

android、iOS的手机、平板都支持

一键发布、支持批注与分享（到社交软件）

集成能力：企业微信、OA及其它移动应用整合

安全性：设备安全管理，通讯加密，离线安全

协同决策

Smartbi产品的协同决策功能就类似一个私有的微信平台，把领导线下决策执行的过程转到线上。在这个平台上，你不仅可以随时发送报表报告、进行实时评论、分享工作，还可以交流讨论、组织在线会议等，让用户可以在Smartbi Insight中进行多人多团队决策、提高决策精准度。

数据源

Smartbi兼容支持各种数据源。我们支持关系数据库（包括Vertica等MPP数据库），多维数据库、大数据库。在V7版本上新增了华为、星环和Kylin等的支持。

系统集成

为了ISV能基于Smartbi平台产品更加方便的打造自己的大数据解决方案，我们对界面可视化配置、权限体系、集成等方面又做了更大的完善和改进，主要包括：

界面风格（LOGO）随意更换，不用重启服务器

J2EE架构、纯WEB方式、无需安装其他插件

用户集成（权限自主管理：资源权限、数据权限、操作权限）

报表集成支持外部链接或内嵌到其它系统中

运维可视化

作为一个大型系统，若有万以上级别的报表该如何管理呢？可以使用我们的运维可视化功能。界面操作，非常易用。

通过界面可视化的运维管理，使得：

运维管理能力更强。可以通过元数据引擎查看报表的关联关系，可以查看报表的访问情况。如看一张报表的访问次数，若少则可下线。

解决问题能力更强。当慢、卡各种情况发生，通过CPU监控、内存监控、网络监控等功能快速定位问题。

自动检测能力更强。系统支持定时提醒，支持自动检测优化，支持调整系统参数，能最好的满足用户的需求。

人工智能

随着大数据作为企业的资产，它的重要性毋庸置疑。我们提供很多方法让用户去查询分析数据，比如通过报表报告发给领导查看，通过大屏幕查看关键KPI指标，通过自助分析使业务人员简单的操作就能自助查询分析数据。的

但是，若是能通过语音语义来表达诉求，通过一个工具接受指令，直接把需要的数据传递给你，会对大数据分析方式产生很大的变革，会使更多的人受益于大数据，会更方便的挖掘大数据的价值。

因此，V7版本上我们发布了人工智能小麦的功能。她基于语音语义模型，通过深度学习的引擎，实现自然语言的理解，并支持用户使用偏好，从而实现数据查询和分析。目前，我们支持打开已有资源，切换参数；还支持自助探索分析。

这种人机交互的方式体现了AI和BI的结合。当然这只是迈开的第一步，我们未来的目标是通过自然语言，用户能轻松自由的利用大数据，不仅能了解现状、挖掘规律，更是预测未来。

一、描述统计

在数据分析的时候，一般首先要对数据进行描述性统计分析（Descriptive Analysis），以发现其内在的规律，再选择进一步分析的方法。描述性统计分析要对调查总体所有变量的有关数据做统计性描述，主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布、以及一些基本的统计图形，常用的指标有均值、中位数、众数、方差、标准差等等。

数据的集中趋势一般采用平均值、中位数表示。数据的离散程度一般采用方差、标准差表示。数据的分布情况一般采用直方图表示。

案例：北京房屋价格（数据文件：house_price.xlsx）

分析问题:

1)北京市政府为调控房地产价格，希望知道北京各小区房屋价格的分布，请分析房地产价格的集中趋势，并选择合适的图形呈现。

2)房地产商想知道北京各个环线房屋装修状况的对比情况，以便进行产品设计和市场拓展，计算指标并设计合适的图形呈现结果，最后给房地产商一些建议。

3)选择合适的图形反映北京各个区住宅区房屋分布情况

操作步骤：

1)基本描述统计

打开excel数据文件house_price.xlsx

选择描述统计，单击“确定”按钮。

2)直方图

根据描述统计的结果，在空白列构造间隔为0.5的等差数列作为接收区域D1:D19，最大值为9,最小值为0。

选择数据，单击“数据”选项卡，选择“数据分析”选项框中的“直方图”选项

输入区域选择房屋价格avgprice列$B$2:$B$186，接收区域选择第一步构造的接收数据，即D1:D19数据。

输出区域选择G3，勾选图表输出，然后单击“确定”按钮。

选中整个直方图，右键单击选择“设置数据系列格式”，单击“系列选项”，分类间距设为0。

备注：

基本概念：数据的集中趋势 离散程度 数据分布情况 透视表 直方图 柱形图 饼形图 堆积柱形图

二、排位与百分比排位

“排位与百分比排位”分析工具可以产生一个数据表，在其中包含数据集中各个数值的顺序排位和百分比排位。该工具用来分析数据集中各数值间的相对位置关系。该工具使用工作表函数 RANK 和 PERCENTRANK。

例：10名同学统计学考试成绩如下：

试进行排位和百分比排位。

（1）在EXCEL数据分析工具库中选择“排位与百分比排位”，弹出对话框如下：

排位与百分比排位对话框设置

（2）单击“确定”生成排位结果如图。

排位与百分比排位结果

（3）其中的百分比排位为：小于该值的个数/（小于该值的个数+大于该值的个数）

如88，小于该值的有7个，大于该值的有2个，百分比排位为7/9＝77.78%，该工具截去了十分位数。

2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。

DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面

（1） 执行失败的应用程序

监控 yarn资源管理中总执行失败的应用程序数量

纵轴表示应用程序数量，单位个

横轴表示时间,单位分钟

（2）已提交的应用程序

监控 yarn资源管理中已提交的应用程序数量

纵轴表示应用程序数量，单位个

横轴表示时间,单位分钟

（3）正在运行的应用程序

监控 yarn资源管理中正在运行的应用程序数量

纵轴表示应用程序数量，单位个

横轴表示时间,单位分钟

（4） 等待执行的应用程序

监控 yarn资源管理中等待执行的应用程序数量

纵轴表示应用程序数量，单位个

横轴表示时间,单位分钟

（5）已完成的应用程序

监控 yarn资源管理中已完成的应用程序数量

纵轴表示应用程序数量，单位个

横轴表示时间,单位分钟

（6）被kill的应用程序

监控 yarn资源管理中被杀死的应用程序数量

纵轴表示应用程序数量，单位个

横轴表示时间,单位分钟

2、Spark监控界面

注意：（spark 运行任务后才有监控数据）

（1） 最大可使用内存

监控 Spark 集群中最大可使用的内存

纵轴表示内存容量，单位MB

横轴表示时间,单位分钟

（2）已使用的内存

监控 Spark 集群中已经使用的内存

纵轴表示内存容量，单位MB

横轴表示时间,单位分钟

（3）剩余内存

监控 Spark 集群中剩余的内存

纵轴表示内存容量，单位（MB）

横轴表示时间,单位分钟

（4）Spark中任务数量

监控 Spark 集群中任务数量

纵轴表示内存容量，单位MB

横轴表示时间,单位分钟

（5）Spark中正在运行的任务数量

监控 Spark中正在运行的任务数量

纵轴表示内存容量，单位MB

横轴表示时间,单位分钟

（6）正在运行的stage数量

监控 Spark集群中正在运行的stage数量

纵轴表示stage数量，单位个

横轴表示时间,单位分钟

（7）失败的stage数量

监控 Spark集群中运行失败的stage数量

纵轴表示stage数量，单位个

横轴表示时间,单位分钟

（8）准备就绪的stage数量

监控 Spark集群中准备就绪的stage数量

纵轴表示stage数量，单位个

横轴表示时间,单位分钟

备注：

（横轴的时间表示采集时间，一般是1分钟一次）