大数据数据挖掘

概述

spark是实时大数据分析、挖掘的流行方案，hadoop是大数据存储和运行的流行方案，本demo主要表述用spark + hadoop如何做大数据挖掘的通用方案，包含了，包括了环境资源整合、spark和hadoop的整合，各部分模块的关系，并给出了可用的java 代码框架，和可运行的demo代码。

详细

代码下载：http://demodashi/demo/10153.html

一、设计背景

为了满足大数据实时挖掘的需要

二、设计要求：

1、数据存储

A、大数据存储标准

系统需要满足以T基本的数据存储量设计标准。

B、规模可伸缩

平台的规模可以平衡伸缩扩展

C、数据可以快速运算

数据必须是支持快速运算得出结果的

三、架构方案

1、架构图

大数据挖掘、分析的的通用流程如下：

1、先是数据采集，这里我们叫做原始数据

2、采集完之后，数据经过数据清洗模块，进行清洗

3、清洗完之后，会被数据挖掘模块进行运算

4、数据挖掘模块运行的结果，会生成相关的可用模型

5、这些模型对象往往被保存到模型服务器里面

6、然后业务服务器就从模型服务器里面获取相关的模型进行运算。

2、数据清洗模块

2.1 用途

原始数据，都是写杂乱的数据，没法进行数据分析，和数据挖掘，都需要经过清洗才能变成可用的数据，数据清洗，一般包含两部分，第一部分，数据纯提取，就是把一些没用的信息属性，去掉，只留些和我们要分析和挖掘属性相关的属性，第二部分是建一般的属性信息转换为可供运算的数学模型信息，转行为数学模型才能进行挖掘等运算。

2.2 结构图

2.3实现方式

数据采集，一般采用kafka才做数据采集，采集完的数据会保存到数据中心里面，这个数据中心，在我这这里也叫原始数据源，因为数量可能几大，所以可以采用Hadoop dfs来存放。

有了原始数据后，数据清洗模块被业务服务器触发运行，它去原始数据源那边获取原始数据，然后进行去杂过滤，和转数字化处理，然后在把这些处理结果存放到数据服务器里面。

技术落地如下：

数据采集，使用kafka、Flume

原始数据源，使用hadoop dfs，或者hadoop hive等都可以

数据服务器，使用 hadoop dfs(parquet) 或者hadoop hive

数据清洗模块，使用spark

2.4扩展

容量扩展：

采用hadoop 系统来做大数据存储，方便横向扩展

计算能力扩展：

使用spark来做计算能力的横向扩展

3、数据挖掘模块

3.1 用途

数据挖掘模块，是对清洗后的数据，运用数学算法，对其进行数据运行，并把运算后的结果模型保存起来，供业务程序的调用。

3.2 结构图

3.3实现方式

数据挖掘模块是一个数据挖掘的程序集合，这些挖掘程序需要放到算法运行服务器里面运行。

技术落地如下：

数据服务器，使用 hadoop dfs(parquet) 或者hadoop hive

数据挖掘模块，使用spark

3.4扩展

容量扩展：

采用hadoop 系统来做大数据存储，方便横向扩展

计算能力扩展：

使用spark来做计算能力的横向扩展

4、算法运行服务器

采集层 主要可以使用Flume, Kafka两种技术

4.1 用途：

在spark中要运算某些算，一般的做法是，把算法上传到spark服务器中，然后通过脚本来触发运行，这样的方式在我们的项目应用中，是可行的，但这样的方式是封闭式的，不能让第三方系统触发运行，基本上都能够通过手动触发运行，或者给算法加上一个定时器外壳，定时去执行XX算法，基于这的特性不方便和我们的业务系统集成。

所以提出了算法运行服务器的需求，这个主要解决了，算法可随时被业务系统触发，也可以向业务系统返回执行结果等。

4.2 结构图：

4.3实现方式

数据挖掘模块是一个数据挖掘的程序集合，这些挖掘程序需要放到算法运行服务器里面运行。

技术落地如下：

4.4 运行说明：

算法运行服务器启动时，会启动一个socket监听器，业务服务器要调用某个算法时，会往这个监听器发送一个调用请求，然后监听器接收到调用请求后，调用具体的算法（可能是数据清洗的算法，也可以是数据挖掘等的算法）运算，然后算法运行完毕后，会将运行的结果，返回给业务调用端。

5、数据服务器

5.1 用途：

存放原始数据，和清洗后的数据。

5.2 结构图：

5.3 技术方式：

6、模型服务器

6.1 用途：

用于存放挖掘运行后的模型，这个模型其实就是一个可用的java对象，这个java对象，会被业务端读取，然后加载后，用于业务运行。

6.2 结构图：

6.2 实现方式：

四、架构使用

1、环境搭建

1.1 Hadoop安装、配置

A、下载、copy到Linux下、解压等，以及将hadoop下的bin和sbin目录都添加到系统path 等这些略过。

添加过程如下：

vi /etc/profile

然后文件末端这样：

配置这样的好处就是，以后执行一些hadoop的命令，不用直接到XXbin目录下。

注意编辑后，需要执行 source /etc/profile 后才生效

B、主要配置三个文件

core-site.xml 文件，配置如下：

注意：这里要配置一个临时目录，一定要注意名称是hadoop.tmp.dir 以及值路径是这样写：file:/hadoop-data/dfs/tmp （因为每个hadoop的属性和值得表示方法不一样）

hdfs-site.xml文件，配置如下：

C、配置完上面的路径后，先用命令格式化一下文件系统：

hdfs namenode -format

这个作用就是建立一个临时temp目录，以及相关的临时库。

注意：每次在修改了和路径有关的配置后，都必须执行一次

D、设置免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

E、到shin目录下，执行启动命令, start-dfs.sh 即可（关闭则是 stop-dfs.sh）

F、有问题记得查看log文件。

G、请后，可以用命令查看相关端口：

H、可以打开网页看看

XXX:50070 即可

1.2 spark安装、配置

略

2、程序开发与实现

2.1 项目搭建

以test-salesRunInspark-project项目为基础，或者重命名该项目即可，大数据挖掘的项目搭建。

2.2 项目开发

程序开发主要涉及到：清洗算法的开发，和挖掘算法的开发，其他部分不需要。

然后清洗算法、挖掘算法的开发，需要遵从2.1算法编写 规则。

需要开发的部分为红色标识的部分：

2.3 算法编写规则

算法（包含数据清洗算法、挖掘算法等）都是只需要遵从以下规则即可：

必须规则：

定义一个普通class，然后为这个类加入精通的job方法即可

可选规则：

也可以定义一个main方法，这个主要作为单独运行的入口（即不是通过运算服务器调用）

2.4 api使用

Api的使用主要涉及到以下两个方面：

1、在spark中如何hadoop集成通讯，如何读取hadoop中的数据和将结果保存到hadoop中

2、清洗的算法如何实现、挖掘的算法如何编写

具体参考项目代码中的：

数据清洗和转换算法参考：UserJsonLog2Parquet.java

数据挖掘算法参考：UserClassModel.java

3、程序发布

数据挖掘项目以java项目方式存在，程序发布只需要将程序导出为jar包，当然换个jar包，也把所依赖的jar包也打包进去，然后把这个jar包，一起拷贝到 spark环境下面即可。

步骤如下：

代码下载：http://demodashi/demo/10153.html

注：本文著作权归作者，由demo大师发表，拒绝转载，转载需要作者授权

作为刚毕业的大学生程序员，对大数据非常感兴趣，想从事大数据挖掘的工作，不知道未来前景如何，而且面临选择是去纯大数据公司还是传统行业单位的大数据分析部门。目前大数据和人工智能、物联网一样可以说是大热门。根据中国商业联合会数据分析专业委员会统计，随着大数据及AI等新兴业务的发展，未来中国基础性数据分析人才缺口将达到1400万。这是一个很大数量的缺口，所以选择大数据方向应该是不错的选择。而数据挖掘这种比较偏应用的就业前景也应该不错。

大数据挖掘人员，要做的事情就是从数据库或其它形态的数据文档中发掘出显性或隐性的有价值的数据。除了有一定的数学统计知识等之外，还要具备一定的编程能力，熟悉开发环境等，比如Hadoop、NoSQL、Python、Java等。至于就业去向可以根据自己的性格及发展方向来确定。大数据公司、传统行业的大数据部门各有优点。

大数据挖掘技术在哪里都是差不多的。大数据公司一般会承接各种行业的数据分析，从个人见多识广或大多数人的选择来说可能到大数据公司应该是比较好的选择。长期下去各行各业的数据以及业务形态等等都能够见得到，都会了解一些，而且大数据公司里收入来说相对会高一些。而且对于大数据技术的前沿知识也是很快会接触到，学得到，同行之间交流也多，成长可能更快。但除了几个规模比较大的数据分析公司之外，大部分还是比较新比较小，可能稳定性并不是太好。对于那些有冲劲，不怕冒险的人员来说是个不错的选择。

另一方面如果想成为某一个行业内的专家，那么到某一个传统行业单位也许是一个好的选择。传统行业单位数据更细分，而且更专一。每天接触的，研究的都是这个行业里的数据，长久下去对这个行业更深入，通过数据更能够看到本质，更容易成为某个行业里的专家。比如卫生领域、金融领域、零售领域等等，每一个领域都会有很深的业务知识。这种大数据分析部门依附在传统行业企业里，相对来说可能收入稍低，但稳定性不错。如果人年轻把数据挖掘作为一份工作，有更高一些的收入，想学到更多的知识提升自己，或者觉得一个行业的数据太单调，那么到大数据公司也就是比较好的选择。

2018年大数据专业就业前景

大数据人才稀缺

据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

大数据专业就业三大方向

大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据专业人才就业薪资

1基础人才：数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

数据分析师岗位职责

业务类别:技术

业务方向:数据分析

工作职责:

1. 根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；

2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测；

3. 参与数据挖掘模型的构建、维护、部署和评估；

4. 整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持；

5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控；

6. 参与编写项目相关文档。

教育背景:

学历：本科其它：

经验要求:工作经验：3-5年

任职要求:

1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历；有扎实的数据统计和数据挖掘专业知识；

2. 熟练使用数理统计、数据分析、数据挖掘工具软件（SAS、R、Python等的一种或多种），能熟练使用SQL读取数据；

3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法；

4. 3年以上数据分析工作经验，征信从业背景人员优先；

5. 具有金融行业项目经验的相关经验者优先考虑；

6. 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

能力素养:

良好的分析、归纳和总结能力，善于分析、解决实际问题； 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

2大数据开发工程师

北京大数据开发平均工资： 30230/月。

大数据开发工程师/专家 岗位指责（引自 滴滴出行）：

职位描述：

1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；

2、服务各种业务需求，服务日益增长的业务和数据量；

3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；

岗位要求：

1、计算机或相关专业本科以上学历（3年以上工作经验）；

2、精通C++/Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境；

3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码；

4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力；

5、具有良好的沟通协作能力，具有较强的分享精神；

6、对Kudu、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分；

3Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

Hadoop开发工程师岗位职责（引自新浪网）：

职位描述：

1.参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；

2.分布式机器学习算法在数据平台的构建与优化（包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入源码改进各种开源大数据项目（包括Hadoop、Spark、Kafka、HBase等）。

任职要求：

1.计算机或相关专业本科以上学历；

2.熟悉Linux环境下开发，熟练掌握C++/Java/Scala等一种以上编程语言；

3.熟悉Hadoop生态系统相关项目，精通以下项目之一的源码（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具备良好的学习能力、分析能力和解决问题的能力。

4数据挖掘工程师

北京数据挖掘平均工资： 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

数据挖掘工程师招聘要求（引自蚂蚁金服集团技术部）：

工作职责：

1、在分布式系统上进行数据计算、挖掘、和实现算法；

2、数据仓库模型设计和建立；

3、数据梳理流程的实现和维护；

4、物流场景下的地址文本、空间属性研究和分析。

任职资格：

1、本科以上学历，有扎实的统计学，数据挖掘，机器学习，自然语言识别理论基础，一种或几种以上的实际使用经验。

2、熟悉聚类、分类、回归等机器学习算法和实现，对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。

3、深入理解Map-Reduce模型，对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。

4、有扎实的计算机理论基础，至少熟悉一种编程语言，Java优先。

5、有三年以上互联网公司或者海量数据处理工作经验，大数据挖掘、分析、建模经验

5算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

算法工程师 招聘要求（引自美团点评数据平台部）：

职位描述：

互联网公司背景优先

A、广告算法

岗位职责：

1.负责点击率预估等主要广告算法的技术选型；

2.负责核心算法的开发；

3.负责广告大数据处理流程的建设及相关工具的研发；

4.负责广告技术研究项目的推进与管理；

职位需求：

1.计算机或相关专业本科以上学历，3年以上相关工作经验;

2.熟练掌握一门开发语言；

3.有机器学习、数据挖掘相关知识；

4.在广告、搜索、推荐等相关领域之一有技术研究工作经验；

5.有较强的沟通协调能力；

B、推荐算法

职位描述：

1. 参与各个产品线的个性化推荐系统的研发；

2. 分析用户行为数据，并设计合理的推荐算法模型及策略，并优化推荐排序；

3. 通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；

职位要求：

1. 全日制本科及以上学历，计算机相关专业；

2. 熟练掌握各类个性化推荐算法，并有开发个性化推荐系统的实际项目经验；熟练掌握各类回归及排序算法，能够利用相关算法进行推荐排序的优化；

3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术，能够根据实际问题选择合适的模型和算法并进行相应的开发；

4. 有较强的工程架构和开发能力，能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法；

5. 掌握python、matlab等脚本语言，熟悉各类数据挖掘工具（如weka、Mahout），能够快速建立模型并进行验证；

C、算法工程师

岗位职责:

1、开发和优化用户行为数据挖掘，文本分类和语义理解，社交网络分析，网页搜索，推荐系统等领域的特定算法

2、能够很快学习和利用state-of-the-art的算法解决实际产品问题，提升产品用户体验

任职资格:

1、有一定的研究、实验的能力，优秀的分析问题和解决问题的能力

2、理解自然语言处理、机器学习、网页搜索，推荐系统，用户数据分析和建模的基本概念和常用方法，有相关领域的实际项目研发或者实习经历者优先。

3、熟悉C++, Java或Python，熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。

4、对大数据处理平台和工具有一定经验者优先, 包括： Hadoop, Hive, Pig, Spark 等

最后一个问题，哪些公司需求大数据人才？

答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

数据，未来的一切。