前言

大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。

首先JAVA的精密，强大，拥有其它语言不可替代的性能和可维护性，早已经是成为最受欢迎的编程语言之一，很多人想进入IT行业，首选的第一门语言就是JAVA。但是，在未来10年肯定是大数据的天下，人工智能的爆发，将会有大量企业会进入大数据领域，而从JAVA程序员转JAVA大数据就会有天然的优势，因为目前大数据的架构基本都是用JAVA语言完成，未来10年，JAVA大数据的需求量会越来越大。

我们都知道Java语言在编程中的地位不言而喻，近年来，我们都知道很多学java的朋友，在java的基础上开始学习以hadoop为首的大数据方向的语言，本文我就来分析一下为什么越来越多的java工程师开始转向hadoop？

Hadoop是Apache软件基金会的顶级开源项目，是由原雅虎公司Doug Cutting根据Google发布的学术论文而创建的开源项目。Doug Cutting被称为Hadoop之父，他打造了目前在云计算和大数据领域里如日中天的Hadoop。

Hadoop的发音是[hdu:p]，Hadoop 这个名字不是一个缩写，而是一个虚构的名字。Doug Cutting解释Hadoop的得名：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短、容易发音和拼写，没有太多的意义，并且不会被用于别处，小孩子恰恰是这方面的高手”。

Apache Hadoop官方定义是：Hadoop项目是一套可靠的，可扩展的，支持分布式计算的开源软件。

下面我们来分析一下大数据在未来的优势：

市场需求量大

经常调查显示，去年有很多大小互联网公司都在布局大数据。而目前大数据方面的人才依旧十分紧缺，比如大数据生态Spark需要的Scala工程师。基于Java和Scala等技术密切的关系，有些大数据公司会瞄准JAVA工程师，通过培养转而成为大数据工程师。

如果你先一步在学习JAVA的基础上再学习一些大数据的知识，那么将来你在公司的竞争力会明显大于一般的JAVA工程师，甚至可能提前一步进军大数据行列。

就业方向广泛

JAVA大数据的人才以后可以进行的工作有很多种，下面举几个例子：

（1）大数据开发工程师

基础大数据服务平台，大中型的商业应用包括我们常说的企业级应用(主要指复杂的大企业的软件系统)、各种类型的网站等。负责搭建大数据应用平台以及开发分析应用程序。

（2）大数据分析师

负责数据挖掘工作，运用Hive、Hbase等技术，专门对从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。以及通过使用新型数据可视化工具如Spotifre，Qlikview和Tableau，对数据进行数据可视化和数据呈现。

（3）Android工程师

Android是一种基于Linux的自由及开放源代码的操作系统，其源代码是Java。所以市场上见到的手机系统例如MIUI，阿里云，乐蛙等，都是修改源代码再发行的。Java做安卓不单单是指系统，还有APP对于更多的开发人员来说，他们更多的时间是花在开发APP上面。

还有很多其它职位比如大数据挖掘等就不一一说明了。

行业起薪高

下面我们用一张图让大家了解一下大数据工程师和java工程师的平均薪资

通过这篇文章我相信大家对JAVA大数据行业都有一点了解，在这个大家都呼吁的大数据时代，转型做JAVA大数据是一个非常好的选择，我相信即使几年以后大数据依旧是一个很好的领域。

笔者准备上大二，四月时加入了学院一个为期一年的Hadoop开发研究项目小组，暑假绝对是不可错过的学习时期。由于Hadoop 是由Java 编写的，调用API 最好也是用Java，Java的简单使用因此成为我们小组的必修。

我们选择的教材是《Thinking in Java》（Bruce Eckel）和网课《Java4android》（Mars老师）。悄悄告诉你，我《Thinking in Java》截稿时才看了不到200页。

制作一个简单数据库是 《Java4android》中Mars老师留下的作业。我花了三天半完成，700+行。（代码太长，就不一一贴出来了，文末有跳转查看和下载地址）

学习是一个输入和输出的过程，这篇文章就当作我Java入门的奠基，同时可以帮助初学者理解Java这门语言的使用，也欢迎参照这个小项目练练手。

---------------------------------------------------

笔者的这个数据库是基于文本文件的读写储存，原理比较简单。

数据库命令： 首先，数据库有四大基本功能：增删改查（add/delete/update/query）,我为了使用方便，在设定这四个命令的同时，增加了“列出全部（show）”和“退出（quit）”。

数据库成员： 数据库每个成员有五个值：与

命令格式：

ADD

DELETE

UPDATE

QUERY

SHOW

QUIT

程序文件纵览：（已展开展示成员与方法）

程序类文件图：（使用Eclipse的Modelgoon插件反向制作UML）

程序关系图：

（我知道挺乱●﹏●）

程序文件各类的作用分析：

Main：显示欢迎界面、调用MainLooper的loop()方法（程序主循环）。

MainLooper：程序主循环、从Input的getInputLine()方法获得命令输入、把输入的字符串传给CheckCmd的check()方法、如果传去check()的值为”QUIT”则跳出循环。

Input：bufferedReader.getInputLine()方法中，调用java.io.BufferedReader的readLine()方法读取整行字符串返回。

Data.txt：存放数据库的文件。

Eng.properties：存放用户交互界面（UI）提示

IOProperty（截图里打错了）：利用java.util.Properties的load(InputStreaminStream)方法，读取储存文件键值对。

UserInterface：提供获取UI提示的方法。

User：方便获得、暂存、修改、统一输出成员的值。

UsefulMethod：（实用方法）专门在代码重构时新增的类，供使用的类继承，意在统一管理常用的6个方法。分别是：1、反馈命令成功执行 2、判断字符串是否为数字 3、判断成员的数值value是否符合要求 4、判断新增成员key是否重复 5、把数据库储存文件的内容按照id排序（选择排序法） 6、消除String[]中的null。

CheckCmd：使用String的.split(“ ”)方法拆分命令，检查判断输入命令，若无语法问题即进行相应操作，否则报错。

Action：根据CheckCmd的调用进行相应的操作实现数据库功能。

WriteFile：根据调用的参数把字符串添加或覆盖写入文件。

QueryFile：showAll()方法返回数据库所有的内容，query(inttypeIndex, int operIndex, String args) 根据参数进行相应的搜索，返回所有符合条件的成员。

命令实现详析：

ADD

actAdd(String[] strs)：可添加前提：命令长度为6、成员数值value和性别合规、key不重复。否则根据不符的要求相应显示提示。

actAdd(String[] strs)：new一个User类，放入成员值，用writeFile.write(user.toString(),true)添加到文件尾部，并执行一次sortData()（文件全内容按id排序）。

DELETE

checkDelete(String[] strs)：前提：命令长度为2。判断命令参数是否为id（isNumberic(Stringstr)），并输入到actDELETE()。

actDelete(String[] strs, boolean isId)：调用queryFile.showAll()获得文件全部内容并存在String[]中。根据isId循环检索对应key，成立便跳出，把对应字符串赋为””空字符串，并复写在文件上。

UPDATE（设计仅支持salary修改）

checkUpdate(String[] strs)：前提：命令长度为4、命令第2部分是salary。判断命令参数是否为id，并输入到actUPDATE()

actUpdate(String[] strs, boolean isId)：与DELETE类似，调用queryFile.showAll()获得文件全部内容并存在String[]中。根据isId循环检索对应key，成立便跳出，把对应成员值放在一个user成员内，并修改成员salary值，再复写在文件上。

QUERY

checkQuery(String[] strs)：前提：命令长度为4。根据type index｛0.

actQuery(int typeIndex, int operIndex, Stringargs)：调用queryFile.query(typeIndex, operIndex, args)获取结果并循环输出结果。

query(int typeIndex, int operIndex, Stringargs) ：把简化的情况分别检索。思想挺简单，逻辑容易乱，代码也多。

SHOW

checkShow(String[] strs)：前提：命令长度为1。直接调用actShow(String[]strs)。

actShow(String[] strs)：调用queryFile.showAll()获取全部内容并循环输出。

QUIT

checkQuit()：输出“谢谢使用”，并返回-1至MainLooper，跳出循环，程序终结。

Data.txt截图：

Eng.properties截图：

运行效果：（注：亮绿色为键盘输入）

------------------------------------------------------

至此，我把我数据库的结构与实现方式大概展现出来了。

但正如我们的精神领袖Linus Torvalds所说的“Talk is cheap, show me the code.”说多无益，想要自己有大长进，就要多看优秀代码，同时自己多写代码。

在此我放出链接：

直接看代码链接：Java简单数据库 源码展示

下载链接：http://pan.baidu/s/1dE82FJF 密码：jyq0

（包含源码和可运行jar）

欢迎找BUG。

感谢Bruce Eckel 和 Mars老师。

谢谢各位看看官。

在java开发的过程中，经常需要将java项目导入到eclipse工作空间。本文介绍如何导入基本的java项目，不使用svn。

打开eclipse，点击【file】--【Import】.文件/导入

选择General(常规)--Existing Projects into Workspace

通过[Browser]浏览找到需要导入的java项目

记得勾选将项目添加到工作空间，如果项目已经在自己的工作空间，可以不勾选。如果上面提示：“No projects are found to import”表示项目不是java项目。

选择可导入的项目，点击：【finish】

完成后，可以在工程目录上查看到新导入的项目。

在Java程序开发中，我们常用到的数据对象概念有：

1.domain

对应数据库表结构，用于存放数据表记录，与PO的概念差不多。

2.PO:persistant object 持久对象,可以看成是与数据库中的表相映射的java对象。

最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作，Hibernate中比较多的用到PO，通常要实现java.io.Serializable。

3.VO:value object值对象。

通常用于业务层之间的数据传递，和PO一样也是仅仅包含数据而已。但应是抽象出的业务对象，可以和表对应,也可以不，通常一个VO可以对应多个PO，这根据业务的需要，个人觉得同DTO(数据传输对象),在web上传递。

4.DAO:data access object 数据访问对象，此对象用于访问数据库。

通常和PO结合使用，DAO中包含了各种数据库的操作方法，通过它的方法,结合PO或domain对数据库进行相关的操作。

5.BO:business object 业务对象,封装业务逻辑的java对象

, 通过调用DAO方法,结合PO,VO进行业务操作，得到最终想要的业务数据对象，通常用在服务层。

6.POJO:plain ordinary java object 简单无规则java对象,

个人觉得它和其他不是一个层面上的东西,VO和PO都属于它。

7.DO:Data Object

纯属数据的容器，DO可转化为PO,VO,BO,POJO等对象

在Java工程中的实际应用例子：

看到小伙伴们留言

项目导入了IDE

不会连接数据库

看到这里我好痛心呀那么我们今天就来讲讲如何配置数据源。希望我可以把这个知识点说的简单明了，可以帮到各位小伙伴。

首先来一起看一下我们的数据库链接四要素：

第一行是根据数据库的类型不同选用不同的驱动包（我们这边用的是MySQL数据库）

第二行是我们数据库链接的地址，后面 springjdbc_test 是我的数据库的名称，你的数据库叫什么这里就改成什么。

剩下的两行是用户名和密码。

现在我们要做的就是利用 properties 的配置文件将数据库连接的四要素信息注入到数据源当中

在我们的项目下新建一个 jdbc.properties 的配置文件，就用我们上次的例子好了

然后把我们的四要素写在里面

小伙伴们注意把里面的数据库名称、用户名和密码修改成自己的就好可以了

再回到我们的项目里，我们需要让 spring 加载 jdbc.properties 配置文件

进行下面一步修改我们的 applicationContext.xm l配置文件

然后我们来测试一下功能，这几个功能测试好几回了！我就不一一测了。

ok！测试通过

要知道其实数据库的链接池不止 jdbc 还有别的，如果我们用的是别的数据库链接池以该怎么做呢？

接下来给大家演示一下如何配置c3p0数据源

首先我们要先来引入c3p0连接池的jar包

在 applicationContext.xml 配置文件里面注册 c3p0 连接池，然后修改参数名称，要注意一下 c3p0 的参数名称和jdbc是不一样的！

测试一下

测试通过

我们再换一个数据库连接池，现在来配置 dbcp 数据源

先引入 dbcp 数据源需要的 jar 包

commons-dbcp-1.4.jar

commons-pool-1.6.jar

然后在 appliactionContext.xml 配置文件里面注册 dbcp 连接池

测试一下

那么

我们今天的分享就到这里了

现在小伙伴们知道

在哪里修改配置了吗

小伙伴们

再见了

首先你得有一个数据库,Mysql,Oracle,SqlServer其中任意一种都可以。这里以Mysql为例。

在项目中搭建框架除了下载好框架之外,在写代码之前还需要完成框架的配置工作。MyBatis这个框架是基于JDBC的,所以你在学习之前最好了解JDBC是怎么回事。用法上基本相同。JDBC需要的配置这里都会用到。

首先我们创建一个SqlMapConfig.xml ，这个xml包含了MyBatis所有的全局配置,在这里可以配置它的运行环境。说一下这个配置文件是固定的,大家可以去看一下源码,当框架运行第一步首先就会加载这个xml文件,如果找不到就会启动失败。

OK理论上当你创建好之后是这个样子的,就是一个空的xml文件。如果你使用过其他框架应该知道,配置文件中需要加入框架的DTD约束,这个约束可以帮助我们在eclipse自动补全和提示框架的标签。

OK现在大家将下面到之尖括号中内容复制到XML中,如下图所示。

PUBLIC "-//mybatis.org//DTD Config 3.0//EN"

"http://mybatis.org/dtd/mybatis-3-config.dtd">

加入之后我按Ctrl+/ ,会自动提示 configuration标签,它是框架的根标签，所以内容写在<里面。

刚刚发生了一件很讨厌的事情,我在configuration里面没有自动提示我里面的标签。是什么原因呢,我这种导入约束的方式 是需要联网的,可能刚才联的是国外的网,过了好一会才出来。就是说SqlMapConfig.xml需要去读 这个DTD 文件,除了填写它的网络位置外,还可以填写它在你机器上的物理位置。看到了吗在你的框架源码中的Builder.xml包里。如果你不能上网 下面教你引入它的物理路径,让SqlMapCinfig直接去读取本地的DTD文件。

在Eclipse找到这个位置,打开windows -> Preference -> XML -> XML Catalog -> 选择右边栏中的 Add 按钮，-> Key Type 选择 URI，Key 中粘贴 刚才DTD的一段URL路径

PUBLIC "-//mybatis.org//DTD Config 3.0//EN"

"http://mybatis.org/dtd/mybatis-3-config.dtd">

-> 然后点击 File System

FileSystem选择你 框架里的DTD在Windows中的路径,说实话这个真挺麻烦的,因为你必须先找到这个jar包位置,然后进去找到DTD的位置。大家也看到我的,我用 maven下载的MyBatis框架,所以它在我的Maven仓库下。教你们个简单方法,DTD可以在网上下载的,或者你进Maven仓库把它复制出来到一个新建文件夹,这样路径会短一点。随便你们,这个事情不是重点,相信你们已经明白了 FileSystem要的就是这个DTD文件的位置。

弄好之后你再configuration下按ctrl+/ 现在下图画面就表示成功了

OK各位试试看吧,SSM.SSH框架整合的时候也是需要导入约束的,有什么不明白的地方可以下方回复哦,都会一一解答的。

Java向MySql数据库插入万级记录时，采用的方案不同时执行速度会有所不同，数据量越大则优劣越明显。所以选取最优方案尤其重要，本文目前提供如下两种解决方案（不借用第三方框架或工具）。

1、方案一：循环逐条插入。

关键代码：

2、方案二：分批事务插入。

1.两种方案的主要区别在于，sql语句的不同、batch批和事务的使用。

单条插入sql语句：insert into Table (col1,col2...) values (val11,val12...);

多条批插入sql语句：insert intoTable (col1,col2...) values (val11,val12...),(val11,val12...),...;

2.本次测试的实例中，插入69万条数据左右，方案二要比方案一的速度快上10倍左右。具体测试得到的具体毫秒数可能不同。影响因素个人认为有如下几条：

（1）数据模型，每条数据记录的字段越多，就需要调整itemNum(每批插入的数据量，可以采用二分法找到最合适的数值)，或者调整MySql数据库对每次执行sql语句的字节长度限制（网上自行搜索）。itemNum值找到最合适的，速度才可能在其他条件同等的条件下是最快的；

（2）主机配置。包括处理器性能、硬盘性能 ，mysql数据库可能也会影响到速度；

昨天我们看了数据库的使用，只不过那都是我们手工去输入的数据，今天我们用java来实现对数据库的连接。

JDBC简介

JDBC就是java 数据库连接，是java中的API，我们将用它来执行SQL语句，除了我们平常的mysql数据库以外，jdbc还提供了统一的多种的数据库。

如上图所示客户端通过jdbc API加载驱动后实现了数据的连接。接下来我们给出详细的步骤。

入门程序

我们先来学习一个简单的，首先我们新建的Java项目，其次是导入mysql的数据驱动jar包，jar可以在网上直接找一个，很方便，不需要太高版本的。

准备工作都有做好了之后，我们就可开始啦~

1,.注册驱动

方式一

方式二

在这里我们建议使用第一种方式，第二种方式会多次注册数据库，因为Driver()中其实就封装了一个注册驱动的方法，我们在外面又注册一次。

2.建立连接

我们通过上述的语句实现连接数据库，数据库对应写上数据库的名字，在后面将自己的数据库的用户名和密码因为补上。第二步就结束了。

3.获取执行sql语句的statement

4.执行sql语句的增删改查

在上面图片中，我们一般将sql单独拿出来，赋值给sql，方便操作。

5.如果是查询语句，就会有结果集返回，我们对其进行处理。

6.释放数据库的资源

按顺序依次关闭数据库的资源，防止资源的恶意占有。

主要接口或类

---DriverManger---

作用

a、注册驱动

b、获取与数据库的链接

改进注册驱动：

DriverManager.registerDriver(new com.mysql.jdbc.Driver());

缺点：严重依赖具体的驱动类；会导致驱动被注册2次。

替代方案：Class.forName("com.mysql.jdbc.Driver");

获取与数据库的链接

DriverManager.getConnection("jdbc:mysql://localhost:3306/ssm", "root", "hang");

---Connection---

我们知道所有和数据库之间的连接我们都是通过链接的方式进行的，如果我们想要对数据库进行操作，我们就要从连接的对象中获取可以执行数据库的statement对象，实现我们的操作。

---statement---

---PreparedStatement---

我们在这里，能用PreparedStatement就不要使用Statement，上面已经很明确了PreparedStatement的优点。

---ResultSet---

作用：

代表者查询语句的查询结果集

上面就是对java连接数据库的简单介绍，下篇文章我们就会对上述的代码进行优化，解决代码中的硬编码问题，以及代码的冗余问题，我们还引入连接池强化数据连接速率。

有帮助到大家的话，关注支持一下~

感谢坚持关注的朋友

世界很大，幸好有你

欢迎在评论区留下你的问题或困惑，我将每天与你分享我的观点和心得。

聚焦最新科技咨讯，探寻未来智能领域，我是女陶。

1、介绍

java实现文件的导入导出数据库，目前在大部分系统中是比较常见的功能了，今天写个小demo来理解其原理，没接触过的同学也可以看看参考下。

目前我所接触过的导入导出技术主要有POI和iReport，poi主要作为一些数据批量导入数据库，iReport做报表导出。另外还有jxl类似poi的方式，不过貌似很久没跟新了，2007之后的office好像也不支持，这里就不说了。

2、POI使用详解

2.1 什么是Apache POI？

Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。

2.2 POI的jar包导入

本次讲解使用maven工程，jar包版本使用poi-3.14和poi-ooxml-3.14。目前最新的版本是3.16。因为3.15以后相关api有更新，部分操作可能不一样，大家注意下。

2.3 POI的API讲解

2.3.1 结构

HSSF － 提供读写Microsoft Excel格式档案的功能。XSSF － 提供读写Microsoft Excel OOXML格式档案的功能。HWPF － 提供读写Microsoft Word格式档案的功能。HSLF － 提供读写Microsoft PowerPoint格式档案的功能。HDGF － 提供读写Microsoft Visio格式档案的功能。

2.3.2 对象

本文主要介绍HSSF和XSSF两种组件，简单的讲HSSF用来操作Office 2007版本前excel.xls文件，XSSF用来操作Office 2007版本后的excel.xlsx文件，注意二者的后缀是不一样的。

HSSF在org.apache.poi.hssf.usermodel包中。它实现了Workbook 接口，用于Excel文件中的.xls格式

常用组件：HSSFWorkbook excel的文档对象HSSFSheet excel的表单HSSFRow excel的行HSSFCell excel的格子单元HSSFFont excel字体HSSFDataFormat 日期格式HSSFHeader sheet头HSSFFooter sheet尾（只有打印的时候才能看到效果）样式：HSSFCellStyle cell样式辅助操作包括：HSSFDateUtil 日期HSSFPrintSetup 打印HSSFErrorConstants 错误信息表

XSSF在org.apache.xssf.usemodel包，并实现Workbook接口，用于Excel文件中的.xlsx格式

常用组件：XSSFWorkbook excel的文档对象XSSFSheet excel的表单XSSFRow excel的行XSSFCell excel的格子单元XSSFFont excel字体XSSFDataFormat 日期格式和HSSF类似;

2.3.3 两个组件共同的字段类型描述

其实两个组件就是针对excel的两种格式，大部分的操作都是相同的。

2.3.4 操作步骤

以HSSF为例，XSSF操作相同。

首先，理解一下一个Excel的文件的组织形式，一个Excel文件对应于一个workbook(HSSFWorkbook)，一个workbook可以有多个sheet（HSSFSheet）组成，一个sheet是由多个row（HSSFRow）组成，一个row是由多个cell（HSSFCell）组成。

3、代码操作

3.1 效果图

惯例，贴代码前先看效果图

Excel文件两种格式各一个：

代码结构：

导入后：（我导入了两遍，没做校验）

导出效果：

3.2 代码详解

这里我以Spring+SpringMVC+Mybatis为基础

Controller:

Service

3.3 导出文件api补充

大家可以看到上面service的代码只是最基本的导出。

在实际应用中导出的Excel文件往往需要阅读和打印的，这就需要对输出的Excel文档进行排版和样式的设置，主要操作有合并单元格、设置单元格样式、设置字体样式等。

3.3.1 单元格合并

使用HSSFSheet的addMergedRegion()方法

参数CellRangeAddress 表示合并的区域，构造方法如下：依次表示起始行，截至行，起始列， 截至列

3.3.2 设置单元格的行高和列宽

3.3.3 设置单元格样式

1、创建HSSFCellStyle

2、设置样式

3、将样式应用于单元格

3.3.4设置字体样式

1、创建HSSFFont对象（调用HSSFWorkbook 的createFont方法）

2、设置字体各种样式

3、将字体设置到单元格样式

大家可以看出用poi导出文件还是比较麻烦的，等下次在为大家介绍下irport的方法。

导出的api基本上就是这些，最后也希望上文对大家能有所帮助。

学习Java的同学注意了！！！学习过程中遇到什么问题或者想获取学习资源的话，欢迎加入Java学习交流群495273252，我们一起学Java！

　　工具：

　　mysql

　　jdk1.7

　　方法/步骤

1. 所有的jar包都是放到web工程lib目录下，mysql-connector-java-5.1.26-bin.jar也是一样，把该JAR包拷贝到lib目录下即可
   

2. 用jdbc直接链接mysql代码如下

3. 程序正常执行后，如果可以查询到下图所示的例子，证明jar包导入及代码是没有问题的

   
   

（本文内容由百度知道网友m2ah贡献）