今天一朋友遇到将excel数据导入到mysql数据库, 20多万条的数据导入到mysql需要两分多钟，老板认为这个速度太慢了，于是我们就一起想办法，最终把时间缩短到13秒左右, 这里把解决问题的经过给大家做个分享.

两分钟是这样的： 用phpexcel读取文件，然后通过foreach循环使用tp的插入数据库方法

测试1： 读取phpexcel, 然后做个循环，不插入数据库就需要 1分多钟，于是就意识到读取 excel太花时间，那么有没有更好的文件可以读取呢

测试2： 通过搜索，可以通过PHP直接读取csv格式的文件，于是，换成 csv的文件读取，时间少了一半，但仍然觉得时间太久

测试3： tp插入数据库的方法比较花时间，然后换成原来 php连接插入数据库， 时间再次所短一半，这个时候还需要 30 多秒，能不能再减少了

测试4： 思考：既然循环需要时间，那么是否可以大批量插入呢，经过搜索，原来sql语句还可以这样写：

测试5： 把20多万分成20多次分批导入，时间再次缩短了很多，最终 13秒 搞定[本人电脑配置一般，电脑好应该会再快一些]

代码如下：

南昌雅腾教育专注php软件开发+web前端开发技术培训

小班现场面授+技术总监手把手辅导+理论与企业项目实战结合

转行零基础、4个月、包教会、推荐就业！

学一技之长，有核心竞争力，实现高薪就业！

工作中经常会遇到在网页上看到一个数据觉得有需要，想要将其搬到我们自己的Excel。但是有些表格复制过来都是有设置了超链接还要一个个将其去除，还有一些别个复制过来是打乱了的。那么如何将网络上的数据导入到我们自己的Excel表格中呢？

网页上的许多数据都是以表格的形式存在的，通过Excel可以直接从网页上获取这些数据。只需要通过【数据】选项卡中的“获取外部数据”工具即可获取网页里表格中的数据。

有些数据表格是可以通过复制的，但是有些又不行，今天跟各位朋友分享如何将网页上的数据导入到自己的Excel表中的一个操作技巧，希望对大家有所帮助！

1、新建一个空白工作簿，单击【数据】选项卡中的“自网站”按钮；在打开的对话框“地址”文本框中输入需要导入的网址，然后单击“转到”按钮；

2、将网址粘贴到“地址”栏“转到”，找到自己需要的表格会看到一个“黄色框里面有个箭头”单击就会勾选选中这个表格，然后单击“导入”按钮导入选中的表格；

3、弹出一个“导入数据”框，设置导入数据表格的位置，如A1单元格，然后单击“确定”按钮；

4、看到“正在获取数据...”;

5、网页导入数据表格（如图左边）；网页复制数据表格文字有超链接（如图右边）有些复制出来这个数据是打乱的；

网页导入数据表格与网页复制数据表格对比

6、用“套用表格格式”一键美化导入进来的数据表格即可

一键美化导入数据表格格式

今天分享的“如何将网页上的数据表格导入到自己的Excel表中”方法有很多种，今天就分享这一种，希望对各位朋友们在工作中有所帮助。

更多关于Office-Excel操作小技巧可加入我们群一起交流学习。

经过昨天对包的学习，今天我们利用前两节课学习的知识来对excel数据进行导入。

我们常见的excel导入方法为以下3种：

1.将Excel转存为csv格式文件，读csv文件。

a <- read.csv('exercise1.csv', header = T)

2.利用RODBDC包读取excel

b <- odbcConnectExcel2007('exercise1.xls')

#32位操作系统使用odbcConnectExcel函数

sqlTable(b)

根据需求读取sheet1

b <- sqlFetch(b, 'Sheet1$')

odbcClose(b) #关闭语句

3.利用openxlsx包读取excel

c <- read.xlsx('exercise1.xlsx', sheet = 1)

综合来看，openxlsx的方法简单粗暴，少有bug出现。被评为R语言和Excel读取的神器。

注意，openxlsx包仅适用于.xlsx格式文件。前期的xls格式文件可能还需要前两种方法来读取。除了以上三种方法，还有类似的包如xlsx、readxl。

用读取excel来验证前两节课的学习成果吧！

wx 数据科学养成记

欢迎关注！

对于一大部分走向职场的人来讲，Excel可能会经常用到。今天就分享一个比较实用的函数：多个表格之间快速导入数据 vlookup。

很多人不明白这个函数的用法，今天我详细讲解一下。

VLOOKUP(lookup_value,table_array,col_index_num,range_lookup)

相信很多人看到这个很蒙圈吧。那我注解一下。

lookup_value 要查找的值

table_array 要查找的区域

col_index_num 需要数据在查找区域的第几列数

range_lookup 模糊匹配/精确匹配

可能说还是有人说看不懂吧。那我们一起来看一个例子吧。

我们看这两个表格：

两个表格的数据不同需要将另外一个表的数据导入，即图中的成绩表总分导入学生表中。这时我们就利用vlookup。

我们就在学生表中进行如下操作

=VLOOKUP(D2,[成绩信息.xlsx]Sheet1!$A$1:$B$7,2,0) 我们可以看到在这实际运用中公式就是这样的。

这样我们就可以把多个表格之间快速导入数据。

在使用公式的时候我们需要注意我们选择的对象必须有一个在表格的最左侧。在我的例子中就是姓名一列必须有一个在表的最左侧，这是是两个数据在不同表或者Sheet页中需要满足。

是不是感觉一下子可以从繁琐的工作解脱，早下班不是梦啦。

如果有不懂的可以在评论区评论哦。

如果说我们需要获取计算机内的文本文件的时候，我们除了使用超链接的和复制的方法，我们可以可以使用excel的数据导入功能，可以把文本文件直接导入到excel中直接转换成表格样式。

1、在 “客户资料统计” 工作簿中新建工作表， 并命名为 “北京永桦包装有限公司” 。

2、切换到 【数据】 选项卡， 在 【获取外部数据】 组中单击 【自文本】 按钮。

3、弹出【导入文本文件】对话框，找到文本文件“北京永桦包装有限公司” ， 选择文件，单击【导入】按钮。

图1

4、弹出文本导入向导，在此可以预览文本文件，单击【下一步】按钮。

图2

5、选中 Tab 复选框， 单击【下一步】按钮。

图3

6、在弹出的 【导入文本向导-步骤 3】 对话框中单击【常规】单选按钮，单击【完成】按钮。

图4

7、弹出【导入数据】对话框，单击【现有工作表】单选按钮，单击【确定】按钮。

图5

8、txt文本信息已导入到excel工作表中。

图6

就通过以上的几个简单步骤我们就可以把txt转换成excel表格文件了，使用excel的数据导入功能，大大的节省了我们的工作时间，提高了我们excel工作效率。

本帖子是行转列的一个逆向操作——列转行，看下面一个面试题

面试题2：柠檬班第30期学生要毕业了，他们的Linux、MySQL、Java成绩数据表 tb_lemon_grade_column中，表中字段student_name，Linux，MySQL，Java分别表示学生姓名、Linux成绩、MySQL成绩、Java成绩，数据图1所示。请写出一条SQL，将图1的数据变成图2的形式（列转行）

下图示：

1：使用上节课学的知识，获得以列的形式展示的成绩数据（行转列）

SELECT student_name,SUM(CASE COURSE when'Linux'THEN SCORE ELSE0END) as'Linux',SUM(CASE COURSE when'MySQL'THEN SCORE ELSE0END) as'MySQL',SUM(CASE COURSE when'Java'THEN SCORE ELSE0END) as'Java'FROM tb_lemon_grade

结果如下：

2：使用导出功能，将数据导入到Excel

点击下一步，选择保存位置，输入保存的文件名

点击下一步，点击开始，讲数据导入到本地

3：使用导入功能，将导出的Excel表导入到数据库

选择表，点击右键选择导入向导

选择Excel文件，点击下一步，选择刚才保存的Excel文件，输入要保存的表，进行导入

4：导入完成，就生成了一个表，查看下数据

5：上面是使用导入本地文件的方式新建了一个表，并且把文件的数据也导入进来了，

如果是数据本身已经存在数据库中，我们还有更简单的方法，使用的是创建表的CREATE TABLE语法，可以新建表，并且把结果集的数据也会初始化到新建表中，如下所示：

CREATE TABLE new_tables(SELECT student_name,MAX(IF(COURSE = 'Linux',SCORE,0)) 'Linux',MAX(IF(COURSE = 'MySQL',SCORE,0)) 'MySQL',MAX(IF(COURSE = 'Java',SCORE,0)) 'Java'FROM tb_lemon_grade

6：怎么列传行呢？使用UNION ALL，然后行转列

SELECT student_name,'linux' course,linux scoreFROM tb_lemon_student2

7：我们想排下序怎么办呢？ 采用子查询的方式（注意子查询中的别名a，一定要写上别名）

SELECT student_name,'linux' course,linux scorefrom tb_lemon_student2

今天就分享到这里了。如果大家觉得还不错，就点个赞吧！！！！

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

数据导入的方式(csv,txt之类)

在MySQL中，数据导入的方式有两种方式

通过第三方客户端导入(workbench)

通过mysql client 方式导入

通过mysql clinet的导入方式，相比第三方客户端导入的方式，效率会高点，但是类似workbench这种的，因为图形UI做的相对比较人性，研发人员在处理数据的过程中减少对指令的交互

具体操作方法 准备数据(csv准备)

当你的CSV数据准备好之后，需要有个点注意(由于导入容易碰到编码问题，所以在导入之前，需要使用notepade++将csv文件的编码转换成utf-8的编码方式[格式-->utf-8编码格式])然后保存 导入数据

1.选中你需要导入的库的项

2.选择需要导入的csv文件(也可以是json格式)

3.由于csv中的字段并不是完整是所有表的字段，故此我们在这里新创建一张表(建议是先创建一张跟要同步的表一样字段属性的表先)

4.留意导入的数据是否正确

5.一直点NEXT即可完成

总结

需要注意的是:如果使用workbench导入的时候，如果数据量不大，可以使用这种方式，如果数据量比较庞大，建议直接通过命令行的方式会高效，其中一个最明显的特征就是如果导入大量数据的CSV，在workbench导入的时候，可能会卡死或者桌面终端无法操作，从而导致导入失败

搞技术的童鞋或高手请直接路过.....

作为一个合格的数据分析师，Excel是必备工具，但仅Excel还不够，数据量的激增和复杂性提高，以及数据平台话的趋势，要求我们必须要了解并熟练掌握数据库的操作，但在学习数据库操作前，先全面对比下数据库和Excel

Excel不用多说，地球人都知道是干神马的，而且零门槛使用；数据库相信很多人也听过或用过，但对于非技术的童鞋们，可能还是还有不太清楚2到底有什么区别，今天就来捋一捋它们的区别。

一、相同点

都是用来处理数据的工具，而且特别擅长处理一维二维表形式的数据。在工作中都很常用。

二、不同点

1、Excel是一个具体的工具，而数据库是个大的概念，具体的产品很多，常见的有MS SQL Server、MySql，Oracle等，分属于不同的公司。

2、Excel是由sheet组成的，可以有多个sheet；数据库由表组成，可以有多个表。

3、Excel更适合较为少量的数据，虽然高版本的Excel理论上一个sheet 可以存放几十万行的数据，但要是真存放了那么多，可以想想打开的速度； 而数据库可以存放大批量的数据，一个表随随便便存个几十万是一点问题没有的，上百万千万也是很常见。

4、Excel的多个sheet之间不能设计复杂的数据关系，而数据库的的表之间可以有复杂的关系，这也是数据库的最大特点，关系型数据库的名字由此而来。

5、Excel不能共享，而数据库可以轻松共享，如我们每天看到的各种网站信息都是数据库信息被共享的实例。

6、能力方面，Excel可以实现的数据处理功能数据库都可以做到，同时又具备很多Excel没有的功能，如SQL查询、数据聚合、数据索引等等。

7、安全方面，Excel作为一个办公软件，其安全性可想而知，没有太多的安全性功能，而数据库库则不同，有着复杂的安全机制和权限验证，也有非常完善的数据备份机制，能最大限度的保证数据的安全。

其实罗列太多也意义不大，只要说清了两者的主要区别即可，总结就是在使用定位、功能性、共享性、安全性4个方面的区别。

2者各有所长，各有适合的使用场景，但千万不要取2选1，了解他们的不同是为了更好的使用他们，实际工作中这两种工具都是离不开的。

具体哪些数据库是那些公司的，可以自行度娘一下，主要了解清楚数据库的结构特点和存储数据的方式即可，对数据分析师来说，最关键的是提取使用数据。之后的文章再说如何通过SQL语句读取数据。

关注公号「大数据分析狮」，免费获取百本大数据分析电子书！

SQL Server 2008的导入导出服务可以实现不同类型的数据库系统的数据转换。为了让用户可以更直观的使用导入导出服务，微软提供了导入导出向导。导入和导出向导提供了一种从源向目标复制数据的最简便的方法，可以在多种常用数据格式之间转换数据，还可以创建目标数据库和插入表。可以向下列源中复制数据或从其中复制数据：SQL Server、文本文件、Access、Excel、其他 OLE DB 访问接口。这些数据源既可用作源，又可用作目标。还可将 ADO.NET 访问接口用作源。指定源和目标后，便可选择要导入或导出的数据。 可以根据源和目标类型，设置不同的向导选项。例如，如果在 SQL Server 数据库之间复制数据，则指定要从中复制数据的表，或提供用来选择数据的 SQL 语句。

打开SQL Server Management Studio，在对象资源管理器中，展开“SQL Server 实例”→“数据库”→“MySchool”节点，单击鼠标右键，选择“任务”→“导出数据”命令。出现导入和导出向导的欢迎界面，单击“下一步”按钮，出现“选择数据源”对话框，如图

在“选择数据源”对话框中设置如下选项：数据源：SQL Native Client 10.0。服务器名称：DC。身份验证：Windows身份验证。数据库：MySchool。单击“下一步”按钮，出现“选择目标”对话框，设置如下选项（如图所示）：目标：平面文件目标。文件名：C:\student.txt。格式：带分隔符。

单击“下一步”按钮，出现“指定表复制或查询”对话框，如图所示。

在“指定表复制或查询”对话框中选中“复制一个或多个表或视图的数据”单选按钮，单击“下一步”按钮，出现“配置平面文件目标”对话框，如图所示。

设置源表或源视图为MySchool.dbo.student，单击“下一步”按钮。在“保存并执行包”对话框中选中“立即执行”复选框，如图所示，然后单击“下一步”按钮。

在如图所示的对话框中单击“完成”按钮。

如图所示，当执行完后，单击“关闭”按钮。

在Windows资源管理器中打开C:\student.txt文件，验证导出的结果。

打开SQL Server Management Studio，在对象资源管理器中，展开“SQLServer 实例”→“数据库”→“Benet”节点，单击鼠标右键，选择“任务”→“导入数据”命令。出现欢迎界面，单击“下一步”按钮，出现“选择数据源”对话框。在“选择数据源”对话框中设置如下选项数据源：Microsoft Excel。Excel文件路径：C:\temp\Customer.xls。版本：Microsoft Excel 97-2005。（4）单击“下一步”按钮，出现“选择目标”对话框，设置如下选项：目标：SQL Native Client。服务器名称：TESTSQL。身份验证：Windows身份验证。数据库：Benet。

单击“下一步”按钮，出现“指定表复制或查询”对话框。在“指定表复制或查询”对话框中选中“复制一个或多个表或视图的数据”单选按钮，单击“下一步”按钮。出现“选择源表和源视图”对话框，设置如下选项，如图4.9所示，然后单击“下一步”按钮。源：Cumtomer。目标：Benet.dbo.Customer。

在“保存并执行包”对话框中选中“立即执行”复选框，然后单击“下一步” 按钮。在如图所示的对话框中单击“完成”按钮。当执行完后，单击“关闭”按钮。