最近用到kuaidi100的端口服力, 但下载到对方的快递公司代码, 全是word文档的, 需要存储到数据里, 有好几百条, 一条条添加太耗时了, 于是决定把word文档拷贝到excel里,然后直接导入到数据库中, 用到了phpexcel类[具体什么东东, 不知道的coder去百度科普一下], 为了方便有需要的coder使用, 这里粘贴下使用方法

1. 下载并安装phpexcel

composer require phpoffice/phpexcel

2. 将excel文件放到目录下, 我这里放到了 根目录下的 extend下, 文件名为 kuaidi.xls

3. 加载文件, 生成读取对象, 读取excel并导入到数据库

第一步

开始→运行→输入cmd，确定

第二步

进入命令中，输入mysql -uroot -p 回车后输入root的密码就可以登录到mysql命令中

命令输入解释：“mysql -u用户名 -p”

如果安装mysql的时候配置了bin的环境变量可以直接输入mysql命令

如果安装时没有配置环境变量，路径需要切换到mysql安装目录下bin目录下输入mysql命令

第三步

创建一个新的数据库

create database 数据库名称

第四步

选中要还原数据的数据库

use 数据库名称;

第五步

source 数据库脚本文件的路径;

第六步

还原完后 查看数据库表可以看到已导入成功

show tables;

第七步 退出mysql

quit;

（1）：导入 xlsx,没有xlrd,MySQLdb 的安装一下

import xlrd

import MySQLdb

# Open the workbook and define the worksheet

book = xlrd.open_workbook("1.xlsx")

sheet = book.sheets()[0]

database = MySQLdb.connect("localhost","root","","test",charset='utf8')

cursor = database.cursor()

spe = ';'

query = """INSERT INTO tb_ic_info_test (firm_name, ic_name, ic_domain, ic_area, ic_host_type, ic_ip_f, ic_ip_s) VALUES (%s, %s, %s, %s, %s, %s, %s)"""

for r in range(1, sheet.nrows):

      firm_name = sheet.cell(r,0).value      

      ic_name = sheet.cell(r,1).value

      ic_domain= sheet.cell(r,2).value

      ic_area= sheet.cell(r,3).value

      ic_host_type= sheet.cell(r,4).value

      ic_ip_f= sheet.cell(r,5).value

      ic_ip_s= sheet.cell(r,6).value

      if spe in ic_domain:

            ic_domain_arr = ic_domain.split(spe)

          for s in ic_domain_arr:

                valuess = (firm_name, ic_name, s_domain, ic_area, ic_host_type, ic_ip_f, ic_ip_s)

                cursor.execute(query, valuess)                    

      print r 

      values = (firm_name, ic_name, ic_domain, ic_area, ic_host_type, ic_ip_f, ic_ip_s)      

      cursor.execute(query, values)    

cursor.close()

databasemit()

database.close()

print "Done! "

print ""

(2):从数据库里，查询，删除

import xlrd

import MySQLdb

import json

# Open the workbook and define the worksheet

database = MySQLdb.connect("localhost","root","","test",charset='utf8')

cursor = database.cursor()

query = """SELECT * from tb_ic_info  where ic_domain like '%;%'"""

query_insert = """INSERT INTO tb_ic_info (firm_name, ic_name, ic_domain, ic_area, ic_host_type, ic_ip_f, ic_ip_s) VALUES (%s, %s, %s, %s, %s, %s, %s)"""

query_delete = """DELETE from tb_ic_info  where id = %s"""

cursor.execute(query)

resultss = cursor.fetchall()

for results in resultss:

      firm_id = results[0]

      firm_name = results[1]    

      ic_name = results[2]

      ic_domain = results[3]

      ic_area= results[4]

      ic_host_type= results[5]

      ic_ip_f= results[6]

      ic_ip_s= results[7]

      ic_domain_arr = ic_domain.split(';');

      for domain in ic_domain_arr:

      values = (firm_name, ic_name, domain, ic_area, ic_host_type, ic_ip_f, ic_ip_s)      

      cursor.execute(query_insert, values)    

      print values

      cursor.execute(query_delete, firm_id)

      print firm_id

      #values = (firm_name, ic_name, ic_domain, ic_area, ic_host_type, ic_ip_f, ic_ip_s)      

      #print firm_name

      #json_values = json.loads(values)

      #print json.dumps(json_values)

      #cursor.execute(query, values)    

cursor.close()

databasemit()

database.close()

print "Done! "

相关MySQL的安装包和工具，可以免积分到CSDN下载栏目下载，地址为：http://download.csdn/detail/taomanman/9642852

1、导入外部数据向导，如下图所示：

2、开始新工作，点击“下一步”，如下图所示：

3、建立新的DSN，如下图所示：

4、勾选“文件数据源”，点击“下一步”，如下图所示：

5、选择“SQL Server” ，点击“下一步”，如下图所示：

6、输入数据源路径及名称，点击“下一步”，如下图所示：

7、点击完成，点击“下一步”，如下图所示：

8、输入服务器IP地址，点击“下一步”，如下图所示：

9、输入登录ID和密码，点击“下一步”，如下图所示：

10、勾选“更改默认的数据库为” ，点击“下一步”，如下图所示：

11、点击“完成”，点击“下一步”，如下图所示：

12、点击“测试数据源”，点击“下一步”，如下图所示：

13、测试成功，点击“确定”，如下图所示：

14、输入数据源凭据，点击“下一步”，如下图所示：

15、选择文件DSN,浏览到先前创建的dsn文件，然后点击“下一步”，如下图所示：

16、输入MySQL信息，点击“下一步”，如下图所示：

17、选择从数据源拷贝数据，点击“下一步”，如下图所示：

18、选择源和目的表（表结构，表名称要完全一致），然后点击“下一步”，如下图所示：

19、默认出错错误处理，点击“下一步”，如下图所示：

20、何时运行任务，点击“下一步”，如下图所示：

21、正在完成数据库导入，点击“下一步”，如下图所示：

22、向导成功完成，点击“完成”，如下图所示：

23、在SQLyog中可以看到已经导入到MySQL数据库表中的数据了，如下图所示：

至此，关于SQL Server 2008 R2中的数据库表数据导入到MySQL数据库表中的操作步骤已经详细介绍完毕了。

今天一朋友遇到将excel数据导入到mysql数据库, 20多万条的数据导入到mysql需要两分多钟，老板认为这个速度太慢了，于是我们就一起想办法，最终把时间缩短到13秒左右, 这里把解决问题的经过给大家做个分享.

两分钟是这样的： 用phpexcel读取文件，然后通过foreach循环使用tp的插入数据库方法

测试1： 读取phpexcel, 然后做个循环，不插入数据库就需要 1分多钟，于是就意识到读取 excel太花时间，那么有没有更好的文件可以读取呢

测试2： 通过搜索，可以通过PHP直接读取csv格式的文件，于是，换成 csv的文件读取，时间少了一半，但仍然觉得时间太久

测试3： tp插入数据库的方法比较花时间，然后换成原来 php连接插入数据库， 时间再次所短一半，这个时候还需要 30 多秒，能不能再减少了

测试4： 思考：既然循环需要时间，那么是否可以大批量插入呢，经过搜索，原来sql语句还可以这样写：

测试5： 把20多万分成20多次分批导入，时间再次缩短了很多，最终 13秒 搞定[本人电脑配置一般，电脑好应该会再快一些]

代码如下：

南昌雅腾教育专注php软件开发+web前端开发技术培训

小班现场面授+技术总监手把手辅导+理论与企业项目实战结合

转行零基础、4个月、包教会、推荐就业！

学一技之长，有核心竞争力，实现高薪就业！

800万行数据，6秒完成统计，很多读者看完文章后非常惊讶，同时也留下了疑问：Excel最多只能容纳100万行，这数据究竟如何导入到Excel？

没错，100万行，就是Excel的极限。

一个表格可以容纳100万行，假设有N个100万的表格，加起来是不是有几百万行呢？

你别忘了Excel还有一个兄弟叫Access，这个可以轻松容纳几百万行数据。

除了Access外，还有各种数据库，别说几百万行，几千万行都可以容纳。

而Power Query除了可以从Excel工作簿导入数据，还可以轻松从Access还有各种数据库中导入数据。

目光放长远一点，学Excel不要只局限于Excel本身，适当结合数据库，Excel可以走得更远。

这里再介绍从Access将数据导入到Excel数据模型中。

Step 01单击数据→新建查询→从数据库→从Access数据库。

Step 02找到相应的Access，单击导入。

Step 03这里可以选择Access中的多个表，也可以选择一个表。现在选择Sheet1进行演示，单击编辑。

这样就将数据导入到Power Query编辑器中。

Step 04现在我们不需要对数据进行编辑，直接选择关闭并上载→关闭并上载至。

Step 05现在拿起笔来画重点，Excel只能存放100万行数据，所以这一步必须选择仅创建连接，勾选将此数据添加到数据模型，单击加载。

为什么加载后速度这么快呢？

其实加载以后，数据相当于存放在数据模型中，本身占用的Excel内存其实很小。800万行数据，也仅仅只是150KB，正因为如此，运行速度才如此之快。

看懂了没？

加载以后，剩下的就跟昨天文章一样，我复制过来。

如果你的菜单栏没有Power Pivot这个功能，可以单击开发工具→COM 加载项，勾选Microsoft Power Pivot for Excel，确定。

单击Power Pivot→管理数据模型。

6秒实现统计。

今天有人问如何存储二进制代码或者binary,这需求来源与二维码的一些存储需求，定义列必须是BIT，有点奇葩，但是感觉需求也不过分，就尝试来做下，一路挺曲折的，最终发现当插入BIT值，Mysql自动将转换整型值为bit。来看看这一路的测试。

1.测试数据生成，因为演示，只模拟两条就够了，多与少不是问题。

Linux Mysql BIT

2.创建用例表:

3.先按照常规插入数据的方法插入数据：

直接失败，啥数据都没有插入。。。还提示宽度不够，然后把b宽度调整到50照样数据不对：

4.尝试使用load data：

还是有错误，数据直接不对，照样提示失败。

5.找了下官文，原来在load的时候，Mysql会自动把整形转换为bit,那就换一种写法：

只能说Mysql知识太多了，个人掌握的太少，也只能这样将就的写写了。应该还有其他方法的，以后再找找，如有大神，也请指教。

前言

MySQL表格数据可以直接通过select导入导出到文本，可以快速的提取数据。

INTO OUTFILE

在命令行中直接使用into outfile写到指定的目录下就可以了，记得目录需要MySQL运行用户有写的权限

select * into outfile "/data/outputdata/1.txt" from test.t1;

如果对文本格式用要求，可以队列和行的数据进行格式化

fields：设置字段选项

设置字段分隔符：field terminated by '\t'

lines：设置行选项

设置导出每行添加换行符：lines terminated by '\n'

每行开始添加指定的字符串：starting by 'start：'

例如

设置列以 , 分割，每行添加换行符并设置行头以start:开始

select * into outfile "/data/outputdata/2.txt" fields terminated by "," lines terminated by '\n' starting by 'start：' from test.t1;

文本数据如下

start：2,pppP

start：1,ddd

LOAD DATA INFILE

MySQL可以支持从文本文件里面直接load文本数据到表中，但是也需要指定分割符

load data infile "/data/outputdata/2.txt" into table test.t2 fields terminated by ',';

总结

这样子的导入导出就是为了方便获取到数据，如果是备份不建议使用这种方式。

mysql导入数据有很多种方法，对于初级别的应用来说，这些方法无所谓好坏之分，看个人习惯来使用。

连接进入数据库windows ：　开始菜单->运行    cmd   linux :  如果没有配置环境变量， 则到mysql 的bin 目录中去

输入：  mysql -u root -p  回车  进入数据库

使用库/创建库   譬如数据库名字为：testdb如果数据库存在， 则   use  testdb如果数据库不存在， 则创建  create database testdb  然后在  use  testdb

将你要导入的数据库文件  *.sql   放到 D或者任意方便输入的位置， 我放置到了D盘的根目录下然后输入命令： source d:/testdb.sql  回车，会看到如图的

进入到命令行模式。步骤直接同上第一步。直接输入： mysqldump -u root -p testdb < d:/testdb.sql 然后回车

会提示输入密码：  直接输入密码，回车搞定！

我们常用的mysql工具有 phpmyadmin   sqllog  navcat 等。 工具导入的方式就以 sqllog 为例，第一步新建数据库：　输入数据库名，　注意字符集和编码

右键数据库，　“导入”->"执行SQL脚本"  然后选择数据库。 点击确定即可

点击“执行”， 可能会弹出一个对话框，直接忽略，点击“确定”就可以了

数据导入的方式(csv,txt之类)

在MySQL中，数据导入的方式有两种方式

通过第三方客户端导入(workbench)

通过mysql client 方式导入

通过mysql clinet的导入方式，相比第三方客户端导入的方式，效率会高点，但是类似workbench这种的，因为图形UI做的相对比较人性，研发人员在处理数据的过程中减少对指令的交互

具体操作方法 准备数据(csv准备)

当你的CSV数据准备好之后，需要有个点注意(由于导入容易碰到编码问题，所以在导入之前，需要使用notepade++将csv文件的编码转换成utf-8的编码方式[格式-->utf-8编码格式])然后保存 导入数据

1.选中你需要导入的库的项

2.选择需要导入的csv文件(也可以是json格式)

3.由于csv中的字段并不是完整是所有表的字段，故此我们在这里新创建一张表(建议是先创建一张跟要同步的表一样字段属性的表先)

4.留意导入的数据是否正确

5.一直点NEXT即可完成

总结

需要注意的是:如果使用workbench导入的时候，如果数据量不大，可以使用这种方式，如果数据量比较庞大，建议直接通过命令行的方式会高效，其中一个最明显的特征就是如果导入大量数据的CSV，在workbench导入的时候，可能会卡死或者桌面终端无法操作，从而导致导入失败