phpexcel导入excel处理大数据

先下载对应phpExcel 的包就行了https://github/PHPOffice/PHPExcel

下载完成 把那个Classes 这个文件夹里面的 文件跟文件夹拿出来就好了。

直接写到PHPExcel 这个文件里面的。调用很简单。引入phpExcel 这个类传递对应的excel 文件的路径就好了

现在上传到指定的目录，然后加载上传的excel文件读取这里读取是的时候不转换数组了。注意：是Sheet可以多个读取，php上传值要设置大，上传超时要设置长。

之前的文章对数据分析基础做了归纳总结，对数据分析有了基本的识了解后，还是要多多的实践才可以，但不管怎么实践，总是需要数据才可以，没数据总是无米之炊，今天就说说数据准备。

既然在日常的工作中，Excel能解决绝大部分的问题，那就从Excel说起：

一、Excel导入文本数据

由于各种原因，在工作中我们可能会拿到很多文本数据，常见的就是txt格式的，为了方便处理，一般需要导入Excel，但前提是要有一定的规律才可以，如下面的数据就无法导入Excel表格（严格说是可以导入，但导入的数据依然无规律，无法直接有效使用）：

同样表达一类信息，但有规律就可以导入Excel表格，如下格式，就可以轻松导入：

导入方法如下：

1、打开Excel，选择数据模块，在选择 [自文本] 子菜单：

2、选择文件所在位置后，弹出如下窗口：

3、保持默认选择“按分隔符号”，此时看到预览，数据并没有被切分开，点击下一步：

4、选择分割符号为逗号，此时看到预览，数据已经被正确切分，继续点击下一步：

5、此步骤不做修改，直接点击 [完成]。

6、数据被导入，如下图：

是不是非常方便，实际工作中，需要导入txt文本的情况还是比较多的，如一些系统的日志文件，或从其他库中导出的数据，或者手工按固定格式记录的数据等，通过Excel文本导入是非常方便的。

而且从第三步中可以看到，数据值之间的分隔符不一定是逗号，可以是任意字符或空格等，只要有相同的规律，就可以导入，可以多试试。

二、从网站导入Excel

还有一种常见情况是导入网页数据，特别是网页上的表格，这是采集外部数据的方法之一。

虽然网页上的数据很多是可以直接复制粘贴的，但如果网页右键被屏蔽或数据过大，直接复制总不是那么方便的，就需要如下的方法：

如我们要导入郭嘉统计局的数据：2017年9月中国制造业采购经理指数，网址如下：http://stats.gov/tjsj/zxfb/201709/t20170930_1539436.html

我想要导入如下图所示的表格数据：

操作步骤如下：

1、打开Excel，选择数据模块，再选择 [自网站] 子菜单：

2、在地址栏录入网址后，点击【转到】按钮，如下图

3、打开的网页中找到我们要导入的表格并选择，点击表格左上角的黄色箭头图标，并变成绿色，如下图所示：

4、点击导入，数据被导入Excel，如下图：

是不是非常方便呢，最最关键的是从网页导入的数据，还可以根据需要刷新，方法：点击数据模块菜单下的 [全部刷新] 按钮，就可以刷新导入的数据：

除了可以手工刷新还，还可以自动刷新数据，点击 [全部刷新] 菜单傍边的 [属性] 菜单，就可以设置是否自动刷新，具体操作请自行尝试。

以上2种方法，不仅仅是数据分析基础工作，也是日常工作都非常有用的方法，多多使用，让Excel这个牛X的工具发挥真真的价值！

关注公号「大数据分析狮」，学习数据分析，免费获取大数据分析百本电子书！

大家都会遇到这种问题，工作的过程中，需要将记事本或word中的大量数据导入到excel中，那么该怎么导入呢？下面小编就演示一下。

在菜单栏中打开“数据”，点击“导入数据”

点击“选择数据源”选择你要导入的数据文件

连续点击下一步，出现如下窗口，选择“逗号”或适合文本的其他选项（其他选项为记事本或word两数字之间的符号，本文以逗号为例）

点击“完成”，数据导入到Excel成功

800万行数据，6秒完成统计，很多读者看完文章后非常惊讶，同时也留下了疑问：Excel最多只能容纳100万行，这数据究竟如何导入到Excel？

没错，100万行，就是Excel的极限。

一个表格可以容纳100万行，假设有N个100万的表格，加起来是不是有几百万行呢？

你别忘了Excel还有一个兄弟叫Access，这个可以轻松容纳几百万行数据。

除了Access外，还有各种数据库，别说几百万行，几千万行都可以容纳。

而Power Query除了可以从Excel工作簿导入数据，还可以轻松从Access还有各种数据库中导入数据。

目光放长远一点，学Excel不要只局限于Excel本身，适当结合数据库，Excel可以走得更远。

这里再介绍从Access将数据导入到Excel数据模型中。

Step 01单击数据→新建查询→从数据库→从Access数据库。

Step 02找到相应的Access，单击导入。

Step 03这里可以选择Access中的多个表，也可以选择一个表。现在选择Sheet1进行演示，单击编辑。

这样就将数据导入到Power Query编辑器中。

Step 04现在我们不需要对数据进行编辑，直接选择关闭并上载→关闭并上载至。

Step 05现在拿起笔来画重点，Excel只能存放100万行数据，所以这一步必须选择仅创建连接，勾选将此数据添加到数据模型，单击加载。

为什么加载后速度这么快呢？

其实加载以后，数据相当于存放在数据模型中，本身占用的Excel内存其实很小。800万行数据，也仅仅只是150KB，正因为如此，运行速度才如此之快。

看懂了没？

加载以后，剩下的就跟昨天文章一样，我复制过来。

如果你的菜单栏没有Power Pivot这个功能，可以单击开发工具→COM 加载项，勾选Microsoft Power Pivot for Excel，确定。

单击Power Pivot→管理数据模型。

6秒实现统计。

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

SQL Server 2008的导入导出服务可以实现不同类型的数据库系统的数据转换。为了让用户可以更直观的使用导入导出服务，微软提供了导入导出向导。导入和导出向导提供了一种从源向目标复制数据的最简便的方法，可以在多种常用数据格式之间转换数据，还可以创建目标数据库和插入表。可以向下列源中复制数据或从其中复制数据：SQL Server、文本文件、Access、Excel、其他 OLE DB 访问接口。这些数据源既可用作源，又可用作目标。还可将 ADO.NET 访问接口用作源。指定源和目标后，便可选择要导入或导出的数据。 可以根据源和目标类型，设置不同的向导选项。例如，如果在 SQL Server 数据库之间复制数据，则指定要从中复制数据的表，或提供用来选择数据的 SQL 语句。

打开SQL Server Management Studio，在对象资源管理器中，展开“SQL Server 实例”→“数据库”→“MySchool”节点，单击鼠标右键，选择“任务”→“导出数据”命令。出现导入和导出向导的欢迎界面，单击“下一步”按钮，出现“选择数据源”对话框，如图

在“选择数据源”对话框中设置如下选项：数据源：SQL Native Client 10.0。服务器名称：DC。身份验证：Windows身份验证。数据库：MySchool。单击“下一步”按钮，出现“选择目标”对话框，设置如下选项（如图所示）：目标：平面文件目标。文件名：C:\student.txt。格式：带分隔符。

单击“下一步”按钮，出现“指定表复制或查询”对话框，如图所示。

在“指定表复制或查询”对话框中选中“复制一个或多个表或视图的数据”单选按钮，单击“下一步”按钮，出现“配置平面文件目标”对话框，如图所示。

设置源表或源视图为MySchool.dbo.student，单击“下一步”按钮。在“保存并执行包”对话框中选中“立即执行”复选框，如图所示，然后单击“下一步”按钮。

在如图所示的对话框中单击“完成”按钮。

如图所示，当执行完后，单击“关闭”按钮。

在Windows资源管理器中打开C:\student.txt文件，验证导出的结果。

打开SQL Server Management Studio，在对象资源管理器中，展开“SQLServer 实例”→“数据库”→“Benet”节点，单击鼠标右键，选择“任务”→“导入数据”命令。出现欢迎界面，单击“下一步”按钮，出现“选择数据源”对话框。在“选择数据源”对话框中设置如下选项数据源：Microsoft Excel。Excel文件路径：C:\temp\Customer.xls。版本：Microsoft Excel 97-2005。（4）单击“下一步”按钮，出现“选择目标”对话框，设置如下选项：目标：SQL Native Client。服务器名称：TESTSQL。身份验证：Windows身份验证。数据库：Benet。

单击“下一步”按钮，出现“指定表复制或查询”对话框。在“指定表复制或查询”对话框中选中“复制一个或多个表或视图的数据”单选按钮，单击“下一步”按钮。出现“选择源表和源视图”对话框，设置如下选项，如图4.9所示，然后单击“下一步”按钮。源：Cumtomer。目标：Benet.dbo.Customer。

在“保存并执行包”对话框中选中“立即执行”复选框，然后单击“下一步” 按钮。在如图所示的对话框中单击“完成”按钮。当执行完后，单击“关闭”按钮。

对于一大部分走向职场的人来讲，Excel可能会经常用到。今天就分享一个比较实用的函数：多个表格之间快速导入数据 vlookup。

很多人不明白这个函数的用法，今天我详细讲解一下。

VLOOKUP(lookup_value,table_array,col_index_num,range_lookup)

相信很多人看到这个很蒙圈吧。那我注解一下。

lookup_value 要查找的值

table_array 要查找的区域

col_index_num 需要数据在查找区域的第几列数

range_lookup 模糊匹配/精确匹配

可能说还是有人说看不懂吧。那我们一起来看一个例子吧。

我们看这两个表格：

两个表格的数据不同需要将另外一个表的数据导入，即图中的成绩表总分导入学生表中。这时我们就利用vlookup。

我们就在学生表中进行如下操作

=VLOOKUP(D2,[成绩信息.xlsx]Sheet1!$A$1:$B$7,2,0) 我们可以看到在这实际运用中公式就是这样的。

这样我们就可以把多个表格之间快速导入数据。

在使用公式的时候我们需要注意我们选择的对象必须有一个在表格的最左侧。在我的例子中就是姓名一列必须有一个在表的最左侧，这是是两个数据在不同表或者Sheet页中需要满足。

是不是感觉一下子可以从繁琐的工作解脱，早下班不是梦啦。

如果有不懂的可以在评论区评论哦。

经过昨天对包的学习，今天我们利用前两节课学习的知识来对excel数据进行导入。

我们常见的excel导入方法为以下3种：

1.将Excel转存为csv格式文件，读csv文件。

a <- read.csv('exercise1.csv', header = T)

2.利用RODBDC包读取excel

b <- odbcConnectExcel2007('exercise1.xls')

#32位操作系统使用odbcConnectExcel函数

sqlTable(b)

根据需求读取sheet1

b <- sqlFetch(b, 'Sheet1$')

odbcClose(b) #关闭语句

3.利用openxlsx包读取excel

c <- read.xlsx('exercise1.xlsx', sheet = 1)

综合来看，openxlsx的方法简单粗暴，少有bug出现。被评为R语言和Excel读取的神器。

注意，openxlsx包仅适用于.xlsx格式文件。前期的xls格式文件可能还需要前两种方法来读取。除了以上三种方法，还有类似的包如xlsx、readxl。

用读取excel来验证前两节课的学习成果吧！

wx 数据科学养成记

欢迎关注！

数据导入的方式(csv,txt之类)

在MySQL中，数据导入的方式有两种方式

通过第三方客户端导入(workbench)

通过mysql client 方式导入

通过mysql clinet的导入方式，相比第三方客户端导入的方式，效率会高点，但是类似workbench这种的，因为图形UI做的相对比较人性，研发人员在处理数据的过程中减少对指令的交互

具体操作方法 准备数据(csv准备)

当你的CSV数据准备好之后，需要有个点注意(由于导入容易碰到编码问题，所以在导入之前，需要使用notepade++将csv文件的编码转换成utf-8的编码方式[格式-->utf-8编码格式])然后保存 导入数据

1.选中你需要导入的库的项

2.选择需要导入的csv文件(也可以是json格式)

3.由于csv中的字段并不是完整是所有表的字段，故此我们在这里新创建一张表(建议是先创建一张跟要同步的表一样字段属性的表先)

4.留意导入的数据是否正确

5.一直点NEXT即可完成

总结

需要注意的是:如果使用workbench导入的时候，如果数据量不大，可以使用这种方式，如果数据量比较庞大，建议直接通过命令行的方式会高效，其中一个最明显的特征就是如果导入大量数据的CSV，在workbench导入的时候，可能会卡死或者桌面终端无法操作，从而导致导入失败

在导出的Excel表中，手动的录入一些数据，然后将这个表导入到数据库中。

步骤1：运行【导入向导】，选择导入数据的类型

步骤2：选择文件数据源

步骤3：跳过。

步骤4：给源文件定义一些附加选项，前三个选项一定要填写正确，否则将不能完成正确的导入。

       [栏位名行]：数据表字段所在的行位置

       [第一个数据行]：导入的数据表中源数据是从第几行开始的

       [最后一个数据行]：导入的数据表中源数据是从第几行结束的

步骤5：选择目标表，也可以新建一个表

步骤6：定义源栏位和目标栏位的对应关系，如果目标栏位设置了主键，在这一步中一定要勾选，否则也将无法正常导入数据

步骤7：选择导入模式，如果是新表，选择第一项。可以根据具体情况选择不同的选项。这里选择第三项。

步骤8：点击【开始】执行导入命令

执行完之后，去数据库验证一下：

（本文内容由百度知道网友茗童贡献）