中企动力 > 商学院 > excel处理大量数据
  • ?

    使用excel函数来批量处理数据,提高效率

    嵇依白

    展开

    在发文章之前我又去小试一下Excel的函数。我换一种方法来让你理解并会独立学习使用excel的函数。

    首先,如果你用是微软的office程序,我建议你用wps,虽然wps有很多广告或者其他无须有的东西来干扰你工作吧,但多少wps还是容易安装并且免费的一款程序。并不是不推荐使用微软的office程序,因为我见过有些人的电脑系统是电脑店给安装的,大多电脑店为了省事,给你们安装的都是克隆的系统,并不是正确的安装方式,从而导致电脑后期使用一些软件都容易出现各种错误。我上次使用了其他电脑系统上的微软office软件,使用函数时直接出现了错误。很是伤心

    函数这个东西初中都学过,给进一组数据,输出一个数据或者一组数据。

    那我们就依着这个来吧,首先wps中,使用函数,我们先给输出位置安排一个位置

    如图,我选中的就是我准备放置输出数据的位置

    此时,点击插入函数按钮

    这里来解释下该函数 TRIM(text) WPS自己已经解释的很好了,所以不懂英文没关系,描述很易懂。

    TRIM 就是函数名称 括号内的(text) 表示该函数接收一个数据,如果是接收多个数据(一组数据)可能是这样子的TRIM(text1,text2,text3)

    我选择使用TRIM函数后,如下图所示

    现在,我开始选择输入数据了,如果你对我选择了6个数据而感到疑问的话,咱们接着往下看

    下图的A1:A6能懂么? A1与A6都是坐标,中间的冒号表示数据是 A1:A6 之间的

    哎,看到没有,只把第一个数据给去除空格并将结果数据放入了输出位置。这是因为该函数只接收一个,而我输入了多个,所以就以选择了第一个。那么如何解决呢?咱们接着看

    我直接将鼠标放在B1单元格的右下角的位置,出现了+号,我按住+号不松向下移动,一直移动到B6,松手后,奇迹出现啦!

    其实,你可熟悉上面的这个操作?实际上,它就是复制单元格的,我们复制B1其实复制的是那个函数 =TRIM(A1:A6) 所以,下面的单元格也同样执行了那个函数,WPS还算智能一些的,会对号入座,所以就棒棒的给处理啦。

  • ?

    浅谈我们在处理Excel的数据原则, 其实学习并没有你想的那么难

    马坦萨斯

    展开

    Excel VBA处理重复数据的方法

    写在前面:

    Excel-VBA中处我们在处理Excel数据时,很多时候都可以分为三个步骤,读取整理数据、计算构造输出数据、输出结果。

    前者和后者会和Excel工作表交换处理数据,而中间的那个步骤则是在计算机内存中处理完成。

    我们知道原数据的结构决定了算法,也就是说第一步的读取整理数据决定了中间的计算和后面的输出的代码难易度。 所以我们在设计源数据的时候,应该注意源数据的结构是否合理.

    PS:这里我想说一下良好的编程习惯应该具有以下两点:

    a.遵循一定的变量命名规则。每个人都会有自己的命名习惯,但我想说的是让这种习惯遵循一定的规则,并尽可能的让它表达自身的含义。

    b.编写代码尽量写成一个模块,拎出来单独写个过程或是函数,其好处不仅仅是避免重复的代码,更大的好处是让你可以更为专注的解决一个相对独立的功能而不用去考虑全局的情况

    给这个过程起一个恰当的名字,同样会让你的代码更容易看懂,让你的代码会说话。

    今天和大家聊聊在Excel中如何使用VBA处理重复的数据的几种方法.

    Excel数据处理的过程中,我们常常会遇到某个表格存在重复数据。但是在大多时候,我们常常需要这些重复数据进行处理,得到我们所需要的数据。

    我们还来举一个例子,下图的数据我们其实非常常见,具体如下图所示

    那么我们的问题就来啦!请看题:

    假设我们要计算在职人员的所在的部门数量,我们应该怎么计算呢?同时还需要计算各部门的的人数分别是多少人?下面我们一步一步来实现。

    按照前言所说,我们分析以上的数据发现,这个源数据的结果单一,数据十分规范,有规律.

    我们处理数据首先就是读取数据,读取数据也就是我们常说的将Exce写入到计算机内存,在这个位置我们就想到的利用数组,将源数据区域写入内存.

    我们选择合适方法,进行数据处理.我们想到的是利用字典的关键词数据不重复性,完成数据处理.

    最后就是输出我们结果,也就是我们将处理过的数据,重新写入到表格中.

    至此我们处理数据的三部曲是不是得到完整的体现.我们现在来看看具体的操作过程.

    PS:我们主要利用字典,利用字典key不重复的特性,我们将省份存入字典中

    我们看看执行后的结果:

    黄色高亮区域即为我们利用字典的特性,将部门加入我们的字典当中,然后对重复的部门进行项的累加,从而达到计算重复的个数.当然我们也可以计算部门的工资的总额.

    附上代码:

    Sub test()

    字典前期绑定写法

    Dim d As New Dictionary

    Dim arr, i&

    清除H和I列的值

    [h:i].ClearContents

    将数据的单元格区域直接赋值给数组arr

    arr = Range("a2:f15")

    利用循环将字典特性,将部门的关键词写入到字典中,然后对他的项进行累加计算.

    For i = 1 To UBound(arr)

    这句话的意思就是,如果字典不存在这个部门的关键词,则将这个关键词写入到字典中.如果字典中已经存在这个关键词的话,则对他的项进行累加计算.也就是我们老生常谈的K=K+1.

    d(arr(i, 2)) = d(arr(i, 2)) + 1

    Next

    写入标题

    [h1].Resize(1, 2) = Array("部门", "人数")

    在H列赋值我们字典中的所有关键词

    [h2].Resize(d.Count) = Application.Transpose(d.Keys)

    在H列赋值我们字典中的所有项

    [i2].Resize(d.Count) = Application.Transpose(d.Items)

    End Sub

    写在结尾:

    看了上面,你是不是发现利用字典和数组处理数据的重复计算,是不是如此简单!

    其实我们学习Excel VBA没有那么难,他只能是算是解释型编程语言。所以如果你还是在是否学习犹豫不前,请不用担心,大步向前走吧!

    PS:学习的苦难需要我们主动面对,生活的苦难你躺着它自己主动就过来啦!与君共勉之!!!

    以上就是今天要和大家分享的技巧,希望对大家有所帮助,祝各位一天好心情!

    唯有不断学习,才能不被淘汰!

    Excel中每一个方法都有特定的用途,不是他们没有用处,只是你不了解或者暂时用不着,建议你收藏起来,万一哪天用着呢?

  • ?

    Excel之另类处理数据

    花亦吟

    展开

    首看一个栗子

    某人工客服一天的客户来电记录如下表,希望统计来电次数≥2的客户,并记录其第一通来电数据。

    (数据都是虚构的,编造的电话防止真的是别人的,加了个fake)

    (共8239条数据)

    这种问题,在SQL中只要两步即可完成。

    1)对原表a按“电话”汇总,记录出现次数和最早时间,生成临时表b;

    2)对表a、b作innerjoin,满足三个条件:a、b中电话相等;a、b中时间相等;b中次数大于1。

    当然,在Excel中不用SQL也完全能够实现上述目的,且方法不只一种,但是究其复杂程度、速度都有所欠缺。例如其中一种方法如下:

    1)将数据转化为Table,方便后面处理;

    2)添加辅助列,计算电话出现的次数(由于数据量较大,计算后选择性粘贴为数值);

    3)按次数(降)、时间(升)对数据排序;

    4)删除次数为1的所有行;

    5)按照列D“电话”删除重复值。

    得到最终结果,共有2446个客户来电次数≥2。

    上述步骤略显复杂,实际操作后,你会发现,速度较慢,影响效率。那么如何在Excel中使用SQL语句呢?

    答:我们在VBA环境下借助数据库连接对象来执行SQL语句。具体代码如下:

    我们只要将上述代码中的sql字符串替换成我们的SQL语句,即可执行相应SQL语句。SQL语句的数据表可用[Sheet1$A1:D8240]表示引用,如果Sheet1中只有一个数据表,也可写成[Sheet1$],本例中的SQL语句如下:

    这一整句SQL语句则实现了文章开头指出的两个步骤:

    执行SQL语句得到的结果如下。

    同样是2446条记录,对比结果也完全一致,但耗时只有0.85秒,效率极大提高。

    Excel数据结合SQL语句进行处理,能够高效的实现很多看似复杂数据处理问题。

  • ?

    excel数据量太多,如何进行快速、批量的判断并统计数量呢?

    兰杜拉斯

    展开

    excel数据量太多,如何进行快速、批量的判断并统计数量呢?

    假如你是一个教师,你们学校的所有学生成绩都归你统计,哈哈,这个时候你开心了吧,一个学校好几千个学生,别人给了你这样的excel成绩表:

    excel成绩表

    领导让你统计一年级优秀学生人数是多少?条件是分数大于等于95。这个时候有人会说了,这个不是很简单吗?我们一个一个去查,一年级,张三96,一个优秀,二年级李四98,2个优秀,依此类推,我的天哪,数量少当然没问题,但是学校好几千个人呐,这是要累死的节奏吗?当然不会。

    你这样,在excel里需要统计优秀学生的单元格输入=COUNTIFS(A2:A9,"一年级",C2:C9,">=95"),一瞬间,哇哦,结果出来了,几千也不怕:

    excel瞬间得到优秀学生结果

    其他年级excel也是一样的瞬间得到结果

    哎呀,这是个什么意思呢?为什么excel会这么神奇呢?COUNTIFS是条件计数,A2:A9是引用范围,我们这里的范围是一年级,所以自然是引用年级这列,"一年级"自然是条件啦,还有另一个条件就是分数大于等于95,所以我们写上C2:C9,">=95",一样的C2:C9是范围,">=95"是条件。

    怎么样,很简单吧,你学会了吗?快去试试吧!非常感谢您观看文本,如果你有更好的方法适用这个情况,请您留言分享!分享好玩、有趣、实用的手机和电脑技巧,您的支持就是我的最大动力!

  • ?

    excel数据太多,如何批量、快速的判断并进行统计呢?

    阿布罗斯

    展开

    excel数据太多,如何批量、快速的判断并进行统计呢?

    举个例子,假如公司需要进行优秀员工数量统计,我们现在有这样一些excel数据:

    我们需要统计的excel数据

    我们现在的要求是,计算excel里完成力、执行力、创新力任意一项大于98,就算优秀员工,有人说,这个不是很简单吗?我们来数一数,张三执完成力96、执行力65、创新力78,不满足,李四完成力73、执行力83、创新力83,不满足,以此类推,当然,数量少是没有问题的,不过要是员工人数几千或者上万呢,我的天呐,要累死人啦!

    那么,excel里有快速的办法吗?有的!

    excel,需要显示优秀员工的单元格输入=IF(OR(B2>=95,C2>=95,D2>=95),"优秀员工",""),向下填充,在需要统计人数的单元格输入=COUNTIF(E2:E9,"优秀员工"),哇,瞬间得到结果,何惧几千上万呢?

    excel瞬间完成的计算

    excel需要的单元格输入函数

    这是什么意思呢?if函数就是假如的意思,or就是或者,意思就是假如引用单元格1大于等于98,或者引用单元格2大于等于98,或者引用单元格3大于等于98,假如有1个条件满足,就是优秀员工,否则的话就为空。

    COUNTIF自然就是计算满足条件的单元格个数啦。

    怎么样,很简单吧,你学会了吗?快去试试吧!非常感谢您观看文本,如果你有更好的方法适用这个情况,请您留言分享!分享好玩、有趣、实用的手机和电脑技巧,您的支持就是我的最大动力!

  • ?

    有了这些实用的Excel公式,从此再也不怕老板让我处理数据!

    安琪儿

    展开

    很多朋友跟小编抱怨,日常工作需要统计处理大量数据,有没有一些好用又给力的EXCEL公式可以推荐。

    下面我们就一下一起看一下有哪些实用方便的公式可以大幅提高我们的生产力:

    1-把公式产生的错误值显示为空

    =IFERROR(A2/B2,'''')

    2-同时判断多列数据是否满足多个条件

    =IF(AND(A2<300,b2="未到期"),“补款”,“”)< p="">

    3-统计两个表格重复的内容

    =COUNTIF(Sheet2!A:A,A2)

    4-隔列求和

    =SUMPRODUCT((MOD(COLOMN(B3:G3),2)=0)*B3:G3)

    5-自动挑选符合条件的数据求和

    =SUMIF(A:A,E2,C:C)

    6-多单元格字符串合并

    =PHONETIC(A2:A9)

    7-截取后几位以外的数值(以后三位为例)

    =LEFT(A1,LEN(A1)-3)

    8-字符串查找

    =IF(COUNT(FIND(''河南",A2))=0,“否”,“是”)

  • ?

    学会PowerQuery数据处理13招,Excel也能处理大数据了

    Tyrone

    展开
    powerquery

    现在时时刻刻都在产生大量数据,面对这些大量并且杂乱的数据,如果不能进行分析整理,可能并没有什么用处,Powerquery不仅能导入超百万行甚至上亿行的数据,更重要的是可以轻松对这些数据进行挖掘处理,从中找到我们需要的数据集合。

    对导入的数据进行数据整理的过程一般称为「数据清洗」,之所以称之为清洗,是因为在数据分析师眼中,杂乱的数据就是脏数据,只有被清洗成干净的数据后才可以进行分析使用,下面我们就来认识Power Query 的强大数据清洗功能。以下的操作过程在PowerBI和Excel中均适用。

    01提升标题

    在Excel中第一行为标题行,从第二行开始才是数据,但在PQ中,从第一行开始就需要是数据记录,标题在数据之上,

    PQ提升标题

    因此从Excel导入数据的第一步就是要提升标题,点击「转换」的将第一行作为标题,标题提升就完成了。

    点击将第一行作为标题旁边的下拉按钮,还有个将标题作为第一行,实际上就是拉低标题,这个功能也特别有用,下面会介绍到。

    02更改数据类型

    更改数据类型虽然很简单,但设置正确的数据类型非常重要,后期数据建模和可视化过程中,很有可能会出现一些意想不到的错误,最后发现是数据类型设置的不对,所以一开始就养成设置数据类型的好习惯。有两种方式设置数据类型,

    03删除错误/空值

    数据导入后,有可能出现错误(Error)或者空值(null),

    PQ删除错误

    做数据分析之前,要想达到右边的效果,需要把它们去掉,操作如下:

    04删除重复项

    删除重复项在PQ中非常简单,选中需要删重的列,右键选择「删除重复项」即可:

    PQ删重复项

    05填充

    在Excel数据中经常会见到合并单元格的情况,导入后就变成了空值,像下面这样:

    在PQ中直接向下填充即可:

    PQ填充

    06合并列

    在PQ中选择需要合并的列,然后在「转换」中找到”合并列“,弹出合并列窗口:

    PQ合并列

    比如刚才的表格,把[区域]和[城市]合并:

    07拆分

    拆分相当于是合并列的反动作,不过功能更丰富,可以选着按字符数,也可以选择按分隔符,如果列中包含多个分隔符,还可以选择按哪个位置的分隔符来拆分:

    PQ拆分

    我们把刚才的合并列再拆分一下,又变成合并前的格式了:

    08分组

    相当于Excel中的分类汇总功能,比如刚才的数据,我们要计算各区域1月份的合计金额,点击分组依据:

    PQ分组

    把相应参数填上以后,分组完成:

    09提取

    PQ的提取功能可以按照长度、首字符、尾字符、范围等来提取,比如下面这个例子,提取前2个字符:

    PQ提取

    10行列转置

    数据处理有的时候需要行列互相转换一下,比如把各城市变成列标签,月份变成行标签,点击行列转置,

    PQ转置

    是不是发现哪里有些不对劲?月份不见了,这是因为转置的时候,只转数据的部分,月份并不在数据区,我们要想保留月份,先要把月份降下来,这里用到我们前面介绍的”将标题作为第一行“,

    标题下降以后,再进行转置就可以了,

    转置完成,不过还要再把第一行城市提升为标题。

    11行列操作

    PQ的行列操作十分灵活,非常大规模的数据操作。

    12逆透视列

    这是PQ非常便捷的逆天功能,由于数据分析的需要,我们经常要将二维表变为一维表,之前在Excel中需要很多操作步骤才能完成,而通过逆透视功能,可以一键降为一维表,

    PQ逆透视

    13透视列

    做分析需要一维表,而为了展现的需要,常常还要把一维表变成二维表,也就是Excel中的数据透视,在PQ中同样可以一键透视,比如把刚才的一维表变成原样,聚合方式选择“不要聚合”。

    点击确定就变回原来的二维表了,

    以上这些是最基本也是最常用的数据清洗功能,看上去也都很简单,动手操作才能更好的掌握,熟练运用以后基本能搞定大部分数据处理的工作,这些不仅是学习Power BI的必备技能,更能让你的Excel水平短时间内大大提升。

    PowerBI星球,大数据时代,保持并提升你的职场竞争力。

  • ?

    一文看懂Excel处理800万行数据背后的奥秘

    荣尔蝶

    展开

    800万行数据,6秒完成统计,很多读者看完文章后非常惊讶,同时也留下了疑问:Excel最多只能容纳100万行,这数据究竟如何导入到Excel?

    没错,100万行,就是Excel的极限。

    一个表格可以容纳100万行,假设有N个100万的表格,加起来是不是有几百万行呢?

    你别忘了Excel还有一个兄弟叫Access,这个可以轻松容纳几百万行数据。

    除了Access外,还有各种数据库,别说几百万行,几千万行都可以容纳。

    而Power Query除了可以从Excel工作簿导入数据,还可以轻松从Access还有各种数据库中导入数据。

    目光放长远一点,学Excel不要只局限于Excel本身,适当结合数据库,Excel可以走得更远。

    这里再介绍从Access将数据导入到Excel数据模型中。

    Step 01单击数据→新建查询→从数据库→从Access数据库。

    Step 02找到相应的Access,单击导入。

    Step 03这里可以选择Access中的多个表,也可以选择一个表。现在选择Sheet1进行演示,单击编辑。

    这样就将数据导入到Power Query编辑器中。

    Step 04现在我们不需要对数据进行编辑,直接选择关闭并上载→关闭并上载至。

    Step 05现在拿起笔来画重点,Excel只能存放100万行数据,所以这一步必须选择仅创建连接,勾选将此数据添加到数据模型,单击加载。

    为什么加载后速度这么快呢?

    其实加载以后,数据相当于存放在数据模型中,本身占用的Excel内存其实很小。800万行数据,也仅仅只是150KB,正因为如此,运行速度才如此之快。

    看懂了没?

    加载以后,剩下的就跟昨天文章一样,我复制过来。

    如果你的菜单栏没有Power Pivot这个功能,可以单击开发工具→COM 加载项,勾选Microsoft Power Pivot for Excel,确定。

    单击Power Pivot→管理数据模型。

    6秒实现统计。

  • ?

    仅需4步,轻松在Excel处理300万行数据

    卫斯理

    展开

    这场软件PK,是时候分出胜负了,今天就是大结局。有必杀技在手,Excel已经看到了胜利的曙光。

    在99%的人眼中,Excel能处理的最大数据是100万行,假如现在是300万行,估计都束手无策,只能寄希望于数据库。不学习真的限制了你的想象力,300万行数据Excel也能轻松统计。

    300万行一个表肯定是存放不下,可以存放在多个工作表、多个工作簿甚至是数据库,不管何种储存形式,Excel都可以处理。今天,卢子就以存放在多个工作表为例进行说明。

    在Excel存放着3个工作表,每个工作表100万行数据,合计300万,现在要统计每个姓名的总金额。

    Step 01点数据→新建查询→从文件→从工作簿,浏览到指定的工作簿,导入,在导航器再选择工作簿的名称(相当于选中所有工作表),点编辑。

    Step 02 选择Data这一列,右键选择删除其他列,再点扩展按钮,确定。展开后就看到所有数据,将第一行用作标题。

    Step 03 点关闭并上载至,选择仅创建连接,勾选将此数据添加到数据模型。划重点,这一步是最重要的,不能有半点差错。数据模型就相当于一个大型的数据库,甚至可以容纳几千万行数据,正因为如此,才能让Excel突破百万行数据。

    Step 04 直接创建透视表,默认情况下透视表的数据源就是数据模型中的数据,再勾选姓名和金额就完成统计。

    神奇吗?有没一种想亲自体验一把的想法?

  • ?

    利用excel数据透视表统计大量数据,再也不用对上千行数据发愁了

    罗雪晴

    展开

    如果有一张上千行的销售表,像下图(各个地区按天统计的1至12月的物品销量),要统计每个月,每个地区的数据,当看到上千行的数据,是不是发愁无从下手呢,利用数据透视表,轻松搞定。

    1、选中数据表中任意单元格,点击工具栏插入——数据透视表。弹出创建透视表对话框,点击确定。

    2、在右边数据透视表字段对话框添加字段,这里勾选订购日期、地区、分类、销售额和成本。字段勾选根据数据分析的要求勾选。

    勾选后,左边单元格会生成下图所示数据表。

    3、但是日期是按天来统计,我们需要的是按月统计,选中行标签统计的某一天的单元格,例如2015/1/24,右键创建组,在组合对话框中,选择月,确定。

    4、确定后生成下图所示的统计表,但是原始数据没有统计利润,这里我们为了说明问题,我们简单统计利润。

    5、增加字段,统计利润,假设利润为销售额减去成本,点击数据透视表工具的分析菜单选项。

    6、点击字段、项目和集——计算字段。

    7、在插入计算字段对话框中,名称填写利润,公式填写=销售额-利润,确定。

    8、则上千行的数据按月份统计完成。

    这里只是数据透视表的基本用法,数据透视表还可以排序、筛选,还可以转换称图表,还有很多更强大用途。

excel处理大量数据

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP