-
?
简单几步掌握Excel数据统计分析必备功能-数据透视表
龚山彤
展开
上一篇给大家分享了一下筛选功能的使用,特别要注意不能随意复制粘贴的原因和解决办法。有兴趣的朋友们可以点击或关注百家号,进去查看历史文章。
那么,今天给大家分享下EXCEL透视表功能的简单使用。通常情况下,我们需要做批量数据的统计、用excel出图表等等的时候,需要计数或者求和的结果作展示的时候都会用到。可以说是在大数据分析以及展示结果的时候,所必须会使用到的一个功能。
在此,让我们一起通过一个实例来看一下,excel数据透视表的具体使用方法。只需要简单几步,就可以完成一个简单的数据透视!
首先,我们打开一个要处理的EXCEL,比如需要统计各部门总工资。如下图的数据。通过1月到5月每个人的工资记录,来计算出部门工资的总数及每个月的走势。
第一步:选定A列到H列,即包含所有数据的列。
第二步:点击插入-数据透视表,出现一个创建数据透视表的小窗口,直接点击确定。
此时出现了一个新的sheet页,如下图。这里为了方便大家看全,我把表格横向缩小到了一起。实际上数据透视表字段是在EXCEL最右侧。
第三步:新sheet页的最右侧数据透视表字段,有一个选择要添加到报表的字段,可以看到原始表格的标题列。继续往下看,有四个区域,分别为筛选器,列,行,值。我们把月份点住,拖动到列的区域中。
再分别把部门、姓名拖动到行,部门在上。最后把工资拖动到值。
第四步:值里边默认是计数项,我们需要修改一下,工资是以求和来统计。点击计数项:工资,会出现值字段设置。打开后,选择求和,然后点击确定。
第五步:此时已经可以看到表中的数据都已经出现,每个部门每个人1月到5月工资以及总计的工资。可以点击技术部、科研部、运营部前边的-号,代表隐藏姓名;最后一列的总计,每一行代表这一行数据的总计,比如第一行代表技术部1月到5月的总计工资数目;最后一行的总计,每一列代表的是这一列数据的总计,比如1月的那一列代表1月各个部门的总计工资。这样就满足我们的需求了,可以看到每个部门在每个月以及合计的工资数目。
习惯而言,统计的数据都喜欢有高低顺序来浏览,方便一眼看出哪个部门的工资总额高低。我们可以再点击一下总计那列,然后点击排序,选择降序排列。这样就可以看到一个按高到低排序的工资图表了。
好了,本篇就给大家讲到这里,大家可以自己试着随意在四个区域里,把其他的标题也拖进去,看看会出现什么变化?其实看似枯燥的Excel工具也有非常有趣的一面,更多的技巧就留给大家自己开发吧!有什么问题欢迎留言给我们哦!
-
?
Excel的作用之一:数据分析,做运营人员要懂点
删情
展开
随着数据量的增大,数据统计分析的计算量和复杂性也随之剧增,所以需要借助各种统计分析软件来提高运算效率与分析准确性。
Excel也提供一组数据分析工具,包含常用的数据统计分析工具,能够满足基本的数据分析需求。只需为每一个分析工具提供必要的数据和参数,该工具就会使用适宜的统计或工程函数,在输出表格中显示相应的结果,某些工具在生成输出表格时还能同时生成图表。
一、常用的函数
1、Vlooup():它可以帮助你在表格中搜索并返回相应的值。让我们来看看下面Policy表和Customer表。在Policy表中,我们需要根据共同字段 “Customer id”将Customer表内City字段的信息匹配到Policy表中。这时,我们可以使用Vlookup()函数来执行这项任务。
2、CONCATINATE():这个函数可以将两个或更多单元格的内容进行联接并存入到一个单元格中。例如:我们希望通过联接Host Name和Request path字段来创建一个新的URL字段。
3、LEN()-这个公式可以以数字的形式返回单元格内数据的长度,包括空格和特殊符号。
4、LOWER(), UPPER() and PROPER()—这三个函数用以改变单元格内容的小写、大写以及首字母大写(即每个单词的第一个字母)。
5、TRIM():这是一个简单方便的函数,可以被用于清洗具有前缀或后缀的文本内容。通常,当你将数据库中的数据进行转储时,这些正在处理的文本数据将会保留字符串内部作为词与词之间分隔的空格。并且,如果你对这些内容不进行处理,后面的分析中将产生很多麻烦。
二、由数据得出结论
1. 数据透视表:每当你在处理公司的数据时,你需要从“北区分公司贡献的收入是多少?”或“客户购买产品A订单的平均价格是多少?”以及许多类似的其它问题中寻找答案。
创建数据透视表的方法: 第一步:点击数据列表内的任何区域,选择:插入—数据透视表。EXCEL将会自动选择包含数据的区域,包括标题名称。如果系统自动选择的区域不正确,则可人为的进行修改。建议将数据透视表创建到新的工作表,点击New Worksheet(新工作表),然后点击OK。
第二步:现在,你可以看到数据透视表的选项板了,包含了所有已选的字段。你要做的就是把他们放在选项板的过滤器中,就可以看到在左边生成相应的数据透视表。
从上图可以看到,我们将“Region”放入行,“Productid”放入列中,“Premium”放入值中。现在,数据透视表中展示了“Premium”按照不同区域、不同产品费用的汇总情况。你也可以选择计数、平均值、最小值、最大值以及其他的统计指标。
2.创建图表:在EXCEL里面创建一个图表,你只要选择相应的数据,然后按F11,就会自动生成系统默认的图表。除此之外,你可以手工改变不同的图表类型。如果你倾向于在当前工作表中生成图表,可以按ALT+F1,而不是F11。
当然,在任何一种情况下,只要你创建了图表,就可以通过定义特定数据源来展示期望的信息。
三、数据清洗
1.删除重复值:EXCEL有内置的功能,可以删除表中的重复值。它可以删除所选列中所含的重复值,也就是说,如果选择了两列,就会查找两列数据的相同组合,并删除。
如上图所示,可以看到A001 和 A002有重复的值,但是如果同时选定“ID”和“Name”列,将只会删除重复值(A002,2)。
按照下列步骤操作可以删除重复值:选择所需数据-转到数据面板-删除重复值
2.文本分列:假设你的数据存储在一列中,如下图所示:
如上如所示,我们可以看到A列中单元格内容被“;”所区分。我们需要将其进行分列,建议使用EXCEL的文本分列功能。按照下面的步骤可以实现分列:1.选择A1:A62.点击:数据—分列
上图中,有两个选项,“分隔符号”和“固定宽度”。我选择“分隔符号”是因为有分隔符“;”。如果我们希望按照宽度分列,例如:前四个字符为第一列,第五到第十个字符为第二列,则可以选择按固定宽度分列。3.点击下一步—点击“分号”,然后下一步,然后点击完成。
评语:EXCEL作为使用最广泛的数据统计分析软件,无论你是小白还是资深用户,总会有一些东西值得你去学习。
-
?
让你事半功倍的Excel的插件!
卫白易
展开
今天给大家分享的是一款超级好用的excel插件---方方格子,简称FFCell,是一款基于Excel的工具箱软件(Com加载项),极大的增强了Excel程序的功能,提高用户工作效率。
插件采用VSTO开发,支持32位和64位Office,支持Excel2007至2016各版本。不支持Excel2003、不支持WPS。
软件安装后提供以下功能:常用的文本处理、编辑、工作表、数据分析、视图工具、收纳箱、
汇总拆分、打印、图片、姓名、身份证工具、拼音、翻译、邮件合并。
先看一下这款插件能做什么吧:
是不是很神奇!
这款插件的功能还不止这些,这是上百种工具栏截图:
这不是最关键的,最关键的是每个功能官网都有动画版的功能介绍,非常实用。
官网地址:
http://ffcell
安装方法:下载后直接setup一直下一步、完成就好。这是安装成功的界面,
如果安装不成功:
如果是首次安装,方方格子安装不了
1.工具箱不支持Office2003。请确认本机上的Office是2007或更高版本。(WPS请安装WPS版工具箱)
2.Office程序必须是完整版,不能是精简版、绿色版、学生版(学生版不支持此类插件)。
3.安装Office时,要选择默认安装或完整安装,务必安装上Microsoft Office Excel 和 Office 工具,如下图
(如果没有,可以重新运行office安装程序,选择添加组件)
4.Office2007版本,需要先安装.Net3.5。 下载地址: 地址1
5.Office2013、2016版本,极少数情况下,还需要安装VSTOR组件 (仅适用于Office2013和2016版本)。
附Office安装包:
1、Office软件下载地址:Office办公软件各版本下载(全)
2、一键安装Office2010(含工具箱): 迅雷下载 、 备用地址
安装过程需要注意:
1.安装前请先关闭360等安全软件。
2.在安装的最后阶段,会提示安装环境安装包,请务必点击确定安装(不要点击取消)。
3.安装完成后,重启Excel 才能生效。
4.如果上述办法无效,请重新修复安装office
问题二:
适用于已成功安装方方格子Excel工具箱,但方方格子选项卡突然不见了。
一. 用修复工具进行修复,步骤:
1.点击开始菜单,找到方方格子,运行修复程序
2.在修复程序中,依次点击按钮: 1.重新注册插件 2.深度修复
3.完成后,重新启动Excel就可以重新看到方方格子选项卡了。
如果以上方法无效,请看二
二. 手动修复步骤:
1.打开Excel,点击Excel选项
2.点击加载项。 在加载项窗口的下方,选择禁用项目,然后点击转到
3.在弹出的窗口中,选中ffcell,点击启用,然后再点击关闭。
4.再次返回此界面,选择com加载项,然后点击转到...:
5.勾选FFCell,然后点击确定。
6.完成。重新启动Excel就可以重新看到方方格子选项卡了。
好了,今天的分享就到这里!有兴趣的小伙伴试试吧!
正能量分享:
单枪匹马你别怕,一腔孤勇又如何,这一路你可以哭但是你不能怂!加油!
-
?
推荐一款可以替代 Excel 的可视化报表神器!
Tracy
展开
很多读者看到漂亮的图表都会问“这个怎么做”,“用什么工具实现”。制作漂亮的可视化一般有这样几个方式:
利用Excel内置的图表做一些常规的统计图。高级复杂的譬如动态图表,图表的筛选展示可以通过写VBA来实现。通过R、Python一类的数据分析语言,调用图表功能包,呈现可视化的数据,数据分析常用。借助Echarts、HighCharts、D3.js等开源的可视化插件,嵌入代码,开发成插件包,可视化工程师和前端开发常用。
可视化最实用的场景就是做报表。既然这次的主题是可视化,那小编今天就细细地讲一下酷炫的可视化报表是怎么做的?有哪些基础和高级的可视化图表?代码开发是怎么一回事?大屏又是如何操作?
代表工具FineReport,此前介绍过FineReport的使用场景和功能。大家若不熟悉,可自行和Excel绑定对比。
你用过Excel,却不知还有一款神器“FineReport”这款效率远超Excel的表格工具,没用过就可惜了!
基础图表+表格
柱形图、折线图、饼图、气泡图、散点图等能满足常规的数据统计。拿到数据后,先分析要展示几个维度,选用什么样的图表,需要几个图表展示等。
如何选择图表的类型?
基础图表的制作流程
在FineReport中,图表的操作流程类似Excel,数据准备——插入图表——选择图表类型—选择分类轴、系列名称和系列值——选择图表样式。
各式各样的表格
表格主要在于文字、数字、格间的美感,以及整体的色彩搭配和谐,这些在FineReport中都可通过自定义来是实现。
高级图表
高级图表都是在基本图表的基础上展开来一些新特性。
饼图类:等弧度玫瑰图、不等弧度玫瑰图…
柱形图类:堆积柱形图、百分比堆积柱形图…
条形图类:堆积条形图、百分比堆积条形图…
折线图类:堆积折线图、面积图…
仪表盘类:多指针的仪表盘360度、多指针的仪表盘180度、百分比圆环仪表盘、百分比刻度槽型仪表盘、试管型仪表盘…
雷达图类:普通雷达图、堆积柱形雷达图…
气泡图类:普通气泡图、力学气泡图、十字象限气泡图…
地图类:区域地图、点地图、大数据流向地图…
还有各种组合图,比如“柱形图—折线图、柱形图—面积图、堆积柱形图—折线图、自定义地图”…
其他,还有漏斗图、甘特图、词云、框架图等等。
这些图在FineReport都是现成使用的。在其他工具或其他使用场景中,可由交由可视化工程师开发。
为了高度结合数据分析的过程,更好的理解数据背后的业务意义。可视化图表除了形态还有动态展示部分,就是所谓的动态可视化。
例1:地图的钻取和联动
例2:图表联动
例3:点击词云跳转链接
例4:图表切换
过去这些动态特效和交互属性都要写代码开发,这个在FineReport都已经封装成一个个功能,还有图表缩放、自动刷新、数据提示。再复杂点,就是设动态参数加超链。
利用开源插件开发
就是用市面上开源的数据可视化工具, 譬如Highcharts、D3.js、百度Echarts、蚂蚁金服AntV、GoogleCharts、Raphael.js、Sigma.js、three.js等。
像在7月,我们举办了一场可视化插件开发大赛上,很多开发者开发了令人心动的图表插件。
譬如下方的3D城市全景地图,作者Little使用Echart-GL开源库和MapBox,与地图结合,基于真实地图和基本建筑数据构造都市圈级别的宏大场景,适用于政府部门、连锁企业、LBS提供商等对真实经纬度和展现区域范围敏感的用户。插件的底层是WebGL(Web Graphic Library),它是一个 JavaScript API,用于在任何兼容的 Web 浏览器中渲染 3D 图形。WebGL 程序由用 JavaScript 编写的控制代码和用 OpenGL 着色语言(GLSL)编写的着色器代码构成,这种语言类似于 C 或 C++,可在 GPU 上执行。
比如滚动报表图。传统的决策报表块是静态的,列表不会滚动,数据必须一次性展现,在大屏中效果不够酷炫,无法自动获取最新的数据,除非编写大量的js代码,对一般人来说就只能望洋兴叹。
而插件安装后,可以用图表的形式展现报表,通过设置数据集,显示成类似报表块列表,零代码获取数据库信息并配置自动更新时间,支持通过字段名称配置表头,支持自定义颜色配置等多种丰富的配置项,这样制作的决策报表效果也更酷炫。
数据大屏
大屏展现作为数据可视化的一个典型使用场景,涵盖的知识太多。一个完整的大屏项目从开始调研到实施交付可能需要开发工程师、项目经理、视觉工程师、UI工程师、硬件工程师等等众多专业人员的参与。
于数据大屏设计美学:大屏做成这样,领导不重用你都难!数据大屏的具体制作:4步教你玩转可视化大屏设计|内附实际操作
-----------------
最后,12月28日晚上20:00,帆软将在知乎上举办 “如何成为企业需要的数据分析人才” Live 直播,教大家如何找到数据职业生涯的破局点,欢迎大家参加!
-
?
怎么样Excel做数据分析?这几个步骤帮到你
芬妮
展开
每个人都会有机会进行数据展示,为什么别人展示永远获得正视,而我的展示永远只有自己愿意去看,别人在看手机?那怎样做数据图表分析呢请看以下步骤:
如何对表格进行修饰,本次小编带来两个技巧,一是使用“套用表格格式”,和使用“条件格式”。二是带领大家学会养成修饰表格的思维。
第一步是对表格进行粗略的修饰调整,思维:行高、列宽、对齐方式、表格线等;
使用“套用表格格式”、“条件格式”之后看数据不再枯燥无味,而且还更有看头。“条件格式”可以将筛选条件转换为颜色可视化,从而达到一目了然的效果。
第一个技巧,①“套用表格格式”。方法:任一单元格→开始→套用表格格式。
②“条件格式”,方法:选中单元格区域→开始→条件格式。
条件1:高于平均值
条件2:数据条
条件3:色阶
第二个技巧:养成修饰图表的思维。这次举例柱形图的修饰例子,其他希望大家动用类似的方法进行模拟实践。
步骤一:根据销售数据建立柱状图,建立方法可参考。选择数据源→插入→柱状图→选择数据源→编辑坐标
步骤二:添加辅助线。选择数据源→→添加→点击柱体右键,设置数据系列格式→次坐标轴→选中柱体,右键更改图表类型→折线图。
希望回答对你能有所帮助,如果觉得不错就来点个赞或关注吧,感谢各位了!
-
?
Excel系列:Excel数据分析——参数估计
蒂帆
展开
一、描述统计
在数据分析的时候,一般首先要对数据进行描述性统计分析(Descriptive Analysis),以发现其内在的规律,再选择进一步分析的方法。描述性统计分析要对调查总体所有变量的有关数据做统计性描述,主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布、以及一些基本的统计图形,常用的指标有均值、中位数、众数、方差、标准差等等。
数据的集中趋势一般采用平均值、中位数表示。数据的离散程度一般采用方差、标准差表示。数据的分布情况一般采用直方图表示。
案例:北京房屋价格(数据文件:house_price.xlsx)
分析问题:
1)北京市政府为调控房地产价格,希望知道北京各小区房屋价格的分布,请分析房地产价格的集中趋势,并选择合适的图形呈现。
2)房地产商想知道北京各个环线房屋装修状况的对比情况,以便进行产品设计和市场拓展,计算指标并设计合适的图形呈现结果,最后给房地产商一些建议。
3)选择合适的图形反映北京各个区住宅区房屋分布情况
操作步骤:
1)基本描述统计
打开excel数据文件house_price.xlsx
选择描述统计,单击“确定”按钮。
2)直方图
根据描述统计的结果,在空白列构造间隔为0.5的等差数列作为接收区域D1:D19,最大值为9,最小值为0。
选择数据,单击“数据”选项卡,选择“数据分析”选项框中的“直方图”选项
输入区域选择房屋价格avgprice列$B$2:$B$186,接收区域选择第一步构造的接收数据,即D1:D19数据。
输出区域选择G3,勾选图表输出,然后单击“确定”按钮。
选中整个直方图,右键单击选择“设置数据系列格式”,单击“系列选项”,分类间距设为0。
备注:
基本概念:数据的集中趋势 离散程度 数据分布情况 透视表 直方图 柱形图 饼形图 堆积柱形图
二、排位与百分比排位
“排位与百分比排位”分析工具可以产生一个数据表,在其中包含数据集中各个数值的顺序排位和百分比排位。该工具用来分析数据集中各数值间的相对位置关系。该工具使用工作表函数 RANK 和 PERCENTRANK。
例:10名同学统计学考试成绩如下:
试进行排位和百分比排位。
(1)在EXCEL数据分析工具库中选择“排位与百分比排位”,弹出对话框如下:
排位与百分比排位对话框设置
(2)单击“确定”生成排位结果如图。
排位与百分比排位结果
(3)其中的百分比排位为:小于该值的个数/(小于该值的个数+大于该值的个数)
如88,小于该值的有7个,大于该值的有2个,百分比排位为7/9=77.78%,该工具截去了十分位数。
-
?
数据分析Excel、SAS、R、SPSS、Python这5大软件优势
傅可冥
展开
工欲善其事,必先利其器。说起来道理大家都懂,只是到了要学习的时候就开始各种退缩。殊不知一款好的数据分析工具可以让你事半功倍,瞬间提高学习工作效率。
虽然数据分析的工具千万种,综合起来万变不离其宗。无非是数据获取、数据存储、数据管理、数据计算、数据分析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据分析工具。那么,这些工具本身到底有什么特点呢?
Excel
Excel 是微软办公套装软件的一个重要的组成部分,它可以进行各种数据的处理、统计分析和辅助决策操作,广泛地应用于管理、统计财经、金融等众多领域。
1、数据透视功能
一个数据透视表演变出10几种报表,只需吹灰之力。一个新手,只要认真使用向导1-2小时就可以马马虎虎上路。
2、统计分析
其实包含在数据透视功能之中,但是非常独特,常用的检验方式一键搞定。
3、图表功能
这几乎是Excel的独门武工,其他程序望其项背而自杀。
4、高级筛选
这是Excel提供的高级查询功能,而操作之简单。非常超值享受。
5、自动汇总功能
这个功能其他程序都有,但是Excel简便灵活。
6、高级数学计算
只要一两个函数轻松搞定
SAS软件
SAS是全球最大的软件公司之一,是由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体。
主要优点如下:
1、功能强大,统计方法齐,全,新
SAS提供了从基本统计数的计算到各种试验设计的方差分析,相关回归分析以及多变数分析的多种统计分析过程,几乎囊括了所有最新分析方法,其分析技术先进,可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。
2、使用简便,操作灵活
SAS以一个通用的数据(DATA)步产生数据集,尔后以不同的过程调用完成各种数据分析。
其编程语句简洁,短小,通常只需很小的几句语句即可完成一些复杂的运算,得到满意的结果。结果输出以简明的英文给出提示,统计术语规范易懂,具有初步英语和统计基础即可。使用者只要告诉SAS“做什么”,而不必告诉其“怎么做”。
同时SAS的设计,使得任何SAS能够“猜”出的东西用户都不必告诉它(即无需设定),并且能自动修正一些小的错误(例如将DATA语句的DATA拼写成DATE,SAS将假设为DATA继续运行,仅在LOG中给出注释说明)。对运行时的错误它尽可能地给出错误原因及改正方法。因而SAS将统计的科学,严谨和准确与便于使用者有机地结合起来,极大地方便了使用者。
3、提供联机帮助功能
使用过程中按下功能键F1,可随时获得帮助信息,得到简明的操作指导。
R软件
R是一套完整的数据处理、计算和制图软件系统。
主要优点如下:
数据存储和处理系统数组运算工具(其向量、矩阵运算方面功能尤其强大)完整连贯的统计分析工具优秀的统计制图功能简便而强大的编程语言:可操纵数据的输入和输出,可实现分支、循环,用户可自定义功能
与其说R是一种统计软件,还不如说R是一种数学计算的环境,因为R并不是仅仅提供若干统计程序、使用者只需指定数据库和若干参数便可进行一个统计分析。
R的思想是:它可以提供一些集成的统计工具,但更大量的是它提供各种数学计算、统计计算的函数,从而使使用者能灵活机动的进行数据分析,甚至创造出符合需要的新的统计计算方法。
该语言的语法表面上类似 C,但在语义上是函数设计语言的(functional programming language)的变种并且和Lisp 以及APL有很强的兼容性。特别的是,它允许在“语言上计算”(computing on the language)。这使得它可以把表达式作为函数的输入参数,而这种做法对统计模拟和绘图非常有用。
R是一个免费的自由软件,它有UNIX、LINUX、MacOS和WINDOWS版本,都是可以免费下载和使用的。在R主页那儿可以下载到R的安装程序、各种外挂程序和文档。在R的安装程序中只包含了8个基础模块,其他外在模块可以通过CRAN获得。
SPSS
SPSS是世界上最早的统计分析软件。
主要优点如下:
操作简便:界面非常友好,除了数据录入及部分命令程序等少数输入工作需要键盘键入外,大多数操作可通过鼠标拖曳、点击“菜单”、“按钮”和“对话框”来完成。
编程方便:具有第四代语言的特点,告诉系统要做什么,无需告诉怎样做。只要了解统计分析的原理,无需通晓统计方法的各种算法,即可得到需要的统计分析结果。对于常见的统计方法,SPSS的命令语句、子命令及选择项的选择绝大部分由“对话框”的操作完成。因此,用户无需花大量时间记忆大量的命令、过程、选择项。
功能强大:具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。自带11种类型136个函数。SPSS提供了从简单的统计描述到复杂的多因素统计分析方法,比如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析、非线性回归、Logistic回归等。
数据接口:能够读取及输出多种格式的文件。比如由dBASE、FoxBASE、FoxPRO产生的*.dbf文件,文本编辑器软件生成的ASCⅡ数据文件,Excel的*.xls文件等均可转换成可供分析的SPSS数据文件。能够把SPSS的图形转换为7种图形文件。结果可保存为*.txt及html格式的文件。
模块组合:SPSS for Windows软件分为若干功能模块。用户可以根据自己的分析需要和计算机的实际配置情况灵活选择。
针对性强:SPSS针对初学者、熟练者及精通者都比较适用。并且很多群体只需要掌握简单的操作分析,大多青睐于SPSS。
Python
Python是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。
常见的一种应用情形是,使用Python快速生成程序的原型(有时甚至是程序的最终界面),然后对其中有特别要求的部分,用更合适的语言改写,比如3D游戏中的图形渲染模块,性能要求特别高,就可以用C/C++重写,而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题,某些可能不提供跨平台的实现。
主要优点如下:
简单:Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样。它使你能够专注于解决问题而不是去搞明白语言本身。
易学:Python极其容易上手,因为Python有极其简单的说明文档 。
速度快:Python 的底层是用 C 语言写的,很多标准库和第三方库也都是用 C 写的,运行速度非常快。
免费、开源:Python是FLOSS(自由/开放源码软件)之一。使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。
高层语言:用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。
可移植性:由于它的开源本质,Python已经被移植在许多平台上(经过改动使它能够工作在不同平台上)。
解释性:一个用编译性语言比如C或C++写的程序可以从源文件(即C或C++语言)转换到一个你的计算机使用的语言(二进制代码,即0和1)。这个过程通过编译器和不同的标记、选项完成。运行程序的时候,连接/转载器软件把你的程序从硬盘复制到内存中并且运行。而Python语言写的程序不需要编译成二进制代码。你可以直接从源代码运行程序。
在计算机内部,Python解释器把源代码转换成称为字节码的中间形式,然后再把它翻译成计算机使用的机器语言并运行。这使得使用Python更加简单。也使得Python程序更加易于移植。
面向对象:Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中,程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中,程序是由数据和功能组合而成的对象构建起来的。
可扩展性:如果需要一段关键代码运行得更快或者希望某些算法不公开,可以部分程序用C或C++编写,然后在Python程序中使用它们。
可嵌入性:可以把Python嵌入C/C++程序,从而向程序用户提供脚本功能。
丰富的库:Python标准库确实很庞大。它可以帮助处理各种工作,包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI(图形用户界面)、Tk和其他与系统有关的操作。这被称作Python的“功能齐全”理念。除了标准库以外,还有许多其他高质量的库,如wxPython、Twisted和Python图像库等等。
规范的代码:Python采用强制缩进的方式使得代码具有较好可读性。而Python语言写的程序不需要编译成二进制代码。
工具不是万能的,业务和数据建模方法才是万法之源。不要被工具迷花了眼哦!
-
?
Python数据分析工具
盼雁
展开
Numpy
Python没有提供数组功能,虽然列表可以完成基本的数组功能,但他不是真正的数组。Numpy内置函数处理速度是c语言级别,因此尽量使用内置函数,避免出现效率瓶颈的现象。
Numpy的安装:
Windows中,pip install numpy
也可以自行下载源代码:
python setup.py install
安装完后,可以使用以下命令进行测试。
Scipy
Scipy提供了多维数据功能,但它只是一般的数组,并不是矩阵。例如,当两个数组相乘时,只是对应元素相乘,而不是矩阵乘法。
Scipy包含功能有最优化,线性代数,积分,插值,拟合,特殊函数,快速傅里叶变换,信号处理,图像处理,常微分方程求解等。显然这些功能是挖掘和建模必须的。
安装方法与numpy一样。
以下命令简单试用:
Matplotlib
数据可视化,著名的绘图库。可以进行简单的三维绘图。
安装与上相同。
Matplotlib作图的基本代码:
如果读者试用的中文标签,就会出现中文标签无法正常显示,由于matplotlib默认字体是英文所致,解决他的办法是在作图之前手动添加黑体。
Plt.rcparams[‘font.sans-serif’]=[‘SimHei’] #这句话用来正常显示中文标签
另外作图可能出现负号不能正常显示,可以用过如下代码解决:
Plt.rcparams[‘axes.unicode-minus’]=False #解决保存图像是负号
Pandas
Pandas 是python中最强大的数据分析和探索工具。它包含高级的数据结构和精巧的工具,使得在python中处理数据非常快速和简单。Pandas来自于版面数据(panel data)和python数据分析(data analysis)。
Pandas功能非常强大,支持SQL的数据增,删,查,改,并且带有丰富的数据处理函数,支持时间序列分析功能;支持灵活处理确实数据等。
安装:
pip install pandas 或下载源码 python setup.py install
需要安装xlrd(读)和xlwt(写)库才能支持excel的读写。
Pip install xlrd #为python添加读取excel功能
Pip install xlwt #为python添加写入excel功能
使用:
pandas基本的数据结构为Series和Dataframe.
Series是序列,类似一维数组
Dataframe相当于一张二维的表格,它的每一个列是一个series。
Index,用来标记不同的元素,Index的内容不一定是数字,也可以是字母,中文等,它类似SQL中的主键。
Pandas的简单使用:
其他常见的工具
StatsModels
统计建模和计量经济学,包括描述统计,统计模型评估和推断
Scikit-Learn
支持回归,分类,聚类等强大的机器学习库
Keras
深度学习库,用于建立神经网络以及深度学习模型
Gensim
用来做文本主题模型的库,文本挖掘可能用到
-
?
用Excel进行数据分析的正确指南
幼晴
展开
最近几天,不断有小伙伴在后台问到使用excel做数据分析的相关问题,今天,数据君(ID:shendufenxi)就为大家推送一篇实用技巧。
高级的数据分析会涉及回归分析、方差分析和T检验等方法,不要看这些内容貌似跟日常工作毫无关系,其实往高处走,MBA的课程也是包含这些内容的,所以早学晚学都得学,干脆就提前了解吧,请查看以下内容。
在使用之前,首先得安装Excel的数据分析功能,默认情况下,Excel是没有安装这个扩展功能的,安装如下所示:
1)鼠标悬浮在Office按钮上,然后点击【Excel选项】:
2)找到【加载项】,在管理板块选择【Excel加载项】,然后点击【转到】:
3)选择【分析工具库】,点击【确定】:
4)安装完后,就可以【数据】板块看到【数据分析】功能,如下所示:
安装完后,首先来了解一下回归分析的内容。
回归分析
在详细进行回归分析之前,首先要理解什么叫回归?
实际上,回归这种现象最早由英国生物统计学家高尔顿在研究父母亲和子女的遗传特性时所发现的 一种有趣的现象:身高这种遗传特性表现出”高个子父母,其后代身高也高于平均身高;但不见得比其父母更高,到一定程度后会往平均身高方向发生’回归’”。
这种效应被称为”趋中回归”。现在的回归分析则多半指源于高尔顿工作的那样一整套建立变量间的数量关系模型的方法和程序。 这里的自变量是父母的身高,因变量是子女的身高。
百度百科对于回归分析的定义是: 回归分析(regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛:
1)回归分析按照涉及的自变量的多少,可分为一元回归分析和多元回归分析;
2)按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。
这里举个电商的例子:电子商务的转换率是一定的,网站访问数一般正比对应于销售收入,现在要建立不同访问数情况下对应销售的标准曲线,用来预测搞活动时的销售收入,如下所示:
1、利用散点图描绘图形:
2. 添加趋势线,并且显示回归分析的公式和R平方值:
从图得知,R平方值=0.9995,趋势线趋同于一条直线,公式是:y=0.01028x-27.424
R 平方值是介于 0 和 1 之间的数字,当趋势线的 R 平方值为 1 或者接近 1 时,趋势线最可靠。因为R2 >0.99,所以这是一个线性特征非常明显的数值,说明拟合直线能够以大于99.99%地解释、涵盖了实际数据,具有很好的一般性, 能够起到很好的预测作用。
3. 使用Excel的数据分析功能
1)点击【数据分析】,在弹出的选择框中选择【回归】,然后点击【确定】:
2)【X值输入区域】选择访问数的单元格,【Y值输入区域】选择销售额的单元格,同时勾选如下所示的选项,包括残差、标准残差、残差图、线性拟合图和正态概率图。
3)以下内容是残差和标准残差:
4)以下是残差图:
残差图是有关于实际值与预测值之间差距的图表,如果残差图中的散点在中轴上下两侧分布,那么拟合直线就是合理的,说明预测有时多些,有时少些,总体来说是符合趋势的,但如果都在上侧或者下侧就不行了,这样有倾向性,需要重新处理。
5)以下是线性拟合图
在线性拟合图中可以看到,除了实际的数据点,还有经过拟和处理的预测数据点,这些参数在以上的表格中也有显示。
6)以下是正态概率图
正态概率图一般用于检查一组数据是否服从正态分布,是实际数值和正态分布数据之间的函数关系散点图,如果这组数值服从正态分布,正态概率图将是一条直线。回归分析不一定得符合正态分布,这里只是仅仅把它描绘出来而已。
以上数据表格和图表都说明公式y=0.01028x-27.424是一个值得信赖的预测曲线,假设搞活动时流量有50万访问数的话,那么预测销售将是51373,如下图所示:
-
?
EXCEL数据分析师常用操作技巧
玛米
展开
快捷键
Excel的快捷键很多,以下主要是能提高效率。
Ctrl+方向键,对单元格光标快速移动,移动到数据边缘(空格位置)。
Ctrl+Shift+方向键,对单元格快读框选,选择到数据边缘(空格位置)。
Ctrl+空格键,选定整列。
Shift+空格键,选定整行。
Ctrl+A,选择整张表。
Alt+Enter,换行。
Ctrl+Enter,以当前单元格为始,往下填充数据和函数。
Ctrl+S,快读保存。
Ctrl+Z,撤回当前操作。
如果是效率达人,可以学习更多快捷键。Mac用户的Ctrl一般需要用command替换。
格式转换
Excel的格式及转换很容易忽略,但格式会如影随形伴随数据分析者的一切场景。
通常我们将Excel格式分为数值、文本、时间。
数值常见整数型 Int和小数/浮点型 Float。两者的界限很模糊。
文本分为中文和英文,存储字节,字符长度不同。
时间格式在Excel中可以和数值直接互换,也能用加减法进行天数换算。
时间格式有不同表达。例如2016年11月11日,2016/11/11,2016-11-11等。当数据源多就会变得混乱。我们可以用自定义格式规范时间。
数组
数组很多人都不会用到,甚至不知道有这个功能。。
数组由多个元素组成。普通函数的计算结果是一个值,数组类函数的计算结果返回多个值。
数组用大括号表示,当函数中使用到数组,应该用Ctrl+Shift+Enter输入,不然会报错。
先看数组的最基础使用。选择A1
1区域,输入={1,2,3,4}。记住是大括号。然后Ctrl+Shift+Enter。我们发现数组里的四个值被分别传到四个单元格中,这是数组的独有用法。
我们再来看一下数组和函数的应用。利用{},我们能做到1匹配a,2匹配b,3匹配c。也就是一一对应。专业说法是Mapping。
=lookup(查找值,{1,2,3},{"a","b","c"})
分列
Excel可以将多个单元格的内容合并,但是不擅长拆分。分列功能可以将某一列按照特定规则拆分。常常用来进行数据清洗。
上文我有一列地区的数据,我想要将市和区分成两列。我们可以用mid和find函数查找市截取字符。但最快的做法就是用“市”分列。
合并单元个格
单元格作为报表整理使用,除非是最终输出格式,例如打印。否则不要随意合并单元格。
一旦使用合并单元格,绝大多数函数都不能正常使用,影响批量的数据处理和格式转换。合并单元格也会造成Python和SQL的读取错误。
数据透视表
数据透视表的主要功能是将数据聚合,按照各子段进行sum( ),count( )的运算。
下图我选择想要计算的数据,然后点击创建透视表。
此时会新建一个Sheet,这是数据透视表的优点,将原始数据和汇总计算数据分离。
数据透视表的核心思想是聚合运算,将字段名相同的数据聚合起来,所谓数以类分。
列和行的设置,则是按不同轴向展现数据。简单说,你想要什么结构的报表,就用什么样的拖拽方式。
删除重复项
一种数据清洗和检验的快速方式。想要验证某一列有多少个唯一值,或者数据清洗,都可以使用。
条件格式
条件格式可以当作数据可视化的应用。如果我们要使用函数在大量数据中找出前三的值,可能会用到rank( )函数,排序,然后过滤出1,2,3。
用条件格式则是另外一种快速方法,直接用颜色标出,非常直观。
冻结首行首列
Excel的首行一般是各字段名Header,俗称表头,当行数和列数过多的时候,观察数据比较麻烦。我们可以通过固定住首行,方便浏览和操作。
Header是一个较为重要的概念。在Python和R中,read_csv函数,会有一个专门的参数header=true,来判断是否读取表头作为columns的名字。
自定义下拉菜单(数据有效性)
数据有效性是一种约束,针对单元格限制其输入,也就是让其只能固定几个值。下拉菜单是一种高阶应用,通过允许下拉箭头即可。
自定义名称
自定义名称是一个很好用的技巧,我们可以为一个区域,变量、或者数组定义一个名称。后续要经常使用的话,直接引用即可,无需再次定位。这是复用的概念。
我们将A1:A3区域命名为NUM
直接使用=sum(NUM) ,等价于sum(A1:A3)。
查找公式错误
公式报错也不知道错在哪里的时候可以使用,尤其是各类IF嵌套或者多表关联,逻辑复杂时。查找公式错误是逐步运算的,方便定位。
分组和分级显示
分组和分级显示,常用在报表中,在报表行数多到一定程度时,通过分组达到快速切换和隐藏的目的。越是专业度的报表(咨询、财务等),越可以学习这块。在数据菜单下。
分析工具库
分析工具库是高阶分析的利器,包含很多统计计算,检验功能等工具。Excel是默认不安装的,要安装需要加载项,在工具菜单下(不同版本安装方式会有一点小差异)。
分析工具库是统计包,规划求解是计算最优解,类似决策树。
内容来源:网络整理
百家号-【袁帅数据分析运营】运营者:袁帅,互联网数据分析运营实践者。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。
excel数据分析工具安装
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并