- ?
R语言数据导入——二部
荣天磊
展开
上期我们了解了R语言数据读入的核心函数read.table,现在我们了解一下其他可以用的函数有哪些,以及使用的场景和基本技巧。
非关系结构文件读入scan()
除了read.table()这类读取文本文档的函数,还可以用scan()函数读入。不同的是它的返回值为列表或者向量。
假设我们有下述文本文档
24
1991
21
1993
53
1962
下列命令可以读入该数据
data<-scan("e:/birth.txt")data
## [1] 241991211993531962
此外,你代码稍加改造可以将数据变矩阵。
matrix(data,nrow=2,byrow=FALSE)
## [,1][,2][,3]
scan()也同样支持访问url数据上的数据,现在我们访问网上的一个age数据
data<- scan("https://s3.amazonaws/assets.datacamp/blog_assets/age.csv", what = list(Age = 0,
## $Age
注意上述代码中的what参数,如果what为list类通过上述代码可以读入类似于spreadsheet类型的文本文档。只需要定义每行中各个项目(列)的类型。scan()其他众多参数的用法和read.table比较类似。
固定列宽数据读入read.fwf()
有的时候我们可以知道每一列的宽度是多少,下列代码可以让我们读入这类数据
data<- read.fwf("https://s3.amazonaws/assets.datacamp/blog_assets/scores.txt", widths= c(7,-14,1,-2,1,1,1,1,1,1),
## subject sex s1s2s3s4s5s6
上述代码中width参数给出了字段的宽度。本例中,前7个字符为课程名字;然后的14个字符我们认为不需要,用-14跳过;接着,性别这一列需要一个宽度的字符;后面的2个空格不需要,用-2跳过;后续的成绩每列需要一个宽度1,1,1,1,1,1传入参数中。这些参数在不同的数据结构下,会有所不同。
另外,还可以使用read.fortran()函数读取数据,详细方法可以参见help文档理解。
导入excel数据
剪切板导入excel表格
如果你已经有了个打开的表格,你可以复制其中的内容,然后用readClipboard()或者read.table()函数导入数据。
readClipboard()#Only on Windows
RODBC包读入excel数据
通过RODBC包同样可以导入excel数据表。代码样例如下
library(RODBC)
其中,dsn的写法可以参考odbcConnect()函数的帮助文档。此外,odbcConnectExcel()同样可以读入excel数据。
当你读入了Excel数据表后,相当于建立了一个连接,你可以使用sql语句来操作数据
query<- "
" 用RODBC包的建立了连接后,在操作完数据要使用odbcCloseAll()
其他方法读入excel数据
其他可以参考的方法有: * openxlsx包中的read.xlsx函数。 * readxl包中的read_excel函数。
其他类型的数据读入
其他主流数据类型R可支持的包括有JSON格式,SPSS文件,Stata文件,SAS文件,s-plus文件,EpiInfo文件,matlab文件,Octave文件,FitbitScraper 数据,Quantmod 数据,ARFF 文件。 支持导入的数据库有,MogoDB,MySQL,Oracle,PostgreSQL,SQLite,RJDBC,dBase等。
二进制数据读入
二进制数据由二进制浮点组成,8个浮点为一个字节。可以使用readBin函数读入此类数据。
connection<- file("
", "rb") #You open the connection as "reading binary"(rb) GIS数据读入
地理信息数据在R中也比较常用,常见的rgdal和raster包都有对应的函数处理此类数据。
大型数据集的读入
如何导入较大的数据一直是R用户的经常讨论的问题,除了将数据导入数据库中处理外,也有一些比较不错的处理大型数据的方法。
data.table包中的fread函数是比较容易实现快速读入大数据的方法,读入大型数据速度相当理想。
library(data.table)
ff包:该程序包磁盘缓存的技术可以读入超过内存限值大小的数据,常用的函数有read.table.ffdf(),read.csv.ffdf()等。
library(ff)
bigmemory包,此包也常用于处理大型数据。样例代码如下,但是此包不能用于windows系统:
library(bigmemory)
sqldf包,此包也可以考虑用于处理大型数据,它还可以使用sql语句处理数据。用read.csv.sql()函数读入数据。
library(sqldf)
随后我们别忘了R中的read.table函数,但是,用此函数读入大型数据,需要对参数有较好的控制。简单说,你能设置的参数越多,读入数据的速度越快。
总结
最后,我们将上述常见的方法做个了总结表格,读者可在用时参考,该表格涵盖了大部分常用数据格式的读入方法。
函数
来源
描述
scan
r-base
顺序读取文件中的数据值
read.fwf
按行和指定列宽度读取数据
read.fortran
采用fortran格式设置读取固定格式数据
readClipboard
读取剪切板中的数据
odbcConnect
RODBC包
读取excel数据,采用odbc
gs_read
googlesheet包
读取google sheet
read.DIF
读取DIF文件
read_excel
readxl包
读取excel文件
read.xlsx
openxlsx包
读取excel的xlsx文件
read.ods
readODS包
读取open document表格文档
fromJSON
jsonlite包
读取JavaScript的json文件
read_spss
haven包
读取spss文件
read_dta
读取stata文件
read.xport
forgein包,sasXPORT包
读取sas文件
read.S
foreign包
读取s-splus文件
read.epiinfo
读取epi Info文件
readMat
R.matlab包
读取MATLAB文件
read.octave
读取Octave文件
read.arff
读取Weka属性关系文件(ARFF)
…
mongolite包,Rmongo包,RODBC包,Roracle包,RPostgreSQL包,RSQLite包,RJDBC包
各类常见数据库导入数据到R
readBin
读入二进制文件
hdf5包,h5r包,rhdf5包,RNetCDF包,ncdf包
读入hdf文件,NASA和UCAR常用气象数据读取
read.dbf
读入DBF文件
read.ftable
读入无格式列联表Flat contingency table
fread
data.table包
大型文本文档读入
read.table.ffdf read.csv.ffdf …
ff包
read.big.matrix
bigmemory包
大型文本文档读入,无法在windows下使用
read.csv.sql
sqldf包
read.table
大型文本文档读入,但是需要合理设计参数,否则速度不理想
来源:DataCamp 编译:亮亮
- ?
还在用mysql做数据分析?看看Python如何连接数据库(文末福利)
柳老九
展开
首先宣传一个福利,由于该号刚出生,故关注并转发的同学可以获得Python数据分析知识表若干,燥起来吧。
随着大数据时代的到来,数据分析的工作也越来越重要,而数据的来源则是五花八门,有的来自CSV、EXCEL等文件,有的来自JSON,STATA,SAS等。当然,来源于关系型数据库的情况自然也不在少数。对于数据存储于关系型数据库的,多数朋友会直接在navicat、workbench等环境中进行相应的分析工作。然而本人实在是不喜欢SQL里面一遍又一遍的嵌套式的书写方法。
那么,我们可以用Python大法读取关系型数据库里的数据并进行分析工作吗?
俗话说的好,人生苦短,我用Python。如果Python大法连这个功能都不具备的话,也不可能长年霸占在编程语言榜首了。
话不多说,我们来看看,如何用Python连接并提取MySQL中的数据。至于分析的事儿,以后慢慢来。
我们用到的主要有numpy、pandas和pymysql(没安装的同学可以直接用pip进行安装)这些第三方库,整个过程我们会在jupyter notebook这个神器中完成。我们先导入三方库:
然后编写连接信息。我们可以通过pymysql.connect(address, user, psw, db, port)这个方法来建立连接。因为我们演示时是连接的本机的数据库,address就是localhost,用户名就是root,且没有密码,因此我们的代码如下:
在演示的study库里有一个test表,数据很少,我们直接将它的数据全都读出来。我们可以先写一个sql语句,然后用pandas里的一个方法来读取:
在上述pd.read_sql方法中,第一个参数传入的是sql语句,第二个是前面已经实现的conn连接信息。关键字参数index_col允许我们自己选取mysql表里的哪一列作为DataFrame中的index;parse_dates则允许我们对日期进行解析(否则格式容易出现问题)。需要注意的是,parse_dates接受的参数为列表或字典,不接受字符串形式。
可以看到,在ID为3的记录中,其PRICE为NaN,这是因为在MySQL表中该数据是缺失的,DataFrame自然而然的用NaN表示。
除此之外,pd.read_sql中还有一些其他参数,笔者不是经常用到,故在此就不多说了,感兴趣的同学可以查看官方文档进行学习。
新号上任,希望大家能点个关注,本号不定时为大家送出Python数据分析与可视化的小知识,以及相应的资料福利。
- ?
用R语言做数据分析——导出数据
宫听寒
展开
我们之前学习过将各种数据导入R的方法。但有时候可能要做相反的事情——把R中的数据导出去——以实现数据的保存或者是在外部程序中使用。
符号分隔文本文件
可以用write.table()函数将R对象输出到符号分隔文件中。函数使用方法:
write.table(x, outfile, seq=delimiter, quote=TRUE, na="NA")
其中x是输出的对象,outfile是目标文件,比如:
write.table(mydata, "mydata.txt", seq=",")
会将mydata数据集输出到当前目录下逗号分隔的mydata.txt文件中,用路径可以将输出文件保存到任何地方。用seq="\"替换seq=",",数据就会保存到制表符分隔的文件中。默认情况下,字符床是放在双引号中,缺失值用NA表示。
Excel电子表格
xlsx包中的write.xlsx()函数可以将R数据框写入到Excel 2007文件中。使用方法是:
library(xlsx)
write.xlsx(x, outfile, col.Names=TRUE, row.names=TRUE, sheetName="Sheet 1", append=FALSE)
例如这条语句:
write.xlsx(mydata, "mydata.xlsx")
会将mydata数据框保存到当前目录下的Excel文件mydata.xlsx的工作表(默认是Sheet 1)中。默认情况下,数据集中的变量名称会被作为电子表格头部,行名称会放在电子表格的第一列。函数会覆盖已经存在的mydata.xlsx文件。更多详情,请参考xlsx扩展包文档。
统计学程序
foreign包中的write.foreign()可以将数据框导出到外部统计软件中。这里会创建两个文件,一个是保存数据的文本文件,另一个是指导外部统计软件导入数据的编码文件。使用格式如下:
write.foreign(dataframe, datafille, codefile, package=package)
例如,下面这段代码:
library(foreign)
write.foreign(mydata, "mydata.txt","mycode,sps", package="SPSS")
会将mydata数据框导出到当前目录的纯文本文件mydata.txt中,同时还会生成一个用于读取该文本文件的SPSS程序mycode.sps。package参数的其他值还有“SAS”和“Stata”。
相关阅读网站:https://cran.r-project.org/doc/manuals/R-data.pdf
- ?
2018诺贝尔经济学奖得主是一位爱开源的Python用户
蔡忆枫
展开
与 William Dawbney Nordhaus 共同获得 2018 年度诺贝尔经济学奖的 Paul Romer 是一位 Python 编程语言的使用者。他曾尝试使用 Mathematica 分享他的工作,在发现很难之后切换到 Jupyter notebooks 应用。Romer 使用的是 Python 语言, Python 是数据科学和统计学中最流行的语言。
Paul Romer,一位62岁的经济学家,与 William Dawbney Nordhaus 共同获得 2018 年度诺贝尔经济学奖。然而除了他作为经济学领域专家的这些身份,也许最值得注意的是,他还是 一位 Python 编程语言的使用者 。
经济学涉及到大量的数学和统计学。最常用的数字工具是电子表格软件 Microsoft Excel 以及编程语言 Stata 和 Mathematica。它们都是世界各地经济学课堂中常用的工具,不过这三个软件都是专有和私有的。
Romer 坚信 科学研究应该透明 。他认为,研究方法的开放性和清晰性对于科学研究获得信任非常重要。正如他在 2018年4月的一篇博客文章中 解释的那样,为了使自己的工作变得透明,他试图用 Mathematica 分享他的一项研究,任何人都可以探索他的数据和方法中的每一个细节,但 Mathematica 做不到。他表示 Mathematica 的开发商 Wolfram Research 让他们以一种不需要其他人使用专有软件的方式分享他的作品太难了。读者也看不到他用于方程式的所有代码。
在 Romer 发现很难通过 Mathematica 分享他的研究后,他发现 Jupyter notebooks 也可以完成这项任务,于是便 切换到 了使用 Jupyter notebooks 应用。Jupyter notebooks 是一个 Web 应用程序,支持数十种语言,允许程序员和研究人员共享包含代码、图表、方程式和数据的文档。Romer 使用的是 Python 语言, Python 是数据科学和统计学中最流行的语言。
更重要的是,与 Mathematica 不同,Jupyter notebooks 是开源的,这意味着任何人都可以查看和获得它的源代码,从而诞生真正透明的研究。Jupyter notebooks 还 被认为 可能会取代传统的 PDF 文档。
Romer 认为,开源笔记本是分享研究的前进方向,他认为它们支持信息的完整和中立,而专有软件则鼓励保密。他写到:“我越了解专有软件,就越担心客观真相可能会从地球上消失。"
- ?
雨沐田:数据分析最常用软件简介
恶天
展开
上篇文章说到了数据分析最牛工具Excel,实际工作中还会用到其他一些工具,本问稍作引导介绍。
大数据分析入门用到的工具和传统数据分析无二,此文提到的是不区分的。
用到的工具很多,但从用途分类,可以分为如下几类:
一、数据存储类
此类工具主要由IT人员管理并操作,作为数据分析人员主要是从这些工具中提取数据,常用的有:
SQL Server,MySql,Oracle,DB2
这些工具的细节介绍请自行百度,都是关系型数据库系统,可处理的数据量级有区别,本质相同。
对于数据库的数据读取,要用到SQL语句,是数据分析人员必须掌握的,要学习的也就增(Insert)、删(Delete)、改(Update)、查(Select)4个语句而已,学习无门槛,使用很普遍,且通用于各种数据库系统。
这是数据分析人员要掌握的一项技能,之后会有专门文章单独介绍。
二、数据分析类
除了Excel,还有一些工具会被用到,有:
SPSS,SAS,Tableau,BDP、Stata、DAS、Minitab等。这些工具大同小异,侧重点不同,没有必要统统掌握,工具所处的行业不同选择会有偏重,使用较为普遍的是SPSS和SAS软件。
三、报表展现类
此类工具主要用于展示数据分析结果,最常用的就是PPT,这个就不多介绍了,使用没门槛,精通则要多多学习。
还有一个比较常用的工具是XMind,是思维导图软件,是整理思路的必备工具,需要下载安装,免费版有基础功能,专业版年费699元,不过免费版基本能满足要求。
如果觉得XMind下载安装比较麻烦,可以使用百度脑图,直接在线就可以使用,非常方便,使用效果比较理想。
上文说到的工具请自行百度详细了解,我不做搬运工。
上面介绍的都是一些典型的工具,具有代表性,作为初学入门,分析工具都要了解到,展现类工具PPT、Xmind等必须多多学习。本号持续整理各种学习资料,请随时关注免费资源内容。
其他BI类软、R、Python等数据分析工具,本文不做介绍,也不是初学者需要学习的,这些作为中级阶段的内容再学习。
我是公号「大数据分析狮」,只谈大数据力量!
- ?
人人都爱数据分析 Data analysis six fly(3)
席山菡
展开
第3章 数据分析常识
在前面几章里讲了很多关于数据分析市场和数据分析师的职业生涯发展,下面的几篇会重点介绍数据分析的理论知识、数据分析的方法论、数据分析的分析流程、数据分析报告如何撰写、电商中的数据分析应用等具体的应用案例。经常也会被问到作为一个不是统计学背景的学生,能否入行数据分析的问题。还有包括像平时的具体数据分析工作都有哪些?作为数据分析入门菜鸟怎么才能打好数据分析方面的基础,需要看哪些方面的书等等。其实这些问题对于一个刚毕业的或者没有太多数据行业经验的人来说,是很正常的一个情况。包括自己在内,如果要重新跨行去进入一个新领域也会遇到这些问题。首先咨询相关行业的内部师兄师姐,看看相应的介绍和材料,如果能够有比较系统的书籍介绍那是最好不过的了。当然自己也需要花时间去归纳和总结,再结合大量的实践案例长期以往基本上会对这块新领域能够了然于胸了。
前段时间和做大数据培训的创始人聊到,我问他原来是做什么的,让我诧异的是他原来是做用户体验(User Experience Design,UED)出身的。对我来说,第一反应认为产品提需求,UED根据PD的相应需求文档构思设计相应的产品,而对于数据分析以及业务运营,这的确就是很多UED所欠缺的核心,而脱离实际业务的UED并不是真正的UED,没有结合产品和用户需求本身来设计,很多也只是空中楼阁。我和那位创始人聊了很久,特别是他在过去的一些经历和感受,同时他也是阿里巴巴曾经做过UED的同事,我想这个经验分享在互联网公司还是比较有代表性的。
说到用户体验,很多人会感觉这是一个很虚的概念,是一种纯主观的在用户使用一个产品(服务)的过程中建立起来的心理感受。因为它是纯主观的,就带有一定的不确定因素。我接着问道,那平时调查用户体验时你们会关注数据吗?令我欣慰的是,那位创始人说平时太需要数据的支持了。包括之前设计的功能布局、页面结构、按钮的颜色、整体的风格都需要通过大量的AB 测试来验证用户的体验是否符合预期。这在互联网公司尤为典型,像现在上线的产品和功能很多都是拍脑袋决定或者固有的思维模式认为就应该这样,而实际情况没并就一定是用户希望看到的。特别是典型的Facebook从早期的一个简单的社交产品到现在日活跃用户十亿,一个很小的改变就可能会引来用户的强烈感觉。在这些多年里,Facebook尝试了各种方案,像newspaper、clipboard等样式,虽然这些都实现了,但是都因为数据的原因没有上线。
我那位大数据培训的朋友也分享了一下他们亲身经历的故事,是关于当时做超市购物车的案例。购物车是每个网上超市都有的,可以让用户挑选商品,快速结账,所以功能上一点都不能少,而且文案要给用户都能看明白。而在具体设计到购物车的布局时产生了分歧:一种是希望以纵向列表的方式展示,另一种是以大图的方式。但是大家都没有尝试过这种大图的模式,而纵向列表的方式是用户使用最方便的,比较一目了然。另外,对于购物车的单位设计也存在一些争议,很多电商网站都是用“件”来表示一个商品,比如同一件商品买了两个到底是算一件还是两件,大家对此一直争论不休。通过那几年的UED工作,他对UED有了更深的理解,虽然对于UED有很多想法,但是由于各种原因,比如上线时间老板说了算,还有很多想法受限技术的原因很难实现,特别是在实现方案上没有用户研究的数据支撑很难判断而导致最终都没有实现。我听了他的诉苦也是感触很深,跨部门之间的沟通的确需要很大的成本,特别是没有站在对方的利益场上就更难合作。所以如果大家都能有一种共同的价值观和意向,在沟通协调上能够达到事半功倍的效果。
3.1 常见的数据分析问题
如果你希望从事这个数据分析行业的,亦或是对数据分析感兴趣的,那就需要把数据分析常见的一些问题弄明白,避免被别人忽悠到不知东南西北。即使作为在数据分析行业从事了几年的职场老鸟来说,再次回顾常见的数据分析问题也会有不一样的思考和感受。
在我们接触到数据分析这个领域的时候,不同的对象、不同的时期会遇到不同的问题。对于刚入行的同学来说可能需要知道数据分析的基本概念,数据分析都有哪些,包括数据分析和统计分析、数据挖掘的区别和联系是什么,在数据分析上常见的工具都有哪些,还需要了解如何增加自己在数据分析这块的经验和技术,在面试的过程中如何给自己加分等。对于入行1、2年的数据新人来说,需要在有一些基本的数据处理和分析能力基础上思考如何自我成长,在现有的环境下突破瓶颈。对于工作了很长时间的资深数据分析人员来说,则需要考虑如何能够在技能上和个人发展上再次升华。这些都是在数据分析生涯中会遇到的问题。而本小节会重点介绍我们作为入门的数据分析新人遇到的一些常识问题,这些都是我们在数据分析讨论、论坛以及在面试环节可能会聊到的话题。
1. 数据分析是什么?数据分析包含哪些?
数据也称观测值,是实验、测量、观察、调查等的结果,常以数量的形式给出。数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来,以找出所研究对象的内在规律。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。数据分析是组织有目的地收集数据、分析数据,使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期,包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程,以提升有效性。例如J.开普勒通过分析行星角位置的观测数据,找出了行星运动规律。又如,一个企业的领导人要通过市场调查,分析所得数据以判定市场动向,从而制定合适的生产及销售计划。因此数据分析有极广泛的应用范围。
而数据分析包括的内容从需求识别、获取数据、整理数据、观察数据到分析数据、数据展现的各个环节。
第一步就是要准确识别需求,定位到问题的核心所在和需要哪些数据来支撑你的观点,这样为收集数据、分析数据提供清楚的目标。区分一个高级数据分析师和一般数据分析师,能够第一眼就识别问题的所在,掌握数据库的熟练程度,第一时间通过数据的校验验证自己的观点。
第二步获取数据,将需求转变成具体的数据要求,明确哪些数据是需要的,他们在什么地方,可以通过谁来获取。
第三步就是观察数据,通过加工、整理分析成有用的信息,通常结合时间序列、对比、趋势等。
第四步分析数据,结合现有的业务和数据发现的问题,提出建议和意见。
最后往往还要再回过头看看数据分析方法是否正确、是否数据质量上还有什么问题、收集到的数据是否真实等。
2. 数据分析与数据挖掘的区别?
在接触数据分析和数据挖掘的时候,也会遇到数据分析和数据挖掘是什么,之间区别有哪些。从实际工作中来看数据分析和数据挖掘也是两件不同的事情,但是两者有很强的相关联性。
从概念上讲,数据分析是在统计数据的基础上通过结合分析方法论得出一定的结论,而数据挖掘更多是对历史数据进行未知结果的探索。像我们最常见的“啤酒与尿布”的故事,我们结合数据只能分析出啤酒和尿布的销量都很高,但是这其中为什么啤酒和尿布是有相关联的,那就需要通过数据挖掘的方法来挖掘,从中发现去买尿布的男士都会顺便去买啤酒。再比如我们通过数据分析发现电商购物的人群70%都是女性,所以结论就是女性更喜欢购物,而通过数据挖掘我们发现由于女性天生喜欢逛街购物、大部分时间会去关注比较漂亮的商品、没有太多目的性,导致女性在电商中的购物比例很高。
在工作内容上,数据分析的工作偏重对业务层面的理解,能够结合具体的业务和已有的数据,给出自己有力的观点,给到业务决策的支持。数据挖掘的工作偏重系统工程,通过历史数据样本召回、数据特征工程和模型算法,对未来结果预测。所以在工作内容上两者的差别也是比较巨大,但又有联系。举个例子,在公司做数据分析师的阶段,日常的工作是整理网站流量趋势变化的报表,如果流量上涨或者下跌要能够分析这其中的原因是什么,可能是业务方有营销活动的动作,也有可能是系统层面的数据问题。而在公司做数据挖掘的平时工作就在某一个小点上,如果利用数据挖掘来预测明天可能有哪些用户会来登陆。涉及登陆频次、用户的个人属性情况、用户使用网站的周期、网站的活动因素等各方面的数据特征。利用模型去训练和预测明天登陆用户的概念。最后在实际的业务场景中去应用。
因而不难发现,数据分析更多是对已有数据进行观察分析,数据挖掘更多是对知识的规律探索总结。在方法论上数据分析更多凭借人结合数据经验,数据挖掘会结合算法模型分析。
3. 数据分析和做报表的区别?
过去BI一直被人认为就是做报表的,所以不管是业务部门还是技术部门一有报表需求就会去找BI部门。而BI部门也不想把自己定位成做报表的部门,所以一直在接这方面的需求没有太多积极性。
咨询行业内有一个经典的故事:
一个农民赶着羊群在草原上走,迎面碰到一个人对他说:“我可以告诉你,你的羊群有几只羊。”随即,他用卫星定位技术和网络技术将信息发到总部的数据库……片刻后,他告诉农民羊群共有1460只羊,并且要求农民给他一只羊作为报酬,农民答应了。随后,农民对他讲:“如果我能说出你是干嘛的,你能否把羊还给我?”那人说,“行”。农民说:“你是一个咨询顾问。”那人很惊讶,问农民是怎么知道的。农民说:“有三个理由足以让我知道:1.我没有请你,你自己就找上门来;2.你告诉了我一个早已知道的东西,还要向我收费;3.一看就知道你不懂我们这一行,你抱的根本不是羊,而是一只牧羊犬。”
这个笑话在咨询界广为流传,并有不同的公司版本,和前段时间“友谊的小船说翻就翻”一样在微博和朋友圈被人转发。而有意思的是,许多资深咨询顾问看到这个笑话并不感到恼怒,而是会心地一笑。公开场合下,他们一定会非常自信地说,咨询非常深刻地影响企业的战略,因此具有非常重要的价值。不过私底下,他们对于是否真的“能改变世界”这一点并不够自信。作为定位于公司辅助决策的数据分析部门而言,BI也在接受这样的调整。名称叫商业智能,指导公司的高层,而在具体的实际行动中,因为高层不懂数据或者数据部门不理解业务,再或者没有足够的数据能够支撑你去做很多的分析,导致最终的很多公司数据部门变成了一个“做报表”的部门。而报表作为管理层经常需要看的媒介,又不可或缺。值得高兴的是,现在有很多可视化的数据工具来帮助传统企业在做报表的过程中提高效率和优化美观,与过去需要数据分析师专门每天去重复拉取excel报表来说明显进步很多。但对于一些更加深入的分析还是需要资深的数据分析师来结合业务单独分析,并非是简单的报表的能够解决的情况。所以资深的数据分析师还是一种是众多公司争抢的资源。
如今在市场方面,数据分析、数据仓库、数据挖掘、大数据等概念热得发烫,数据分析师被认为是万众仰慕的职场新宠,关于数据分析师技能、职责、职业素质、发展前景等的讨论不绝于耳。就像“姚黑”一样,数据分析的质疑声也不断传出和放大,数据分析、挖掘到底能否产生价值,多大价值?
数据分析员、数据分析师不应当只会“数羊”!不应当只是发现本应该发现的“经验”!而应当掌握数据探索,发现潜在的价值,预见可能将发生的某种“坏的未来”!
4. 数据分析难不难学?特别是背景非理工科的。
只要有恒心就会学会,而且这个目前也是一个热门,因为现在数据量越来越大了,所以对这方面的需求也越来越多。学习数据分析,先要打好理论基础,《概率论与数理统计》、《统计学》、《深入浅出数据分析》等。然后就是主流的数据分析软件,关于数据分析主流软件有(从上手度从易到难):Excel,SPSS,Stata,R,Python,SAS等。
如果是理工科背景的,了解数据分析并掌握相对来说比较好上手。重点是对统计学知识的熟练掌握,另外就是在编程方面能够有一定的基础,在处理数据和查询数据、分析上面能够自己操作,特别推荐像R、python这样比较好上手的语言,基本能够解决目前80%的数据分析需求。
如果是非理工科的,那可能还是需要在高等数据、微积分这些上面先花段时间学习一下,了解数学方面的基本方法论。学习常用的数据分析方法论都有哪些,比如趋势分析、对比分析、关联分析、预测分析等。常用的市场分析方法论,如SWOT、PEST、4P、波士顿矩阵、5W2H等。
最后还是需要大量的项目和工作案例来锻炼,学会怎样操作那些数据分析软件,学习从哪些角度去思考分析常见的指标问题。然后是利用软件从数据的清洗开始一步步进行处理,分析,最后输出结果,检验及解读数据。
5. 数据分析可以æœ...
- ?
你的论文离北大学霸只差这几个工具
仲傲安
展开
你的论文离北大学霸只差这几个工具
你的论文离北大学霸只差这几个工具
写论文是一项大学生必备的技能,同时也是一道难关,不仅是为了顺利毕业,而且可以检测自己在学术上的专业程度和逻辑严谨性。普通人写的论文要么不符合格式要求,要么泛泛而谈根本找不到核心问题。我在这里给出北大学霸的论文经验,希望大家能迅速突破论文难题,让你的论文出类拔萃。
只要按照“提出你的核心问题,证明这个问题的存在或者价值,然后以数据或实例进行论证,写出分析过程得出结果。”这种思路来进行论文论述,结构是非常清晰的。下面以经管论文为例子,为大家演示这一类论文该如何着手。
1.前期调研
前期调研对于经管类论文来说,基本决定了你的论文是否能够成功完成或者论文是否完成得有价值。选题的范围尽量要小,这样前期调研较容易,例如调研全国经济发展情况,这样的题目一来收集数据的量过大,二来,数据出现不真实的情况,最终只能泛泛而谈。
推荐途径:
国家数据:数据来源于中国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,较为全面和权威,对于社会科学的研究不要太有帮助。最关键的是,网站简洁美观,还有专门的可视化读物。
CEIC:最完整的一套超过128个国家的经济数据,能够精确查找GDP, CPI, 进口,出口,外资直接投资,零售,销售,以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据,数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。
wind(万得):万得被誉为中国的Bloomberg,在金融业有着全面的数据覆盖,金融数据的类目更新非常快,据说很受国内的商业分析者和投资人的亲睐。
2.数据预处理
当大家在各大网站上下载好了数据表格后,可导入SPSS等专业处理软件,这一步看似简单,但往往最难的也就是这一步,因为你需要的表格和你拿到的表格存在很大差异。比如,我们下载了10个年鉴表格,类型是相同的,但如果手动复制粘贴汇总成一个表格,或者依次导入到处理软件里,很麻烦。
有时候还需求对收集的数据表格进行数据清洗,把异于常值的数据筛除以免影响结果判断。
推荐一款在线数据处理产品,处理速度非常快。
西格马EasyRefiner:
EasyRefiner是一款集合了自动识别表格信息,将多格式多表单的自动合并,同时还提供多种图表可供选择,自由拖拽数据轻松可视化。
在这里数据从原始网站下载到导入,按照自己的意愿进行分类合并,一键清洗掉异常值,最后需要进行数据审阅的可以进行可视化。
3.专业软件分析
常见的专业数据分析软件很多,分析软件有Excel、SPSS、MATLAB、SAS、Stata、Finereport等,其中SPSS,Stata在经管类是最为广泛应用的,大家想要详细地学习和使用软件,可通过以下良心网站进行学习。
经管之家:包含了大量的原创经管类数据分析帖子,各类数据分析软件代码,论文基本上一网打尽,赶快进入来学习写论文吧。
中国免费论文网:中国免费论文网包含免费论文、毕业论文、经济学、管理学、会计、法学、理学、医学、政治、社会学、教育、计算机、哲学、英语等各学科论文下载。
中国知网:采用自主开发并具有国际领先水平的数字图书馆技术,建成了世界上全文信息量规模最大的"CNKI数字图书馆",并正式启动建设《中国知识资源总库》及CNKI网格资源共享平台,通过产业化运作,为全社会知识资源高效共享提供最丰富的知识信息资源和最有效的知识传播与数字化学习平台。
4.论文查重降重
现目前网络上比较通用的:知网、turnitin、paperpass、维普、PT、Gocheck、万方、paperfree、paperright。
其中除了知网检测一次上百元(价格略有浮动),其它软件都是每千字3元以内。每个检测软件的论文库和检测算法不一样,结果相差60%以上的情况很常见,且并不存在A软件一定比B软件好。所以最合理的选择是学校选择哪种查重软件,你就选择哪种。
如何降重?
一句话——修改的核心就是“把能改的关键词都替换掉,再变换句式”。
例如:
原句:会计舞弊现象由来已久
改后:会计舞弊问题并非近几年的新兴产物
把关键词改为非常用词,而不改变原意,如果实在脑汁不足的小伙伴可以在淘宝上找专业的降重哦,还是很有效的。
- ?
不会学习R?让他们帮你理清思路!
韦秋柔
展开
人们学习R语言常见的问题之一是缺乏结构化学习道路。他们不知道从哪里开始,如何进行,选择哪一条?尽管在互联网上有大量好的免费资源可用,但是,这可能既是压倒性的也是令人困惑的。
创建这个R学习路径,分析师Vidhya和DataCamp坐下来一起来选择一组全面的学习资源来帮助你从头学习R。对于任何刚接触数据科学或R的人来说,这种学习路径是一个不错的推荐,如果你是一个经验丰富的用户会对学习一些最新知识。
这将帮助你快速、高效地学习R。R学习会变得有趣 !
步骤
0
:热身
在开始你的旅程之前,回答的第一个问题是:为什么使用R ?或R为什么是有用的?
R是一个快速增长的开源商业软件包类似SAS,STATA和SPSS。就业市场对R技能的需求迅速增长,最近微软等公司承诺致力于R为数据科学的通用语言。
看这90秒Revolution Analytics公司视频了解R将会多么有用。顺便说一句,Revolution Analytics刚被微软收购。
1
:安装您的机器
安装R最简单的方法是,从全面R归档网络(CRAN)下载在本地计算机上。您可以Linux,Mac和Windows之间不同版本间进行选择。
虽然你可以考虑使用基本的R控制台,我们推荐您安装R的一个集成开发环境(IDE)。最广为人知的IDE是RStudio,使R编程更容易和更快,因为它允许输入多行代码,处理代码块,安装和维护包,在编程环境里更高效。替代RStudio框架Architect,是一个基于eclipse工作台。
(需要一个GUI吗?检查 R-commander or Deducer)
任务
·1、安装R和RStudio。
·2、安装包Rcmdr, rattle, and Deducer。建议安装所有推荐包或者依赖关系的包括GUI。
·3、使用库命令加载这些包和开放这些gui。
2
:学习基本的
R
语言
你应该先了解该语言的基本知识,各种包和数据结构。
如果你喜欢一个在线互动学习环境学习R语法,有DataCamp这个免费的在线教程。继续本课程:中级R编程。另一种学习工具是这个在线版本的升级版,您可以在类似于RStudio的环境中学习的R这个在线版本。
除了这些互动的学习环境,你也可以选择在线课程如Coursera 或EDX报名参加。除了这些在线资源,你也可以考虑以下优秀的书本资源:
·免费的“ introduction to R manual by CRAN ”
·Jared Lander的“R for Everyone”
·Quick-R
特别学习:读取表数据,数据帧,表,汇总,描述,装卸和安装软件包,使用绘图命令数据可视化。
任务:
·1、参加 DataCamp免费在线R教程和熟悉基本R语法
·2、 在http://github上创建一个GitHub账户
·3、学习通过谷歌搜索的帮助来解决上述软件包安装
·4、安装包和学习R编程(见上文)
3
:了解
社区
R的迅速增长,获得如此巨大的成功的原因,是因为其强大的社区。在R包生态系统中心。这些包可以从CRAN下载,或从Bioconductor、github和bitbucket。在Rdocumentation可以轻松搜索从CRAN,github上和Bioconductor获取包,将满足。
接下来的包生态系统的R,在努力学习R过程中你也可以很容易地找到帮助和反馈。首先,你可以通过命令来访问内置帮助系统?例如函数名称。也有分析师Vidhya表示,Stack Overflow 认为 R是增长最快速的语言之一。最终,有R爱好者运行众多的博客,会聚合成R-博客。
·通过访问CRAN任务视图理解R包生态系统
·为每日简报注册http://r-bloggers
4
:导入并处理数据
导入和处理数据科学工作中的数据是重要的步骤。R允许不同数据格式的导入使用特定的包可以简化你的工作:
·readr导入文本文件
·readxl让excel文件导入R
·还有 haven包允许您导入SAS, STATA and SPSS格式数据文件到R。
·数据库连接可以通过包RMySQL和RpostgreSQL连接,使用DBI访问和操作
·rvest 用户网络爬虫
一旦你的数据在你的工作环境已经准备好,开始使用这些包处理它
·tidyr包清洗数据。
·stringr包进行字符串操作。
·处理数据帧对象,学习dplyr包的来龙去脉(尝试这门课)。
·需要执行大量数据角力的任务吗?查看data.table包
·执行时间序列分析?尝试包像像zoo, xts 和 quantmod。
·掌握通过 “导入数据到R”课程提到的包,或阅读这些文章1,2,3 and 4。
·看到这个RStudio视频“Data Wrangling with R ”。
·阅读和练习如何使用包像dplyr, tidyr
,
和data.table。
5
:有效的数据可视化
没有比创建自己的数据可视化更大令人满意的了。然而,可视化数据作为一门技能更像一种艺术,因为它是一种技巧。值得一读是“可视化定量数据”的Edward Tufte原则,或由Stephen Few的“the pitfalls on dashboard design ”。也看看Nathan Yau的博客,从而带来灵感,她在创建可视化时使用(主要)R。
5.1
:情节无处不在
R提供多种方式创建图表。基本图形的标准方法是利用在R,然而,有更好的工具(或包)来创建你的图表,以更简单的方式,呈现的结果更美丽:
·开始学习画图的语法,一个可行的方法来做R数据可视化。
·如果可能,你想成为认真对待R数据可视化,掌握的最重要的包就是GGPLOT2包。 GGPLOT2是如此受欢迎,以至于网络上有大量的资源,如网上GGPLOT2教程,一个方便的小抄本或由哈德利韦翰著作的这本书。
·一个包,如ggvis允许您使用图形的语法创建交互式Web图形(tutorial)
·知道汉斯·罗斯林这个TED演讲?了解如何与googleVis(与谷歌图表的接口)重新创建。
·如果你遇到绘制你的数据这篇文章可能有所帮助。
看到更多的可视化选项在这个CRAN任务视图
或者看看“R语言可视化指导”
5.2
:世界各地的地图
对可视化数据空间分析感兴趣吗?开始学习“Introduction to visualising spatial data in R”,在R开始使用这两个包:
·可视化空间数据和模型的静态地图来源,如谷歌地图和ggmap公开街道地图
·阿里Lamstein choroplethr
·tmap包
5.3:HTML
小部件
一个非常有前途的的可视化R新工具是使用HTML小部件。HTML小部件允许您创建交互式web可视化的一种简单的方法(参见本教程)和掌握这种类型的可视化很可能成为一个必须R技能。与这些可视化打动你的朋友和同事:
·动态地图传单
·使用dygraphs时间序列数据图表
·互动表(datatable中)
·R制图的图表和流程图
·d3散点图、线路图、和MetricsGraphics直方图
·确保你有理解图形的语法原则
·ggplot2教程
·RStudio教程操作html小部件
6
:数据挖掘和机器学习
对于统计学我们建议这些资源:
·Andrew Conway’s Introduction to statistics with R (online)
·Data Analysis and Statistical Inference by Duke University (online)
·Practical Data Science With R (book)
·Data Science Specialization by Johns Hopkins (online)
·A Survival Guide to Data Science with R (book)
如果你想加强你的机器学习技能,考虑从这些教程:
·Essentials of Machine Learning Algorithms
·Bike Sharing Competition – Complete Solution in R
·Kaggle Machine Learning course
·Machine Learning Mastery
·Intro To Machine Learning
请一定要看到在相关CRAN任务视图 - R提供的各种机器学习的包。
·开始统计入门课程之一
·报名参加免费的kaggle机器学习课程。
·如果你想要一本关于使用R数据挖掘书籍,他就在 Rattle
·你可以从这本小册子学习时间序列预测- A Little Book for Time Series in R 。
7
:报告结果
和数据科学爱好者一同交流你的结果、分享你的见解和分析本身同样重要。幸运的是,R有一些非常漂亮的工具可以这样做,可以节省你大量的时间。
第一个为 R Markdown,基于knitr和pandoc可重复的方式报告数据分析结果使它一个伟大的工具。随着R降价,R生成最终的文件,替换生成结果的R代码。这个文件可以是一个html、word、PFD 、ioslides等格式。您可以通过本教程学习更多关于它的内容,并用这个小抄本作为参考。
和 R Markdown相近有ReporteRs。ReporteRs是一个R包创建的微缩软件((如Word docx and Powerpoint pptx)和html文件,运行在Windows、Linux、Unix和Mac OS系统。就像R Markdown的理想工具,自动生成R报告 。
最后,Shiny,目前激动人心的R工具之一。Shiny使得它非常方便地与R构建交互式Web应用程序,它可以让你把你的分析到交互式Web应用程序,而无需了解HTML,CSS或JavaScript。如果你想开始使用Shiny(相信我们,你应该!),在RStudio学习门户网站。
·创建您的第一个使用RMarkdown做的交互式报告或ReporteRs
·尝试建立你的第一个Shiny应用
额外步骤:练习
你通过实践只会成为一个伟大的程序员。因此,一定要定期处理新数据科学的挑战。我们建议你们最好在Kaggle:https://kaggle/c/titanic-gettingStarted,可以开始与同样的数据科学家竞赛。
现场挑战测试你的R技能——实践问题
8
:时间序列分析
R有一个专门的时间序列任务视图。如果你在R想做一些时间序列分析,这绝对是开始的地方。你很快就会发现工具的范围和深度是巨大的。
你会轻松地学习R语言时间序列分析,不会耗尽网络资源。好的出发点都是一本R语言时间序列小书,或退房预测:原理和实践。在包方面,你需要确保你熟悉ZOO包和XTS。ZOO为您提供了节省时间序列对象格式过程,而XTS让你处理时间序列数据集的工具。
替代资源:关于时间序列的综合教程
·学习一本上面列出的时间系列推荐教程,准备好开始你自己的分析。
·使用包 quantmod or quandl下载等财务数据,开始自己的时间序列分析。
·使用包如dygraphs创造惊人的时间序列数据的可视化和分析。
额外步骤——文本挖掘也很重要!
学习文本挖掘,您可以参考文本挖掘分析模块(analytics edge course)。不过,课程存档,您仍然可以访问教程。
实践
·文本挖掘竞赛- R中的完整解决方案
9
:成为一个
的主人
既然您已经学到的大部分数据分析使用R,是时候给一些高级主题。很有可能你已经知道这些,但请也看看这些教程。
·Hadley Wickham的Advanced R
·使用R与Hadoop, MongoDB or NoSQL
·微软的RevoScaleR包 (以前Revolution Analytic公司的)
你想应用你的分析技能和测试你的潜力吗?参与我们的活动,与许多来自世界各地数据科学家们一起比赛吧。
原文链接:https://analyticsvidhya/learning-paths-data-science-business-analytics-business-intelligence-big-data/learning-path-r-data-science/
翻译:数据分析网翻译小组,翻译成员——Blanche
- ?
还在纠结 Python 的数据导入问题吗?有这张速查表就够啦
粱怀亦
展开
雷锋网 AI 科技评论按:这是 Karlijn Willems 发布于 Medium 的一篇关于 Python 中数据导入问题的博客。Karlijn Willems 是来自于 DataCamp 的数据科学研究员。她在本文中介绍一份 Python 中数据导入操作的速查表,雷锋网 AI 科技评论对原文进行了编译。
借助这个 Python 速查表,你将拥有一份便捷的数据导入参考指南。该速查表全面涵盖了平面文件(Flat files)、其它软件所定义的原生文件类型以及关系型数据库数据的导入方法。
在你对数据进行清理、可视化等操作之前,我们首先需要实现的事情是使用 Python 导入数据。而众所周知,针对不同的数据文件存在着许多不同的导入方法。
但是,你最经常使用的库可能就是 Pandas 和 Numpy:Pandas 库是最受数据科学家喜爱的软件库之一,他们经常使用 Pandas 对数据进行操作和分析,然后再使用 matplotlib 进行数据可视化。而 Numpy 则是 Python 中进行科学计算的一个基础库,并且 Pandas 也是构建于 Numpy 之上的。
在这份数据导入速查表中,你将看到一些 Numpy 和 Pandas 的函数,以及使用 Python 语言编写的函数,这些都将帮助你更快捷地将数据导入 Python。
这份教程将帮助你快速学习和掌握将数据导入 Python 中的基础操作,以便于你可以对数据开展后续的清理和可视化等操作。
速查表传送门
这份速查表将引导你学习掌握如何将数据导入实验环境的基础:你不仅会学到如何导入诸如文本文件这样的平面文件,也能看到如何读取那些来自于特定软件的文件(比如 Excel、Stata、SAS 和 MATLAB)和关系型数据库。最重要的是,你将获得更多关于如何寻求帮助的指示,如何浏览文件系统以及如何开始探索数据信息。
总而言之,这里有你所需要的所有知识,来帮助你开启基于 Python 的数据科学学习大门。
如果你还想获得更多的知识,那么现在可以免费来学习这门《Python 数据导入课程》或者尝试一下我们的使用 Python 玩转 Excel 教学!
当然,别忘了我们为数据科学而制作的 Python 速查表,并且在我们的社区能获得更多类似的速查表!
备注:速查表传送门
Via Importing Data in Python Cheat Sheet,雷锋网编译
- ?
R语言数据导入——二部
Gale
展开
上期我们了解了R语言数据读入的核心函数read.table,现在我们了解一下其他可以用的函数有哪些,以及使用的场景和基本技巧。
非关系结构文件读入scan()
除了read.table()这类读取文本文档的函数,还可以用scan()函数读入。不同的是它的返回值为列表或者向量。
假设我们有下述文本文档
24
1991
21
1993
53
1962
下列命令可以读入该数据
data<-scan("e:/birth.txt")data
## [1] 241991211993531962
此外,你代码稍加改造可以将数据变矩阵。
matrix(data,nrow=2,byrow=FALSE)
## [,1][,2][,3]
scan()也同样支持访问url数据上的数据,现在我们访问网上的一个age数据
data<- scan("https://s3.amazonaws/assets.datacamp/blog_assets/age.csv", what = list(Age = 0,
## $Age
注意上述代码中的what参数,如果what为list类通过上述代码可以读入类似于spreadsheet类型的文本文档。只需要定义每行中各个项目(列)的类型。scan()其他众多参数的用法和read.table比较类似。
固定列宽数据读入read.fwf()
有的时候我们可以知道每一列的宽度是多少,下列代码可以让我们读入这类数据
data<- read.fwf("https://s3.amazonaws/assets.datacamp/blog_assets/scores.txt", widths= c(7,-14,1,-2,1,1,1,1,1,1),
## subject sex s1s2s3s4s5s6
上述代码中width参数给出了字段的宽度。本例中,前7个字符为课程名字;然后的14个字符我们认为不需要,用-14跳过;接着,性别这一列需要一个宽度的字符;后面的2个空格不需要,用-2跳过;后续的成绩每列需要一个宽度1,1,1,1,1,1传入参数中。这些参数在不同的数据结构下,会有所不同。
另外,还可以使用read.fortran()函数读取数据,详细方法可以参见help文档理解。
导入excel数据
剪切板导入excel表格
如果你已经有了个打开的表格,你可以复制其中的内容,然后用readClipboard()或者read.table()函数导入数据。
readClipboard()#Only on Windows
RODBC包读入excel数据
通过RODBC包同样可以导入excel数据表。代码样例如下
library(RODBC)
其中,dsn的写法可以参考odbcConnect()函数的帮助文档。此外,odbcConnectExcel()同样可以读入excel数据。
当你读入了Excel数据表后,相当于建立了一个连接,你可以使用sql语句来操作数据
query<- "
" 用RODBC包的建立了连接后,在操作完数据要使用odbcCloseAll()
其他方法读入excel数据
其他可以参考的方法有: * openxlsx包中的read.xlsx函数。 * readxl包中的read_excel函数。
其他类型的数据读入
其他主流数据类型R可支持的包括有JSON格式,SPSS文件,Stata文件,SAS文件,s-plus文件,EpiInfo文件,matlab文件,Octave文件,FitbitScraper 数据,Quantmod 数据,ARFF 文件。 支持导入的数据库有,MogoDB,MySQL,Oracle,PostgreSQL,SQLite,RJDBC,dBase等。
二进制数据读入
二进制数据由二进制浮点组成,8个浮点为一个字节。可以使用readBin函数读入此类数据。
connection<- file("
", "rb") #You open the connection as "reading binary"(rb) GIS数据读入
地理信息数据在R中也比较常用,常见的rgdal和raster包都有对应的函数处理此类数据。
大型数据集的读入
如何导入较大的数据一直是R用户的经常讨论的问题,除了将数据导入数据库中处理外,也有一些比较不错的处理大型数据的方法。
data.table包中的fread函数是比较容易实现快速读入大数据的方法,读入大型数据速度相当理想。
library(data.table)
ff包:该程序包磁盘缓存的技术可以读入超过内存限值大小的数据,常用的函数有read.table.ffdf(),read.csv.ffdf()等。
library(ff)
bigmemory包,此包也常用于处理大型数据。样例代码如下,但是此包不能用于windows系统:
library(bigmemory)
sqldf包,此包也可以考虑用于处理大型数据,它还可以使用sql语句处理数据。用read.csv.sql()函数读入数据。
library(sqldf)
随后我们别忘了R中的read.table函数,但是,用此函数读入大型数据,需要对参数有较好的控制。简单说,你能设置的参数越多,读入数据的速度越快。
总结
最后,我们将上述常见的方法做个了总结表格,读者可在用时参考,该表格涵盖了大部分常用数据格式的读入方法。
函数
来源
描述
scan
r-base
顺序读取文件中的数据值
read.fwf
按行和指定列宽度读取数据
read.fortran
采用fortran格式设置读取固定格式数据
readClipboard
读取剪切板中的数据
odbcConnect
RODBC包
读取excel数据,采用odbc
gs_read
googlesheet包
读取google sheet
read.DIF
读取DIF文件
read_excel
readxl包
读取excel文件
read.xlsx
openxlsx包
读取excel的xlsx文件
read.ods
readODS包
读取open document表格文档
fromJSON
jsonlite包
读取JavaScript的json文件
read_spss
haven包
读取spss文件
read_dta
读取stata文件
read.xport
forgein包,sasXPORT包
读取sas文件
read.S
foreign包
读取s-splus文件
read.epiinfo
读取epi Info文件
readMat
R.matlab包
读取MATLAB文件
read.octave
读取Octave文件
read.arff
读取Weka属性关系文件(ARFF)
…
mongolite包,Rmongo包,RODBC包,Roracle包,RPostgreSQL包,RSQLite包,RJDBC包
各类常见数据库导入数据到R
readBin
读入二进制文件
hdf5包,h5r包,rhdf5包,RNetCDF包,ncdf包
读入hdf文件,NASA和UCAR常用气象数据读取
read.dbf
读入DBF文件
read.ftable
读入无格式列联表Flat contingency table
fread
data.table包
大型文本文档读入
read.table.ffdf read.csv.ffdf …
ff包
read.big.matrix
bigmemory包
大型文本文档读入,无法在windows下使用
read.csv.sql
sqldf包
read.table
大型文本文档读入,但是需要合理设计参数,否则速度不理想
来源:DataCamp 编译:亮亮
excel数据导入stata
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并