唯有功夫深

铁杵才能磨出绣花针

作为数据建模界的老司机，总会是不同的妹子来问问题。

这几天，实习生小天非常困惑地问我：超模君，为什么学了那么多，可我还是做不好数据分析？

这样的问题，超模君并不是第一次听到。超模君也尝试过那种痛苦而纠结的经历。

上课的时候老师就说SPSS很常用，外面的企业都在用。第二天就听到做金融分析的表姐说：她们公司都是用SAS做数据分析。。第三天上网到某数据论坛讨论的时候，却发现铺天盖地都是R语言。。。第四天则看到有朋友发票圈说“用Python就像是在天上飞”，“人生苦短，我用Python”。

（数据分析图精选，来源：数据团学社）

然后我们开始在不同的软件内穿梭，总担心学不会哪一个软件而被淘汰。而最后的结果却是：每个软件都学了皮毛，把自己累得疲惫不堪。

除了软件学习之外，数学知识还不能落下。。。

统计学、数据库导论、数据挖掘导论、机器学习导论、关联规则等等，每一本都厚的足以拍晕一个人的架势。

一旦你开始做数据分析和挖掘，你会发现你看的书已经超过大学四年的总和。而等看完这些内容才入门的话，最悲剧的是：和你同期的人早已把你甩在身后了。。。

那也就有模友会问，对于数据分析和挖掘来说，有没有快速有效的学习方法呢？

超模君不敢断言有没有，只能分享一下自己觉得行之有效的方法，仅供参考！

-----数学是杆枪-----

作为一名数学系毕业生，其实学习的很多内容（不可否认，确实很有用）早已还给老师。而记忆最深的还是宿舍内各种痛并快乐的故事。

所以为了做好数据分析和挖掘这项工作，超模君也是重新翻阅了以前很多的书籍和内容，把相关的数学知识再过了一遍，努力让真正地玩转用数学——数学建模。

但也有模友跟超模君说：学校课本上的知识太呆板了，理论推导看不下去。。。

既然你都知道课本上的知识太呆板，那就去找找专门写数学建模应用的书籍呀（司守奎《数学建模算法与应用》），对症下药才是王道！

当然，数据分析和挖掘这一块，数学的部分也不是一下子就能讲完。不过我们要做的是让自己能够顺利入行，并且还有精力持续地去学习和进步，不要一下子把自己撑死。

-----软件是枪法-----

对于软件的使用，千奇百怪，有人说SPSS好，有人说金融都用SAS（怪不得SAS软件那么贵），有人就说现在都用开源软件R语言或者Python。

而超模君还想说，还有Excel（最基础的数据处理工具，谁用谁知道）。

（Excel作图精选，来源：数据团学社）

那我们到底该选择什么软件呢？

其实在做数据分析的时候，我们追求的首位并不是完美，而是有效。公司并不在乎你用什么软件完成工作，而更在乎你用了多少时间，实现了怎样的效果。

如果作为一名新人的话，超模君第一建议是：Excel+Python/stata，几乎可以完成大部分数据量的分析工作了。

-----数据源是子弹-----

超模君，我已经有了知识储备和技术储备，那是不是我们就能持证上岗了吗？

NO！NO！NO！你还差一个重要的东西——数据采集！

如果没有数据源，却空有一身数据分析本领，那不就是巧妇难为无米之炊吗。

那就有模友会问：超模君，数据采集需要怎么做呢？

其实现在有很多平台已经有做数据源共享（不过部分数据源还是要收费），除此之外，用Python爬取数据也算当前的主流，可以获取很多意向不到的资料哦（嘘）。。。

（Python爬取的数据集，来源：数据团学社）

数学知识+软件技巧+数据源，组成了数据分析大杀器！

对于数据分析课程也需要精益求精，看过那么多数据分析课程！

超模君还是比较喜欢城市数据团的数据达人培养计划。说实话，他们做的图真TM好看。。。（是的，上面那些图都是数据团提供的）

尤其是大鹏老师的课程：数据采集、数据分析到最后的可视化都做得极为精美。

数据达人培养计划（城市数据团*网易云课堂联合推出）

话不多说！点击阅读原文进入网易云课堂进行报名，如有疑问加入数据团学4群（Q群：486175793），有福利哦！

3.14-3.21网易云课堂有通用红包福利 ！

大家好，我是城市数据团的大鹏。

我们是一个长期坚持原创数据研究的自媒体，上图说法源于我最初的免费教程“上海夜晚去哪浪：百度poi数据爬取及可视化”，直播44分钟搞定，具体的步骤是这样的。

第一步：用“夜店”作为评价标准，使用免费工具，从百度地图中爬出“夜店”信息点；

第二步：希望解决“上海夜店都在哪” ，想到快速在地图落点，并观察他们的聚集度；

第三步：使用在线工具BDP和地理分析工具ArcGIS呈现热图，进一步解读上海的“夜中心”

上图内容可在网易云课堂大鹏的免费课“大鹏教你玩数据2016”中找到

真正学会数据技能，44分钟当然不够。但无论你选择什么样的学习方式，学会总结套路，一定会有事半功倍的效果。

城市数据团拥有一颗想通过数据认识世界的心，我们的文章涉及房产、城市、娱乐、生活等各个方面。所以，我们每研究一个新的领域，都要经历从一无所知开始的迷茫。

正如接到老板的新任务的你，先需要构建一个工作框架一样，我们想尽快地了解一个新的细分领域，用数据描述事物背后的秘密，就必须总结“数据分析”的整个套路：

确定主题——数据采集——数据分析——细化主题——数据可视化。

城市数据团数据研究思路图，节选自《数据不说谎——大数据之下的世界》一书

这个套路受到很多小伙伴认同。因此很多小伙伴曾经问我究竟如何入门学习数据分析。所以我把他录制成了教程：

这是一个什么样的课程？

数据达人培养计划是一个组合课程，以“搞得到数据，做得了图表，出得了报告”为目的，培养学员完成从爬数据到数据分析出成果的整套数据技能。

课程内容

课程分为三大板块，共有130+节小课程，包括：

如何进行数据采集

如何清洗、整理、分析数据

如何将数据可视化

板块一：数据采集

这个部分包括《爬虫入门，零编程数据爬取攻略》和《从零到一，Python网页爬虫攻略》，课程将从零编程和编程两个角度为学员提供爬取数据的技能：

板块二：数据分析

这个部分的课程为《小白逆袭，数据分析实战进阶训练》，包括Excel及其更新插件Power BI、Stata大数据处理和Qgis地理数据分析多项技能，让你全方位了解数据分析的基本方法，高效入门数据学习。

板块三：数据可视化

这部分的课程包括《美感培养，数据可视化专题强化》，课程包括Power Map、BDP、PPT等工具的使用方法，也包括如何从审美角度提升数据可视化的美观等，在学习完前面两章课程后，这个部分将是强化技能的重要一环。

如果想了解更多详情，请点击阅读原文看课程目录和试看视频。

3月课程更新：

如果想了解更多详情，请点击阅读原文看课程目录和试看视频。

谁在学习数据达人培养计划？

数据达人培养计划面向零基础（有基础依然适用）的数据爱好者。如果你认为数据对你的工作和学习有帮助，而无从下手，那么“数据达人培养计划”将帮助你快速入门。

加入我们，和3000+名小伙伴一同学习

他们大部分是职场（准）新人：

他们来自五花八门的行业:

和单位：

以上单位数据只是随机筛选，并不是全样本

小伙伴们表示，投资自己总是有利的：

学习中有问题上哪问？

除了以上系统的教学内容，报名课程，你还能获得专属学员群服务：

课程售价

没有优惠？不存字的

限时七五折

即日起至3月31日，在网易云课堂打包购买数据达人培养计划，限时七折￥318。点击文末阅读原文即可购买。

购课有礼

即日起至3月31日，购买课程的小伙伴将享受以下福利：

1、150元的数据团限量纪念版城市魔方或价值69元的《数据不说谎》图书抽奖机会，名额15人；

2、免费获取图文课程《用数据发现城市的秘密》；

3、新老学员给予任意一门子课程五星好评，即可领取达人计划海量数据包，给予四门子课程五星好评，额外获得10元返现。

写在最后

如果非要说数据技能有多重要，大概和Office技能是同等级的。每个人都需要略懂一二，一旦深入，会大幅提升自己的工作提升效率，是你职场上必不可少的技能。而城市数据团，在填过无数坑后，希望带你一起走上数据的道路。

我们之前学习过将各种数据导入R的方法。但有时候可能要做相反的事情——把R中的数据导出去——以实现数据的保存或者是在外部程序中使用。

符号分隔文本文件

可以用write.table()函数将R对象输出到符号分隔文件中。函数使用方法：

write.table(x, outfile, seq=delimiter, quote=TRUE, na="NA")

其中x是输出的对象，outfile是目标文件，比如：

write.table(mydata, "mydata.txt", seq=",")

会将mydata数据集输出到当前目录下逗号分隔的mydata.txt文件中，用路径可以将输出文件保存到任何地方。用seq="\"替换seq=","，数据就会保存到制表符分隔的文件中。默认情况下，字符床是放在双引号中，缺失值用NA表示。

Excel电子表格

xlsx包中的write.xlsx()函数可以将R数据框写入到Excel 2007文件中。使用方法是：

library(xlsx)

write.xlsx(x, outfile, col.Names=TRUE, row.names=TRUE, sheetName="Sheet 1", append=FALSE)

例如这条语句：

write.xlsx(mydata, "mydata.xlsx")

会将mydata数据框保存到当前目录下的Excel文件mydata.xlsx的工作表（默认是Sheet 1）中。默认情况下，数据集中的变量名称会被作为电子表格头部，行名称会放在电子表格的第一列。函数会覆盖已经存在的mydata.xlsx文件。更多详情，请参考xlsx扩展包文档。

统计学程序

foreign包中的write.foreign()可以将数据框导出到外部统计软件中。这里会创建两个文件，一个是保存数据的文本文件，另一个是指导外部统计软件导入数据的编码文件。使用格式如下：

write.foreign(dataframe, datafille, codefile, package=package)

例如，下面这段代码：

library(foreign)

write.foreign(mydata, "mydata.txt","mycode,sps", package="SPSS")

会将mydata数据框导出到当前目录的纯文本文件mydata.txt中，同时还会生成一个用于读取该文本文件的SPSS程序mycode.sps。package参数的其他值还有“SAS”和“Stata”。

相关阅读网站：https://cran.r-project.org/doc/manuals/R-data.pdf

软件对科研狗的重要性不言而喻，从最基础的Microsoft Word 到最常用的统计学软件SPSS，都是我们的老朋友。今天小博给大家推荐一些科研实用软件，希望对各位老师有所帮助。

1、文献阅读软件

Mendeley：导入PDF格式的文献时，Mendeley会自动提取英文文献信息，而对于中文文献常出现无法识别的情况。Mendeley同时支持多平台同步，以后再也不怕出门看不了文献了。

Adobe Reader或福昕阅读器：传统的PDF阅读器，可用于阅读文献。

CNKI E-learning：CNKI开发的文献阅读器，可阅读CAJ格式的文献，并且可建立学习单元管理文献。

2、参考文献管理软件

Endnote：目前好评如潮的文献管理软件。常用中文数据库CNKI、万方、维普的文献，均提供Endnote格式以供引用（CBM需使用过滤器，方能使用Endnote格式）。Endnote可与Word连用，直接对论文参考文献进行编辑。对于WPS软件据说也支持，未亲测。

3、论文写作软件

Scrivener：是一个强大的写作工具，支持碎片化写作与论文模板套用，可与word连用。辅助作者完成从作品构思、搜集资料、组织结构、增删修改到排版输出的整个写作流程。

无论是结构化的论文还是信马由缰的随笔，各种写作方式都可以在 Scrivener 中找到适合的工具和功能。需收费，网络上有破解版。

Word：传统论文写作软件。

4、统计分析软件

SPSS/Stata：常用统计学软件，均需要收费，不过目前有很多破解版。

5、论文作图软件

Origin/Gpaph Prism/Adobe Photoshop：常用的论文作图与编辑软件，需收费。

6、其他软件

问卷数据录入软件：Epidada，支持导入到Excel，可限制数值避免错误。

PDF编辑软件：Adobe Acrobat，最好用的PDF编辑与格式转化软件，需收费，也有很多破解版。

微信收藏软件：为知笔记，可记录笔记并支持微信推送添加到为知笔记。

俗话说，工欲善其事必先利其器，对于科研人来说，更需要好的工具，才能事半功倍！

END

该号刚出生不久，喜欢的朋友别忘了点个关注。

正式的数据分析事务当中，在导入了所需的库之后，基本第一件要做的事就是数据的读取工作了。数据源的格式会有很多，如csv、excel、txt等文件。

今天，我们就简单介绍一下常用文件格式的导入方法。

一、excel文件

在pandas数据分析中，excel的读入通常用到的是pd.read_excel()方法，我们直接来看个案例：

我们用到的excel如上图所示，需要读入的是工作表proxy里的数据，可以把第一列当做DF中的index，故代码可以如下：

其中第一个位置参数即io，传递的就是数据源的文件名。当然，如果想读入其他文件夹里的文件，只需在前面加上路径即可。

sheet_name参数传递的是需要读入的工作表的名称，默认值为0，即读入第一个工作表。

参数index_col可以用来指定需要转化为DF中index的字段名，不传递的话则DF自行创建index。

不少数据文件在创建时会在抬头处留有几行的注释，我们可以通过传递skiprows参数来跳过这几行。若注释在结尾几行，则可通过skipfooter来跳过。

此外，可能会用到的参数还有header、usecols、dtype等等，官方文档都有很清晰的描述，在此就不一一介绍了。

二、csv文件

csv格式存储的数据文件，也是经常会碰到的，我们可以通过pd.read_csv方法来读入。

如上图为从某网站采集到的数字货币期货合约的开盘价情况，有点类似时间序列，我们可以将begin_time作为index，读入代码如下：

其中io和index_col参数的作用和读入excel相同，usecols参数传递类似列表类型的数据，可以让我们读入自己想要的列。

若分隔符不是英文状态下的逗号，而是其他符号时，我们可以通过传递sep参数来修正，如下图，分隔符为“|”：

则我们通过传递参数sep='|'，即可正常读入数据：

此外，read_csv还可以读入txt格式文件，感兴趣的同学可以自行操作一下。

三、sql

数据分析时，不少时候要从数据库中取数。当要读取sql数据库中的数据时，我们可以通过pd.read_sql来操作。首先我们可以通过pymysql（没有的同学用pip安装一下即可）这个库来建立一个数据库连接：

之后，就是简单的读入工作：

如上图，我们通过sql语句读入了前面20条记录，若是想要读入其他查询结果的数据，只需写入对应的sql语句即可，十分方便。至于如何再通过Python去操作数据库，我们今天就不延伸了。

除了上面的情况外，我们还有可能会从一些专业的数据分析软件（诸如SAS、STATA等）里读取数据，pandas也都有相应的方法完美解决，感兴趣的朋友可以自行查阅对应的官方文档。

今天的分享就到此结束，感兴趣的朋友麻烦点个赞再走。

1、TFP计算方法的比较

全要素生产率估计方法分类

应用OLS方法的测算TFP的主要问题出在同时性偏差simutaneity bias和样本选择偏差selectivity and attrition bias，即自相关，从而导致TFP残差计算的不准确。有部分可以被观察到的，非宏观层面的，可能受宏观因素影响的，属于企业个体的，并对TFP造成冲击的因素被计算在残差内。（核心为题TFP重新分解。）

2、固定效应，OP方法与LP方法（半参数）对于同时性和样本选择偏差的纠正

固定效应缺点：面板数据，信息缺失，时间跨度不变造成的结论苛刻。

OP方法（半参数方法）：当期投入在数据库中难以实现，

LP方法（半参数方法）：使用中间投入。

3、“levepet”命令

产出增加值计算。（加入企业年龄中间（自由变量））

结果分析

这是一次不完全样本的测算。

4、缺失数据推算

2008年缺失数据：

工业增加值=营业利润+折旧+生产税净值

雷锋网 AI 科技评论按：这是 Karlijn Willems 发布于 Medium 的一篇关于 Python 中数据导入问题的博客。Karlijn Willems 是来自于 DataCamp 的数据科学研究员。她在本文中介绍一份 Python 中数据导入操作的速查表，雷锋网 AI 科技评论对原文进行了编译。

借助这个 Python 速查表，你将拥有一份便捷的数据导入参考指南。该速查表全面涵盖了平面文件（Flat files）、其它软件所定义的原生文件类型以及关系型数据库数据的导入方法。

在你对数据进行清理、可视化等操作之前，我们首先需要实现的事情是使用 Python 导入数据。而众所周知，针对不同的数据文件存在着许多不同的导入方法。

但是，你最经常使用的库可能就是 Pandas 和 Numpy：Pandas 库是最受数据科学家喜爱的软件库之一，他们经常使用 Pandas 对数据进行操作和分析，然后再使用 matplotlib 进行数据可视化。而 Numpy 则是 Python 中进行科学计算的一个基础库，并且 Pandas 也是构建于 Numpy 之上的。

在这份数据导入速查表中，你将看到一些 Numpy 和 Pandas 的函数，以及使用 Python 语言编写的函数，这些都将帮助你更快捷地将数据导入 Python。

这份教程将帮助你快速学习和掌握将数据导入 Python 中的基础操作，以便于你可以对数据开展后续的清理和可视化等操作。

速查表传送门

这份速查表将引导你学习掌握如何将数据导入实验环境的基础：你不仅会学到如何导入诸如文本文件这样的平面文件，也能看到如何读取那些来自于特定软件的文件（比如 Excel、Stata、SAS 和 MATLAB）和关系型数据库。最重要的是，你将获得更多关于如何寻求帮助的指示，如何浏览文件系统以及如何开始探索数据信息。

总而言之，这里有你所需要的所有知识，来帮助你开启基于 Python 的数据科学学习大门。

如果你还想获得更多的知识，那么现在可以免费来学习这门《Python 数据导入课程》或者尝试一下我们的使用 Python 玩转 Excel 教学！

当然，别忘了我们为数据科学而制作的 Python 速查表，并且在我们的社区能获得更多类似的速查表！

备注：速查表传送门

Via Importing Data in Python Cheat Sheet，雷锋网编译

2017年8月，学术中国在北京举办Stata软件入门到进阶工作坊（第1季），好评如潮。在这个工作坊里，来自群过各地的学员，在主讲老师的带领下，从基础的术语和概念了解开始，到get到很多实用的小技巧和小命令，一起讨论编程经验和编程习惯。不少老师反映，通过学习这次Stata,不仅Stata软件的操作能力提升了，连R、Python等同类软件的脚本也能看懂了，果然是触类旁通呀。

以下是第1季部分学员心声：

北京大学郭老师：老师讲得很清楚。授课方式也比较好，通过同学演示，可以发现操作过程中可能出现的问题，比老师自己演示操作的方式要好。此外，助教的设置特别好，可以在课上或课后即时解决问题。

哈尔滨师范大学李老师：我赞赏唐老师的教学理念。助教老师的指导也很有效果。十分感谢老师们的付出！作为真正零基础的人，我还是觉得有些跟不上。不过，课堂上有些基础的同学对我也有促动和激励。我很赞成办这种高水平的入门课，真正能满足更大范围、更多人群的学习需要。

常熟理工张老师：参加STATA零基础班，唐老师讲的很好！几个助理也很认真。谢谢他们！

再看看活动现场，满屏都是学习的热情啊！

因场地限制，第1季现场仅限70人参与了学习。很多学友被学长“无情的”挡在门外。为了弥补大家的遗憾，我们决定在今年10月份开设”Stata软件入门到进阶工作坊（第2季）。

还是原来的“配方”，还是原来的“味道”，但是我们会更加升级服务！就等你了！

在这个工作坊里，你会搞清楚很多以前对你来说“似懂非懂”的术语和概念，比如，那些用过数据的小朋友，你现在能告诉我什么是变量吗？能给变量一个定义吗？什么是编码？编码和取值什么关系？什么是数据？样本、案例、记录、被访者、调查对象这些概念间的差异在哪里？这些都是基础，基础牢固是根本。在这个工作坊里，你还会get到很多实用的小技巧和小命令，它们会让你的数据处理工作快得飞起来～～在这个工作坊里，我们还可以一起讨论编程经验和编程习惯，好的编程习惯在未来会给你带来很多意向不到的益处。最重要的是，我们可以一起学习如何学习，学习如何用Stata的各种资源来自学Stata，毕竟“授人以鱼，不如授人以渔”。而且，而且，当你能读懂Stata的脚本后，你很快就能看懂R、Python等同类软件的脚本，触类旁通嘛。

好吧，严肃点>_<：Stata作为一款功能强大、用法简单且易于上手的统计软件，不仅统计分析功能全面，而且在数据管理方面的功能也很强大。现在，有一些很棒的关于Stata的书或课程，但他们都假定读者有用过其他类似统计软件的丰富经验，比如SPSS、SAS、R等统计分析软件；还假定读者具备相当高级的统计知识。这些书都很快进入高级主题，把很多读者都远远抛在后面。这个工作坊是专为这些读者设计的：他们学过社会统计，而且想要或需要学习Stata，但是之前又没有用过其他统计软件的经验。

主讲老师

小唐老师本名唐丽娜，社会学博士一枚，是中国人民大学中国调查与数据中心的资深数据师和培训老师。在社会科学领域广泛使用的中国综合社会调查（CGSS）数据，小唐老师都有全程参与，从问卷设计到抽样实施到数据整理和数据分析，Stata用的简直6666。这还不算啥，她教过的学员专业跨跨跨跨跨跨跨跨跨跨跨跨跨跨跨跨跨跨跨跨度简直不能更大，什么哲学、宗教、法律、化学、汉语语言、英语、文学、对外贸易、生物、社会学、心理学、经济学、食品安全等，他们都从小唐老师那里学会了用Stata编程来管理数据和分析数据，有的已经成长为高手啦。

小唐老师不但在社会调查和数据分析方面积累了丰富经验，还翻译出版了Stata公司的两本Stata专著《Stata环境下的数据管理实务手册》和《基于Stata的数据管理工作流程》，同时著有Stata专著1本《社会调查数据管理——基于Stata14管理CGSS数据》。

更重要的是，小唐老师是个超nice的人，你们提出的各种问题她都会认真解答哟。

你想学习编程吗？你正在找一门编程的入门课吗？你想知道怎样用统计软件来分析数据吗？如果是，那就是你。不要怀疑，不要说“我的专业不对口”，这不是一门专业课，如果真要给这门课定个性，那它就是一门“关于如何使用统计软件、如何用统计软件处理数据的通识课”。

学习目标

1、理解Stata的工作原理

2、熟练使用Stata的交互界面及各种帮助资源，学会利用Stata的交互界面来编写程序

3、能够通过编写do文件来分析数据和管理数据，实现数据分析和管理的可复制性

主讲内容

1. Stata的安装、帮助及使用注意事项

2.在Stata里输入或导入数据

创建数据集

编制编码手册

用数据编辑器输入数据

管理取值标签、变量标签和数据标签

保存数据

3.在Stata里准备分析所用数据

给变量取值重新编码

修改变量和创建新变量

处理缺失值

合并数据、数据的长宽转置

筛选所需数据

4.用Stata做描述统计和统计图表

5.用Stata做方差分析

6.用Stata做回归分析

课程详情

时间：2017年10月27日-29日（三天）

地点：济南市（详细地点另行通知）

费用：1800元/人

规模：为保证教学质量，本次特训营限额70人（含学术中国vip会员）。

▍参加对象

1Stata零基础，想从零开始学习者。

2具备一定的Stata基础，但是感觉没学好，想重新梳理和学习的。

3各类市场调查公司、咨询公司、互联网公司和科研机构需要进行数据处理的人士。

授课形式：老师讲授指导，学员操作练习，助教随时答疑。

识别报名

▍报名咨询

咨询联系人：

张老师：；电话：010-56204616；

财务发票服务支持：

；

注意事项

1、报名截止日期：2017年10月20日 17:00（具体截止日期根据实际招生而定，人员招满，将会立即关闭报名通道）。

2、如您报名后有事不能参加，请在报名之后的10-15天之内办理退费，并将收取6%的手续费！2017年10月11日17:00之后不再接受退费！人数不满30人不开班！

3、本次会议可提供增值税普通发票，如需开具，请在购买时点开“是否开发票”项，并根据自己单位财务部门要求填写抬头和类目信息（一旦开具不能重开），发票类目为：网络会议费、信息服务费、会议费、咨询费，报名时可以直接任选其一，其他类目无法开具。信息填写完整的老师可现场领取发票。

J·保罗·埃尔霍斯特(J.Paul Elhorst) 的空间面板数据模型Stata代码，可实现SAR、SEM和SDM三种模型的运算。希望能对学习空间计量经济学的同学有帮助。

J. Paul Elhorst是荷兰格罗宁根大学经济与计量经济学系教授。他的研究领域是区域经济学、空间计量经济学、劳动力市场和欧洲区域政策，他也是当前研究空间计量经济学的著名专家，获得了区域经济研究领域的最高奖——马丁贝克曼奖（Martine Beckman Prize）。

XSMLE - A Command to Estimate Spatial Panel Models in Stata

Paul Elhorst#

Federico Belotti*,

Gordon HughesO, Andrea Piano Mortari*

#Department of Economics and Econometrics, University of Groningen

*CEIS, University of Rome Tor Vergata

OSchool of Economics, University of Edinburg.

2013 German Stata Users Group Meeting

Potsdam, June 7 2013

cap log c

clear all

set matsize 800

set more off

cd "D:\SpatialpanelsStata"

log using Cigarette_example_Stata.log, replace

////Spatial panel model estimation by ML using Stata////

*Example using Baltagi and Li (2004) cigarette demand panel data set

*For the course Empirical Macroeconomics: Spatial Econometrics, Prof.dr. J. Paul Elhorst

*Instructions for students

*First, they should install the routine by typing the following in the Stata command window

//net install xsmle, all from (http://econometrics.it/stata)

*There has been a recent update in July 2013 (corrects minor bugs, among other improvements, can implement Hausman test)

//ssc install xsmle, replace

* also install spmat

* Type findit spmat, and then click on install

*Side-note: Although this is a balanced panel, for unbalanced panel can use 'mixsmle'

/*Instructions: W from excel file into stata and coverting to spmat object

///Note: The W in stata format is already made and included in the folder

import excel "D:\SpatialpanelsStata\SpatweightUS.xls", sheet("Sheet1") first row

save "D:\SpatialpanelsStata\W.dta"

file D:\SpatialpanelsStata\W.dta saved

use W.dta,clear

spmat dta W s*, normalize(row)

spmat summarize W

spmat summarize W, links

spmat summarize W, links detail

*/

//row-normalized binary contiguity W matrix

use W.dta, clear

spmat dta W s*, normalize(row)

//Read in data set

use cigarette.dta, clear

//Panel

xtset state year

//Descriptive statistics

xtsum

xtdes

//Notes:

*1) Estimations below include both spatial and time fixed effects

*2) nsim() is optional to set the number of simulations to compute direct,indirect effect

*3) There is also an option to include the lagged dependent variable

//Spatial lag model (SAR)

xsmle logc logp logy, wmat(W) model(sar) fe type(both) nsim(500)

//Notes:

*1) wmatrix(name) species the weight matrix for the spatial-autoregressive term.

*2) model(sar)estimates the SAR model

*3) fespecies the fixed effect model；re species estimates the random effect model

*4) type(both)species the inpidual-fixed effct and time-fixed effct；type(ind)species only the inpidual-fixed effct；type(time)species only the time-fixed effct

//Spatial error model (SEM)

xsmle logc logp logy, emat(W) model(sem) fe type(both)

//Notes:

*ematrix(name) species the weight matrix for the spatial-autocorrelated error term.

//Spatial Durbin model (SDM)

xsmle logc logp logy, wmat(W) model(sdm) fe type(both) nsim(500) nolog

//Tests

*Test for SAR

test [Wx]logp = [Wx]logy = 0

*Test for SEM

testnl ([Wx]logp = -[Spatial]rho*[Main]logp) ([Wx]logy = -[Spatial]rho*[Main]logy)

//SAC model (also known as the SARAR model or Kelejian-Prucha model)

xsmle logc logp logy, wmat(W) emat(W) model(sac) fe type(both)

**note that SAC model results are the ones that differ most from Matlab results,

*but, the qualitative conclusions do not change.

*including time fixed effects (results more similar, but still some differences)

tab year, gen(year)

xtreg logc logp logy wlogp wlogy year*, fe robust

//Example comparing SDM fixed effects model vs. SDM random effects model

xsmle logc logp logy, wmat(W) model(sdm) fe type(both) nsim(500) nolog

estimates store sdm_fe

xsmle logc logp logy, wmat(W) model(sdm) re type(both) nsim(500) nolog

estimates store sdm_re

hausman sdm_fe sdm_re

*hausman sdm_fe sdm_re, eq(1:1 2:2 3:3)

上期我们了解了R语言数据读入的核心函数read.table，现在我们了解一下其他可以用的函数有哪些，以及使用的场景和基本技巧。

非关系结构文件读入scan()

除了read.table()这类读取文本文档的函数，还可以用scan()函数读入。不同的是它的返回值为列表或者向量。

假设我们有下述文本文档

24

1991

21

1993

53

1962

下列命令可以读入该数据

data<-scan("e:/birth.txt")data

## [1] 241991211993531962

此外，你代码稍加改造可以将数据变矩阵。

matrix(data,nrow=2,byrow=FALSE)

## [,1][,2][,3]

scan()也同样支持访问url数据上的数据，现在我们访问网上的一个age数据

data<- scan("https://s3.amazonaws/assets.datacamp/blog_assets/age.csv", what = list(Age = 0,

## $Age

注意上述代码中的what参数，如果what为list类通过上述代码可以读入类似于spreadsheet类型的文本文档。只需要定义每行中各个项目（列）的类型。scan()其他众多参数的用法和read.table比较类似。

固定列宽数据读入read.fwf()

有的时候我们可以知道每一列的宽度是多少，下列代码可以让我们读入这类数据

data<- read.fwf("https://s3.amazonaws/assets.datacamp/blog_assets/scores.txt", widths= c(7,-14,1,-2,1,1,1,1,1,1),

## subject sex s1s2s3s4s5s6

上述代码中width参数给出了字段的宽度。本例中，前7个字符为课程名字；然后的14个字符我们认为不需要，用-14跳过；接着，性别这一列需要一个宽度的字符；后面的2个空格不需要，用-2跳过；后续的成绩每列需要一个宽度1,1,1,1,1,1传入参数中。这些参数在不同的数据结构下，会有所不同。

另外，还可以使用read.fortran()函数读取数据，详细方法可以参见help文档理解。

导入excel数据

剪切板导入excel表格

如果你已经有了个打开的表格，你可以复制其中的内容，然后用readClipboard()或者read.table()函数导入数据。

readClipboard()#Only on Windows

RODBC包读入excel数据

通过RODBC包同样可以导入excel数据表。代码样例如下

library(RODBC)

其中，dsn的写法可以参考odbcConnect()函数的帮助文档。此外，odbcConnectExcel()同样可以读入excel数据。

当你读入了Excel数据表后,相当于建立了一个连接，你可以使用sql语句来操作数据

query<- ""

用RODBC包的建立了连接后，在操作完数据要使用odbcCloseAll()

其他方法读入excel数据

其他可以参考的方法有： * openxlsx包中的read.xlsx函数。 * readxl包中的read_excel函数。

其他类型的数据读入

其他主流数据类型R可支持的包括有JSON格式，SPSS文件，Stata文件，SAS文件，s-plus文件，EpiInfo文件，matlab文件，Octave文件，FitbitScraper 数据，Quantmod 数据，ARFF 文件。 支持导入的数据库有，MogoDB，MySQL，Oracle，PostgreSQL,SQLite,RJDBC，dBase等。

二进制数据读入

二进制数据由二进制浮点组成，8个浮点为一个字节。可以使用readBin函数读入此类数据。

connection<- file("", "rb") #You open the connection as "reading binary"(rb)

GIS数据读入

地理信息数据在R中也比较常用，常见的rgdal和raster包都有对应的函数处理此类数据。

大型数据集的读入

如何导入较大的数据一直是R用户的经常讨论的问题，除了将数据导入数据库中处理外，也有一些比较不错的处理大型数据的方法。

data.table包中的fread函数是比较容易实现快速读入大数据的方法，读入大型数据速度相当理想。

library(data.table)

ff包：该程序包磁盘缓存的技术可以读入超过内存限值大小的数据，常用的函数有read.table.ffdf(),read.csv.ffdf()等。

library(ff)

bigmemory包，此包也常用于处理大型数据。样例代码如下，但是此包不能用于windows系统：

library(bigmemory)

sqldf包，此包也可以考虑用于处理大型数据，它还可以使用sql语句处理数据。用read.csv.sql()函数读入数据。

library(sqldf)

随后我们别忘了R中的read.table函数，但是，用此函数读入大型数据，需要对参数有较好的控制。简单说，你能设置的参数越多，读入数据的速度越快。

总结

最后，我们将上述常见的方法做个了总结表格，读者可在用时参考，该表格涵盖了大部分常用数据格式的读入方法。

函数

来源

描述

scan

r-base

顺序读取文件中的数据值

read.fwf

按行和指定列宽度读取数据

read.fortran

采用fortran格式设置读取固定格式数据

readClipboard

读取剪切板中的数据

odbcConnect

RODBC包

读取excel数据，采用odbc

gs_read

googlesheet包

读取google sheet

read.DIF

读取DIF文件

read_excel

readxl包

读取excel文件

read.xlsx

openxlsx包

读取excel的xlsx文件

read.ods

readODS包

读取open document表格文档

fromJSON

jsonlite包

读取JavaScript的json文件

read_spss

haven包

读取spss文件

read_dta

读取stata文件

read.xport

forgein包，sasXPORT包

读取sas文件

read.S

foreign包

读取s-splus文件

read.epiinfo

读取epi Info文件

readMat

R.matlab包

读取MATLAB文件

read.octave

读取Octave文件

read.arff

读取Weka属性关系文件（ARFF）

…

mongolite包，Rmongo包，RODBC包，Roracle包，RPostgreSQL包，RSQLite包，RJDBC包

各类常见数据库导入数据到R

readBin

读入二进制文件

hdf5包，h5r包，rhdf5包，RNetCDF包，ncdf包

读入hdf文件，NASA和UCAR常用气象数据读取

read.dbf

读入DBF文件

read.ftable

读入无格式列联表Flat contingency table

fread

data.table包

大型文本文档读入

read.table.ffdf read.csv.ffdf …

ff包

read.big.matrix

bigmemory包

大型文本文档读入，无法在windows下使用

read.csv.sql

sqldf包

read.table

大型文本文档读入,但是需要合理设计参数，否则速度不理想

来源：DataCamp 编译：亮亮