准备工作

#进入spark目录

cd /usr/local/spark

#新建代码实验目录

mkdir demo_code

cd demo_code

#新建一个词频统计文件保存目录

mkdir wordcount

cd wordcount

#新建一个包含了一些语句的文本文件，网上摘取一段文字，保存，退出

vim demoWord.txt

spark-shell运行词频统计

#启动spark

./bin/spark-shell

#在scala中加载文本文件

val wordFile = sc.textFile("file:///usr/local/spark/demo_code/wordcount/demo_word.txt")

#查看内容

wordFile.first()

#计算词频统计方法

val wordCount = wordFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)

#查看词频统计结果

wordCount.collect()

如图所示：

Scala独立程序实现词频统计

#进入词频统计文件目录

cd /usr/local/spark/demo_code/wordcount/

#在词频统计文件目录下，新建scala程序目录

mkdir -p src/main/scala

#进入scala程序目录

cd /usr/local/spark/demo_code/wordcount/src/main/scala

#新建scala程序文件，编写程序，保存，退出

vim demo_word.scala

程序代码如下所示：

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

import org.apache.spark.SparkConf

object WordCount {

def main(args: Array[String]) {

val inputFile = "file:///usr/local/spark/demo_code/wordcount/demo_word.txt"

val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]")

val sc = new SparkContext(conf)

val wordFile = sc.textFile(inputFile)

wordCount.foreach(println)

}

sbt编译打包

#新建sbt文件用于编译程序，保存，退出

vim demo_word.sbt

编辑内容如下：

name := "demoWord Project"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

#编译程序

/usr/local/sbt/sbt package

编译成功

#运行程序

/usr/local/spark/bin/spark-submit --class "WordCount" /usr/local/spark/demo_code/wordcount/target/scala-2.11/demoword-project_2.11-1.0.jar

统计结果

Spark词频统计Demo介绍到这些

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

内容

简介

　　统计学之所以被滥用、误用，其实是因为它太有用，在某种程度上,可以说改变了世界上处理问题的方式。

　　这是一部统计学的史诗。一百多年来，统计学从无到有，以至于蔚为壮观。一部统计学的发展史，就是一部不断革新现有科学体系的历史。本书深入浅出地描绘了这一历程，为读者奉献了一场思想的饕餮盛宴。

　　这是一部关于叱咤风云的统计学学霸的传奇故事书。回望那段波澜壮阔的时代,一张张脸孔水一样掠过。在英国剑桥的某个午后，有位女士声称，把茶加到牛奶里，和把牛奶加到茶里，两种方法调出来的下午茶喝起来味道不同。在座的科学家都对她的说法嗤之以鼻，但有位来访的瘦小绅士，R.A.费希尔，提议要用科学的方法，来检验这位女士的假设……本书以这位喝下午茶的英国女士为起点，带领读者一一回顾“统计”这门应用范围很广的科学，了解若干重要理论的发展过程与应用，亲近那些隐身幕后的统计学家，看看统计究竟为今天这个世界，带来了什么样的改变。

　　这是一部大数据时代不容错过的实用之书。大数据时代，一切以数据说话，如何解读数据便与每个人的日常生活息息相关。统计学的本质就在于解读数据，读懂了本书，你就是大数据时代的明白人。

作者简介

　　戴维·萨尔斯伯格（David Salsburg），康涅狄格大学统计学博士，原辉瑞公司资深统计研究员，美国国家统计学会（ASA）会员，先后任教于哈佛大学公共卫生学院、康涅狄格大学、宾州大学、罗德岛学院及三一学院，著有多部统计学专著，本书是其代表作。

　　刘清山，清华大学毕业，译有《横向领导力》《物种起源》等作品。

目录

简目

自　序

第 1 章　品茶的女士

第 2 章　偏斜分布

第 3 章　亲爱的戈塞特先生

第 4 章　堆积如山的记事本

第 5 章　《收成变动研究》

第 6 章　“百年一遇的洪水”

第 7 章　费希尔的胜利

第 8 章　致死剂量

第 9 章　钟形曲线

第 10 章　拟合优度检验

第 11 章　假设检验

第 12 章　信任的骗局

第 13 章　贝叶斯的“异端邪说”

第 14 章　数学界的莫扎特

第 15 章　小人物的视角

第 16 章　摆脱参数

第 17 章　部分优于整体

第 18 章　吸烟会致癌吗？

第 19 章　如果你想得到最佳人选……

第 20 章　单纯的得州农家孩子

第 21 章　家族中的天才

第 22 章　统计领域的毕加索

第 23 章　污染处理

第 24 章　工业的重新缔造者

第 25 章　黑衣女子的建议

第 26 章　鞅的发展历程

第 27 章　意向性治疗

第 28 章　将自己提起来的计算机

第 29 章　建立在沙土上的摩天大厦

后　记

大事年表

出版后记

彩书摘

　　第一章

　　女士品茶

　　20世纪20年代末一个夏日的午后，在英国剑桥，一群大学教员、他们的妻子以及一些客人围坐在室外的一张桌子周围喝下午茶。一位女士坚持认为，将茶倒进牛奶里和将牛奶倒进茶里的味道是不同的。在座的科学家都觉得这种观点很可笑，没有任何意义。这能有什么区别呢？他们觉得两种液体的混合物在化学成分上不可能有任何区别。此时，一个又瘦又矮、戴着厚厚的眼镜、留着尖髯的男子表情变得严肃起来，这个问题让他陷入了沉思。

　　“让我们检验这个命题吧。”他激动地说。他开始规划一个实验，让声称两种茶存在区别的女士按顺序品尝若干杯饮品，其中有些是加了茶的牛奶，有些是加了牛奶的茶。

　　有些读者会说：这绝对是吃饱了撑的！他们会问：“不管这位女士能否分辨两种饮品，这件事有什么意义呢？”“这个问题一点儿也不重要，对科学也没有益处，”他们嘲笑道，“这些聪明人应该把他们的头脑用在能够造福人类的事情上。”

　　不幸的是，不管普通大众如何看待科学及其影响，根据我的经验，大多数科学家之所以投入到研究当中，是因为他们对结果感兴趣，并能从工作中获得知识性的乐趣。优秀的科学家很少会考虑他们的工作是否具有重要意义。回到剑桥那个阳光明媚的夏日午后。女士有可能猜中饮品的混合方式，也有可能猜错。这件事的乐趣在于找出一种方法判断她的说法是否正确。在尖髯男子的指导下，他们开始讨论如何验证这种判断。

　　许多人充满热情地加入到设计实验的工作中。几分钟之后，他们开始在那位女士看不到的地方以不同的方式泡茶。最后，决定性的时刻到了，尖髯男子把第一杯茶递给了女士。她品了一分钟，宣布这杯茶是将牛奶倒在茶里制作出来的。尖髯男子将她的回答记录下来，没有发表任何评论，然后把第二杯茶递给她……

　　科学的合作本质

　　20世纪60年代末，我从一个当天下午在场的人那里听到了这个故事。他叫休·史密斯（HughSmith），不过他的科学论文都是以H.费尔菲尔德·史密斯（H.FairfieldSmith）的名字发表的。我认识他的时候，他是斯托尔斯的康涅狄格大学的统计学教授。两年之前，我在康涅狄格大学获得了统计学博士学位。在宾夕法尼亚大学任教之后，我加入了大型制药公司辉瑞公司的临床研究部。该研究部位于康涅狄格州格罗顿市，距离斯托尔斯大约一个小时车程。我在辉瑞需要处理许多棘手的数学问题。当时我是那里唯一的统计学家，我需要与大家讨论这些问题和我的“解决方案”。

　　通过在辉瑞的工作，我发现科学研究几乎无法依靠一个人独自完成，通常需要多人合作。这是因为人们很容易犯错误。当我提出用于解决某个问题的数学模型，这个模型有时是不恰当的，或者我对当时的情况引入了一条错误的假设，或者我发现的“解决方案”来自等式的一个错误分支，就连我的验算也可能出错。

　　每当我去斯托尔斯的大学与史密斯教授讨论，或是去找辉瑞公司的化学家和药理学家讨论问题，他们通常都对我提出的问题表示欢迎。他们会带着热情和兴趣和我讨论。大多数科学家对工作的兴趣通常来自解决问题的激情。他们期待着研究问题、理解问题时与他人的交流。

　　实验设计

　　回到那个夏日午后的剑桥。留着尖髯的男子叫罗纳德·艾尔默·费希尔（RonaldAylmerFisher），当时不到四十岁。他后来被封为罗纳德·费希尔爵士。1935年，他写了一本名为《实验设计》的书，在第2章描述了女士品茶的实验。在书中，费希尔将这位女士和她的观点作为假设问题进行了讨论。他考虑了各种实验设计方法，以确定这位女士是否能判断出两种茶的区别。设计这项实验的问题在于，如果给她一杯茶，那么即使她无法判断出区别，她也有50%的机会猜对茶的种类。如果给她两杯茶，她仍然可能猜对。实际上，如果她知道两杯茶的制作方式不同，那么她对两杯茶的猜测可能都是对的（或者都是错的）。

　　类似地，即使她能判断出区别，仍然存在问题。她可能犯错误：某杯茶可能混合得不够好，混合的时候茶的温度可能不够高。面对10杯茶，她也可能只答对9杯。

　　在书中，费希尔讨论了这种实验的各种可能结果，描述了如何确定应当测试多少杯茶、测试的顺序以及应向女士透露多少顺序信息。他计算出了在女士拥有或没有辨别能力时出现不同结果的概率。在讨论中，他并没有暗示这种实验曾经发生过，也没有描述实验的真正结果。

　　费希尔这本关于实验设计的书是20世纪上半叶横扫所有科学领域的一场统计革命的重要组成部分。在费希尔登场前，科学实验已经进行了几百年。16世纪下半叶，英国物理学家威廉·哈维（WilliamHarvey）曾用动物做实验，通过阻断不同静脉和动脉的血流，发现血液是循环流动的，从心脏流到肺，回到心脏，再流向身体各个部分，最后流回心脏。

　　费希尔并没有将实验作为获取新知识的方式。在费希尔以前，实验是每个科学家的个人作品。优秀的科学家通过构造实验获取新的知识。平庸的科学家往往会通过“实验”得到许多数据，但是无法获得新的知识，如19世纪晚期诸多试图测量光速的科学家毫无结果的努力。直到美国物理学家阿尔伯特·迈克尔逊（AlbertMichelson）用光和镜子构造了一系列非常复杂的实验，人们才得到了第一组良好的光速估计值。

　　19世纪，科学家很少发布实验结果，他们会宣布他们已发表的数据“证明了”他们所得结论的正确性。格雷戈尔·孟德尔（GregorMendel）没有公布所有豌豆育种实验的数据。他描述了实验顺序，然后写道：“两组实验的前10个结果可以用于说明……”（20世纪40年代，费希尔检查了孟德尔用于“说明”的数据，发现它们的精确程度过高，没有表现出应当具有的随机性，不可能是真实的。）

　　尽管科学的发展来自仔细的思考、观察和实验，但从来没有人能说清应当如何做实验，而且人们通常不会把完整的实验结果告诉读者。19世纪末20世纪初的农业研究尤其如此。20世纪早期费希尔工作过的洛桑农业实验站在费希尔到来之前对不同肥料成分（叫做“人造肥料”）进行了将近90年的实验。在每次实验中，工人通常会在整个一块田地上播撒磷酸盐和氮盐的混合物，然后种植谷物，并对收获的粮食以及当年夏季的降水量进行统计。他们用一些详细的公式“修正”一年中一块田地的产出，以便与另一块田地或同一块田地其他年份的产出进行比较。它们被称为“肥料指数”。每个农业实验站都有自己的肥料指数，人们都认为自己的指数比别人的指数准确。

　　实验站90年实验的结果是一堆混乱的结论和大量没有发表的、毫无用处的数据。看起来，某些小麦品种比其他品种更适合某种肥料，前提是当年要有足够多的雨水。另一些实验似乎表明，头一年使用硫酸钾，第二年使用硫酸钠，可以让某些马铃薯品种增收，但对其他品种没有效果。

　　对于这些人造肥料，人们能得出的最好结论是，有些肥料有时也许可能有效。作为一名出色的数学家，费希尔查看了洛桑的农业科学家用于修正实验结果中不同年份天气差异因素的肥料指数。他研究了与之竞争的其他农业实验站使用的指数。他发现，在基本的代数层面上，它们属于同一公式的不同表现形式。换句话说，相互之间激烈竞争的两组指数实际上做的是同样的修正。1921年，他在顶级农业期刊《应用生物学年报》发表了一篇论文，指出使用不同指数的效果是相同的。这篇论文还指出，所有这些修正都不足以纠正不同田地肥料的差异。这篇出色的论文结束了20年的科学争论。

　　接着，费希尔研究了过去90年的降水量和作物产量数据，指出不同年份天气因素的影响比不同肥料的影响大得多。根据费希尔后来在实验设计理论中的说法，不同年份的天气差异和不同年份的人造肥料差异是“混合的”。这意味着我们无法将二者从这些实验数据中分离开。这表明，90年的实验和超过20年的科学争论几乎完全是在浪费时间。

　　这让费希尔开始思考实验和实验设计。他的结论是，科学家在实验之前需要为实验结果建立数学模型。所谓数学模型，指的是一组等式，其中一些符号代表实验中收集的数据，另一些符号代表实验的总体结果。

　　科学家需要根据实验中得到的数据，计算出相应科学问题的合理结果。考虑一位老师与某个学生的简单例子。老师想用某种方法衡量学生对知识的掌握程度。为此，老师通过对学生进行一组测试来“实验”。

　　每个测试的评分为0到100分。任何一次测试对学生学习程度的估计并不准确。学生可能不知道测试上的那些问题，但是知道许多测试上没有提到的知识；学生可能在参加某次测试的当天头疼；学生可能在参加某次测试的早上与父母吵了一架。出于很多原因，一次测试无法对学生掌握的知识做出良好的估计。所以，老师布置了一组测试，将所有这些测试的平均分作为对学生学习程度的参考。学生对知识的掌握程度是结果。

　　每次测试的分数是数据。

　　老师如何组织这些测试呢？每次测试应当只涉及过去几天讲授的内容吗？每次测试应当包含之前讲授过的所有内容吗？这些测试应当每月进行一次，每天进行一次，还是每个单元结束后进行一次呢？所有这些都是实验设计需要考虑的问题。

　　如果农业科学家想知道某种人造肥料对小麦生长的影响，他需要构造一个实验，得出对这种影响进行估计的数据。费希尔指出，这种实验设计的第一步是建立一组描述实验测量数据与估计结果之间关系的数学等式。接着，为了实现目的，这个实验必须能够让人们对这些结果进行估计。实验必须是具体的，能让科学家确定源自天气的结果差异与源自不同肥料的结果差异的比值。此外，必须将同一实验中比较的所有处理因素包含进来，这些因素后来被称为“对照因素”。

　　在《实验设计》中，费希尔提供了几个优秀的实验设计例子，总结出了良好实验设计的一般原则。不过，他的方法涉及的数学非常复杂，大多数科学家都无法独自构造实验设计，只能使用费希尔在书中提到的某个设计模型。

...

首先来说说数据科学吧，作为一门学科， 数据科学所依赖的两个因素是数据的广泛性和多样性，而广泛性和多样性之间又有共性。

数据科学主要包括两个方面： 用数据的方法来研究科学和用科学的方法来研究数据。

前者的包含面很广，囊括了生物信息学，天体信息学等领域。而后者包括统计学、CS、数据挖掘、数据库等领域。所以，要直白的说的话，就是数据科学包括了统计学，数据挖掘。而数据挖掘既相对独立，也可以作为一个统计学发展的小方向（与CS有关）而不是分支。而大数据则是个专有名词，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

统计学的主干课程都包括什么？主要都涉及到什么样的知识和实际背景？

两者的比较如果再从就业上讲，统计无疑是一个比较热门的专业，之中好多方向都比较好就业，每个方向都有其对应的工作，比如事业单位和经济、管理部门从事统计调查、统计信息管理、数量分析等开发、应用和管理工作，或在科研、教育部门从事研究和教学工作。而数据科学作为拥有完整知识体系的新兴的学科，其就业前景无疑也是可观的。

——圆圆

个人认为这三者既存在着密切的联系，也不完全相同。用数学的话来说，就是三者之间相互存在着交集，但也并不是完全包含。

其中涉及的最广泛的应该就是数据科学了。研究大数据的方法可以称作数据科学、而统计的研究方法就更可以算作是数据科学了。本身，数据科学就是在大数据的背景下提出的。它不仅包括大数据的研究方法和研究背景，更包括对于数据软件的使用、对于数据库的理解、甚至包括对于算法的理解等等。

大数据，是在近几年才刚刚提出并迅速走红的概念。它是未来数据分析和存储的新趋势。面对这个信息爆炸的时代，数据的高数量、高维度、高更新速度以及背后的高商业价值都对于传统的硬件存储、数据库管理和统计分析方法提出了更高的要求。原先的统计大多都是适用于小样本的情况，而面对这样的大数据往往显得无能为力。因此，相比较与其他的两个概念来看，它既是数据科学的基础，也是建立在统计基础上的一个科学。

最后，三者最共同的地方应该就是统计了，无论是数据科学应用在各个实际领域、还是大数据的各种突破过去经典数据规模的领域，它们的核心思想或者说最先处理的基础都是统计。如果任何数据都可以使用经典的统计方法去解决的话，不会再采用其他的模糊近似的方法进行操作。

综上，数据科学包含的内容更加全面、更加综合，它更像是一个对于实际的数据问题需要具备的一些基本甚至专业知识。而大数据，则只是一个概念，指的是对于现在这个数据泛滥时代的统称。而它的研究方法包括在数据科学之中。对于统计而言，它在应用领域与前两者也有着很类似的内容，然而其理论基础部分则与前两者不同，是前两者进行研究和发展的基础。

——高原红

想了解更多相关内容，记得持续关注我们哦。

如果你觉得有点意思，请有秩序的评论、转发、收藏。

一、首先要更正的一个观念：统计学类中，只有统计学和应用统计学。没有大数据技术。

教育部2012年本科目录中，统计学类，只有统计学和应用统计学。在经济学类下设经济统计学专业。

“统计学”起源于政治学与经济学，最早被称之为“政治的算术”，是一门关于如何正确、有效地搜集资料、整理资料、分析资料的科学，是一种研究随机数据的科学艺术。

二、统计学是理学门类下的一级学科。

随着现代科学技术的迅猛发展，统计学的应用领域已不再限于经济学。

统计学发展至今，已诞生出许多边缘分支学科，如生物统计学、医学统计学、气象统计学、地质统计学、教育统计学、经济计量学、社会计量学、政治计量学、语言计量学、历史计量学等。

正因为如此，才有了应用统计学这门专业的产生。

在经济学科中，诺贝尔经济学奖得主大多数都是经济计量学家兼统计学家，经济计量学本质上就是统计学在经济学中的应用。

从这个意义上说，经济统计学，也是应用统计学的一类分支而已。

三者之间目前的区别，在于学位和主干课程。

经济统计学主干学科：理论经济学，应用经济学，统计学，发经济学学士学位。

应用统计学，主干学科：统计学，发理学学士学位

统计学：主要学科：统计学、数学，发理学学士学位。

三、数据科学与大数据技术专业是新兴专业，不只是统计学。

数据科学与大数据技术，不只是涉及到统计学，还有数学、计算机及各行业的学科内容。是学科交叉融合的一门新兴专业。

涉及领域

1、统计学

2、数学

3、计算机

4、数据采集相关技术

5、不同行业的数据应用

数据科学与大数据技术专业为2015国家新增专业，首批仅北京大学、中南大学和对外经济贸易大学三所学校申报成功。

但在2018年有近100多家申办这类专业。

四、勋哥建议

1、选择统计学类专业，应具备扎实的数学基础，后继课程的学习离不开数学能力的培养。

现代的统计学专业是在随机抽样基础上建立的推断统计学，在专业课程中，概率论是基础课程，其次是数理统计。基本的统计方法包括回归分析、多元统计分析、抽样调查、试验设计、时间序列分析及描述性统计等，是主要的专业课程。具备良好的专业素养也能为将来的继续深造打下基础。

2、选择数据科学与大数据专业，要仔细选择就读院校。

因为新办这个专业院校的太多，所以选择这个专业，应该看学校原来是不是有基础？有没有开设数据相关方向的研究生专业，博士生专业，研究中心、实验室的层次是怎样的？

另外，新增设的专业，交叉学科，课程任务繁重，最好要有考研的打算和安排。

CDA数据分析师原创作品

身处21世纪的今天，数据分析行业急剧发展，越来越多的企业已经意识到大数据分析的重要性和发展潜力，同时越来越多的传统行业公司开始转型升级，开始引入并发展专属自己的大数据分析部门及岗位。由此也滋生了越来越多的人想进入大数据领域——或许你是即将毕业的大学生，基于自己的文科背景担忧自己能否零基础入门大数据行业，毕竟隔行如隔山，到时学不进去又误了自己找工作的时间，也是左右皆空啊；或许你刚毕业一两年，当初浑浑噩噩毕了业随便找了个工作，现在终于觉得要好好规划人生了，正迷茫于到底要不要学习大数据分析技术进入人才济济的大市场岗位，好为自己的未来职业生涯奠定基础；或许你早已流转职场多年，感觉身处瓶颈期的自己已无晋升或提升空间，正为要不要转行到大数据分析行业而摇摆不定……其实， 一切的担心都是人之常情，一切的担心不过都是过眼云烟，“车到山前必有路”，我们只需问清楚自己的内心，自己到底想要什么。反正时光匆匆，与其踌躇不前倒不如给自己一个痛快，要知道，这是个人人必争的时代，这是个努力努力再努力的时代！

首先我们要知道什么是大数据？

顾名思义，大数据就是巨量数据，海量数据，也可以说是数量大，结构复杂，类型复杂的数据的集合。而从这些数据中获取有价值的信息的的能力，就是大数据技术。

大数据需要什么基础？学习大数据需要以下几个方面的基础：

1、 编程语言基础

2、 Linux系统的基本操作

3、 数据库

4、 Hadoop架构基础

5、 机器学习

一、编程语言基础

新手学大数据，首先要具备的是编程语言基础，如Java、C++等，要初步掌握面向对象、抽象类、接口、继承、多态和数据流及对象流等基础，编程语言在大数据中占据了不可逾越的地位，掌握一门编程语言再学习大数据会轻松很多，甚至编程语言要比大数据学习的时间更长。

二、Linux系统的基本操作

Linux系统的基本操作是大数据不可分割的一部分，大数据的组件都是在这个系统中跑的。重点是要学习一下Linux环境的搭建，搭建平台有Ubuntu、Centos。内容包括系统配置、系统安装、SSH、软件安装等。

三、数据库

只要跟数据打交道就离不开数据库，SQL语言是每个数据分析师必不可少的一项硬技能，当然，学习大数据SQL也是必经之路。

四、Hadoop架构设计

要学大数据，首先要了解的是如何在单台Windows系统上通过虚拟机搭建多台Linux虚拟机，从而构建Hadoop集群，再建立spark开发环境，完成大数据环境的配置搭建。也是学习大数据的第一步。

Hadoop生态体系HDFS分布式文件系统；MapReduce分布式计算模型；Yarn分布式资源管理器；Zookeeper分布式协调服务；Habse分布式数据库；Hive分布式数据仓库；Sqoop大数据迁移系统；Spark的基本应用等，是大数据生态圈的组件和作用。

五、机器学习

要使得大数据相关内容得到应用，则必然会涉及大量机器学习及算法的内容，发挥出大数据的优势，让你的办公效率更快，更强。这也是大数据最大的优势所在，使得计算机性能得到最大的利用。

学习大数据分析需要从以下几个模块入手：

大数据平台基础知识

数据库知识应用

大数据仓库知识应用

数学及统计学基础

Python机器学习

大数据平台分析Spark工具

大数据综合案例

时光匆匆，我们生活得也很匆忙，如何匆忙中取胜，如何匆忙中取静，一切都要看个人的造化。好比掘地挖井取水，很多人都半途而废，甚至还差几十厘米就挖通了水源，但坚持和忍耐实在太考验人，也太折磨人，但也区分出了优胜劣汰的结局，毕竟不是人人都可以成为“吃得苦中苦，方为人上人”的胜利者。不过选择却在我们手上，我们选择做“苦中苦之后的人上人”，还是“三天打渔两天晒网的无功而返者”，都要我们自己一步一步去拨开迷雾。当你在刻苦努力时，你想到的是一群在KTV通宵狂欢的买醉哥们，还是年纪轻轻早已行走在佛罗伦萨小镇度假的大学同窗，好好掂量，好好鞭策，相信你会做出更明智的选择！

大数据已经被炒的很热了，但通过我多年从事数据相关工作的经验，这个行业目前已经逐渐成熟了，每天我们在互联网都要存留大量的信息，但如何收集、整理这海量的信息，并产生价值，已经是各行各业都在探索的重要课题，且不说在海量数据中挖掘用户需求，预测未来的市场导向，就连政府的政务数据也要云计算、大数据。但是目前大数据工程师的人才缺口非常大，现在投身大数据领域绝对是绝佳的时机。但但从技术角度来看，有一定难度，大数据需要很多种基础理论知识与编程框架、分布式服务器等来支撑，这也是使得一个大数据工程师的人才要比做应用开发、做业务系统编程的人才缺的多。所以我们通过多年的经验，来设置大数据工程师学习路线，希望能让童鞋们更容易的踏上这条路！

如果有编程背景这是最好的了，会节省很多学习时间，更容易理解。因为大数据环境比较复杂，并不像学习编程软件一样，机器安装一下，跟老师敲几行代码就可以了，但大数据可就要麻烦多了，至少要准备好虚拟化的集群环境，然后又要安装部署各种计算框架，所以需要有耐心，有一定解决问题的能力，坚持不懈，才有可能学好大数据。我推荐的学习步骤是:打好基础，理解为主。多动手实践，一定自己搭建出编程环境。后面再不断的学习spark、python、storm、云计算等相关课程，慢慢自己的头脑中会形成一套知识体系，对大数据的理解也会越来越透彻！

首先是基础入门，大数据包含的知识面非常广泛涉及很多技术，我根据自己多年工作经验与自己收集整理的课程做的设置。基础进阶，重点是从Java语言学起，然后是对Linux的学习，统计学的学习。大数据包含几个部分一是数据的采集与处理，二是大数据的应用，第一部分依靠分布式、云计算与一些处理特殊情况，数据处理的技术框架组成，这里重点是hadoop分布式框架，spark框架。分别解决大数据存储问题。同时对于关系数据库对大量数据的处理也需要学习，毕竟很多大型商业系统的业务数据还是由传统的关系数据库进行管理的。最后，再linux与java上我也加入了深入学习的课程。供同学提高编程能力与水平。这套课程比较适合伴随职业生涯慢慢学。不适合填鸭式学习。不能当电视剧看，没意义。

大数据的Java基础 14课

大数据的linux基础 21课

大数据的统计学基础 15课

Hadoop数据分析平台 17课

Hadoop2.X大数据平台 14课

Scala语言入门 5课

大数据平台Spark入门与精通 10课

Maven教程 15课

Linux文本编辑器VIM 6课

Git权威指南 8课

大数据平台Storm入门到精通 15课

大数据C、C++基础 14课

Linux运维 56课

MYSQL高级性能优化与架构 16课

Oracle11g海量数据架构设计 13课

javaEE+Hadoop大数据

中级进阶这部分重点在于大数据的数据处理的技术应用，storm对于大数据的实时数据分析，像微博实时榜单这种应用，需要storm。etl工具可以从多种数据源，大数据、关系库、文本等多种数据源抽取数据并统一加载。同时学习数据仓库架构与研发流程的课程，学习数据仓库的技术，对数据的整理与应用提出了一套方法论，通过OLAP的维度模型来处理各种数据应用需求，BI与数据接口等。同时学习mahout是做数据挖掘应用的深度学习的框架。还有Nosql的数据库,Redis与Mongodb技术，用于第三方数据抓取的编程语言Python,与分布式内存处理技术的spark框架与scala语言。并且设置的一些实战课程。未来课程内容也会不断更新

Python网络程序开发 12课

Storm大数据开发 8课

Storm应用实战18课

Hadoop应用开发实战案例 15课

数据仓库全流程开发详解 15课

ETL开发之Kettle 15课

NoSQL与NewSQL数据库引航 19课

MySQL数据库运维 15课

大数据之Scala语言 5课

Redis技术详解 26课

Mongodb技术详解 18课

Oracle职业直通车 26课

Mahout数据挖掘 28课

Docker大讲坛指引未来的云计算 10课

Spark纯实战大讲坛 5课

高级实战这个阶段的重点是深入学习、源码解析与实战，源码解析是希望能更深入的理解开源框架对解决实际问题的编程模型，同时很多大公司在对这些开源框架的应用上并不是直接拿来使用，因为标准版本可能无法解决这种大公司的一些特殊业务需求，都是对源代码进行二次开发，升级改造，重写等来满足自己的业务需要，所以大牛是要有改编能力的。百度就是这样干的，最好的例子就是咱们发货用的云盘，就是。同时数据挖掘、机器学习也是非常重要的大数据应用，阿尔法狗就是利用这个技术打败李世石的。openstack企业私有云是很多大企业内部都要用到的云服务技术，企业的内部应用目前也都是奔着SAAS，软件及服务的方式来实现，所以企业内部的大数据技术也是非常必要的。

Hadoop源码解析与开发实战 43课

大数据HBase源码解析与开发实战 26课

大数据Hive源码解析与开发实战 24课

大数据Hadoop数据挖掘实战

Zookeeper入门到精通 8课

Flume应用开发实战 12课

Mahout入门与项目实战 20课

大数据之机器学习 11课

大数据之Linux内核探秘 13课

深入浅出Hive企业级架构优化 7课

Storm的集群搭建实战 8课

OpenStack企业私有云实战培训课程 12课

Nutch相关框架 20课

基于大数据的推荐系统设计 9课

大数据挖掘下的机器学习 11课

普遍的定义认为，统计学是关于数据的科学，研究如何收集数据，并科学地推断总体特征。大数据和统计学还是存在一定区别的，其一是数据分析时不再进行抽样，而是采用population（n=all）；其二是分析方法，侧重所有变量之间的相关性，而不再根据背景学科理论筛选变量，进行假设检验。

现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。

普查和抽样调查是传统的两大数据收集方法。普查不需要统计学方法进行推断估计，因为通过普查，已经取得了所有个体数据和总体的实际分布，这也是为什么人类开始懂得计数就开始进行普查。抽样调查是利用抽样理论解决如何科学设计样本，取得样本个体数据，并科学地推断总体分布及特征。无论是普查还是抽样调查，其核心问题之一是要取得准确的“个体数据”。但在大数据时代，一切皆可量化，一切皆可记录，如何利用更全面、更及时、更经济的网络电子化数据，以及通过对这些数据使用新的分析及挖掘技术，产生新的见解和认识，是我们面临的重大机遇。

大数据的应用可以说是在减少人类处理数据时带入的主观假设的影响，而完全依靠数据间的相关性来阐述。而由于消除人为因素带入的误差，已经分析人员作出假设的限制（如果教育背景和保险购买额是相关的，而分析人员没想到，那这个结论就不会被分析出来，这在实际案例中是很容易发生的，大数据的核心也就在于它能更充分的发掘数据的全部真实含义。

在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。

西线学院培训机构提供良好的教学环境，良好的师资以及行业资源，使得西线学院教学永远都是跟随行业进步的步伐。说了这么多，其实就是想让你更加了解大数据。如此优秀的资源和别人望眼欲穿的实习机会，再不行动就要被后来居上的技术人员拍死在沙滩上了。

给大家整理一下本年度一些优质的文章，根据大数据相关的知识点一个个整理的，整理的内容包括知识点普及、学习书籍、学习路线图、学习笔记、学习资料、学习视频等等。

AI时代就业指南

未来已来：AI时代就业指南

AI时代就业指南：计算机、统计完全零基础，到底能不能学数据分析？

AI时代就业指南：数据科学人才成长之路

AI时代就业指南：Java 程序员如何转行做大数据？

AI时代就业指南：企业在招什么样的大数据工程师？

AI时代就业指南：女生适合做数据分析吗？

AI时代就业指南：数据挖掘工程师成长之路

AI时代就业指南：数学专业，你看不见的前尘似锦

AI时代就业指南：数据挖掘入门与指南

AI时代就业指南：普通程序员如何转向AI方向

AI时代就业指南：作为大数据从业人员，如何写好一份可堪入目的简历？

大数据

【入门】大数据行业如何入门-书籍、工具、案例（问题集锦）

【工具】2017 年你应该学习的编程语言、框架和工具

【资料】史上最全的“大数据”学习资源（上）

【资料】史上最全的“大数据”学习资源（下）

【路线图】大数据工程师学习路线图

【路线图】2017年最全的数据科学学习计划

【就业】2016年数据科学薪酬大盘点

【学习群】数据挖掘-机器学习

数据分析

【入门】数据分析那些事（数据分析师入门必看）

【职业】数据分析与数据挖掘类的职位必备技能

【职业】与大数据相关的工作职位有哪些？

【路线图】数据分析师学习路线图

【路线图】数据科学学习路线图

【书单】数据分析师的必读书单

【学习群】人人都是数据咖

统计学

【书单】统计学入门经典书单

【视频】大数据统计学基础

【学习群】大数据-统计分析

SQL

【文章】实用SQL语句大全

【笔记】SQL学习点滴合集

【视频】13次课了解sql2008的故事

Python

【教程】python快速教程

【文章】python爬虫实战

【文章】Python-pandas技巧系(量化小讲堂)

【路线图】python学习路线图

【路线图】Python大数据学习之路

【资料】python机器学习入门资料梳理

【视频】Python入门：数据分析与数据挖掘

【课程】Python进阶：数据挖掘实战

【学习群】Python数据挖掘-初级

【学习群】Python数据挖掘-高级

R

【文章】R语言知识体系

【文章】怎样学习R（上、下)

【文章】ggplot2绘图入门系列

【文章】R利剑NoSQL系列文章

【文章】R语言常用数据挖掘包

【路线图】R语言学习路线图

【视频】R学习免费学习视频

【课程】R语言入门

【课程】R语言实战

【课程】机器学习与R语言实践

【课程】R语言量化交易

【工具】全球最火的R工具包一网打尽，超过300+工具，还在等什么?

【学习群】R语言数据挖掘-初级

【学习群】R语言数据挖掘-中高级

Hadoop

【文章】Hadoop学习路线图

【文章】RHadoop实践系列文章

【教程】Spark入门实战系列教程

【课程】大数据实战工具Spark

【学习群】大数据-hadoop-spark

数据挖掘/机器学习

【入门】机器学习和数据挖掘推荐书单

【路线图】R语言学习路线图及R数据挖掘包

【路线图】Python数据分析和数据挖掘学习路线图

【路线图】机器学习路线图

【资料】近200篇机器学习&深度学习资料

【学习群】大数据-机器学习

因文本问题无法嵌入链接，请复制http://ppvke/Blog/archives/27665 至浏览器查看原文

大数据时代背景下对应用统计学专业的思考

一、概述 众所周知，统计学自古至今就是一门以研究数据为主的学科，至今已经形成了较为成熟的数据研究体系与框架。统计学专业的学生的主要就业方向是银行、会计师事务所、市场调查公司或其它企事业单位。因此目前统计学教育的主要目的是能够培养出独立完成问卷设计、数据收集、应用模型进行数据分析的高级统计人才，其主要专业课程包括：高等概率论与数理统计、应用回归、多元统计、市场调查实务、时间序列分析、金融计算等，这些课程仍然是传统的课程设置，并不符合大数据时代数据科学家的专业知识构成。因此，在大数据时代背景下对应用型本科院校应用统计学专业的培养模式和教学改革的思考是非常有必要的。 　　2012年3月29日，美国在倡议书中指出，美国将应用收集巨大、复杂数据的挖掘能力，加速科学与工程学科的创新脚步，改革学生培养模式。北京师范大学邱东教授探讨了面对大数据潮流人们应持有的科学态度，从大数据的概念功能、统计学与数据科學的关系、大数据潮流对统计学产生的影响等4个方面论述了大数据对统计学的挑战[1]。英国学者维克托·迈尔·舍恩伯格认为大数据的精髓在于分析信息时的3个转变：一是可以分析和处理更多甚至是全部的数据，不再依赖随机抽样；二是研究数据如此之多，以至于人们不再追求精确度；三是人们不再热衷于寻找因果关系[2]。为适应大数据时代对数据处理人才更高综合素质的要求，统计学科教师与专业教育应在知识结构、教育内容、教育方式和人才培养模式等方面，主动进行与时俱进的充实、调整及变革[3]。文章拟从数据挖掘与统计分析的联系与区别、大数据对统计教育及统计人才的机遇与挑战的新形势下从政府、企业和人才等多个角度进行展开调查，对于应用型本科院校培养顺应时代发展的应用统计学专业的高层次人才提供相应的建议。 　

二、统计分析与数据挖掘的区别与联系 　　统计分析是指运用统计收集整理方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。 　　统计分析过程：描述要分析的数据的性质，研究基础群体的数据关系，创建一个模型，总结数据与基础群体的联系，证明（或否定）该模型的有效性，采用预测分析来预测将来的趋势。 　　统计分析方法：（1）描述统计：将研究中所得的数据加以整理、归类、简化或绘制成图表，以此描述和归纳数据的特征及变量之间的关系的方法。集中趋势、离散程度、相关强度等、指标有平均数、标准差、相关系数等；（2）推断统计：用概率形式来决断数据之间是否存在某种关系及用样本统计值来推测总体特征的一种重要的统计方法。总体参数估计、假设检验、Z检验、T检验、卡方检验等数据挖掘是从庞大的数据中分析出有目标数据群，筛选出利于决策的有效信息。数据挖掘的数据量极大，注重数据查询分析的可行性。数据挖掘是着眼于预测未来，从大量的数据中寻找某些规律。

数据挖掘过程：（1）定义问题：分析业务需求、定义问题的范围、定义计算模型所使用的度量、定义数据挖掘项目的特定目标等；（2）准备数据：删除错误数据或插入缺失值、查找数据中的隐含相关性、标识最准确的数据源、确定哪些列最适合用于分析；（3）浏览数据：计算最小值和最大值、计算平均偏差和标准偏差、查看数据的分布；（4）部署和更新模型：根据实际数据部署、更新模型；（5）浏览和验证模型：测试模型的性能、需要使用不同配置创建多个模型，并对所有这些模型进行测试，查看哪个模型为最佳；（6）生成模型：通过创建挖掘结构定义要使用的数据列、将挖掘结构链接到数据源，但只有对挖掘结构进行处理后，该结构才会实际包含数据。 从上可以看出大数据虽与统计学密切相关，但二者也在研究目的、数据处理对象和技术工具上有着诸多差异。大数据的兴起不仅在分析手段、工作重心和价值理念上给统计学带来了重大影响，而且也使担负着培养现代统计工作和数据分析之人才的统计教育面临严峻挑战。 　

三、大数据对统计人才及统计教育的机遇与挑战 　　根据2014年大数据应用现状和趋势展开的调研分析，被调查者最关注的大数据技术中，排在前三位的分别是数据分析（统计分析与数据挖掘等）（25.5%）、数据采集（19.9%）、数据处理 （18.5%）。企业数据管理面临的挑战：缺乏专业的大数据人才（26.95%）成为企业面临的最大挑战，其次是非结构化数据的分析和处理（26.65%）、传统技术难以处理大数据（25.27%）以及新技术门槛过高（21.13%）。根据2015年2月Forrest报告，很多企业都在努力挖掘其拥有的大量数据，包括结构化、非结构化、半结构化数据等，探索对数据的深入利用。从国内企业大数据应用的现状和规划来看，已经部署大数据应用的企业所占比例达到21.89%，计划1年内部署的企业占27.92%，计划2年内部署的企业占14.34%，没有相关计划和不确定的企业分别占11.32%和24.53%。大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据Gartner预测，到2016年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。 　　根据学院统计学不同方向等专业的学生、老师、专家以及政府范围工作人员等进行访问调查的结果，然后结合现如今大数据时代企业和政府对人才的需求，最终制定应用型人才培养方案分别如下： 　　（一）深化课程教学内容改革 　　1. 更新教学内容，紧跟时代发展——大数据、互联网金融、国民经济统计、货币银行、经济预测与决策；2. 强化统计基础，提高实践操作——统计方法、软件实现、贝叶斯统计、非参数估计、统计软件、数据挖掘；3. 强调专业导向，拓宽就业方向-选修、考证；金融类、经济类、管理类、会计类；统计从业资格证书。 　　最终根据学院不同方向统计学专业设置专业核心课如下： 　　（1）应用统计学：主要专业课 调整为：概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析，抽样技术、数据挖掘、贝叶斯统计、计量经济学、统计软件、非参数统计、统计调查等；（2）应用统计学（金融统计）：主要专业课 调整為：概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析，抽样技术、数据挖掘、金融计量学、风险管理、保险学、非寿险精算、统计软件、国民经济核算、统计调查等；（3）经济统计学：主要专业课 调整为：概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析，抽样技术、数据挖掘、国民经济核算、风险管理、保险学、非寿险精算、统计软件、金融计量学、统计调查等。 　

（二）重视教学方法改革 　　1. 教师教学理念——单向灌输式转向引导探究式、教学案例能贴近实际问题（体测数据、大学生婚恋、手机）；2. 鼓励学生参与各类项目——科研、调研、方案设计、抽样调查、统计调查、学科竞赛、教师课题（分解子课题）；3. 注重综合能力提升——表达、协作、创新、研究报告、PPT展示等。 　　（三）建立完善的实践教学系统 　　1. 基本知识技能实验——理论教学的课内实验，大一、二：数学类；大二、大三（上）：专业基础；2. 综合性实践教学——综合性数据的采集、处理、分析，大三（下）、四（上）：数据挖掘、统计软件、统计调查；3. 探索性实践教学——社会调查、毕业实习、毕业论文，大四（下）。 　　（四）改革课程考试方式 　　1. 基本知识（理论）+实验报告（平时）+综合实验（期末）数学类；专业基础课程；2. 方案设计、调研报告、抽样调查、统计调查；3. 综合实验，数据挖掘、统计软件。 　　四、结束语 　　最终学院统计系下设两个教研室和一个研究中心，即基础统计教研室、专业统计教研室和大数据统计科学应用研究中心。秉承和依托母体学校——上海财经大学的办学宗旨和学术底蕴。在全校统计学公共课教学方面，针对学生的特点，课程教学采用课堂教学、调查实践与统计调查大赛相结合的教学方式与形式。也采取和校外企业、单位等合作项目老师指导学生参与的形式，这样既提高学生的实践能力又加强了师生之间的交流。在这样边学理论边实践的过程中也让学生足够了解现在企业所需人才的类型、找到自己的不足再补充理论方面的知识，然后学生还可以向学校反馈信息，这样最终形成一个学院专业始终跟得上经济的发展形势，不断地改革和完善教学内容，争取培养出在各级政府机关、银行、证券以及上市公司、企业集团、跨国公司等企事业单位和经营管理机构从事统计、市场调研、市场预测与决策、信息咨询、可行性研究和综合评价等实际工作以及科研单位从事研究工作的应用型人才。