网站性能检测评分
注:本网站页面html检测工具扫描网站中存在的基本问题,仅供参考。
统计学中数据分析
数据分析:统计学教学中存在的问题与对策,看完长见识了 公司视频课程
统计学教学中存在的问题与对策
目前统计学已在各行各业得到了广泛的应用,特别是在大数据时代,人们的生产生活已越来越离不开统计学。由于统计学如此重要,教育部将统计学规定为经济类和工商管理类本科专业的专业核心课程。但是,当前统计学的教学还存在诸多问题,从而使统计学的教学效果大打折扣。本文将结合笔者的教学实践,对统计学教学中存在的主要问题进行分析,并提出相应的对策,期望对统计学的教学改革工作提供一点思路。 一、统计学教学中存在的主要问题
1、在教学过程中忽视对数学知识的复习 当我们在统计学的讲授过程中涉及到概率分布、假设检验以及矩阵运算等知识点的时候,很大一部分学生表现出茫然的神情,表明学生在学习统计学的时候,已经对过去所学的数学知识有所遗忘。《计量经济学》教材一般都会有一个数学附录,可以帮助学生用较短的时间对关键的数学知识进行复习。《统计学》教材一般没有这样的数学附录,统计学教师也不会专门给学生复习相关的数学知识,而这些数学障碍恰好是导致学生学习效率低下的主要原因。中国有句俗语“磨刀不误砍柴工”,因此笔者认为在进行统计学这门课程的教学时,有必要专门安排时间对学好统计学必需的数学基础知识进行复习。 2、在教学过程中忽视案例的运用 统计学是一门实践性很强的学科。统计学中的每一个知识点都是与实践相联系的,比如均值、标志变异度这些看似简单的知识,都包含了丰富的实践意义。而有些教师在上课的时候,主要教学生如何去计算相关的统计指标,把统计学当作一门数学课程来教,学生也把统计学当作数学来学。教师在教学中忽视了对实践收集整理案例的运用,导致学生不能真正理解相关知识点的真正含义,从而觉得统计学又枯燥、又难学,并失去了学习的兴趣。 3、理论讲解与统计软件教学脱节 统计学是一门实践性很强的学科,即学生从统计学中学到的知识是完全可以应用到工作实践的。与教科书中的例题不一样,在工作中所得到的数据的样本容量一般都很大,这就需要通过相应的统计软件来进行处理。据笔者了解,许多高校在安排统计学这门课程的时候,一般安排十六周左右的理论教学,另外安排两周实践教学,在实践教学环节主要是学习SPSS软件。我们认为,这种教学安排并不能很好地促进统计学的教学,其理由主要有两点:其一,理论讲解与统计软件的教学完全脱节。由于是在理论学习完全结束之后才开始教学生进行软件操作,学生可能对学过的理论知识已经遗忘,在学习软件操作时,只是进行机械性的操作,而不明白每一步操作的真实含义。其二,学习软件操作的目的并不是为了简单地进行数据处理和数据分析,事实上通过软件的学习还能促进对理论知识的理解。而像这种教学安排,是先学完理论之后,再学习软件操作,就不能很好地起到通过软件操作促进理论知识学习的目的。 二、提高统计学教学效果的对策
1、注重案例的讲解 由于统计学的实践性很强,我们可以从生产生活中找到许多案例来帮助提高统计学的教学效果。通过合理地运用案例,既可以增进学生对统计理论的理解,同时又能提高学生学习统计学的兴趣。下面将具体介绍笔者在讲授假设检验时是如何通过案例的讲解来增加学生对统计学知识的理解以及提高学习统计学的兴趣的。假设检验是统计学教学中的重点和难点。假设检验是利用样本提供的数据资料来检验事先对总体某些数量特征所作的假设是否可信的一种统计方法。当对总体参数的真实性感到怀疑,需要通过样本来考察其正确与否时,往往借助于假设检验作判断,从而决定接受或拒绝这一假设。 笔者在讲授这部分内容时,引用了吴喜之在其《统计学:从数据到结论》一书中的一个案例。其内容是:如果一个人要证明他从来没有骂过人。他能够证明吗?要证明他没有骂过人,他必须出示他从小到大每一时刻的录音录像,所有书写的东西等等,还要证明这些物证是完全的、真实的、没有间断的,这显然是不可能的。 反过来,如果要证明这个人骂过人很容易,只要有一次被抓住就足够了。这就相当于假设检验中的反证法。在假设检验中,一般要设立一个原假设,比如可将“从来没有骂过人”设为原假设,设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设与现实之间的矛盾,从而否定这个假设。如否定不了,说明证据不足,无法否定原假设。许多学生说他们在学习《概率论与数理统计》这门课程时,虽然也学过假设检验,但是从来没有真正明白假设检验的含义,而通过对这个案例的学习,他们对假设检验有一种豁然开朗的感觉,并且觉得统计学原来这么有趣。 另外,对于假设检验中的一类错误和二类错误,学生也很难理解,在讲授这部分内容时,笔者又列举了另外一个案例来帮助学生理解。当一个人被控告为罪犯时,他将面临审讯。控告方提出控诉后,法官必须根据证据做出裁决。事实上,法官就需要进行假设检验。这里有两个假设需要被证明。第一个假设为原假设H0:被告无罪;第二个假设为备择假设H1:被告有罪。事先法官并不知道哪个假设是正确的,他们将根据控辩双方所提供的证据进行判断,最终的结果只有两种可能:判定被告有罪或无罪释放。在统计应用中,判定被告有罪就相当于拒绝原假设,授受备择假设;而判定被告无罪也就相当于不能拒绝原假设,但我们并不能接受原假设。
当我们进行假设检验时,存在两种可能的错误。第一类错误是当原假设正确时,我们却拒绝了它。第二类错误当原假设有错误时,我们却没有拒绝。在上面这个法官审案的例子中,第一类错误就是一个无罪的人被判定有罪。第二类错误就是一个有罪的被告被判定无罪。我们把发生第一类错误的概率记为α,通常它也被称为显著性水平。第二类错误发生的概率为β。发生错误的概率α和β是相反的关系,这就意味着任何尝试减少某一类错误的方法都会使另外一类错误发生的概率增加。根据检验的一般原则,首先要保证犯第一类错误的概率α要足够的小。因为司法审判中,第一类错误被认为是更加严重的。通过对这个案例的学习,学生就能很好地理解,为什么我们会将显著性水平规定为0.01或0.05,最大一般不会超过0.1。
2、强化统计软件的教学 在统计学教学中加强统计软件的教学,并不仅仅是为了教会学生用统计软件去整理数据和分析数据,另外一个目的就是通过操作统计软件帮助学生理解统计理论。目前大多数学校为了合理利用比较紧缺的实验教学资源,往往对理论教学和实践教学环节进行分开安排,而这样做的弊端就是不利于上述目标的实现。事实上现在许多大学生都有自己的个人电脑,对一些统计软件的学习并不一定要去实验室,教师可以在课堂上进行简单的演示,让学生在课后多练习操作。我们认为在统计学教学中使用Stata统计分析软件将更加方便,因为Stata是世界上最权威的三大统计软件之一,具有占用内存小、功能非常强大、运算速度快和不需要安装等优点。 我们在前面的分析中曾谈到为了提高学生学习统计学的效率,很有必要对学好统计学必须具备的数学基础知识进行专门的复习。如果我们用Stata软件来帮助学生复习数学知识,其效率会更高。下面将列举用如何用Stata的矩阵命令帮助学生复习矩阵运算的相关知识。 用Stata录入一个新矩阵的方法非常简单。在Stata的命令窗口输入以下命令:matrix A=(1,0,1\2,1,0\-3,2,-5),就得到了一个3行3列的矩阵。 如果要得到矩阵A的转置矩阵,只需要输入以下命令:matrix A1=A’。A1=(1,2,-3\0,1,2\1,0,-5)即为A的转置矩阵。 如果要得到矩阵A的迹,只需要输入以下命令:scalar a=trace(A);如果要得到矩阵A的逆,只需要输入以下命令:matrix B=inv(A),B=(-2.5,1,-0.5\5,-1,1\3.5,-1,0.5)即为A的逆矩阵。 事实上,在指导学生复习矩阵的相关知识时,并不需要详细地为学生讲解具体的运算过程,比如求矩阵的逆,其运算过程比较复杂,如果详细地讲解运算过程,将花费大量的时间,甚至有本末倒置之嫌。只需要简单讲解一下矩阵逆的概念,其运算过程可以完全交给软件去做。 当然学习统计软件最根本的目的是对搜集到的大量数据进行整理和分析。当学生在学习相应的统计整理和统计分析的理论知识的时候,也必须能运用软件去得到相应的结果。比如当学生学完平均指标和标志变异度指标之后,要学会如何用软件来得到相应的指标。用Stata软件来得到这些指标的方法非常简单的。如果想得到某个变量a的平均数、标准差、极大值、极小值以及25%分位数、75%分位数等,只需要输入命令“sum a,detail”就可以了。 3、加强实践能力的训练 由于统计学的实践性很强,因此必须要注重学生实践能力的训练,在目前的统计学教学中有一个误区,认为教会学生操作相应的统计软件,就是在进行实践能力的训练。事实并不是这样,学生学习统计学的目的主要是为了解决实际问题,因此在教学中要根据相应的教学内容设计不同的课题和任务,让学生实实在在地从搜集数据、整理数据、分析数据到得出统计结论进行完整的训练。通过加强实践能力训练,可以让学生真正明白统计学的实用性,从而产生更大的学习兴趣,并在实践中清楚地知道自己在哪些方面还存在不足,以增加学习统计学的动力。
数据分析:关于社会统计学与数理统计的区别,看完长见识了 营销视频课程
关于社会统计学与数理统计的区别
一、从历史发展方面看它们之间的区别 社会统计学自古以来就有,它的历史有3000多年,大到国家财政分配,小到百姓生活方面的各种统计,无所不在。它是一项广泛的社会实践活动形式,“统而计之”就是人们对统计的初步认识。它属于社会科学。数理统计学仅仅是在100年前伴随着概率论的发展而发展起来的。19世纪中叶以前已出现了若干重要的工作,如C.F.高斯和A.M.勒让德关于观测数据误差分析和最小二乘法的研究。到19世纪末期,经过包括K.皮尔森在内的一些学者的努力,这门学科已开始形成。但数理统计学发展成一门成熟的学科,则是20世纪上半叶的事,它在很大程度上要归功于K.Pearson、R.A. Fisher等学者的工作。特别是Fisher的贡献,对这门学科的建立起了决定性的作用。1946年H.克拉默发表的《统计学数学方法》是第一部严谨且比较系统的数理统计著作,它是数理统计学进入成熟阶段的标志。由于数理统计其本质是带着概率意义下的结论。比如:区间估计,假设检验,方差分析等。因此数理统计属于概率论的应用属于自然科学。统计学发展史说明:先有社会统计学后有数理统计学,先有变量后有随机变量;社会统计学以变量为基础,数理统计学以随机变量为基础,变量与随机变量是在一定的条件下可以相互转化的数学概念。
二、从数学思路上看它们之间的区别 从两门统计学的数学思路来看,社会统计学主要来源于社会学、经济学、数学(主要是初等数学),这个学科所涉及的内容与实际统计工作存在着密切的联系。当统计工作发生大的变动之后,统计学也随之做出相应的反应。由于它主要是为国家的宏观管理服务的,有着鲜明的服务对象,因此在国家统计部门、宏观经济管理部门发挥着直接的作用。本文由毕业论文网http://lw54收集整理另外,这个学科中的一些名词也不属于数学名词。如:人口统计,寿命表。随着学科的不断交融和细化,相关于每个学科的统计学随之诞生,如生物统计、地质统计、地震统计、医学统计、卫生统计等等。而数理统计学的理论基础是概率论,它与数学,特别是高等数学存在着密切的联系。它本身是一门数学学科,重在应用方法的数理基础的研究。由于它有不少方法来源于生物、农业试验。因而被自然科学界普遍地认为是一种科学方法。从原则上来说它可以用于研究任何随机现象的变化。除了它的通用性之外,它还具有很强的派生性,现在许多被人们泛使用的数理方法都与数理统计学有着不可分割的联系。
总之,社会统计学更侧重于对解决社会、经济等现实问题数量分析方法的研究与应用,而方法本身的数理基础的科学性研究,则由相应的理论统计学去研究,事实上,推断统计方法的数理基础的科学性研究,正是数理统计的研究范畴之一。 三、从应用的角度和范围上看它们之间的区别 在研究角度上,二者的区别表现为,社会统计学主要包括社会核算和社会定量分析两部分。前者主要包括统计分类理论、统计资料搜集与整理理论、统计指标理论和核算表式理论,其核心内容是宏观经济核算表,此外还有正在开发或有待开发的环境、科技等核算领域。后者是对社会经济总量、结构、动态、趋势等方面进行分析。从整体看,统计学基本上是围绕观测指标展开的,指标设定、指标测量、指标分析是其主要内容。而数理统计学一般包括描述统计和推断统计两大部分。数理统计基本上是围绕模型展开的,模型假设、模型论证、模型运用是其主要内容。两门统计学在研究角度上虽有联系,但其区别是明显的。
在研究范围上,数理统计侧重于对样本数据的定量分析;而统计学不仅重视样本数据的定量分析,而且重视对所获得的总体全部数据的定量分析,同时,重视数据收集方法、数据整理方法的研究。某某统计学往往仅限于它所在的学科的具体应用。而数理统计给出的公式却可以应用在其他的众多科学领域中。如:在农业中,对田间试验进行适当的设计和统计分析;在工业生产的试制新产品和改进老产品、改革工艺流程、使用代用原材料和寻求适当的配方等问题中起着广泛的作用;在医学中,可以用来发现和验证导致疾病的种种因素,确定一种药物对治疗某种疾病是否有用,用处多大,以及比较几种药物或治疗方法的效力等;在自然科学和技术科学中,可以用于地震、气象和水文方面的预报、地质资源的评价等。数理统计的原理是小概率事件,其论证过程是反证法。这也是它与社会统计学的重大区别。 四、从词汇上和图书分类上看它们之间的区别 社会统计学起源于国家财政National Finance,数理统计学的英文为Mathematical statistics。社会统计学的图书分类为F,数理统计学为O。 从上述数理统计与社会统计学的比较,可以清楚地看到,随着现代统计学的发展及其在社会政治经济生活中发挥作用越来越大的趋势,数理统计研究问题的理念及其方法已对统计学的发展产生重要的革命性影响,但是,数理统计与社会统计学毕竟是两门差异较大的学科,不可能简单地加以“统一”。 尽管在社会统计学与数理统计学之间存在着很大区别,两门学科关于统计学理论问题的观点有着明显的历史和认识上的局限性,这些却并不能否定两大学派的历史功绩和未来发展。通过比较分析两大学科,全面正确地认识统计学的发展,更有利于两门学科之间的沟通、交流和借鉴,促进整个统计学的发展。
数据分析:浅论统计学在市场营销中的运用,看完长见识了! 营销视频课程
浅论统计学在市场营销中的运用
当今社会中多数企业为了能够更好地促进市场营销效果,将本企业或者本行业几个月或者几个季度以及几年内的市场营销数据,通过数据加载分析来评估当前市场形势以及以后的发展趋势,而对数据的分析现代企业运用最多的手段就是统计学,统计学中的数理统计、多元统计分析,抽样调查都为企业的数据分析提供了最科学和可靠的方法。通过市场营销管理中统计学理论及方法的运用,为企业市场营销管理工作奠定基础、为企业的市场营销工作提供准确详实的市场信息。针对市场营销管理中对统计学应用的需求,现代企业市场营销管理中应加强对统计学理论及内容的关注。运用统计学方法解决企业营销管理中的实际问题,提高企业综合市场竞争力。
一、数据进行统计分析特点和管理方法 数理统计中统计分析的特征是定量和定性分析进行结合;把处理的数据作为依据,以统计的数据作为结果;分析方法具有特殊性;分析的范围具有广泛性。要紧紧依靠这些统计数据的特点,同时,充分把握好企业市场营销这一行业的特殊性,才能真正做好市场营销统计学分析的工作。正常来讲,企业市场营销管理的步骤可分为:分析市场所具备的机会、选择合适的目标市场、确立正确的营销组合策略、市场营销的决策和决策的实施与控制。这四个步骤与相应的统计学分析方法相配合,才能更好地为企业赢得更多的市场机遇,同时使企业的市场竞争力不断提升。 二、市场营销中的统计学分析方法 针对所属行业销售特点选择统计学方法的应用。针对不同行业的销售特点,企业市场营销管理中的统计学应用也存在着差异。根据行业销售特点,统计学方法的运用也有着一定的规律。在饮料、日用化工等快消品的销售收集整理中,描述统计、推断统计、顺序变量等方法的应用能够为快消品行业的市场营销管理提供翔实准确的市场信息,为快消品企业的市场营销策划方案提供科学的数据。通过统计学方法的运用使企业的快消品营销策划工作更加符合市场规律、符合市场销售特点,进而满足现代快消品企业销售目标需求、满足市场销售需求。 在现代社会里,企业如果要获得长远的竞争优势,一定离不开目标群体的满意度和支持度。目标群体,一般就是指顾客,当他们的需求被满足之后会产生心理的愉悦感。从统计学来分析,这个满意度就是指顾客的期望值与实际感知效果之间的差异函数,如果顾客实际感知的效果小于期望值,顾客就不会感到满意,反之,就会表现出满足。通常,顾客过去的购买经历,竞争者与销售者对自身产品的宣传与承诺,身边朋友的评论等,都会影响到顾客的期望值。因此,企业非常有必要通过统计学,对顾客满意度进行分析、测量,给企业的营销和决策提供更加可靠的依据。
三、以数据为依托分析当前市场状况 通过对统计学知识的运用,以当近期市场的数据反馈为依托,对当前的市场行情进行分析与比对。在当今市场经济的营销管理中,对市场的动态信息进行科学合理的分析,能够帮助企业的决策者们及时修改营销方案,满足市场变化对企业营销管理的需求。这一现状要求企业的市场营销管理部门能够及时掌握市场动态,运用統计学知识及统计学理论中的调研、整理、分子技巧为企业的市场营销管理工作提供准去的市场信息,确保企业市场营销管理工作能够符合市场销售的实际需求。针对现代企业市场营销现状及营销管理工作的需求,现代企业的市场营销管理工作中应强化对市场销售信息的收集与整理。利用统计学原理及要知道市场销售信息收集与管理工作,以此使企业的市场营销信息收集、整理、分析以及方案制定在统计学理论指导下得到有效开展,满足现代市场经济发展过程中企业的营销管理需求。
四、从市场的定价角度看统计分析的重要性 通常来说,企业的市场定价会受到多种因素的综合影响。成本导向、需求导向、竞争导向是企业市场定价的三种方法,这三种方法都是对于企业自身在市场上的竞争力而言,是企业为了让自己的产品或服务在如今激烈的市场竞争中更好的定位,赢得更多更大的市场份额而制定出的价格策略。这种定价策略要分析人为订立的利润与企业成本之间的比例,要充分研究竞争对手等各方面的定价因素,并认真分析消费者的有效需求,以寻求各个价格变量之间存在的近似的线性关系,从而准确进行营销策划。因子分析方法是市场定价中的统计学分析较多采用一种方法,根据几个不同因子的比较而获得多个值,并对这些值进行平均值的计算,从而确定产品的基准价格。本质上看,就是把统计模型的运算和决策问题运用到市场定价问题中,不同利润下的标准差和期望值制定出不同的市场定价方案。所以,在市场定价中准确的统计决策模型,不仅有利于提高资金周转速度,节约企业成本,还有利于提高企业的市场竞争力。在现代企业市场营销管理工作中,科学的市场调研是掌握市场动态、保障市场销售信息有效传达的关键。因此,在企业的市场营销管理工作中,应科学运用统计学调研方法对企业所属行业市场信息进行收集与整理。以基础数据、变量、统计逻辑学、管理统计学等内容及基础,对销售人员的调研信息进行统计与分析,对信息的科学性进行甄别。以翔实准确为中心进行市场信息的收集与调研、以科学性为重点进行信息的统计与分析,以此保障现代企业市场营销管理方案制定基础满足市场需求。统计学分析方法在市场调查过程中,无论是最初的信息收集阶段,还是信息处理阶段的分析过程和数据辨别,都发挥着无可辩驳的关键作用。在我们当前的市场经济活动中,要重视以人为本的管理方法,大力地强调定性向定量的方向发展,这一切都会涉及统计学方法。国家在进行经济调控时,也往往会使用到统计表格来表示一系列经济收支的情况,以便在宏观上对未来的经济投入比例进行相应的调整。 总之,企业要想得到最优化的市场营销方案,必须通过统计手段对市场的全面、科学分析才能获得,科学合理的统计分析,可以随时灵活地更改营销方案。
数据分析:统计学方法在数据挖掘中的应用探究,看完长见识了! 营销视频课程
统计学方法在数据挖掘中的应用探究
数据挖掘就是指从众多实际应用数据中获取批量大、有噪声、且随机性强的数据,将潜在的信息与数据提取出来,就是从数据中挖掘有价值的知识,而大多数原始数据具有一定的结构化特征,比如,关系数据库中的数据;也可以通过文本、图形、图像等半结构化发掘有用知识,这些知识可以是数学的也可以是非数学形式的;数据挖掘能以归纳形式存在,能够被广泛应用到信息查询、信息管理、信息决策控制中,方便数据的维护与管理。由此可见,数据挖掘是一门交叉性强的学科,加强对其的研究非常有意义,下面将对统计方法在数据挖掘中的具体应用进行分析。
一、数据挖掘与统计学的关系 (一)数据挖掘的内涵 通常来说,数据挖掘的定义较为模糊,没有明确界定,大部分对其的定义只是停留在其背景与观点的内容上。通过对不同观点的统一整理,人们最终将其描述为:从大量多样化的信息中发现隐晦性、规律性等潜在信息,并对这些信息进行创造、加工的过程。数据挖掘作为一门重要的交叉学科,能够将数据库、人工智能、机器学习、统计学等众多的科学融入到一起,从而实现技术与理论的创新与发展[1]。其中,数据库、人工智能与统计学是数据挖掘当中的三大支柱理论。数据挖掘的目的是从数据库当中发掘各种隐含的知识与信息,此过程的方法非常多,有统计学知识、遗传算法、粗集方法、决策法、模糊逻辑法等,还可以应用向邻近的可视技术、模式识别技术等,在以上所有技术的支持上能够使数据挖掘更为科学、有序。 (二)数据挖掘与统计学间的关系 通常来说,统计学的主要功能是对统计原理与统计方法进行研究的科学。具体来说就是指对数字资料进行的收集、整理、排序、分析、利用的过程,数字资料是各种信息的归纳与总结,可以将其作为特性原理的认知、推理方法[2]。而统计学则表示的是使用专业的统计学、概率理论原理等对各种属性关系的统计与分析过程,通过分析成功找到属性间的关联与发展的规律。在此过程中,统计分析方法是数据挖掘最为重要的手段之一。
在数据挖掘这一课题被提出来之前,统计分析技术对于人们来说更熟悉,也是人们日常开展工作、寻找数据间规律最常使用的收集整理方法。但是不能简单的将数据挖掘作为统计学的延伸与替代工具,而是要将两者的区别认识到位,再结合两者间的不同特点分析其应用特点[3]。大部分的统计学分析技术都是建立在数学理论与技巧上的,预测通常较为准确,效果能够让大部分人满意。数据挖掘能够充分借鉴并吸收统计学技术,在融入到自身特点以后成为一种数据挖掘技术。 统计学与数据挖掘存在的目标都是一致的,就是不断对数据结构进行发掘。鉴于统计学与数据挖掘在目标上的一致性,致使很多研究学者与专家将数据挖掘作为了统计学的一个分支机构[4]。但是这种认知非常不正确,因为数据挖掘不仅体现在与统计学的关系上还体现在思想、工具与方法上,尤其是在计算机科学领域对数据挖掘起到的作用非常大。比如,通过借助数据库技术与人工智能的学习,能够关注到更多统计学与数据挖掘上的共通点,但是两者存在的差异依然非常大。数据挖掘就是指对大量的数据信息不断挖掘的过程,DM能够对数据模式内的数据关系进行充分挖掘,并对观测到的数据库处理有着极高的关注度。 二、数据挖掘的主要过程 从数据本身出发探讨数据挖掘过程,数据挖掘的过程分为信息的收集、数据集成、数据处理、数据变换、数据挖掘实施等过程。
首先,要将业务对象确定下来,明确不同业务定义,并认清数据挖掘的目的,这是做好数据挖掘最关键的一步,也是最重要的一步,虽然挖掘的结果不能被准确预测到,但却需要对问题的可预见性进行探索[5]。其次,还要做好数据准备工作,包含数据清理、数据变换等工作,数据清理的实际意义是将噪声与空缺值补全,针对这一问题,可以使用平滑技术,而空缺值的处理则是属性中最常见的,可以将统计中最可能出现的值作为一个空缺值[6]。 信息收集指的是按照特定的数据分析对象,可以将分析中需要的特征信息抽象出来,并在此基础上选择出较为科学、适合的信息收集方法,将全部的信息全部录入到特定的数据库中。如果数据量较大,则可以选择一个专门的管理数据的仓库,实现对信息的有效保护与管理;数据集成就是指将来源不同、格式不同、性质不同、特点不同的数据集成到一起,进而为企业提供更为全面、系统的数据共享平台;数据变换就是通过聚集、概化、规范化等方式对数据进行挖掘,对于一些实用数据,则可以通过分层与分离方式实现对数据的转换;数据挖掘就是结合数据仓库中的数据信息点,并选择正确的分析方法实现对有价值数据的挖掘,事例推理、规则推理、遗传算法等都是应用较多的方法[7]。 三、统计学方法中的聚类分析 在统计学聚类方法基础上能够构建出潜在的概率分布假设,可以使用试图优化的方法构建数据与统计模型的拟合效果。基于统计学聚类方法当中,Cobweb方法是在1987年由Fisher提出的,能够以分类树作为层次聚类创建的方法,在分类树上,每一个节点都能代表着一个概念,该方法就是对节点概率描述的过程。Cobweb方法还使用了启发式估算方式,使用分类效用对分类树的构建进行指导,从而实现对最高分类的划分目的,能够将不同分类对象全部归类到一个类别中,并依据这些内容创建出一个新的类别。但是这种方法也存在一定局限性,局限性在于假设的属性概率分布都是独立的,并不能始终处于成立状态中。
数据分析:统计学教学中存在的问题与对策,看完长见识了 行业视频课程
统计学教学中存在的问题与对策
目前统计学已在各行各业得到了广泛的应用,特别是在大数据时代,人们的生产生活已越来越离不开统计学。由于统计学如此重要,教育部将统计学规定为经济类和工商管理类本科专业的专业核心课程。但是,当前统计学的教学还存在诸多问题,从而使统计学的教学效果大打折扣。本文将结合笔者的教学实践,对统计学教学中存在的主要问题进行分析,并提出相应的对策,期望对统计学的教学改革工作提供一点思路。 一、统计学教学中存在的主要问题
1、在教学过程中忽视对数学知识的复习 当我们在统计学的讲授过程中涉及到概率分布、假设检验以及矩阵运算等知识点的时候,很大一部分学生表现出茫然的神情,表明学生在学习统计学的时候,已经对过去所学的数学知识有所遗忘。《计量经济学》教材一般都会有一个数学附录,可以帮助学生用较短的时间对关键的数学知识进行复习。《统计学》教材一般没有这样的数学附录,统计学教师也不会专门给学生复习相关的数学知识,而这些数学障碍恰好是导致学生学习效率低下的主要原因。中国有句俗语“磨刀不误砍柴工”,因此笔者认为在进行统计学这门课程的教学时,有必要专门安排时间对学好统计学必需的数学基础知识进行复习。 2、在教学过程中忽视案例的运用 统计学是一门实践性很强的学科。统计学中的每一个知识点都是与实践相联系的,比如均值、标志变异度这些看似简单的知识,都包含了丰富的实践意义。而有些教师在上课的时候,主要教学生如何去计算相关的统计指标,把统计学当作一门数学课程来教,学生也把统计学当作数学来学。教师在教学中忽视了对实践收集整理案例的运用,导致学生不能真正理解相关知识点的真正含义,从而觉得统计学又枯燥、又难学,并失去了学习的兴趣。 3、理论讲解与统计软件教学脱节 统计学是一门实践性很强的学科,即学生从统计学中学到的知识是完全可以应用到工作实践的。与教科书中的例题不一样,在工作中所得到的数据的样本容量一般都很大,这就需要通过相应的统计软件来进行处理。据笔者了解,许多高校在安排统计学这门课程的时候,一般安排十六周左右的理论教学,另外安排两周实践教学,在实践教学环节主要是学习SPSS软件。我们认为,这种教学安排并不能很好地促进统计学的教学,其理由主要有两点:其一,理论讲解与统计软件的教学完全脱节。由于是在理论学习完全结束之后才开始教学生进行软件操作,学生可能对学过的理论知识已经遗忘,在学习软件操作时,只是进行机械性的操作,而不明白每一步操作的真实含义。其二,学习软件操作的目的并不是为了简单地进行数据处理和数据分析,事实上通过软件的学习还能促进对理论知识的理解。而像这种教学安排,是先学完理论之后,再学习软件操作,就不能很好地起到通过软件操作促进理论知识学习的目的。 二、提高统计学教学效果的对策
1、注重案例的讲解 由于统计学的实践性很强,我们可以从生产生活中找到许多案例来帮助提高统计学的教学效果。通过合理地运用案例,既可以增进学生对统计理论的理解,同时又能提高学生学习统计学的兴趣。下面将具体介绍笔者在讲授假设检验时是如何通过案例的讲解来增加学生对统计学知识的理解以及提高学习统计学的兴趣的。假设检验是统计学教学中的重点和难点。假设检验是利用样本提供的数据资料来检验事先对总体某些数量特征所作的假设是否可信的一种统计方法。当对总体参数的真实性感到怀疑,需要通过样本来考察其正确与否时,往往借助于假设检验作判断,从而决定接受或拒绝这一假设。 笔者在讲授这部分内容时,引用了吴喜之在其《统计学:从数据到结论》一书中的一个案例。其内容是:如果一个人要证明他从来没有骂过人。他能够证明吗?要证明他没有骂过人,他必须出示他从小到大每一时刻的录音录像,所有书写的东西等等,还要证明这些物证是完全的、真实的、没有间断的,这显然是不可能的。 反过来,如果要证明这个人骂过人很容易,只要有一次被抓住就足够了。这就相当于假设检验中的反证法。在假设检验中,一般要设立一个原假设,比如可将“从来没有骂过人”设为原假设,设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设与现实之间的矛盾,从而否定这个假设。如否定不了,说明证据不足,无法否定原假设。许多学生说他们在学习《概率论与数理统计》这门课程时,虽然也学过假设检验,但是从来没有真正明白假设检验的含义,而通过对这个案例的学习,他们对假设检验有一种豁然开朗的感觉,并且觉得统计学原来这么有趣。 另外,对于假设检验中的一类错误和二类错误,学生也很难理解,在讲授这部分内容时,笔者又列举了另外一个案例来帮助学生理解。当一个人被控告为罪犯时,他将面临审讯。控告方提出控诉后,法官必须根据证据做出裁决。事实上,法官就需要进行假设检验。这里有两个假设需要被证明。第一个假设为原假设H0:被告无罪;第二个假设为备择假设H1:被告有罪。事先法官并不知道哪个假设是正确的,他们将根据控辩双方所提供的证据进行判断,最终的结果只有两种可能:判定被告有罪或无罪释放。在统计应用中,判定被告有罪就相当于拒绝原假设,授受备择假设;而判定被告无罪也就相当于不能拒绝原假设,但我们并不能接受原假设。
当我们进行假设检验时,存在两种可能的错误。第一类错误是当原假设正确时,我们却拒绝了它。第二类错误当原假设有错误时,我们却没有拒绝。在上面这个法官审案的例子中,第一类错误就是一个无罪的人被判定有罪。第二类错误就是一个有罪的被告被判定无罪。我们把发生第一类错误的概率记为α,通常它也被称为显著性水平。第二类错误发生的概率为β。发生错误的概率α和β是相反的关系,这就意味着任何尝试减少某一类错误的方法都会使另外一类错误发生的概率增加。根据检验的一般原则,首先要保证犯第一类错误的概率α要足够的小。因为司法审判中,第一类错误被认为是更加严重的。通过对这个案例的学习,学生就能很好地理解,为什么我们会将显著性水平规定为0.01或0.05,最大一般不会超过0.1。
2、强化统计软件的教学 在统计学教学中加强统计软件的教学,并不仅仅是为了教会学生用统计软件去整理数据和分析数据,另外一个目的就是通过操作统计软件帮助学生理解统计理论。目前大多数学校为了合理利用比较紧缺的实验教学资源,往往对理论教学和实践教学环节进行分开安排,而这样做的弊端就是不利于上述目标的实现。事实上现在许多大学生都有自己的个人电脑,对一些统计软件的学习并不一定要去实验室,教师可以在课堂上进行简单的演示,让学生在课后多练习操作。我们认为在统计学教学中使用Stata统计分析软件将更加方便,因为Stata是世界上最权威的三大统计软件之一,具有占用内存小、功能非常强大、运算速度快和不需要安装等优点。 我们在前面的分析中曾谈到为了提高学生学习统计学的效率,很有必要对学好统计学必须具备的数学基础知识进行专门的复习。如果我们用Stata软件来帮助学生复习数学知识,其效率会更高。下面将列举用如何用Stata的矩阵命令帮助学生复习矩阵运算的相关知识。 用Stata录入一个新矩阵的方法非常简单。在Stata的命令窗口输入以下命令:matrix A=(1,0,1\2,1,0\-3,2,-5),就得到了一个3行3列的矩阵。 如果要得到矩阵A的转置矩阵,只需要输入以下命令:matrix A1=A’。A1=(1,2,-3\0,1,2\1,0,-5)即为A的转置矩阵。 如果要得到矩阵A的迹,只需要输入以下命令:scalar a=trace(A);如果要得到矩阵A的逆,只需要输入以下命令:matrix B=inv(A),B=(-2.5,1,-0.5\5,-1,1\3.5,-1,0.5)即为A的逆矩阵。 事实上,在指导学生复习矩阵的相关知识时,并不需要详细地为学生讲解具体的运算过程,比如求矩阵的逆,其运算过程比较复杂,如果详细地讲解运算过程,将花费大量的时间,甚至有本末倒置之嫌。只需要简单讲解一下矩阵逆的概念,其运算过程可以完全交给软件去做。 当然学习统计软件最根本的目的是对搜集到的大量数据进行整理和分析。当学生在学习相应的统计整理和统计分析的理论知识的时候,也必须能运用软件去得到相应的结果。比如当学生学完平均指标和标志变异度指标之后,要学会如何用软件来得到相应的指标。用Stata软件来得到这些指标的方法非常简单的。如果想得到某个变量a的平均数、标准差、极大值、极小值以及25%分位数、75%分位数等,只需要输入命令“sum a,detail”就可以了。 3、加强实践能力的训练 由于统计学的实践性很强,因此必须要注重学生实践能力的训练,在目前的统计学教学中有一个误区,认为教会学生操作相应的统计软件,就是在进行实践能力的训练。事实并不是这样,学生学习统计学的目的主要是为了解决实际问题,因此在教学中要根据相应的教学内容设计不同的课题和任务,让学生实实在在地从搜集数据、整理数据、分析数据到得出统计结论进行完整的训练。通过加强实践能力训练,可以让学生真正明白统计学的实用性,从而产生更大的学习兴趣,并在实践中清楚地知道自己在哪些方面还存在不足,以增加学习统计学的动力。