普遍的定义认为，统计学是关于数据的科学，研究如何收集数据，并科学地推断总体特征。大数据和统计学还是存在一定区别的，其一是数据分析时不再进行抽样，而是采用population（n=all）；其二是分析方法，侧重所有变量之间的相关性，而不再根据背景学科理论筛选变量，进行假设检验。

现在社会上有一种流行的说法，认为在大数据时代，“样本=全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。

普查和抽样调查是传统的两大数据收集方法。普查不需要统计学方法进行推断估计，因为通过普查，已经取得了所有个体数据和总体的实际分布，这也是为什么人类开始懂得计数就开始进行普查。抽样调查是利用抽样理论解决如何科学设计样本，取得样本个体数据，并科学地推断总体分布及特征。无论是普查还是抽样调查，其核心问题之一是要取得准确的“个体数据”。但在大数据时代，一切皆可量化，一切皆可记录，如何利用更全面、更及时、更经济的网络电子化数据，以及通过对这些数据使用新的分析及挖掘技术，产生新的见解和认识，是我们面临的重大机遇。

大数据的应用可以说是在减少人类处理数据时带入的主观假设的影响，而完全依靠数据间的相关性来阐述。而由于消除人为因素带入的误差，已经分析人员作出假设的限制（如果教育背景和保险购买额是相关的，而分析人员没想到，那这个结论就不会被分析出来，这在实际案例中是很容易发生的，大数据的核心也就在于它能更充分的发掘数据的全部真实含义。

在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。

西线学院培训机构提供良好的教学环境，良好的师资以及行业资源，使得西线学院教学永远都是跟随行业进步的步伐。说了这么多，其实就是想让你更加了解大数据。如此优秀的资源和别人望眼欲穿的实习机会，再不行动就要被后来居上的技术人员拍死在沙滩上了。

第一部分：数据分析框架

为了分析问题的聚焦，我们具体拿互联网电商来举例子说明，至于其他的比如互联网金融、教育、社交等等，可以依此借鉴。

（1）从互联网实体角度分析。我们可以从以下7个角度构建互联网数据分析体系。

买家：基本特征分析、交易行为分析、流量行为分析、售后满意分析等

卖家：基本特征分析、经营效果分析、流量曝光分析、售后满意分析、产品分析等

产品：基本特征分析、交易行为分析、流量曝光分析、售后满意分析等

行业：基本特征分析、经营分析、曝光分析、售后分析、产品分析、买卖家分析等

设备：移动端分析、PC端分析、访问对象分析、cookie分析、session分析等

日志：访问对象URL分析、cookie分析、session分析等

事件：登录、流量、点击、曝光、下单、交易、支付、物流、评价、纠纷、仲裁等分析

这个实体分析方法，可以称得上是万能的数据分析框架，适用于所有的互联网企业。我曾工作过的阿里巴巴、腾讯、随手记等企业，我个人都是按照这个套路去构建互联网的分析体系。

（2）从用户的关键路径进行分析。

关键路径分析方法是一个行之有效的常用分析方法，也是做数据化运营的常用工具。关键路径分析让我们聚焦于核心环节，排除杂音，定位出业务的核心问题，快速的加以解决。在应用关键路径分析时候，我们往往先把可能的结果、以及最关心的结果梳理出来，以结果为导向追溯行为的根本，当然，也可以从行为的初始出发，梳理出所有可能的行为路径，找出关键行为，导向我们最终设计好的结果中去。下面我们举例子说明下：

在电商网站中，我们假设我们运营目标是让用户购买网站上的商品（在这里，我要插说几句，我们的目标有时候不只是购买，在精细化运营中，往往会根据用户的生命周期，确定关键路径的目标，比如对于一个进入期的新买家，我们通常会发一些购物攻略加以指导，针对流失期的买家，关键路径的结果我们可能导向申领我们的优惠劵之类，等等。关于这一部分数据化精细化运营方面，在大数据应用系列的数据化运营小讲，我们会详细加以分享，敬请关注）。刚才谈到，我们假设我们运营目标是让用户购买网站上的商品，那么我们可以把关键路径，也即，用户的购买路径梳理出来：

a.用户登录/注册》搜索关键词》查看商品详情》加入购物车》点击下单》确认付款》确认收货

b.用户搜索关键词》类目和店铺》卖家交流》点击下单》确认付款》确认收货

通过这种关键路径，我们还常常进行漏斗分析，从而进行流量的转化分析，找出影响到达最终结果的关键环节。

（3）从KPI拆解角度分析。

KPI拆解分析方法也是比较常见的互联网分析方法。核心思想是先定一个总体目标，比如今年营收12亿，那么可以把这个指标拆解到各个业务线去，业务线再进行拆分，比如分解为12个月，每个月需要达成营收额，接着，就是达成该营收额，根据流量的转化情况，估算出需要多少的流量，目前平台已有多少流量，需要外拓引流多少流量才能达成目标，这就可以层层的拆解指标，最终或落地到产品团队或部分到运营团队去承担KPI任务。

第二部分：数据分析常用分析方法

常用的数据分析方法有：PEST分析方法、5W2H分析法、4P营销分析法、逻辑树分析法、指标拆分法、对比分析法、漏斗分析法、用户行为分析法、用户生命周期分析法、金字塔分析法等等，下面我们逐个的简单说明下

（1）PEST分析方法

这个方法主要应用于行业研究中。从政治（Political）、经济（Economic）、社会（Social）、技术（Technical），简称PEST角度对一个行业进行比较分析。下面我们举一个例子：我们小讲开始就谈到数据分析行业前景，那么我们在此利用PEST分析下大数据行业前景如何？

（2）5W2H分析法

这个方法主要应用于用户行为研究和专项问题分析，从时间、地点、人物、事情、原因、方式、价格等7个方面对一个问题进行刻画研究。请看如下案例二：

（3）4P营销理论

这个方法主要应用于公司整体经营状况分析，是比较经典的营销分析方法。该方法从产品、价格、渠道、促销等四方面对企业经营状况进行全面分析。请看如下案例三：

（4）逻辑树分析法

这个方法也称作问题树分析方法，主要应用于针对业务存在的问题进行专题分析，是数据分析方法中非常常见的一种分析方法。请看案例四：

（5）指标拆分法

这个方法也是经常适用的方法，特别是为了达成业务目标，我们往往都会先定一个总的目标，然后再初步的拆解指标。下面我们讲讲案例五：

（6）对比分析法

对比分析法是非常常用的基础分析方法，虽然方法特别简单，但几乎所有的分析报告中，都会采取对比分析方法。比如去年同期相比、上个月环比、目标和实际达成相比、各个部门和业务线相比、行业内竞品比较、营销效果对比，等等。这里需要注意的是我们不管是横向比较还是纵向比较，比较的双方一定要有可比性，并且在同一个维度、粒度上去比较，要不是毫无意义的。

（7）漏斗分析法

漏斗分析方法经常应用于产品的转化分析。举个电商的例子：用户登录网站1千万，浏览商品详情页200万，加入购物车80万，下单支付50万，支付成功40万。每一步都是转化率的问题。针对关键路径进行漏斗分析能够帮助我们快速的定位到问题所在。从而能够及时做出决策。

（8）用户行为理论

也称用户的活动周期理论。该分析方法，往往用于对用户的基础研究中。用户行为过程分为认知、熟悉、试用、使用和忠诚5个步骤。

（9）用户生命周期理论

该分析方法，也往往用于用户基础研究中，在互联网领域应用广泛。用户的生命周期分为进入期、成长期、成熟期、衰退期、流失期。每一个阶段用户的行为特征是不一样的，其价值是不一样的，需要精细化的运营。不可急功近利。

（10）金字塔理论

金字塔这个分析方法正好和漏斗分析方法相反，它是基数大，上层小。最初是英国历史学家、政治学家诺斯科特·帕金森(C.Northcote Parkinson)在《帕金森定律》(Parkinson's Law)一书中，论述在行政管理中，行政机构会像金字塔一样不断增多，行政人员不断膨胀，每个人都很忙，但组织效率越来越低下。这条定律又被称为“金字塔上升”现象。后来，人们将这一理论延伸应用，不再只限于本意。大凡是基数大，上层小，符合金字塔特征的研究分析都可以套用到该理论中。所以，金字塔这幅图也常常见于各分析报告中。比如，分析用户群体特征（马斯洛需求层次模型、用户价值模型等等）

综上所述种种数据分析方法，如果在一份分析报告中，能够把这些分析方法都灵活反复体现和应用，那么，这个分析报告一定会比较丰满的。

第三部分：数据分析的流程

数据分析的流程主要分为六步骤，遵循这种方法，一个完整的数据分析项目就出来了。

（1）明确分析目的：我们接到一个分析任务，首先要弄清楚我们分析的对象是什么，要达成怎样的目的，不能陷于为了分析而分析。然后，要熟悉行业和业务，透彻的理解分析的目的，构建起分析的角度和体系。

（2）进行数据准备：我们有哪些数据，通过什么途径可以获取到需要的数据，往往涉及到内部数据和外部数据，内部数据常常是我们的业务库或者基础数据团队建立起来的数据仓库系统，外部数据方面，现在各行各业都有大数据交易源，还有大量的公开市场数据。

（3）进行数据加工处理：主要通过数据清洗工作，对重复值进行去重处理、对异常值错误值进行修正或剔除、对缺失值进行填充修正或删除。如果软件环境为支持大数据量情况下，还需要对数据进行抽样处理。经过这些预处理后，最重要的就是进行数据的计算统计、合并转换，让数据符合目标分析过程。

（4）进行数据分析挖掘：绝大部分的分析目标达成都可以刚才介绍的分析方法外加常见统计分析等达到。主要的分析：整体和组成分析、走势趋势分析、均值方差分析、排序TOP分析、同比环比纵横比较分析、频度频率分析、相关关系分析、数量和比例的双坐标分析、逻辑结构分析、金字塔分析、漏斗图分析、矩阵图分析、指标拆解分析、PEST分析、5W2H分析法、4P营销分析等等。还有一部分分析需要到更高级的数据分析方法才能得到结论。

（5）进行数据结果图表展现：数据分析的目的就是要解决问题的，往往数据分析师不是需求的发起人，那么这就需要数据分析师把分析的数据和结论展现给需求方。最佳的方式就是通过图表，有理有据形象的重点突出且专业的表达出来。根据第（4）步骤的分析，我们可以选取恰当的图标。比如常用的有：折线图、柱形图、条形图、饼图、冒泡图、散点图、矩阵图、雷达图、双坐标图、瀑布图、帕累托图、金字塔图、漏斗图等等。

正如我之前的一篇文章 《图说可视化，报表也能做得如此酷炫！》，讲到帆软报表制作数据可视化的几个关键点。

（6）写出分析报告：数据分析最终的结论全部体现在分析报告中，一个分析师水平如何，只要看他写过的一份分析报告就可以完全清楚了。综合灵活应用这么多的分析方法和各种各样的展示图表，分析报告一定会显得非常丰满。下面一个问题我们再详细和大家讨论数据分析报告的相关事情。

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

数学这门理论性学科具有高度的抽象性，它作为一种应用性工具被广泛的运用于工程学、机械学、经济学等众多领域。通过在经济学中的大量实践应用可知，经济问题的中的定性分析与定量分析都可以运用数学方法来进行统计。对于现代企业来讲，任何一项运行决策的制定、实施、评价都离要使用数学统计方法对决策的经济效益中的各项指标进行评估，例如企业生产过程中所涉及到原材料的使用，产品销售过程中的价格控制，经济效益评估时的利润计算等。当代经济学家认为，经济领域一些现实的问题的解决，都要通过先将经济学中的变量提取出来，从而建立经济模型，再通过数学方法进行统计与运算，结合经济原则和理论，对决策进行预测与评估。

一、数学统计方法应用于现代经济中的意义　　数学统计方法应收集整理用于经济学中，尤其是应用于现代企业的各项经济指标预测与评估中，对企业的决策的成功与失败，决策的调整与改革都有着重要的影响。因此，将数学统计方法应用于经济学中，有着很强烈的现实意义。　　1.经济学问题的解决离不开数学统计方法的运用　

经济学问题的分析与解决需要精确、客观、科学，而数学统计方法的最重要特点就在于它分析过程的严谨精密，分析结果的清晰准确。数学方法应用于经济学领域中，最早可以追溯到古经济学中代数式的应用，时至今日，数学与经济学相结合，衍生出了数理经济学、经济计量学以及产权经济学等数门专业化理论，经济学中的数学统计方法已经无处不在。将数学方法运用于经济问题的解决中，一般要经历“经济—数学——经济”的模式，既从需要解决的现实经济问题入手，建立数学模型进行，运用数学方法对数学模型进行分析，求得数学结果，再结合经济理论与经济学原理对结果进行评估，得出结论，用于指导经济活动的进行。　　2.现代企业经济决策的制定离不开数学统计方法　　数学在经济学中的大量运用，使人们对经济活动评估的要求由定性分析发展到定量分析，特别在现代企业在制定决策时，它们都希望通过数学方法来精确的分析决策对企业发展产生的意义。数学方法在现代企业经济决策中的运用，是为了提高经济决策的可靠性与科学性，避免企业财力、物力的损失，通过数学方法对决策执行后的结果进行预测，使企业的发展处于自身可以控制的情况下。一个简单的数学方法就可以将经济决策中的各项因子之间的关系简单的明了的表现出来，各个经济变量之间的关系也能一目了然，经济决策的制定是否可靠的结论就可以得出　　3.数学统计方法是经济理论分析最重要工具之一　　数学统计方法是经济学理论分析的最重要工具之一，从最早的代数运用，再到数理经济学中，各种深奥的数学问题中的大量的运用的运用，现代统计经济学中，繁杂数据的中指标的得出，再代现代数学与现代经济理论相结合，产生的特有的专门运用数学方法来解释经济现象的理论，近年来，人们开始大量尝试将数学方法应有于经济关系与经济现象的数量关系分析上，既进行质的判定，又进行量的确定。可以看出，经济学已经不能脱离数学方法而单独存在，没有了数学方法的运用，经济学问题的解决就没有了渠道与途径。　　4.数学统计方法提高了经济理论的适用性　　任何事物的发展都是一个由量变到质变的过程中，经济事物也是如此。对于经济事物的分析也分为定性分析与定量分析两种类型，量变引起质变，而质变又会影响量变，因此，经济事物中的定性分析与定量分析在不同的情况下都有着重要的意义。数学统计方法可以通过数量关系来表述各个经济因素之间的关系，得出分析报告，结合经济理论来指导经济活动，提高了经济理论的适用性。同样，数学统计方法的逻辑严谨性与运算精密性能保证经济学结论的科学性与正确性，经济变量的数量关系为经济决策的制定可以参考的依据。

二、数学统计方法在经济学中应用存在问题　　数学统计方法在经济学中的重要地位突显，从1969的到2000年期间，荣获诺贝尔经济学奖的40多位经济学家中，有34位是运用了数学统计方法解决了重要的经济学问题。近些年，随着世界全球经济一体化趋势的推进和我国经济的迅速发展，很多现代企业越来越重视经济决策的制定与经济问题的分析、解决，越来越多的数学统计方法被应用于现代企业的经济相关问题研究上。经济学家也不再将将数学方法的运用停留于科学问题的探讨上，而是将这些数学方法用于关系到现代企业发展的各种实际经济问题的处理上，我国的经济学研究也在数学统计方法的推动下，向数量化分析的方向发展。然而，当前数学统计方法应用于经济学中仍然存在着一些问题，主要体现在以下几个方面：　　1.社会主义市场经济体系不健全　　如上所述，运用数学统计方法来解决经济问题，第一步就是从经济问题中抽取出数学变量，建立数学模型，数学模型的建立要以经济现象的分析为前提，以相关的经济理论为基础。建立宏观经济模型，就要分析宏观运行机制，探讨宏观经济下的经济行为，再以宏观经济理论为基础来实现。这就要求宏观经济下的运行机制的描述是客观、准确的，宏观行为的分析是恰当、适宜的，只有如此，这个数学模型才能用于相关的决策评价与经济指标预测。然而，我国社会主义市场经济发展仍处于低级阶段，社会市场经济理论体系中还存在很大的缺陷，很多经济基础理论中的问题还没有有效的解决，也没有科学的论证，科学的、完备的社会主义经济体系尚未建立，影响了数学方法在经济学领域中的应用。　

2.经济统计数据不完备　　事物的活动水平、关系以及其所处的外部环境都是由数据来描述的。而经济统计数据就是用来描述经济事物以及相互关系的，是否能够准确、及时的收集经济统计数据，会对经济分析结果产生重要影响。但是，当前我国的数据统计水平相对较低，可以用于统计的数据数量较少，而那些可用的数据也存在着口径不一的问题，这些数据无法被有效的整合到一起，用于经济学问题的探讨与研究。自改革开放以来，我国的经济活动数量爆发式增加，经济数据也变得更加繁杂凌乱，原始数据的收集、整理、存储、分析的难度也越来越大。并且由多方面的干扰，一些经济指标的也存在着一事实上的虚假性，也不同程度上影响了经济统计数据的收取与利用。

3.对数学统计方法应用于经济学的认识上存在问题　　数学统计方法应用于经济学中，应注意方法使用的适当性与科学性。将数学统计方法应于经济学中，一种目的是为了让复杂的经济学问题简易化，可以通过对数学模型的分析较容易的得出经济结论，另一种目的就是为了解决经济学问题，有些经济学问题的解决只能依靠数学统计方法，这是问题本身的内在要求。而现在很多经济学研究者，或是企业的经济分析师，为了“炫技”，无论是什么经济问题的分析，都喜欢加上数学方法，认为只有这样研究才看起来有水平。甚至有些企业的经济分析人员对有些数学统计方法的原理并没有掌握，就用于企业经济问题的评估上，具有一定的盲目性与狭隘性。　　4.缺少专业的经济数学统计人才　　利用数学方法来进行经济问题的分析、评估与处理，不仅要熟练掌握数学统计方法，并且还要熟悉经济学领域的研究理论。换言之，能够将数学统计方法应用于经济学中，需要数学科学与经济科学的复合型人才来胜任。除此之外，为了提升问题的研究效率，要求工作人员应要具备计算机使用技术，还要涉及到一定的社会学、管理学、市场学以及贸易学方面的知识。然而，当前现代企业负责经济分析的工作人员要么出身于经济相关专业，对经济学知识了然于胸，但是却不能灵活的运用数学统计方法，而有的工作人员数学研究专业毕业，数学方法的应用得心应手，却对经济学相关知识知之甚少，无论是哪一种类型的工作人员对于利用数学统计方法来解决经济问题这项工作来讲，都不是最理想的。　

三、解决数学统计方法在经济学中应用问题的对策　　数学统计方法应用于经济问题的研究上，是经济发展的必然趋势，伴随着社会经济的发展，现代企业都会重视得当的运用数学统计方法来解决经济学问题。那么，让数学统计方法在经济学问题的解决上真正的发挥作用，就应针对上述的存在的问题，积极的探寻解决问题的对策。　　1.健全社会主义市场经济体系　　社会主义市场经济在我国正如火如荼的发展着，保证市场经济能够持续的、稳定的发展，就要揭示社会主义市场经济的发展规律，探讨适合我国经济体制的最优产业结构，鼓励现代企业参与到更广泛的市场竞争之中，创新发展，努力提升自身的综合实力。在数学统计方法应用于经济学的过程中，不断的完善相关理论，总结方法在实践中取得的经验，鼓励现代企业在市场竞争中注重运用科学的研究与方法，建立企业通过采取数学方法来定量一些经济决策的实施结果分析，形成一种科学市场竞争氛围，进一步推动社会主义市场经济体系的快速形成。　　2.建立经济数据收集网络　　经济数据的真实可靠性，数据收集的及时性，数据范围的覆盖范围以及完备性，都是保证数学统计方法在经济问题处理上取得成功的前提条个，因此，建立可以及时、准确的收集经济数据迫在眉睫。我国经济数据的收集都是由经济统计部门来实施的，要想保证数据收集精、快、全，首先要建立经济数据统计指标体系，确定哪些指标是应该被收集的数据，注重一些新兴行业数据的收集；其次，要加大调查力度，保证调查方法的可靠性；再次，运用现代化的技术手段来进行数据的收集，保证数据的安全性，提高数据的收集效率；最后，建立完善的数据收集体系，自下而上，相关部门协调配合，保证相关数据可以顺利的被收集。

3.将数学统计方法合理的应用于经济学中　　首先要认识到运用数学统计方法来解决经济问题的目的不是方法的使用，而是问题的解决。方法的使用只是过程，而我们所要的是结果，可以用简单的经济方法解决的问题没有必要非得使用数学统计方法来解决。其次，要科学的运用数学统计方法与经济学方法。虽然，现代经济中，人们对经济问题的分析不仅局限于定性分析上，还要求进行定量分析，而定量分析通常要借助于数学统计方法，但是并非专门用于定性分析的经济学方法便一无是处，没有了用武之地，而是要具体问题具体分析，根据实际情况下选择最适宜的分析方法。最后，国家相关部门应将数学统计方法运用于行业发展评估上，为现代企业的发展提供参考。　　4.加快培养复合型经济学理论研究者　　现代企业发展需要的是可以利用综合分析方法来解决经济问题的复合型人才。这些人才至少要掌握数学科学、经济学、社会学、心理学、市场营销学等之门基础理论的原理，才能出色的完成保障现代企业发展的经济分析与经济问题处理工作。因此，国内各大高校应加快调整人才培养模式，以人才市场需求为导向，在经济学专业人才培养中注重数学方法的传授，或者可以培养专业的经济领域的数学统计学人才。

一、统计方法与经济学的融合历程概述

如今，在经济学研究中，数学统计的运用随处可见，可以说数学统计方法已经成为经济学研究方法中不可分割的一部分。那么，究竟从何时开始，统计方法慢慢渗透到了经济学研究中呢？这要从十七世纪开始说起。统计学和经济学相互融合的萌芽时期，是在十七世纪末到十九世纪处。当时，英国古典经济学家威廉 配第在《政治算数》一书中，首次把算数引进经济学，用数学的方法来解决经济问题。而当时的研究方法还主要是定性分析法，对统计学的应用还十分有限。统计学与经济学结合的第二阶段，是从十九世纪二十年代到二十世纪四十年代。德国经济学于1854年发表的《人类交换规律与人类交易准则的发展》这一专著中指出，“戈森定律”可以通过高等数学的方法来推倒，并且重点强调了将统计学方法运用于经济学中的思想。随后，英国经济学家斯坦利 杰文斯在1871年，发表的《政治经济学原理》一书，提出了以统计学的方法建立经济数学模型的思想。自此，统计方法在经济学中的运用慢慢步入正轨。自20世纪40年代后期，第三次科技革命影响力扩展开来，统计学与经济学在方法论层面与具体方法应用上，都取得了极大的发展，两者的融合全新发展的新阶段。美国数学家伊诺曼和经济学家摩根斯坦合著，于1944年出版的《对策论与经济行为》一书，是经济学与数学全新合作的开始。从此开始，统计方法在宏观与微观经济学两种层面上都被大量的加以运用，同时也在信息经济学、证券学中起到了其应有的举足轻重的作用。而通过这一时期的经济文献，我们可以看到统计方法在经济学研究中占据着十分重要的作用。综上所述，统计方法和经济学自十七世纪开始出现融合的趋势，到现在的浑然一体，相辅相成，共同推动了经济学的科学化发展。

二、统计方法的应用对经济学研究的作用研究

1.深化了经济学的理论基础　　随着社会的不断发展，经济生活现象日益复杂，经济学研究者对于经济现象的描述和经济发展趋势的预测，单靠纯语言的分析不仅显得晦涩难懂而且难以令人信服。因此，经济学的发展一度面临着理论基础上的困境，发展的步伐越来越小，遇到了瓶颈。而数学统计方法的出现和使用，为经济学的进一步发展打下了坚实的基础。在经济学研究中，将经济现象进行搜集整理，然后运用数学统计方法对信息一一进行处理，通过运算和分析从相关数据中定量地预测相关数值或者进行理论检验，从而将经济学原本模糊的的语言描述建立在清晰的数学理论之上。一方面，经济学研究中凭借经验性分析而推断出的收集整理论将会大大减少，运用统计方法将会降低结论的偶然性和不确定性。另一方面，通过直观的数字符号大大提高了经济分析的正确性和直观性。总而言之，通过数学统计方法的运用，推进着经济理论不断科学化，使经济学最终成为一门科学。　　

2.拓宽了经济学的应用领域数学统计方法是一种以定量分析为基础的的抽象的科学，基于其内在的逻辑体系和抽象的象征意义，使得研究者能够通过数学统计方法观察到许多不同于具象化的事物特征。在数学统计方法为经济学所应用前，抽象的经济发展趋势和资金流转动态等难以描述的变化，让研究者对于如何表达其中奥秘倍感头痛。同时，经济学研究融入统计方法之后，统计学的抽象归纳与分析的方式，为经济研究的演绎和归纳，提供了新的思维工具和视角， 展示了普通语言逻辑体系无法展示的内容。从基本的微积分到微分方程，线性规划，非线性规划等，数学工具的应用无疑给经济学研究带来了福音。由于经济学的研究中数学统计方法的大量应用，经济学的研究分析由静态分析向动态分析发展，经济学内容更加丰富多彩。数学作为一种工具，其广泛的适用性是经济学研究所依赖的，随着其融入经济学，经济学的研究内容与风格也发生了大幅的转变，经济学科的应用领域也得到了大幅度的开拓，相关的经济学周边学科也大幅发展诸如福利经济学、博弈论数理经济学、经济计量学等经济学科逐步确立其再学术领域的地位。　

3.提高了经济学的科学性和精确度　　最早出现的经济学理论，是用纯语言描述的。然而，纯语言的描述方式一般长篇大论，冗长繁琐，而且很难明确地作出经济学的系统阐述。数学统计方法的使用，在很大程度上克服了文字表达含糊的缺点，清晰明确的函数关系式和统计数据，可以让读者一目了然，在把观点陈述清楚的同时，还能够加深读者对经济学的理解。另一方面，数学统计方法的应用，使经济学成为一门有根有据、可以验证的学科。数学模型的建立，精确地表达出了经济关系中，经济主体和客体的关系，在提高了经济学科学性的同时，还为之后的经济研究提供了良好的基础。而数学本身的严密性和逻辑性，也对经济学的研究提出了更高的要求，促使其不断完善。　　4.提升了经济学解决实际问题的能力　

数学方法的使用使得现实中的一些经济问题得以解决。如经济学中的优化问题，它是经济理论和现实经济生活中的一个重要问题。要实现一个特定的经济目标， 可供选择的方式有许多，但是按照某一标准选择出的方式比其它方式更好，根据规定的标准选择最适宜的方式，这就是优化选择的问题。这需要借助一定的数学工具，诸如古典积分法、变分法、数学规划技术等来解决。在另一层面，市场研究是企业为某一特定的市场营销问题的决策，寻找所需的信息的一种系统的、有目的企业经营行为，在这种背景下，统计方法的运用也是企业对市场进行经济分析的必备手段。统计方法的应用使得市场研究中的产品研究、销售研究、市场与销售潜量的估计、竞争分析、广告及促销研究、销售成本和利润分析等诸多方面的研究获得了极大的进步。通过数学统计方法，企业可以对其产品销售的影响因素进行定量分析，进而制定未来的销售前景规划。这可是直观反应企业当前的销售业绩，对企业的市场营销决策提供相关基础裁量，提高企业盈利额并增加员工的企业归属感，促进企业的可持续发展。

三、经济学研究中统计方法应用存在的主要问题　　1.经济学研究过度数学化　　数学统计方法被运用与经济学研究中，因为其产生的巨大作用，物极必反，导致现阶段存在着经济学研究过度数学化的趋势。目前存在着部分经济学家过分追求数学化，写出的相关经济学著作有大量高深的数学公式和推导，导致数学统计方法占了大半的局面，这无疑是不利于经济学健康发展的。经济学研究中过度数学化的倾向将会造成严重的不良后果，它会阻碍经济理论的普及和推广，防碍经济学家对隐藏于经济现象背后的本质特征的研究。统计方法只是我们研究经济学的工作，经济学才是我们的研究对象，也就是说数学仅仅是经济学的工具和语言，是为经济分析服务的。　　2.统计方法的应用忽视客观实际　　经济学研究的是人类一切的经济活动，经济的发展受诸多因素的影响，并非仅仅依靠数学统计方法就能进行预测和分析。数学运用的领域毕竟是可量化的，而众多经济活动的发展和经济关系变化却是无法量化的，任何因素的变化都可能会影响到经济发展的变化。经济学研究者若是单纯地依靠数学统计，而忽略对经济发展的客观实际情况，则不可避免地会产生研究出现偏差和错误。以股价预测为例，无论用哪一种软件去预测分析股票走势，正确率都无法保证处于较高的水品，此外宏观经济的运行由于其本身影响因子构成相当复杂，用数学统计方法试图去准确分析预测其动态变化是不现实的。思想汇报 http://lw54/sixianghuibao/

四、正确运用统计方法促进经济学发展的建议　　1.合理平衡经济学与统计方法的在实际应用中的关系　　从某种角度来说，统计方法和经济学研究是服务主体和服务对象的关系，即统计方法是为经济学研究而服务的。从另一个角度来说，只有数学方法而没有独到的思想，经济研究是不可能成功的。然而，在研究过程中，经常会有本末倒置的情况出现，不少学者会沉湎于数学符号的智力游戏中，背离了经济研究为主的方向。在现实生活中，经济问题是十分复杂和多样化的，数学并不能解决现实经济中的所有问题，更不能替代经济成为研究主体。所以我们在利用统计工具的过程中，首先应当主次分明，避免为数学而数学的倾向，在对经济涵义进行考察后的基础上更好地利用统计工具构建经济模型，更好地利用统计方法来为现实经济问题服务。　　2.认真把握经济发展中的客观实际情况　　经济问题本身是研究主体，那么经济发展中的实际情况应当认真把握。我们都知道，模型的数学形式是由模型的内容决定的，经济数学模型是人们对被研究的经济对象的数学抽象。然而，现实中经济问题是极为复杂的，简单的统计学模型不可能能够直接概括出经济问题的规律和本质。一般来说，统计学模型中存在这自变量和因变量两者，两者的关系一般用简单或复杂的函数关系式来表示，例如价格和利润，投入和产出等等。然而，国民经济中包含着成千上万的经济部门，也就蕴藏着难以估量的经济关系和差异繁多的经济规律，这不是一般的统计模型或者函数关系式就能描述的。经济发展的实际情况，比理论中要复杂得多。因而，在利用统计方法研究经济情况时，一定要以客观实际情况为出发点，做到实事求是。作文 http://lw54/zuowen/　　3.统计方法与其他方法科学结合使用　　对数学、历史、政治、哲学等其他学科相关学科都有所掌握，甚至可以做到精通的经济学家，才可以算的上是一个优秀的经济学家。经济学不是一门单一的学科，它十分注重于其他学科的交叉和结合。因而，我们在使用统计方法研究经济学时，也应该注意对其他方法的结合使用。一方面，我们可以从史学角度出发，从研究经济史来挖掘经济发展的实质。万事万物的发展，都不可能离开其根源，因此，当今经济学的发展，在很大程度上是建立在经济学历史的基础上的。在研究经济史学的基础上，取其精华，去其糟粕，寻找出有利于经济学研究进一步发展的内容，促进经济学理论与数理统计学的进一步融合与深化，一定程度上扭转过度数学化的经济学研究现状。另一方面，我们要注重实验经济学，即把心理学和经济学有机结合，经过反复实验来推导出现实数据。实验经济学在一定程度上能克服数学推导的单一性的缺点，其实验结果也更具有说服力。　　五、结语　　现今，对于经济学而言，在数学统计方法融入经济学的过程中不可避免地产生了一系列诸如过度数学化，忽视客观实际和运用效果不理想等问题。因此，经济学研究者在利用统计方研究相关经济问题时，应当注意平衡经济学和数学二者的关系，并做到一切从客观实际出发，注重对经济现象的细致考察和分析，切勿陷入形式主义的泥淖，使研究对象和研究工具发生错位现象。合理科学地运用数学统计方法，从宏观和微观上协调二者关系，同时注重把握经济现象中的实际情况，才能够充分发挥统计方法的作用，从而进一步促进经济学的发展。

为了在教学方面自我完善，自我提高，更好的服务于教学工作，结合自己的教学实践浅谈一些自己的心得：　　一、统计与概率的内涵的进一步认识　　数据能够帮助我们认识世界、做出决策和预测，而统计正是与数据打交道的科学，它是在人们对现实生活中数据资料的收集、整理、分析的过程中发展起来的。　　（1）紧密联系学生生活实际，创设情境。有了这样的情感学生学起数学知识来当然是事半功倍了。例如：“分苹果”的情境创设，动手操作，激发了学生提出问题，解决问题的欲望，让学生在情境中感受、理解数学问题。再如：圆的周长收集整理的实际测量，也练习了学生的动手操作。　　（2）在课堂上让学生充分交流讨论。在民主、和谐的氛围中开拓思维，积极参与，充分合作。教师适时地参与到学生的讨论和交流当中，较好地扮演了组织者、参与者、合作者的角色。　　（3）运用丰富多彩的课堂教学手段。随着科技的进步和发展，我们的课堂也要跟上时代的潮流改变传统的一支粉笔进课堂，这两节数学课让我增长了很多见识，随着一个个课件的展示，本来很难理解的数学难题变得形象、具体，一个个教学难点也随之被攻破。课堂也显得生动活泼了很多。如果有条件我们也要丰富我们的课堂，提高课堂的教学效率。

（4）引用《不列颠百科全书》对统计学的一个定义。《不列颠百科全书》对统计学的一个定义：“统计学是关于收集和分析数据的科学和艺术”。我认为定义中有三个比较关键的核心词，第一个是数据。“数据”和“数”的最重要的区别是数据是具有实际背景的，而“数”则并不一定。从这个意义上我们就可以理解了为什么说可以把“统计”从过去我们认为的“数的运算”中单独出来，成为一个相对独立的学习领域，统计主要作用正是通过数据处理来提取信息从而帮助人们进行决策。进一步，“随着信息高速的增长，我们需要进一步扩大对数据的认识。事实上，现在的数据不仅仅是数，其实图像也可以看成是数据、语句也可以看成是数据。只要蕴含着一定信息的，无论是什么表现形式，都可以看作是数据”。　　二、教学当中概念的处理方法　　在教学中，我们应该首先注重学生统计观念的形成与培养。能从统计的角度思考与数据信息有关的问题；能通过收集数据、描述数据、分析数据的过程，作出合理的决策，认识到统计对决策的作用；能对数据的来源、处理数据的方法以及由此得到的结论进行合理的质疑。收集整理养出来的感觉，统计学习要培养学生能自觉地想到运用统计的方法解决有关的问题。学生没有经历数据的收集过程，随机的数据对他们来说还是确定的，学生也就根本无从体会统计思想方法的价值。因此必须创设原始的随机情境，突出活动性，让学生亲身面对实际问题，亲自调查、收集数据，先体会随机数据的不确定、杂乱无章，然后组织学生经历数据的分类整理，凸现随机数据的特点。在这样的教学情形下，学生才深深地领悟到统计思想确实很有用。

我们还要注重学生在概率实验中的操作体验。教学中应以学生亲身经历和体验统计过程作为主线，即对数据从收集、整理、描述到分析、运用的全过程中突出学生的主体参与，再此过程中引导学生发现并提出问题，用适当的方法收集和整理数据，用合适的图表展示数据，对数据作简单的分析并对自己的分析、思考进行交流和改进。由于处理数据没有唯一的样式，在统计过程中，不同情况下、不同的学生会用不同的方法来记录和表示数据。因此，引导学生经历数据处理过程的教学具有很强的探索性。　　三、如何介绍收集和数据的分析和运用　　统计处理数据的步骤主要包括：第一是要确定需要解决什么问题；第二是决定收集数据的方法并收集数据；第三是整理并尽可能清晰地描述数据；第四是分析数据，并做出决策和推断。统计学有着它科学的一面，但也有艺术的一面。对于同样的数据，由于背景和目标不同可以有多种分析的方法，需要根据问题的实际背景选择合适的方法。也就是统计的方法没有简单的理论意义上的对和错，只有好和不好。　　统计在收集数据和运用数据做出推断等方面吸收了概率的主要成果和主要方法，产生了以抽样为特征的数学与概率论的统计学。数理统计学是运用统计的方法来研究随机现象、从而描述随机现象总体趋势的数学模型，它不会把注意力停留在个别的现象特征上，而是了解大量随机现象的总体的变化趋势，并由此得出随机现象的基本统计规律，进而得到关于社会发展、科学发现的统计预测。

最后，我们再概括地分析一下统计与概率的关系。实际上，众所周知，统计与概率都是研究随机现象的学科。“不论怎么说，机遇（或说偶然性）无所不在，机遇伴随着人的一生（当然随人的情况而有异），这是一个无法回避的现实”。统计与概率正是从不同的角度来研究怎样更好的刻画随机现象，统计主要侧重于从数据来刻画随机，概率则主要侧重于建立理论模型来刻画随机。另一方面，概率为统计提供了理论基础。在运用样本估计总体的过程中，抽样的合理性、样本推断总体的合理性，包括犯错误的风险，都需要概率的知识来提供科学依据（这在下文还要论述）。“‘机遇（机会）的数学’，它包含数学中的两个学科分支——概率论和数理统计学。概括来说就是，前者属于机遇数量化的理论基础。而后者则是其应用。”　　四、统计与概率课程的教育价值　　由上一段内容我们可以看出，统计的关键是客观地提炼和表述现实世界中广泛存在的随机信息，准确地分析并把握随机信息中的关键因素的规律性，科学地应用数据并做出正确决策是统计与概率的主要任务，而这也构成了大学阶段学习统计与概率的重要原因。具体来说，学习统计与概率的主要目的是让学生适应现代社会的需要；帮助学生形成和运用数据进行推断的思考方式；有助于学生朝着数学思考、解决问题、情感态度等多方面的发展。/　

在以信息和技术为基础的现代社会里，生活中充满着大量的数据和随机现象，各种信息量以成倍地速度增长，这时就需要人们面对它们做出合理的决策。事实上，每个人每天都会遇到许多需要判断和推理的事情。总之，生活已先于数学课程将统计与概率推到了学生的面前，统计与概率的思想已渗入人们日常生活和社会生活的方方面面。　　许多的例子表明，随着计算机等信息技术的飞速发展，数据日益成为一种重要的信息，21世纪的公民面临着更多的机会和挑战，常常需要在不确定情境中，根据大量无组织的数据，做出合理的决策，这就需要人们能对纷繁复杂的信息做出恰当的选择与判断，具有一定的收集??处理信息、做出决策的能力，并且能够进行有效的表达与交流。而统计与概率正是通过对数据的收集、整理和分析，来为人们更好的制定决策提供依据和建议。因此，要培养学生具有收集并处理数据、做出恰当的选择和判断的能力，以适应现代社会的发展，就必须将统计与概率的基本思想、方法和知识作为义务教育阶段数学课程的重要组成部分。统计与概率的学习必将为数学与学生的日常生活及其他学科联系起来提供一条自然的途径。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

关于社会统计学与数理统计的区别

一、从历史发展方面看它们之间的区别　　社会统计学自古以来就有，它的历史有3000多年，大到国家财政分配，小到百姓生活方面的各种统计，无所不在。它是一项广泛的社会实践活动形式，“统而计之”就是人们对统计的初步认识。它属于社会科学。数理统计学仅仅是在100年前伴随着概率论的发展而发展起来的。19世纪中叶以前已出现了若干重要的工作，如C.F.高斯和A.M.勒让德关于观测数据误差分析和最小二乘法的研究。到19世纪末期，经过包括K.皮尔森在内的一些学者的努力，这门学科已开始形成。但数理统计学发展成一门成熟的学科，则是20世纪上半叶的事，它在很大程度上要归功于K.Pearson、R.A. Fisher等学者的工作。特别是Fisher的贡献，对这门学科的建立起了决定性的作用。1946年H.克拉默发表的《统计学数学方法》是第一部严谨且比较系统的数理统计著作，它是数理统计学进入成熟阶段的标志。由于数理统计其本质是带着概率意义下的结论。比如：区间估计，假设检验，方差分析等。因此数理统计属于概率论的应用属于自然科学。统计学发展史说明：先有社会统计学后有数理统计学，先有变量后有随机变量；社会统计学以变量为基础，数理统计学以随机变量为基础，变量与随机变量是在一定的条件下可以相互转化的数学概念。　　

二、从数学思路上看它们之间的区别　　从两门统计学的数学思路来看，社会统计学主要来源于社会学、经济学、数学（主要是初等数学），这个学科所涉及的内容与实际统计工作存在着密切的联系。当统计工作发生大的变动之后，统计学也随之做出相应的反应。由于它主要是为国家的宏观管理服务的，有着鲜明的服务对象，因此在国家统计部门、宏观经济管理部门发挥着直接的作用。本文由毕业论文网http://lw54收集整理另外，这个学科中的一些名词也不属于数学名词。如：人口统计，寿命表。随着学科的不断交融和细化，相关于每个学科的统计学随之诞生，如生物统计、地质统计、地震统计、医学统计、卫生统计等等。而数理统计学的理论基础是概率论，它与数学，特别是高等数学存在着密切的联系。它本身是一门数学学科，重在应用方法的数理基础的研究。由于它有不少方法来源于生物、农业试验。因而被自然科学界普遍地认为是一种科学方法。从原则上来说它可以用于研究任何随机现象的变化。除了它的通用性之外，它还具有很强的派生性，现在许多被人们泛使用的数理方法都与数理统计学有着不可分割的联系。　

　总之，社会统计学更侧重于对解决社会、经济等现实问题数量分析方法的研究与应用，而方法本身的数理基础的科学性研究，则由相应的理论统计学去研究，事实上，推断统计方法的数理基础的科学性研究，正是数理统计的研究范畴之一。　　三、从应用的角度和范围上看它们之间的区别　　在研究角度上，二者的区别表现为，社会统计学主要包括社会核算和社会定量分析两部分。前者主要包括统计分类理论、统计资料搜集与整理理论、统计指标理论和核算表式理论，其核心内容是宏观经济核算表，此外还有正在开发或有待开发的环境、科技等核算领域。后者是对社会经济总量、结构、动态、趋势等方面进行分析。从整体看，统计学基本上是围绕观测指标展开的，指标设定、指标测量、指标分析是其主要内容。而数理统计学一般包括描述统计和推断统计两大部分。数理统计基本上是围绕模型展开的，模型假设、模型论证、模型运用是其主要内容。两门统计学在研究角度上虽有联系，但其区别是明显的。　

　在研究范围上，数理统计侧重于对样本数据的定量分析；而统计学不仅重视样本数据的定量分析，而且重视对所获得的总体全部数据的定量分析，同时，重视数据收集方法、数据整理方法的研究。某某统计学往往仅限于它所在的学科的具体应用。而数理统计给出的公式却可以应用在其他的众多科学领域中。如：在农业中，对田间试验进行适当的设计和统计分析；在工业生产的试制新产品和改进老产品、改革工艺流程、使用代用原材料和寻求适当的配方等问题中起着广泛的作用；在医学中，可以用来发现和验证导致疾病的种种因素，确定一种药物对治疗某种疾病是否有用，用处多大，以及比较几种药物或治疗方法的效力等；在自然科学和技术科学中，可以用于地震、气象和水文方面的预报、地质资源的评价等。数理统计的原理是小概率事件，其论证过程是反证法。这也是它与社会统计学的重大区别。　　四、从词汇上和图书分类上看它们之间的区别　　社会统计学起源于国家财政National Finance，数理统计学的英文为Mathematical statistics。社会统计学的图书分类为F，数理统计学为O。　　从上述数理统计与社会统计学的比较，可以清楚地看到，随着现代统计学的发展及其在社会政治经济生活中发挥作用越来越大的趋势，数理统计研究问题的理念及其方法已对统计学的发展产生重要的革命性影响，但是，数理统计与社会统计学毕竟是两门差异较大的学科，不可能简单地加以“统一”。 尽管在社会统计学与数理统计学之间存在着很大区别，两门学科关于统计学理论问题的观点有着明显的历史和认识上的局限性，这些却并不能否定两大学派的历史功绩和未来发展。通过比较分析两大学科，全面正确地认识统计学的发展，更有利于两门学科之间的沟通、交流和借鉴，促进整个统计学的发展。 　　

摘　要：统计分析是一种反映统计结果的工具,它在现在的企业中,被运用得很广泛,但它所使用的技术水平也在不断的提高,特别是在反映企业统计结果方面,更具有一定的实用性。企业在使用统计分析时,涉及到很多种行业中,例如:工业、商业、建筑业和交通以及邮电等各企业统计分析工作中。

关键词：

一、统计分析的概念统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识。它又是在一定的选题下，集分析方案的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。二、统计分析的特点 　统计分析是对客观现象的一种认识活动，它在定性分析的基础上，经过定量研究，达到对现象本质及规律性的认识。　　统计分析方法具有特殊性　统计分析方法是以总体现象的数量关系为对象的一类特殊科学研究方法的总称。从应用的角度来看，统计分析方法可分为经验方法和数学方法两大类。经验方法是指一些与初等数学知识和人们的实践经验相关联的方法。数学方法又称为数理统计方法，是以数学理论，特别是概率论为基础对客观现象进行研究的方法。它可以通过对现象貌似偶然的变动来探求其必然的规律性。

统计分析的对象具有综合性　统计分析的对象不是某种社会经济现象的个体数量方面，而是现象的总体数量方面，分析研究其综合数量特征。从总体上对客观现象的数量方面进行分析，可以避免以偏概全，使认识较为全面和正确。三、统计分析方法 统计分析方法很多，但基本方法是定量分析 。l、从统计理论上看，我们所见到的统计学著作，除了统计设计、统计调查、统计整理等理论和方法外，其他大部分内容都是统计分析方法，这些统计分析方法有一个共同点，它们都是定量分析方法。 2、统计实践上看，统计分析所起的作用，是通过定量分析实现的。统计分析在人们的认识过程中有三个作用：第一，对客观事物量化，包括反映客观事物规律的数量表现；第二，根据量变程度确认事物的质，即确定区别事物质量的数量界限；第三，揭示新的规律，即通过分析数量关系，发现尚未被认识的事物的规律。　　四、企业如何运用统计分析 　　随着社会主义市场经济的发展,统计为企业发展战略的研究和制定,为各项职能管理提供必要的信息,为防范和化解风险,发挥其预警作用,新经济时代统计信息是影响企业管理层决策成败的关键。

（一）在企业经营过程中：在企业的经营管理中，统计分析占据着十分重要的地位。在认识统计的过程中，企业通过统计调查以及整理取得的统计资料能够对客观现象的数量特点取得一定的认识。若不进行深入的整理和分析，对于这些现象的认识还只停留在表面的初步认识状态，所以必须对这些统计资料加以分析和研究，才可以掌握事物的本质以及内在的发展规律，通过逐渐地深化认识，有效的深入的分析方法，查找出经营管理中存在的问题和薄弱环节，就可以提出改进的举措，给各级领导各级管理部门参考改进建议，是企业的各项管理工作不段得到改善和提高，充分显示出统计分析在企业经营管理中发挥的广泛应用。（二）在企业目标管理中：（1）在企业的各项经济指标的预测中，通常强调动态的分析预测与静态的分析预测相互结合，其中以静态分析预测为主。企业首先要根据自身发展的特点，寻找到经济运行波动的共性和差异，根据企业的总体规划以及企业的特殊性，依据企业的历史统计数据，运用相应的预测模型给出企业相关指标的科学性预测，根据预测数据制定出各项计划经营指标和各项KPI考核指标，再通过把企业的月度统计预测、季度统计预测和年度统计预测与月度、季度及年度各解段实际完成情况进行对比分析，进行不断调整修正完善，使得企业的目标管理以及考核指标得到实现和完成的保证。

（三）、在企业的决策性分析中：在我国的经济管理领域，决策性分析方法是最先被引入和普及的定量化分析方法。随着企业信息化建设的推进，企业受外部环境的影响逐步加深，这就要求企业及时对相关信息进行处理和分析。一是对市场需求和供给能力的分析。主要包括居民的购买力、商品的潜在和实际市场需求量、品牌成熟度、订单满足率、消费偏好等。通过分析，可以判断企业的赢利空间、供需缺口等，为领导层确定商品销售规模、制定阶段性营销策略等提供依据。二是对社会经济环境的分析和影响。主要包括国内、国际的宏观环境对我国行业发展的影响和对地方法规、民风民俗对企业的发展的影响。三是对企业竞争力的分析。通过分析本行业其他企业的经营情况，在对比中认识自身发展的差距和潜力，从而为制定正确的发展战略提供参考。（四）在企业过程分析和阶段分析控制中：在计划方案的落实过程中，往往会出现一些不可预知的状况。需要及时的进行过程分析和阶段分析。企业利用统计数据定期分析计划完成情况、进度情况等，可以及时的发现执行过程中所存在的问题。通过对完成阶段的结果进行对比分析，有利于确定指标完成率。便于衡量市场潜力相同的不同市场之间的业绩。也作为销售目标制定的依据。 　

在企业当中，统计分析工作是了解现状、预测未来，为了更好的促进企业发展进步的重要方法。做好统计分析工作具有重要的作用和意义。因此，我们要提高对统计分析的研究，使统计分析工作更好地成为企业发展的有力推动力量。 参考文献：[1]百度百科.统计分析[EB/OL]. 　[2]赵井霞．试谈如何进行统计分析[J]．商业经济．2004.4． 　　[3]宋安. 统计分析在企业管理与经营决策中的应用[J].经济师.2003.6

统计学方法在数据挖掘中的应用探究

数据挖掘就是指从众多实际应用数据中获取批量大、有噪声、且随机性强的数据，将潜在的信息与数据提取出来，就是从数据中挖掘有价值的知识，而大多数原始数据具有一定的结构化特征，比如，关系数据库中的数据；也可以通过文本、图形、图像等半结构化发掘有用知识，这些知识可以是数学的也可以是非数学形式的；数据挖掘能以归纳形式存在，能够被广泛应用到信息查询、信息管理、信息决策控制中，方便数据的维护与管理。由此可见，数据挖掘是一门交叉性强的学科，加强对其的研究非常有意义，下面将对统计方法在数据挖掘中的具体应用进行分析。　

　一、数据挖掘与统计学的关系　　（一）数据挖掘的内涵　　通常来说，数据挖掘的定义较为模糊，没有明确界定，大部分对其的定义只是停留在其背景与观点的内容上。通过对不同观点的统一整理，人们最终将其描述为：从大量多样化的信息中发现隐晦性、规律性等潜在信息，并对这些信息进行创造、加工的过程。数据挖掘作为一门重要的交叉学科，能够将数据库、人工智能、机器学习、统计学等众多的科学融入到一起，从而实现技术与理论的创新与发展[1]。其中，数据库、人工智能与统计学是数据挖掘当中的三大支柱理论。数据挖掘的目的是从数据库当中发掘各种隐含的知识与信息，此过程的方法非常多，有统计学知识、遗传算法、粗集方法、决策法、模糊逻辑法等，还可以应用向邻近的可视技术、模式识别技术等，在以上所有技术的支持上能够使数据挖掘更为科学、有序。　　（二）数据挖掘与统计学间的关系　　通常来说，统计学的主要功能是对统计原理与统计方法进行研究的科学。具体来说就是指对数字资料进行的收集、整理、排序、分析、利用的过程，数字资料是各种信息的归纳与总结，可以将其作为特性原理的认知、推理方法[2]。而统计学则表示的是使用专业的统计学、概率理论原理等对各种属性关系的统计与分析过程，通过分析成功找到属性间的关联与发展的规律。在此过程中，统计分析方法是数据挖掘最为重要的手段之一。

　　在数据挖掘这一课题被提出来之前，统计分析技术对于人们来说更熟悉，也是人们日常开展工作、寻找数据间规律最常使用的收集整理方法。但是不能简单的将数据挖掘作为统计学的延伸与替代工具，而是要将两者的区别认识到位，再结合两者间的不同特点分析其应用特点[3]。大部分的统计学分析技术都是建立在数学理论与技巧上的，预测通常较为准确，效果能够让大部分人满意。数据挖掘能够充分借鉴并吸收统计学技术，在融入到自身特点以后成为一种数据挖掘技术。　　统计学与数据挖掘存在的目标都是一致的，就是不断对数据结构进行发掘。鉴于统计学与数据挖掘在目标上的一致性，致使很多研究学者与专家将数据挖掘作为了统计学的一个分支机构[4]。但是这种认知非常不正确，因为数据挖掘不仅体现在与统计学的关系上还体现在思想、工具与方法上，尤其是在计算机科学领域对数据挖掘起到的作用非常大。比如，通过借助数据库技术与人工智能的学习，能够关注到更多统计学与数据挖掘上的共通点，但是两者存在的差异依然非常大。数据挖掘就是指对大量的数据信息不断挖掘的过程，DM能够对数据模式内的数据关系进行充分挖掘，并对观测到的数据库处理有着极高的关注度。　　二、数据挖掘的主要过程　　从数据本身出发探讨数据挖掘过程，数据挖掘的过程分为信息的收集、数据集成、数据处理、数据变换、数据挖掘实施等过程。

　首先，要将业务对象确定下来，明确不同业务定义，并认清数据挖掘的目的，这是做好数据挖掘最关键的一步，也是最重要的一步，虽然挖掘的结果不能被准确预测到，但却需要对问题的可预见性进行探索[5]。其次，还要做好数据准备工作，包含数据清理、数据变换等工作，数据清理的实际意义是将噪声与空缺值补全，针对这一问题，可以使用平滑技术，而空缺值的处理则是属性中最常见的，可以将统计中最可能出现的值作为一个空缺值[6]。　　信息收集指的是按照特定的数据分析对象，可以将分析中需要的特征信息抽象出来，并在此基础上选择出较为科学、适合的信息收集方法，将全部的信息全部录入到特定的数据库中。如果数据量较大，则可以选择一个专门的管理数据的仓库，实现对信息的有效保护与管理；数据集成就是指将来源不同、格式不同、性质不同、特点不同的数据集成到一起，进而为企业提供更为全面、系统的数据共享平台；数据变换就是通过聚集、概化、规范化等方式对数据进行挖掘，对于一些实用数据，则可以通过分层与分离方式实现对数据的转换；数据挖掘就是结合数据仓库中的数据信息点，并选择正确的分析方法实现对有价值数据的挖掘，事例推理、规则推理、遗传算法等都是应用较多的方法[7]。　　三、统计学方法中的聚类分析　　在统计学聚类方法基础上能够构建出潜在的概率分布假设，可以使用试图优化的方法构建数据与统计模型的拟合效果。基于统计学聚类方法当中，Cobweb方法是在1987年由Fisher提出的，能够以分类树作为层次聚类创建的方法，在分类树上，每一个节点都能代表着一个概念，该方法就是对节点概率描述的过程。Cobweb方法还使用了启发式估算方式，使用分类效用对分类树的构建进行指导，从而实现对最高分类的划分目的，能够将不同分类对象全部归类到一个类别中，并依据这些内容创建出一个新的类别。但是这种方法也存在一定局限性，局限性在于假设的属性概率分布都是独立的，并不能始终处于成立状态中。