方法/步骤

1、首先，打开或者是新建一组数据，这里是打开一组案例分析中的数据进行分析。

2、在浏览窗口中找到需要分析的数据。

3、选择分析，描述统计中的比率，单击打开。

4、弹出一个设置窗口，我们再这里设置比率的分子和分母还有分组变量。

分子和分母分别表示比率变量中的分子和分母变量。

分组变量一般是叙事变量，使用数值代码或者是字符串对分组变量进行编码。

5、这是根据数据中的变量设置的三个分值。

6、下面是对统计量进行设置分析。

打开统计量窗口，里面有四大块，根据数据统计分析自定义设置，设置完成之后确定即可。

7、下面是根据数据分析设置的显示结果，如下图所示：

（本文内容由百度知道网友贡献）

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

统计学方法在数据挖掘中的应用探究

数据挖掘就是指从众多实际应用数据中获取批量大、有噪声、且随机性强的数据，将潜在的信息与数据提取出来，就是从数据中挖掘有价值的知识，而大多数原始数据具有一定的结构化特征，比如，关系数据库中的数据；也可以通过文本、图形、图像等半结构化发掘有用知识，这些知识可以是数学的也可以是非数学形式的；数据挖掘能以归纳形式存在，能够被广泛应用到信息查询、信息管理、信息决策控制中，方便数据的维护与管理。由此可见，数据挖掘是一门交叉性强的学科，加强对其的研究非常有意义，下面将对统计方法在数据挖掘中的具体应用进行分析。　

　一、数据挖掘与统计学的关系　　（一）数据挖掘的内涵　　通常来说，数据挖掘的定义较为模糊，没有明确界定，大部分对其的定义只是停留在其背景与观点的内容上。通过对不同观点的统一整理，人们最终将其描述为：从大量多样化的信息中发现隐晦性、规律性等潜在信息，并对这些信息进行创造、加工的过程。数据挖掘作为一门重要的交叉学科，能够将数据库、人工智能、机器学习、统计学等众多的科学融入到一起，从而实现技术与理论的创新与发展[1]。其中，数据库、人工智能与统计学是数据挖掘当中的三大支柱理论。数据挖掘的目的是从数据库当中发掘各种隐含的知识与信息，此过程的方法非常多，有统计学知识、遗传算法、粗集方法、决策法、模糊逻辑法等，还可以应用向邻近的可视技术、模式识别技术等，在以上所有技术的支持上能够使数据挖掘更为科学、有序。　　（二）数据挖掘与统计学间的关系　　通常来说，统计学的主要功能是对统计原理与统计方法进行研究的科学。具体来说就是指对数字资料进行的收集、整理、排序、分析、利用的过程，数字资料是各种信息的归纳与总结，可以将其作为特性原理的认知、推理方法[2]。而统计学则表示的是使用专业的统计学、概率理论原理等对各种属性关系的统计与分析过程，通过分析成功找到属性间的关联与发展的规律。在此过程中，统计分析方法是数据挖掘最为重要的手段之一。

　　在数据挖掘这一课题被提出来之前，统计分析技术对于人们来说更熟悉，也是人们日常开展工作、寻找数据间规律最常使用的收集整理方法。但是不能简单的将数据挖掘作为统计学的延伸与替代工具，而是要将两者的区别认识到位，再结合两者间的不同特点分析其应用特点[3]。大部分的统计学分析技术都是建立在数学理论与技巧上的，预测通常较为准确，效果能够让大部分人满意。数据挖掘能够充分借鉴并吸收统计学技术，在融入到自身特点以后成为一种数据挖掘技术。　　统计学与数据挖掘存在的目标都是一致的，就是不断对数据结构进行发掘。鉴于统计学与数据挖掘在目标上的一致性，致使很多研究学者与专家将数据挖掘作为了统计学的一个分支机构[4]。但是这种认知非常不正确，因为数据挖掘不仅体现在与统计学的关系上还体现在思想、工具与方法上，尤其是在计算机科学领域对数据挖掘起到的作用非常大。比如，通过借助数据库技术与人工智能的学习，能够关注到更多统计学与数据挖掘上的共通点，但是两者存在的差异依然非常大。数据挖掘就是指对大量的数据信息不断挖掘的过程，DM能够对数据模式内的数据关系进行充分挖掘，并对观测到的数据库处理有着极高的关注度。　　二、数据挖掘的主要过程　　从数据本身出发探讨数据挖掘过程，数据挖掘的过程分为信息的收集、数据集成、数据处理、数据变换、数据挖掘实施等过程。

　首先，要将业务对象确定下来，明确不同业务定义，并认清数据挖掘的目的，这是做好数据挖掘最关键的一步，也是最重要的一步，虽然挖掘的结果不能被准确预测到，但却需要对问题的可预见性进行探索[5]。其次，还要做好数据准备工作，包含数据清理、数据变换等工作，数据清理的实际意义是将噪声与空缺值补全，针对这一问题，可以使用平滑技术，而空缺值的处理则是属性中最常见的，可以将统计中最可能出现的值作为一个空缺值[6]。　　信息收集指的是按照特定的数据分析对象，可以将分析中需要的特征信息抽象出来，并在此基础上选择出较为科学、适合的信息收集方法，将全部的信息全部录入到特定的数据库中。如果数据量较大，则可以选择一个专门的管理数据的仓库，实现对信息的有效保护与管理；数据集成就是指将来源不同、格式不同、性质不同、特点不同的数据集成到一起，进而为企业提供更为全面、系统的数据共享平台；数据变换就是通过聚集、概化、规范化等方式对数据进行挖掘，对于一些实用数据，则可以通过分层与分离方式实现对数据的转换；数据挖掘就是结合数据仓库中的数据信息点，并选择正确的分析方法实现对有价值数据的挖掘，事例推理、规则推理、遗传算法等都是应用较多的方法[7]。　　三、统计学方法中的聚类分析　　在统计学聚类方法基础上能够构建出潜在的概率分布假设，可以使用试图优化的方法构建数据与统计模型的拟合效果。基于统计学聚类方法当中，Cobweb方法是在1987年由Fisher提出的，能够以分类树作为层次聚类创建的方法，在分类树上，每一个节点都能代表着一个概念，该方法就是对节点概率描述的过程。Cobweb方法还使用了启发式估算方式，使用分类效用对分类树的构建进行指导，从而实现对最高分类的划分目的，能够将不同分类对象全部归类到一个类别中，并依据这些内容创建出一个新的类别。但是这种方法也存在一定局限性，局限性在于假设的属性概率分布都是独立的，并不能始终处于成立状态中。

浅谈统计学在生活中的应用

统计学并不是一门独立存在的学科，它是以数学知识和数理统计作为基础，将数理统计方法和其他学科专业知识交叉融合形成的具有极强推断性的一种分析方法。现阶段，随着科学技术的快速发展，为了加强对自然社会各个领域现象的判断和整理能力，将统计学应用在生活各个方面已经成为现阶段的数理统计的一种便捷方法。

一、统计学的概念 　　统计学指的是调研人员通过一些列的手段对整理出来的数据信息进行整理分析，从而推断出调研对象本质，甚至可以对未来的类似事情进行预判的一门综合性学科。在进行统计学整体分析的过程中需要用到大量的数学知识以及其他相关学科的专业知识，统计学由于其自身独特的性质，在社会科学和自然科学的各个领域几乎都可以使用。 　　二、统计学在生活中的应用分析 　　（一）统计学在经济学中的重要应用 　　运用统计学对生活中的数据信息进行整理分析，首先要学习统计学的基础知识以及数据统计个分析等学科，这些基础知识和方法都是在开展统计学应用活动之前调研人员所必须掌握的。统计学课程的学习作为经济学学科当中的重要分支，在经济学课程中经常被应用，例如，经济学的计量统计就需要根据统计学在金融里面的重要意义和地位作为基础，将金融知识和统计学知识相结合，将金融计量和时间的序列进行结合，对收集到的金融数据进行整理分析，最后得出金融计量和时间序列的一定关系。 　　统计学在金融经济学中有着十分重要的工具性作用，主要包括两个方面，分别是：在思想上而言，统计学是对数据统计分析结果进行研究，最后得出研究对象的判断结果，为了保证研究结果的准确可靠性，统计学在进行数据整理分析过程中必须是带着严谨的科学态度，这种严谨的科学态度对于经济学的相关理论分析具有十分重要的指导地位，这是由于研究人员在对金融量进行数学分析的过程中，为了保证金融数学分析结果的准确可靠性就必须保证金融量数据收集分析等预处理过程是科学合理的；其本收集整理次，统计学是经济学进行科学试验研究最优化的选择，经济试验研究活动的多样性以及研究对象之间错综复杂的关系导致经济学的试验研究活动受到诸多限制，运用统计学进行经济学试验研究活动，使得经济学实验研究的对象变得简洁明了，降低试验研究的成本支出。从统计学在经济学中的应用我们可以看出，经济学当中的统计学应用主要是运用了统计学当中经济必然性的思想，使得经济学当中的统计结论不具备复杂的思想成本。 　　

（二）统计学在医学中的重要应用 　　统计学在医学中应用的主要原因就是生物医学中存在的不确定性和变异性。生物医学主要的研究目标就是与人体健康相关的不确定因素，也就是通常所说的医学变异现象，变异现象在生物体当中是普遍存在的，例如，对于外在条件基本相同的两个病人，在相同的条件下进行治疗时，却有可能出现有的病人被治愈，有的病人治疗效果不明显，甚至还会出现死亡的现象。造成这些外在条件相同的生命体却出现不同程度治愈的主要原因就是生物医学中存在的不确定性或者是人体中存在的错综复杂的随机因素，客观差异存在的原因是因为某种偶然性的潜在的揭露必然性的发现。 　　在医学临床统计中发现，对于同一种病因的客观性规律进行调查，对于健康人的共同作用的交织与疗效的考查的病人很少。在医学当中运用统计学最主要的就是通过观察不同疗效病人的医疗诊断效果，将实际的医学诊断治疗效果与医学理论和假设进行验证，运用概率论以及数学方法对对比结果进行分析、判断，运用电子计算机等相关软件设备对研究对象的指标进行记录，并绘制相应的图表等，通过综合运用多种数理统计方法，得出与研究对象相关的研究结果。将统计学应用到医学当中，可以促进统计方法和多变量分析法在医学试验研究中的应用，对未知病因所造成的医疗诊断事故进行分析，可以促进医疗诊治手段的不断创新發展。

（三）统计学在体育比赛中竞技指标的应用。 　　统计学在体育比赛中的应用主要是用统计的职业联赛的数字反应比赛队伍能否成为世界顶级，这是因为在体育比赛中应用统计学可以对比赛中的胜率进行分析，主要是将每个队员在每个赛季比赛的分数和常规赛场上的分数进行统计，通过一系列的数学计算分析，制定出每个队员得分平均值和标准差之间的正态分布图，通过正态分布图的稳定性来判断队员的技术稳定性。以众所周的NBA篮球比赛为例，NBA比赛中由于明星球员众多，在运用统计学进行数据整体分析时，需要依据本质上的规律进行数据统计，而不是随意的选择数据进行统计，例如在进行篮球比赛发球这一项双方队员的进攻和防守的概率时，在进行指标选择时就涉及到随机事件的发生概率，因此，可以运用统计学统计球员在每一场比赛上的均得分，通过这些数据指标的正态分布图来确定球员的技术稳定性。 　　三、结束语 　　在日常生活中应用统计学对数据进行管理分析，可以极大提高生产生活中对研究对象的管理效率，使得研究对象变得明确，降低管理成本。在实际的生产生活中应用统计学时，调研人员需要通过多次的试验和随机概率对比来确定事件发生的概率，通过定量定性的数理统计分析工作，充分发挥统计学对生产生活的促进作用。

CIO正在采用数据分析来提高效率，但并不是每一次努力都有成果，一下是知名公司领先CIO如何成功地利用数据分析和机器学习来提高收入或降低成本的成功案例。

降低成本或提高收入的Hyperaware可以帮助他们在C套房和董事会的眼中闪耀，CIO比以往任何时候都更加支持支持数据科学的技术。据IDC统计，2017年全球大数据和业务分析的收入将达到1580亿美元，比2016年上涨了12.4％。旨在支持大数据和分析的硬件，软件和服务的商业购买预计将超过2100亿美元。IDC分析师Dan Vesset指出，大数据分析解决方案已经成为在全球各行业和业务流程中实现数字转型工作的关键支柱。

但是，这种令人沮丧的支出有一个黑暗的一面：大多数数据分析项目无法产生可衡量的价值。遗留系统和商业机构官僚机构已经产生了数据仓库，并使数据质量不佳。而CIO们仍然在努力填补操纵数据所需的人才差距。人才战争激烈，大学分析课程的兴起并不能够足够快地培养合格人选。

然而，数据分析的成功案例在本月初的CIO100研讨会上比较丰富，几个IT领导者透露了他们的努力。首席信息官还分享了对同行进行类似努力的经验教训和建议。

数据分析

已经发展成为全球140多个市场的400亿美元全球医疗保健公司的默克公司力图利用ERP和核心系统收集的数据进行制造执行和库存控制，以获得更多的业务见解。但默克公司的工程师花费了60％到80％的努力来寻找，访问和摄取每个项目的数据，业务目标已经过去了。默克制造IT部门的首席信息官Michelle A'lessandro表示：我们并没有将数据视为可行的，永久的和有价值的资产。我们希望建立一种文化，我们花费更少的时间移动和报告数据，并将更多的时间用于有意义的业务成果的数据。

默克创建了MANTIS（制造和分析智能），这是一个über数据仓库系统，包括内存数据库和开放源码工具，可以压缩包含文本，视频和社交媒体在内的结构化和非结构化系统中的数据。重要的是，该系统旨在让非技术业务分析人员轻松查看可视化软件中的数据。相反，数据科学家可以通过复杂的模拟和建模工具访问信息。MANTIS已经将公司整体IT分析项目组合的时间和成本降低了45％。有形的业务成果包括平均交货时间减少30％，平均库存支出成本减少50％。

经验教训： A'lessandro表示，她成功的关键是在亚太工厂确定了一个灯塔”分析项目，默克公司将获得最大的回报。在MANTIS展示成功之后，它成为了对其他网站的呼吁。她也学会了不要咬伤多于她可以咀嚼。A'andandro表示，她在早期的实验中,过度”地使用人工智能和机器学习来分析默克制造过程的成本。A'andandro说：不是因为缺乏赞助或缺乏愿景，我们不能让它上班。

机器学习

多年来，Pepper Snapple集团的销售路线人员抓住了一个含有客户数据，销售和促销记录的肥皂，并打入沃尔玛和Target等零售客户的道路。今天，销售人员不是使用绑定器，而是配备iPad，告诉他们他们需要访问什么商店，为零售商提供什么，以及其他关键指标。Pepper Snapple集团的首席信息官Tom Farrah表示：他们是荣耀的接班人，现在他们正在成为聪明的销售人员，配备信息来帮助实现他们的目标。

该平台MyDPS配有机器学习和其他分析工具，可在推送应用程序时向工作人员推荐建议和日常操作记分卡。显示员工如何按照预期的预测执行的算法，包括他们是否符合自己的计划，这些算法都会落在下面，以及他们如何正确地解决问题的见解。Farrah说：如果我要让某人取得成功，我必须确保他们有什么信息具有内容相关性。”

经验教训：为了测试MyDPS的概念证明，Farrah将该软件分给了四个分支机构，并让业务总裁去拜访他们。他们透露，使用MyDPS后，上个月的执行销售额已经提高了50％，说服他对项目进行了绿化。Farrah说：他得到了结果，这就是销售所需要的，”这不仅仅是为了项目的业务赞助，而且希望得到结果，这一点非常重要。

预测分析

皮特俄亥俄州首席信息官Scott Sullivan表示，货运业正在遭受所谓的;亚马逊影响”的打击。皮特·俄亥俄州，一家7亿美元的货运公司，已经习惯于收取运费，并在第二天交付给客户。但是，要感谢亚马逊，客户越来越期待当天的交货。他们期待有关他们的包的更多信息。

沙利文说：客户现在不仅要知道什么时候会被拿起来，而且要知道如何交付，以便他们能够计划工作量。” 利用历史数据，预测分析和算法实时计算各种货物重量，行驶距离和其他因素，Pitt Ohio可以估计驾驶员以99％的准确率到达运送目的地的时间。该公司估计，通过重复订单增加了收入（估计每年为5万美元），并降低了客户损失的风险（估计为每年6万美元）。

经验教训：沙利文说，这是涉及市场研究，销售业务和信息技术的跨部门事务，他们都检查并重新检查结果，以确保其实现目标。Sullivan表示：四面墙内有很多数据，是创新的，寻找有挑战性的方法来使用它。

如果数据是新的石油，那么知道如何将其改进为可操作的智能是利用其潜力的关键。为此，CIO正在使用预测分析工具，制定机器学习算法和战斗测试其他解决方案，以追求企业的效率和新的服务方式。想获得更多大数据分析成功案例，加学习交流8群640193172，和大数据大数据资深交流经验.

统计学中一体化教学的运用

据IT、互联网行业对统计类人才需求较大，占全部调研行业需求的35%；同时，约有1/5的用人需求体现在金融行业；房地产行业与服务业分别占1/10。结合上述行业自身特点与用人需求比例，统计类人才招聘主要集中在新兴行业，其中以技术类互联网行业为首。上述25542个统计相关岗位中，对高中以下及硕士以上学历员工需求较少，均不足10%；专、本科学历员工需求量较为突出，占全部需求的近4/5；其中，约有11622个岗位要求大专及同等学历，即符合高职高专学历的岗位约占全部岗位的45.5%。根据企业招聘岗位对学历要求，高职高专学生符合近50%岗位需求。　

从统计类人才岗位分布看，统计类相关岗位辐射了各个行业、各个部门，充分体现出企业对于人才需求的多层次、多样化。同时，统计技能在公司内部各岗位有着不可或缺的地位。根据智联招聘网站数据），企业对统计专员岗位需求量尤为突出，占全部岗位比重的近1/2。通过对上述岗位的岗位职责的具体分析，低层次统计人员，如统计专员岗位，在企业内部大多从事简单的数据资料收集、录入及报表汇总等技能性工作，工作中基本不涉及统计算法研究；相反，对中高层统计人才需求量相对较小，主要集中在管理岗及部分高端技术岗位，如数据经理、数据分析专家、首席数据官等。这些岗位要求员工掌握夯实的统计理论、扎实的统计算法技术及具备丰富的从业经验。通过上述职业岗位群分析，目前就业市场需要更多掌握统计技能而非专业统计理论算法的人才。因此，掌握基本的统计技能是学生毕业后迈向社会求职的基础。　　一、理论实践一体化教学法在统计课中的改革

通过对课程内容的模块化，把理论知识教学与技能训练相结合，以突出培养学生的职业技能为本。课程内容与要求、进度与教学环节设置均满足职业技能训练。21世纪是知识经济高速发展的时代。当下需要更多掌握新技能、适应新形式的高素质实用型人才。学校作为学生的良师益友、企业的合作伙伴，必须准确定位，根据社会需要和自身特点，在顺应时代发展、迎合企业用人需求的基础上，突出职业教育特色，培养出既有理论知识，又有较高实际操作能力的复合型高技能人才。传统统计学的纯理论教学已不适用。课程教学重心应偏向实践，做到理论结合实践，狠抓学生能力培养。　　（一）改革课程结构。　　传统学科型培养模式与企业用人需求之间的差距，体现出学生动手能力弱，综合能力差，适应工作岗位慢等短板。通过调研，统计类岗位需要学生了解统计学的基本概念，掌握统计数据的采集、整理、描述方法，熟练绘制统计图和统计表。根据岗位要求，将上述统计学课程知识转化为正确数据采集能力、准确信息分析能力、灵活软件操作能力，意在培养学生基本职业素质——数据敏感力、市场洞察力、统计分析的严谨力及吃苦耐劳精神。理论实践一体化教学打破了传统的章节式教学模式，改为知识模块式与操作模块式同行的教学方式，着重培养学生运用专业知识解决实际问题的能力。知识模块主要介绍统计的产生、发展，统计的研究对象、基本概念等。操作模块是通过Excel、SPSS等配套统计软件，集中讲解统计调查实施、数据整理、指标计算、统计分析报告的撰写等内容。这种模块式教学做到了以学生职业技能与就业能力为基础，教学计划以企业岗位要求为基础，配以大量现场教学，教学进度因学生自身而设定，教师起辅助指导作用，立足学生全面素质的提升。

（二）突出能力培养。　　理论实践一体化教学法引入案例教学，鼓励学生独立思考，引导学生由注重知识到注重能力的转变。教师运用PDCA循环对案例教学进行有效控制。P（Plan）——计划：精选案例；D（Do）——执行：讲解案例、拓展案例；C（Check）——检查：评价教学；A（Action）——处理：发现问题，改进案例；在案例教学实施中，通过优秀案例展示，学生首先对案例产生学习兴趣。教师对案例进行重点、难点讲解后，学生明确了学习目标。通过案例学习，学生加深对教学内容的理解，学会模仿案例，自主研究，以达到锻炼学生思考问题、分析问题的能力。　　二、改革的反响　　（一）理论实践一体化教学法适用于统计学课程。　　理论实践一体化教学法在统计课程中实施后，教师感触颇深，学生反响强烈。教师不再被课程章节束缚，不再按照教材照本宣科，能够根据模块需要，从每名学生实际出发，进行贴近学生的有针对性教学，从根本上实现了“宽基础”、“活模块”。与此同时，社会调查、模拟角色扮演等教学形式很好的融入模块教学，教师的身份逐渐转变为教练，更多的从事辅助、指挥、控制工作，为学生实践活动中遇到的难题答疑解惑。此外，案例教学有效的督促教师日常养成收集积累优秀案例的好习惯，做到针对不同基础学生，灵活运用不同案例，真正实现分层次教学。通过学生课堂参与度、课后访谈及部分参与企业实践学生的反馈，学生通过理论实践一体化教学法，激发了学习兴趣，充分发挥了学习的主动性和积极性。在培养自身分析问题、解决问题能力的同时，锻炼了语言表达能力和人际交往能力，增强了团队意识和吃苦耐劳精神，全方位提高了学生的综合素质和岗位胜任力。部分学生先后参与了“绿色环保、节能减排”大赛，把统计学技能运用到赛中，获得市较好名次。　

（二）实际教学中还存在一些问题。　　每一种改革都是尝试性的，并非能做到一步到位。理论实践一体化教学法也不例外。在实际教学过程中缺乏技能操作部分的教材。目前相当一部分统计学教材依旧按照知识体系编写。章节间并不是按任务进行划分，没有把学生的能力培养放在首位。即使实际教学活动中应用理论实践一体化教学法，教学设计以职业岗位要求为基础，由于缺乏相应配套的技能训练指导书，也给模块教学带来很大不便。技能模块实施的任务与企业实际岗位的工作任务相一致，这就需要传统统计学教材进行适当修订，与之同步。综合案例的缺乏也是理论实践一体化教学中的一个障碍。每位教师都希望找到一个真实的综合案例，贯穿整个教学过程，把所有教学环节融入到该案例中。但由于企业经验不足及行业数据的保密性，在目前课上很难见到从一而终的案例。

两个分类变量间的关系，无法直接使用常见的皮尔逊相关系数来表述，多采用频数统计、交叉表卡方检验等过程进行处理，当分类变量的取值较多时，列联表频数的形式就变得更为复杂，很难从中归纳出变量间的关系。

对应分析，则是解决分类变量间关系这个复杂问题的有力武器。也称为相应分析，是一种多元统计分析方法，目的是在同时描述各变量分类间关系时，在一个低维度空间中对对应表中的两个分类变量进行关系的描述。

常见应用领域如市场研究分析、竞争分析等。

先看一个案例

对于男性而言，个人职位是否与吸烟有关，假设有人收集了这样的一组数据，如下：

数字表示人数，仅从交叉表内数据大小按照热度区分的话，效果大概是这个样子，红色越深的格子表示人数越多：

我们发现初级雇员普遍吸烟，中度最多，其他的表现并不明显，总体上很难发现什么规律。

除了热图之外，还可以考虑常见的条形图，效果如下：

可视化的效果要比前面热图好很多，给人的直观感觉是，职位较高的男性，重度吸烟的比例较低，多数从不吸烟。

经过以上两种图示化方法的预处理，我们能从其中总结职位和吸烟关系的把握并不大。

SPSS交叉表卡方检验

熟悉SPSS统计分析的人可能还会想到，是否可以先采用交叉表卡方检验来观察职位和吸烟之间的关系呢？

在SPSS的数据视图下，对数据按频数变量进行加权，然后依次点击【分析】→【描述统计】→【交叉表】，在【交叉表：统计】对话框内勾选【卡方】，其他参数默认设置。来看结果：

原假设职位和吸烟两个变量间相互独立，渐进显著性小于0.01，说明两个变量间不完全独立，存在某种关系。

卡方检验的结果给我们吃下一颗放心丸子，职位和吸烟之间的关系值得深入研究，但它们之间的关系到底应该如何描述呢？前面尝试的热力图、条形图、交叉表卡方检验均没有给出完美结论。

SPSS简单对应分析

之所以前面先讲述三种方法，主要目的是告诉大家，对应分析实际上也是一种数据可视化的技术，同时它也能输出卡方检验，下面具体来看。

步骤1：案例数据导入SPSS软件

SPSS对应分析对数据的要求是按变量存储，一般包括三个变量，两个名义变量和一个频数变量，如果原始数据在Excel文件中是一个二维表，需要首先将其转换为一维表格，再导入SPSS软件。

小蚊子老师主编的畅销书《谁说菜鸟不会数据分析》（P164）中介绍过实用方法，在Excel数据文件中，采用【数据透视表向导】功能，利用【多重合并计算数据区域】的方法，快速地实现二维表转为一维表，我在SPSS常见问题答疑电子书中也有类似的讲述，对此感兴趣的可以参考学习。

数据较少时，最简单的方法就是复制粘贴，也可以快速实现二维表转一维表。不管如何处理，最终导入SPSS的数据文件长这样：

步骤二：数据加权

我们的分析任务是搞清楚职位和吸烟程度两个名义变量的关系，要对他们进行量化考察，需要用频数数据加权，SPSS数据视图下，依次点击菜单【数据】→【个案加权】，将频数数据移入右侧【频率变量】框内，对职位和吸烟两个变量进行加权。

步骤三：对应分析主面板参数设置

菜单栏中依次点击【分析】→【降维】→【对应分析】，打开对应分析主面板，依次将【不同职位】【吸烟程度】两个名义变量移入行和列框内。

点击下方【定义范围】按钮，以定义行范围为例，行变量【不同职位】有5个分类水平，标签值从小到到依次为1-5，所以最小值输入数字“1”，最大值输入数字“5”，然后点击右侧【更新】按钮，此时下方的【类别约束】框内自动出现1-5一个序列，类似操作，完成对列变量范围的定义。点击【继续】返回主面板。

步骤四：对应分析模型参数设置

在主面板上点击【模型】按钮，打开模型对话框。

一般默认采取2维，距离测量勾选【卡方】。对应分析也是一种降维技术，通常选择在一个二维表和二维图形中考察分类变量间的关系。

行和列变量间的距离测度软件默认选择【卡方】，当用卡方测量距离时，SPSS软件只默认选择【除去行列平均值】作为标准化方法。

最底部的【正态化方法】相对比较复杂，理解起来有一定难度，建议选择软件默认选项【对称】，检查两个变量分类间的差异或相似。

点击【继续】按钮，返回主面板。

步骤五：对应分析统计参数设置

软件默认勾选【对应表】【行点概述】【列点概述】，点击【继续】按钮，返回主面板。

步骤六：对应分析图参数设置

对应分析最重要的结果之一，就是对应图，主面板上点击【图】按钮，打开图对话框，散点图选项中默认勾选【双标图】，也就是我们最终想要的对应图了。其他默认设置，点击【继续】按钮，返回主面板。

最后在主面板中点击【确定】按钮，SPSS软件开始执行对应分析。

SPSS对应分析结果解读

1、对应表

对应表实际上就是交叉表，行与列交叉的单元格显示为频数，行与列的活动边际，具体为对应行和列的和。对应表看看即可，了解一下，不用深究。

2、模型摘要表

模型摘要表是关键结果之一，重点考察。

此表类似于因子分析的总方差表，第一列【维】较抽象，可以理解为因子分析的因子，第2-5列分别为奇异值、惯量、卡方值及sig值，随后给出各个维度所能解释两个变量关系的百分比。

首先来看卡方检验的结果，卡方值=164.416，显著性Sig值=0.000<0.01，表明此次分析的两个名义变量，职位和吸烟程度不完全独立，存在一定关系，这和前面交叉表卡方检验结果一致。

卡方检验通过之后，再来解读对应分析的其他结果更有意义。

摘要表数据表明，前两个维度累积惯量可解释99.5%的信息，效果非常不错，此次分析较成功。

3、行/列点总览

这两个表格，主要输出各类别在各维度上的得分，后续最重要的对应图，将依据这两组维度得分进行绘制。

4、对应图

对应分析关键结果之一，重点考察。

模型摘要表中，我们已经确认前两个维度解释能力很棒，那么SPSS软件默认将采用这两个维度的得分制作二维散点图，也就是现在的对应图。

此时我们可以看到，不同职位的5个类别和吸烟程度的4个类别被标记为不同的颜色进行区分，职位点和吸烟点间距离有远有近，距离的远近包含了它们之间的关系。

总体观察来看，容易发现初级雇员和中度距离较近，可以理解为初级雇员多为中度吸烟；而高级雇员和从不吸烟的距离比较近，说明高级别雇员很少吸烟。此外职别最低的初级工程师和重度吸烟较近，说明这个级别的职工重度吸烟居多。

沈浩老师博客和小蚊子数据分析博客曾对对应分析对应图的解读做过总结，一共有7种解读的方式，按照四象限以及市场定位的方法，本例分析的对应图可以作出如下优化：

以维度1原点为界，吸烟程度中的轻度、中度、重度均在左侧，而从不吸烟则单独出现在右侧，说明从不吸烟和其他三种类别区别较大，与此对应的是，高级工程师和高级雇员这三个职位也集中在右侧，可以理解为职别较高的人最有可能是从不吸烟。采用同样的方式，容易发现，初级雇员与轻度和中度吸烟距离较近，职别最低的初级工程师与重度吸烟距离近，这和总体观察时的结论一致。

文/图=数据小兵

读者朋友们，为了方便大家自学SPSS统计分析，小兵把本号原创发布的统计方法案例，由浅入深全部归纳整理在此篇文章中，请各位收藏。

↓

↓

SPSS统计分析案例：生成随机数

SPSS统计分析案例：箱图

SPSS统计分析案例：误差条图

SPSS统计分析案例：可视离散化

SPSS统计分析案例：别把排序不当回事儿

SPSS统计分析案例：快速统计样本缺失

SPSS统计分析案例：配对样本T检验

SPSS统计分析案例：独立样本T检验

SPSS统计分析案例：卡方检验（2）

SPSS统计分析案例：卡方检验（1）

SPSS统计分析案例：无空白列正交试验设计

SPSS统计分析案例：KS单样本检验

SPSS统计分析案例：游程检验

SPSS统计分析案例：2*2交叉表分析案例

SPSS统计分析案例：正交试验设计

SPSS统计分析案例：一元线性回归

SPSS统计分析案例：多重响应分析案例

SPSS统计分析案例：复本信度

SPSS统计分析案例：多维尺度分析

SPSS统计分析案例：TwoStep二阶聚类

SPSS统计分析案例：K-means聚类

SPSS统计分析案例：聚类分析

SPSS统计分析案例：因子分析

SPSS统计分析案例：主成分分析

SPSS统计分析案例：最优尺度回归

SPSS统计分析案例：多项logistic回归分析

SPSS统计分析案例：生存分析之寿命表

SPSS统计分析案例：对应分析

SPSS统计分析案例：多层感知器神经网络

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

首席信息官正在利用数据分析来提高效率和促进增长，但并不是每一次努力都会产生结果。以下讲述了优秀的首席信息官是如何成功地利用数据分析和机器学习技术来增加收益或降低成本的。

如果把数据比作新的石油，那么掌握如何将其提炼为可使用的情报就是发挥其潜力的关键。为此，首席信息官正在使用预测分析工具，设计机器学习算法和对其他解决方案进行测试，以追求企业的效率和以新的方式为客户服务。

胡椒博士集团(Dr.PepperSnappleGroup)将机器学习技术用于语境相关性工作中

多年来，胡椒博士集团的销售路线员工一直是抓着一本厚厚的活页夹，里面装满了客户数据、销售和促销说明，然后去吸引一些零售客户，如沃尔玛和塔吉特百货公司(Target)等。今天，销售人员不再使用这种活页夹，而是配备了能告诉他们需要拜访哪家商店的iPad，而且还会告诉销售人员该为这些零售商提供何种优惠，以及其他关键指标。胡椒博士集团的首席信息官汤姆·法拉(TomFarrah)表示：“他们都是接订单的销售人员，为此他们感到很骄傲。现在他们配备了信息资料来帮助其实现目标，使他们成为智能的销售人员。”

该MyDPS平台配有机器学习和其他分析工具，可在工作人员加载应用程序时向其提供建议和日常操作记分卡。这些算法向员工显示他们是如何按照预期计划进行工作的，包括他们是否按照自己的计划工作，或是落后于计划，以及给他们提供见解，让他们清楚如何纠正他们的工作。法拉说：“如果我要让某人获得成功，我必须确保他们拥有哪些信息是与工作内容相关的。”

经验教训：为了测试验证MyDPS平台的概念，法拉将该软件分给了一个分公司的四个人，并让业务总裁去拜访他们。他们透露，自从上个月使用MyDPS之后，执行销售额已经提高了50%，这一表现让他批准了该项目。法拉说：“他获得了结果，这就是销售所需要的，这不仅仅是为了项目的商业赞助，而且这也是他们希望得到的结果，这一点非常重要。”

凭借机器学习技术，RRD公司走上新业务之路

营销传播公司R.H.Donnelley公司为RRD公司的前身，几年前，RRD公司设立了物流部门，向消费者和企业配送它的印刷材料。为了支持这项业务，公司自己管理运营，并代表其合作伙伴配送各种物品，包括洗衣机、狗粮等等，最终成长为价值10亿美元的一个企业。这是一个挑战吗?在联邦快递和UPS成为无可争议的霸主的天下，找到一个最优的运费。

诸如天气、地域、司机和政治局面等因素都是业务上的成本。RRD公司的首席信息官肯奥布莱恩(KenO'Brien)表示，随着迫切需要对费率变量进行预测，RRD公司转向了机器学习和数据分析。公司聘请员工和与大学合作来帮助编写算法，在700条路线上测试数千个场景，直到能够以99%的准确率提前7天实时预计运费。奥布莱恩说：“该项目在不到一年的时间就完成了，我们现在仍然看到业务的增长与运费有关。”该公司预计，在2017年，其卡车货运代理业务将从400万美元增长到1600万美元，营收将增长1200万美元，业务规模达6亿美元。

经验教训：新企业需要高水平的全心投入，尽管奥布莱恩承认，他的一些业务同行已准备好在业务的不同环节上认输。该业务并不相信那些通常以感觉和猜测来完成一个流程的技术。RRD公司建立了一个协作环境，业务和IT共同合作来推进结果。“你会遇到困难，你会遇到挑战，但要耐心，”奥布莱恩说。

孟山都公司(Monsanto)利用机器学习技术，实现最佳种植计划

农民永远为要种植何种作物，种植面积，在哪里种植及何时种植而苦恼。种子行业巨人孟山都公司正在研究这项工作，利用数据科学为农业种植提供规范性建议。数学和统计学模型会绘制出雄性作物和雌性作物的最佳种植时间，以及在何处种植，在理想状态下，这就最大限度地提高产量并减少土地使用。孟山都公司全球IT分析主管艾德里安·卡地亚(AdrianCartier)表示，其机器学习算法在数天内完成了超过900亿的数据点，而不是几周或几个月。这是商业利益吗?在2016年，孟山都公司节省了600万美元，其供应链足迹减少了4%。卡地亚说：“北美地区的土地利用率下降了4%，相当于不去使用大面积的土地，这节省了大量资金。”

经验教训：孟山都公司成功的关键是在信息技术与供应链业务之间建立了一个“自始至终”的合作。卡地亚说：“他们具有农业和供应链角度的专业知识，而我们具有数学和统计领域的专业知识，两者结合起来，就创造了我们能够提供的价值。”卡地亚说道，他还寻求在供应链业务中“改变领导者和倡导者”，以形成对反对者一种健康的平衡。

柏克德公司(Bechtel)以卓越的大数据中心来颠覆自己

一个鲜为人知的事实：柏克德公司首席信息官CarolZierhoffer说，与建筑有关的支出占GDP的13%，但整个行业在过去二十年中只有1%的生产率增长。专家表示，通过重新制定合同、提高工人技能以及改进现场执行工作等方式，该行业可以提高50%至60%的生产率。柏克德公司建造了胡佛水坝、英吉利海峡隧道和其他大型设施，已经开始在业务各个环节的数据中挖掘洞察力。

Zierhoffer在沃尔玛、波音和洛克希德马丁公司会见了业内同行，以获得有关如何向前发展的见解。柏克德公司建立了一个先进的大型数据中心，其中包含5千万亿字节数据的数据湖，并开始了概念验证。该数据中心使用照片识别技术，并代表客户来检查和标记各个地点的照片，这节省了200万美元。自然语言处理(NLP)工具可解析索赔、提案请求(RFP)和合同。过去需要几天和几周的评估和计划工作现在只需要数小时。柏克德公司还扩大了分析工作范围，以了解员工的流失率情况，包括试图预测员工将何时离职。Zierhoffer说：“我们相信我们正在敲开解决生产率难题的大门。”

经验教训：数据仓库和质量是支柱。尽管柏克德公司可以分析大量的数据，但在整个业务各环节的数据质量必须提高。“我们不得不颠覆自己，了解我们是如何工作的，并且将数据仓库进行连接。”

数据分析帮助辛辛那提动物园提高客户满意度

辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。

辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。

借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：

-帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。