首席金融官

如今，金融业面临众多前所未有的跨界竞争对手，市场格局、业务流程将发生巨大改变，企业更替兴衰；未来的金融业，业务就是IT，IT 就是业务；金融业将开展新一轮围绕大数据、移动化、云的IT 建设投资。本节主要介绍金融行业大数据的应用案例，希望对读者有一定的启发和学习价值。

【案例一】淘宝网掘金大数据金融市场

随着国内网购市场的迅速发展，淘宝网等众多网购网站的市场争夺战也进入白热化状态，网络购物网站也开始推出越来越多的特色产品和服务。

1．余额宝

以余额宝为代表的互联网金融产品在2013 年刮起一股旋风，截至目前，规模超1000亿元，用户近3000 万，如图所示。相比普通的货币基金，余额宝鲜明的特色当属大数据。以基金的申购、赎回预测为例，基于淘宝和支付宝的数据平台，可以及时把握申购、赎回变动信息。另外，利用历史数据的积累可把握客户的行为规律。

2．淘宝信用贷款

淘宝网在聚划算平台推出了一个奇怪的团购“商品”——淘宝信用贷款。开团不到10 分钟，500 位淘宝卖家就让这一团购“爆团”。他们有望分享总额约3000 万元的淘宝信用贷款，并能享受贷款利息7.5 折的优惠。据悉，目前已经有近两万名淘宝卖家申请过淘宝信用贷款，贷款总额超过14 亿元。

淘宝信用贷款是阿里金融旗下专门针对淘宝卖家进行金融支持的贷款产品。淘宝平台通过以卖家在淘宝网上的网络行为数据做一个综合的授信评分，卖家纯凭信用拿贷款，无需抵押物，无需担保人。由于其非常吻合中小卖家的资金需求，且重视信用无担保、抵押的门槛，更加上其申请流程非常便捷，仅需要线上申请，几分钟内就能获贷，被不少卖家戏称为“史上最轻松的贷款”，也成为淘宝网上众多卖家进行资金周转的重要手段。

3．阿里小贷

淘宝网的“阿里小贷”更是得益于大数据，它依托阿里巴巴（B2B）、淘宝、支付宝等平台数据，不仅可有效识别和分散风险，提供更有针对性、多样化的服务，而且批量化、流水化的作业使得交易成本大幅下降。

每天，海量的交易和数据在阿里的平台上跑着，阿里通过对商户最近100 天的数据分析，就能知道哪些商户可能存在资金问题，此时的阿里贷款平台就有可能出马，同潜在的贷款对象进行沟通。

案例解析：通常来说，数据比文字更真实，更能反映一个公司的正常运营情况。通过海量的分析得出企业的经营情况，这就是大数据的应用。在本案例中，正像淘宝信用贷款所体现的那样，这种新型微贷技术不依赖抵押、担保，而是看重企业的信用，同时通过数据的运算来评核企业的信用，这不仅降低了申请贷款的门槛，也极大简化了申请贷款的流程，使其有了完全在互联网上作业的可能性。

大数据的价值已经得到互联网公司以及金融机构的认可，笔者认为：“谁掌握的‘拼图’图块多，谁就能快速拼出客户的图谱，成为真正的王者。”然而，目前来看，谁都不愿意轻易地交出自己手上的“拼图”，于是，互联网公司、银行、支付机构等各个海量数据的拥有者展开了激烈的金融数据争夺战。

【案例二】IBM 用大数据预测股价走势

不久前，IBM 使用大数据信息技术成功开发了“经济指标预测系统”。借助该预测系统，可通过统计分析新闻中出现的单词等信息来预测股价等走势。

IBM 的“经济指标预测系统”首先从互联网上的新闻中搜索与“新订单”等与经济指标有关的单词，然后结合其他相关经济数据的历史数据分析与股价的关系，从而得出预测结果。

在“经济指标预测系统”的开发过程中，IBM 还进行了一系列的验证工作。IBM 以美国“ISM 制造业采购经理人指数”为对象进行了验证试验，该指数以制造业中的大约20 个行业、300 多家公司的采购负责人为对象，调查新订单和雇员等情况之后计算得出。实验前，首先假设“受访者受到了新闻报道的影响”，然后分别计算出约30 万条财经类新闻中出现的“新订单”、“生产”以及“雇员”等5 个关键词的数量。追踪这些关键词在这段时期内的搜索数据变化情况，并将数据和道指的走势进行对比，从而预测该指数的未来动态。

IBM 研究称，一般而言，当“股票”、“营收”等金融词汇的搜索量下降时，道指随后将上涨，而当这些金融词汇的搜索量上升时，道指在随后的几周内将下跌。

据悉，IBM 的试验仅用了6 小时，就计算出了分析师需要花费数日才能得出的预测值，而且预测精度几乎一样。

案例解析：从本案例可以看出，大数据不再仅仅局限在媒体与厂商之间的讨论，它犹如一场数据旋风开始席卷全球，从各行各业的IT 主管到政府部门都开始重视大数据及其价值。

目前，不少信息系统企业都在使用大数据信息技术开发预测系统。例如，2011 年，英国对冲基金Derwent Capital Markets 建立了规模为4000 万美金的对冲基金，该基金是首家基于社交网络的对冲基金，该基金通过从Twitter 的数据内容来感知市场情绪，从而进行投资。无独有偶，美国加州大学河滨分校也公布了一项通过对Twitter 消息进行分析从而预测股票涨跌的研究报告。

笔者认为：“企业数据就是新时代还未开采的石油，具有非常之高的价值。”国外一些金融机构已经开始做一些前瞻性的研究了，这种做法是非常值得国内金融机构学习和借鉴的。例如，国内大部分证券公司仍然没有摆脱交易性数据为主的特点，但很多有前瞻意识的证券公司已经开始做一些转型了，对微博、互联网等外部数据进行一些分析与预测。

【案例三】汇丰银行采用SAS 管理风险

近日，汇丰银行选择SAS 防欺诈管理解决方案构建其全球业务网络的防欺诈管理系统。据悉，这一解决方案是一种实时欺诈防范侦测系统。

SAS 被誉为“全球500 强背后的管理大师”，是全球领先的商业分析软件与服务供应商。SAS 通过三部分服务（包括软件及解决方案服务、咨询服务、培训及技术支持服务）帮助客户洞察商机，成就变革，改善业绩。

凭借丰富的行业专业知识，SAS 的行业解决方案在各领域为行业解析蕴藏于信息之中的独特的商业问题。例如金融服务领域的信用风险管理问题、生命科学领域加快药物上市速度和识别零售领域的交叉销售机会等问题。SAS 还提供跨职能解决方案，不分行业地帮助企业克服其面临的挑战。例如增加客户关系价值、测量和管理风险、检测欺诈和优化IT 网络等。

汇丰银行与SAS 在防范信用卡和借记卡欺诈的基础上，共同扩展了SAS 防欺诈管理解决方案的功能，为多种业务线和渠道提供完善的欺诈防范系统。这些增强功能有助于全面监控客户、账户和渠道业务活动，进一步提高分行交易、银行转账和在线付款欺诈以及内部欺诈的防范能力。通过监控客户行为，汇丰银行可以优化并更加有效地利用侦测资源。

汇丰银行利用SAS 系统，通过收集和分析大数据解决复杂问题，并获得非常精确的洞察，以加快信息获取速度和超越竞争对手。因此，汇丰银行还将继续采用SAS 告警管理、例程和队列优先级软件，提高运营效率，以便迅速启动紧急告警。

案例解析：在当今这个海量数据的时代，如何找到大数据中蕴含的前所未有的商业价值？笔者认为高性能分析就是那把“钥匙”。在本案例中，SAS 高性能分析可以帮助用户：将相关的大数据转变为真正的商业价值，采用世界顶级的分析技术来生成精确的洞察，快速获得答案来改变企业的运营模式，以及部署一个适合未来扩展的分析架构。

总之，高性能分析环境让用户可以充分利用IT 投资，同时克服原有架构的约束，从大数据资产中产生高价值的洞察。

【案例四】Kabbage 用大数据开辟新路径

Kabbage 是一家为网店店主提供营运资金贷款服务的创业公司，总部位于美国亚特兰大，截至目前已经成功融资六千多万美元。Kabbage 的主要目标客户是eBay、亚马逊、雅虎、Etsy、Shopify、Magento、PayPal 上的美国网商。

Kabbage 与“阿里小贷”的经营模式类似，通过查看网店店主的销售和信用记录、顾客流量、评论以及商品价格和存货等信息，来最终确定是否为他们提供贷款以及贷多少金额，贷款金额上限为4 万美元。店主可以主动在自己的Kabbage 账户中添加新的信息，以增加获得贷款的概率。Kabbage 通过支付工具PayPal 的支付API 来为网店店主提供资金贷款，这种贷款资金到账的速度相当快，最快十分钟就可以搞定。

Kabbage 用于贷款判断的支撑数据的来源除了网上搜索和查看外，还来自于网上商家的自主提供，且提供的数据多少直接影响着最终的贷款情况。同时，Kabbage 也通过与物流公司UPS、财务管理软件公司Intuit 合作，扩充数据来源渠道。

目前，使用Kabbage 贷款服务的网店店主已达近万家，Kabbage 的服务范围目前仅限于美国境内，不过公司打算利用这轮融资将服务拓展至其他国家。

案例解析：基于大数据的商业模式创新过程有两个核心环节：一是数据获取；二是数据的分析利用。在本案例中，Kabbage 与阿里金融的区别在于数据获取方面，前者是从多元化的渠道收集数据，后者则是借助旗下平台的数据积累，其中网上商家可自主提供数据且其数据的多少直接决定着最终的贷款额度与成本，这充分体现出大数据的资产价值，就如同传统的抵押物一样可以换取资金。

笔者觉得，虽说大数据是一座极具价值的“金矿”，但如果不能科学地加以利用，那么大数据就变成了一堆堆毫无用处的“石头”，Kabbage 就是借助大数据技术，并结合金融行业的特点，有效地控制了风险，实现了完美融合和创新。 本文来自

金融是服务于实体经济的，随着大数据时代的到来，传统的实体经济形态正在向融合经济形态转变，同时虚拟经济也快速兴起，金融的服务对象必将随之发生变化，这种转变为金融业带来了巨大的机遇和挑战，如图 所示。

融合经济产生新的金融需求

虚拟经济（Fictitious Economy）是经济虚拟化（西方称之为“金融深化”）的必然产物，是指基于计算机和互联网产生的一种经济形态，其产品和服务都具有虚拟化的特点，具体包括软件、网络游戏、社交网络、搜索引擎、门户网站等细分市场领域。实体经济是指物质的、精神的产品和服务的生产、流通等经济活动。随着新兴信息技术的快速发展，实体经济与虚拟经济正在加速融合，从而衍生了未来的主体经济形态，即融合经济，电子商务、O2O 模式都是融合经济发展进程的一个产物。

【案例五】大数据时代信用卡该怎么玩

中信银行信用卡中心是国内银行业为数不多的几家分行级信用卡专营机构之一，也是国内最具竞争力的股份制商业银行信用卡中心之一。近年来，中信银行信用卡中心的发卡量迅速增长。

2013 年11 月，在中信银行与腾讯联合发布“中信银行QQ 彩贝联名信用卡”仪式上，中信银行信用卡中心总裁陈劲表示，该行信用卡发卡量已突破2000 万张，未来将充分利用互联网基因和大数据技术挖掘客户需求。

过去，中信银行信用卡中心无论在数据存储、系统维护等方面，还是在有效地利用客户数据方面，都面临巨大的压力。同时，为了应对激烈的市场竞争，中信银行信用卡中心迫切需要一个可扩展、高性能的数据仓库解决方案，支持其数据分析战略，提升业务的敏捷性。

2010 年4 月，中信银行信用卡中心实施了EMC Greenplum 数据仓库解决方案。Greenplum 数据仓库解决方案为中信银行信用卡中心提供了统一的客户视图，借助客户统一视图，中信银行信用卡中心可以更清楚地了解其客户价值体系，从而能够为客户提供更有针对性和相关性的营销活动。

基于数据仓库，中信银行信用卡中心现在可以从交易、服务、风险、权益等多个层面分析数据。通过提供全面的客户数据，营销团队可以对客户按照低、中、高价值来进行分类，根据银行整体经营策略积极地提供相应的个性化服务。

基于Greenplum 解决方案在系统维护方面的便捷简单，中信银行信用卡中心每年减少了大约500 万元的数据库维护成本，这有助于减少解决方案的总拥有成本。

案例解析：在本案例中，Greenplum 解决方案采用了“无共享”的开放平台MPP架构，此架构是为BI 和海量数据分析处理而设计，相比普通的数据库系统，该系统提供了更高的可扩展性。与其他产品相比，Greenplum 解决方案可以给中信银行信用卡中心提供最高级别的性能。同时，该解决方案与银行所使用的硬件、应用程序和数据源实现了有效集成。此外，Greenplum 解决方案通过把数据集中在一个统一的平台，极大地减少了系统维护的工作量。

笔者认为，大数据对信用卡产品的营销具有很大的促进作用。例如，在大数据的环境下，银行可以利用先进的互联网、云计算等新兴技术，对消费者的刷卡行为进行数据化的分类、统计，通过整理数据获取消费者的消费习惯、消费能力、消费偏好等非常重要的数据信息。通过客户数据、财务数据来区隔客户，通过消费区域定位、内容定向，知晓他们的消费习惯，然后进行深入地数据分析挖掘和展开精准营销。

浅谈统计学在生活中的应用

统计学并不是一门独立存在的学科，它是以数学知识和数理统计作为基础，将数理统计方法和其他学科专业知识交叉融合形成的具有极强推断性的一种分析方法。现阶段，随着科学技术的快速发展，为了加强对自然社会各个领域现象的判断和整理能力，将统计学应用在生活各个方面已经成为现阶段的数理统计的一种便捷方法。

一、统计学的概念 　　统计学指的是调研人员通过一些列的手段对整理出来的数据信息进行整理分析，从而推断出调研对象本质，甚至可以对未来的类似事情进行预判的一门综合性学科。在进行统计学整体分析的过程中需要用到大量的数学知识以及其他相关学科的专业知识，统计学由于其自身独特的性质，在社会科学和自然科学的各个领域几乎都可以使用。 　　二、统计学在生活中的应用分析 　　（一）统计学在经济学中的重要应用 　　运用统计学对生活中的数据信息进行整理分析，首先要学习统计学的基础知识以及数据统计个分析等学科，这些基础知识和方法都是在开展统计学应用活动之前调研人员所必须掌握的。统计学课程的学习作为经济学学科当中的重要分支，在经济学课程中经常被应用，例如，经济学的计量统计就需要根据统计学在金融里面的重要意义和地位作为基础，将金融知识和统计学知识相结合，将金融计量和时间的序列进行结合，对收集到的金融数据进行整理分析，最后得出金融计量和时间序列的一定关系。 　　统计学在金融经济学中有着十分重要的工具性作用，主要包括两个方面，分别是：在思想上而言，统计学是对数据统计分析结果进行研究，最后得出研究对象的判断结果，为了保证研究结果的准确可靠性，统计学在进行数据整理分析过程中必须是带着严谨的科学态度，这种严谨的科学态度对于经济学的相关理论分析具有十分重要的指导地位，这是由于研究人员在对金融量进行数学分析的过程中，为了保证金融数学分析结果的准确可靠性就必须保证金融量数据收集分析等预处理过程是科学合理的；其本收集整理次，统计学是经济学进行科学试验研究最优化的选择，经济试验研究活动的多样性以及研究对象之间错综复杂的关系导致经济学的试验研究活动受到诸多限制，运用统计学进行经济学试验研究活动，使得经济学实验研究的对象变得简洁明了，降低试验研究的成本支出。从统计学在经济学中的应用我们可以看出，经济学当中的统计学应用主要是运用了统计学当中经济必然性的思想，使得经济学当中的统计结论不具备复杂的思想成本。 　　

（二）统计学在医学中的重要应用 　　统计学在医学中应用的主要原因就是生物医学中存在的不确定性和变异性。生物医学主要的研究目标就是与人体健康相关的不确定因素，也就是通常所说的医学变异现象，变异现象在生物体当中是普遍存在的，例如，对于外在条件基本相同的两个病人，在相同的条件下进行治疗时，却有可能出现有的病人被治愈，有的病人治疗效果不明显，甚至还会出现死亡的现象。造成这些外在条件相同的生命体却出现不同程度治愈的主要原因就是生物医学中存在的不确定性或者是人体中存在的错综复杂的随机因素，客观差异存在的原因是因为某种偶然性的潜在的揭露必然性的发现。 　　在医学临床统计中发现，对于同一种病因的客观性规律进行调查，对于健康人的共同作用的交织与疗效的考查的病人很少。在医学当中运用统计学最主要的就是通过观察不同疗效病人的医疗诊断效果，将实际的医学诊断治疗效果与医学理论和假设进行验证，运用概率论以及数学方法对对比结果进行分析、判断，运用电子计算机等相关软件设备对研究对象的指标进行记录，并绘制相应的图表等，通过综合运用多种数理统计方法，得出与研究对象相关的研究结果。将统计学应用到医学当中，可以促进统计方法和多变量分析法在医学试验研究中的应用，对未知病因所造成的医疗诊断事故进行分析，可以促进医疗诊治手段的不断创新發展。

（三）统计学在体育比赛中竞技指标的应用。 　　统计学在体育比赛中的应用主要是用统计的职业联赛的数字反应比赛队伍能否成为世界顶级，这是因为在体育比赛中应用统计学可以对比赛中的胜率进行分析，主要是将每个队员在每个赛季比赛的分数和常规赛场上的分数进行统计，通过一系列的数学计算分析，制定出每个队员得分平均值和标准差之间的正态分布图，通过正态分布图的稳定性来判断队员的技术稳定性。以众所周的NBA篮球比赛为例，NBA比赛中由于明星球员众多，在运用统计学进行数据整体分析时，需要依据本质上的规律进行数据统计，而不是随意的选择数据进行统计，例如在进行篮球比赛发球这一项双方队员的进攻和防守的概率时，在进行指标选择时就涉及到随机事件的发生概率，因此，可以运用统计学统计球员在每一场比赛上的均得分，通过这些数据指标的正态分布图来确定球员的技术稳定性。 　　三、结束语 　　在日常生活中应用统计学对数据进行管理分析，可以极大提高生产生活中对研究对象的管理效率，使得研究对象变得明确，降低管理成本。在实际的生产生活中应用统计学时，调研人员需要通过多次的试验和随机概率对比来确定事件发生的概率，通过定量定性的数理统计分析工作，充分发挥统计学对生产生活的促进作用。

大数据真的太神奇了，真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了，你要是不知道大数据这个概念，都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面十三个大数据应用案例来了解下最真实的大数据故事把，并鲜明得了解大数据在生活当中实际应用的情况。

大数据应用案例之电视媒体

　　对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不可能的事情，因为有超过上百个赛事在8000多个电视频道播出。

　　而现在市面上开发了一个可追踪所有运动赛事的应用程序RUWT，它已经可以在iOS和Android设备，以及在Web浏览器上使用，它不断地分析运动数据流来让球迷知道他们应该转换成哪个台看到想看的节目，在电视的哪个频道上找到，并让他们在比赛中进行投票。对于谷歌电视和TiVo用户来说，实际上 RUWT就是让他们改变频道调到一个比赛中。

　　该程序能基于赛事的紧张激烈程度对比赛进行评分排名，用户可通过该应用程序找到值得收看的频道和赛事。

大数据应用案例之社交网络

　　数据基础设施工程部高级主管Ghosh描绘的LinkedIn数据构建图，其中就包括hadoop战略部署。

　　五年前，LinkedIn只是一家普通的科技公司。而现在，其俨然成为一个工程强国。 LinkedIn建成的一个最重要的数据库是Espresso。不像Voldemort，这是继亚马逊Dynamo数据库之后的一个最终一致性关键值存储，用于高速存储某些确定数据，Espresso作为一个事务一致性文件存储，通过对整个公司的网络操作将取代遗留的Oracle数据库。它最初的设计就是为了提供LinkedIn InMail消息服务的可用性，该公司计划今年晚些时候将推出开源Espresso。

大数据应用案例之医疗行业

　　Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

　　在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

　　它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

　　Express Scripts就是这么一家处方药管理服务公司，目前它正在通过一些复杂模型来检测虚假药品，这些模型还能及时提醒人们何时应该停止用药。 Express Scripts能够解决该问题的原因在于所有有关数据。因为它每年管理着1.4亿处方，覆盖了一亿美国人和65,000家药店，虽然该公司是能够识别潜在问题的信号模式，但它也使用数据来尝试解决某些情况下之前曾经发现的问题。

　　同时，Express Scripts还着眼于一些事情，如他们所开处方的药物种类，甚至有人在网上谈论医生。如果一个医生的行为被标记为红色的旗帜，那么他在网络上是个好人的形象，更是你所需要的医生。

大数据应用案例之保险行业

　　保险行业并非技术创新的指示灯，然而MetLife保险公司已经投资3亿美金建立一个新式系统， 其中的第一款产品是一个基于MongoDB的应用程序，它将所有客户信息放在同一个地方。

　　MongoDB汇聚了来自70多个遗留系统的数据，并将它合并成一个单一的记录。它运行在两个数据中心的6个服务器上，目前存储了24TB的数据。这包括MetLife的全部美国客户，尽管它的目标是扩大它的国际客户和多种语言，同时也可能创建一个面向客户的版本。它的更新几乎是实时的，当新客户的数据输入时，就好像Facebook墙一样。

　　大多数疾病可以通过药物来达到治疗效果，但如何让医生和病人能够专注参加一两个可以真正改善病人健康状况的干预项目却极具挑战。安泰保险目前正尝试通过大数据达到此目的。

　　安泰保险为了帮助改善代谢综合征患者的预测，从千名患者中选择102个完成实验。在一个独立的实验室工作内，通过患者的一系列代谢综合症的检测试验结果，在连续三年内，扫描600,000个化验结果和18万索赔事件。将最后的结果组成一个高度个性化的治疗方案，以评估患者的危险因素和重点治疗方案。这样，医生可以通过食用他汀类药物及减重5磅等建议而减少未来10年内50%的发病率。或者通过你目前体内高于20%的含糖量，而建议你降低体内甘油三酯总量。

大数据应用案例之职业篮球赛

　　专业篮球队会通过搜集大量数据来分析赛事情况，然而他们还在为这些数据的整理和实际意义而发愁。通过分析这些数据，可否找到两三个制胜法宝，或者至少能保证球队获得高分? Krossover公司正致力于此。

　　在每场比赛过后，教练只需要上传比赛视频。接下来，来自Krossover团队的大学生将会对其分解。等到第二天教练再看昨晚的比赛时，他只需检查任何他想要的——数据统计、比赛中的个人表现、比赛反应等等。通过分析比赛视频，毫不夸张地分析所有的可量化的数据。

　　大数据应用案例之能源行业

　　智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

　　维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

大数据应用案例之社会生活

　　印度有一档非常受欢迎的电视节目Satyamev jayate，该节目整理并分析社会民众关于争议话题的各种意见，包括女性堕胎、种姓歧视和虐待儿童等社会热点问题，并使用这些数据来推进政治改革。

　　虽然目前只播放了13集，但是来自各方的反馈数据不容小觑。

　　-来自印度电视和世界各地的YouTube上的400万观众;

　　-超过1.2亿人在其网站、Facebook，Twitter，YouTube和移动设备上已连接Satyamev jayate;

　　-超过800万的人通过Facebook，网络注释，文本消息及电话热线等方式发送14万个回应，每周有超过10万个新观众进行回应。

大数据应用案例之公路交通

　　在洛杉矶开过车的人一定都经历过那里噩梦般的交通拥堵情况。目前政府在I-10和I-110州际公路上建立了一条了收费的快速通道。政府可通过大数据引导驾驶人员在该通道上的行驶情况，保证交通畅通。

　　施乐就是参与此次项目的公司，它的抗拥塞项目，包括用ExpressLanes、动态定价，上升的需求等等以维持某种秩序的想法。施乐公司的首席技术执行官Natesh Manikoth表示，如果司机支付给驾驶热车道(高占用收费系统)，他必须保证车速每小时45英里左右。如果交通开始拥堵，私家汽车的支付价格将上升，以减少他们进入，而将车道用于高占用率的车辆，例如公共汽车和大巴车。

　　施乐还有另一个项目在洛杉矶称为ExpressPark， 目标是让人们知道他们何时即将离开房子，在哪能找到停车场和花费金额。不仅要确保定价，同时更要确保数据实时到达用户手中。例如，应当提前40分钟告知用户停车位置。

大数据应用案例之汽车制造

　　当问起汽车的制造过程，大多数人脑子里随即浮现的是各种生产装配流水线和制造机器。然而在福特，在产品的研发设计阶段，大数据就已经对汽车的部件和功能产生了重要影响。

　　比如，福特产品开发团队曾经对SUV是否应该采取掀背式(即手动打开车后行李箱车门)或电动式进行分析。如果选择后者，门会自动打开、便捷智能，但这种方式会影响到车门开启有限的困恼。此前采用定期调查的方式并没有发现这个问题，但后来根据对社交媒体的关注和分析，发现很多人都在谈论这些问题。

大数据应用案例之零售业

　　“我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。”Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

　　零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

大数据应用案例之总统竞选

　　许多人通过Facebook更新个人状态、分享图片以及他们"喜欢"的内容。奥巴马的总统竞选运动也通过使用社交网络的各种数据功能完成了竞选，他们不仅通过社交网络寻找支持者，而且还通过社交网络召集了一批志愿军。

　　早在2006年，Facebook联合创始人，克里斯·休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在Facebook上建立个人主页，以便他们进行形象推广。2006年9月，Facebook全面开放，用户数量爆炸式增长，在年底达到1200万。这一过程恰好有利地推升了奥巴马的知名度。此后，在克里斯的辅佐下，奥巴马掀起了一系列的网络活动，在Facebook、MySpace等社交网站上发表公开演讲、推广施政理念，赢得大量网民支持，募集到5亿多美元的竞选经费。

　　最终，"黑人平民"战胜了实力雄厚的对手，成为美国历史上第一位黑人总统，之后，在第二次的选举中更获得连任。此次选举被认为是美国民主的巨大进步，而互联网则提供了前所未有的实施手段，其中尤以Facebook代表的社交网站最为突出，以至于有人戏称之为"Facebook之选"。

大数据应用案例之电子邮件

　　MailChimp的核心业务是提供电子邮件服务，它在一年内为大约300万用户发送了350亿封邮件。不过真正能体现MailChimp未来价值的则是该公司对这些邮件数据的处理和分析。

　　MailChimp的一个重要任务就是搞清楚如何帮助客户更好地了解他们所发送的信息。考虑到这一点，该公司建立了一个服务叫Wavelength，向客户展示了与他们相似的其他讯息。这个系统使得Wavelength能够储存公司数据库中每个邮件地址发生的互动。这意味着告诉了你,用户打开了什么样的邮件，何时打开，他们点击了什么链接，还有订阅了什么邮件。MailChimp也有一个功能叫做Ecommerce360，能让客户通过转换来跟踪点击。

大数据应用案例之音乐

　　十多年前，音乐元数据公司Gracenote收到来自苹果公司的神秘忠告，建议其购买更多的服务器。Gracenote照做了，而后苹果推出iTunes和iPod，Gracenote从而成为了元数据的帝国。

　　在车内听的歌曲很可能反映你的真实喜好， Gracenote就拥有此种技术。它采用智能手机和平板电脑内置的麦克风识别用户电视或音响中播放的歌曲，并可检测掌声或嘘声等反应，甚至还能检测用户是否调高了音量。这样，Gracenote可以研究用户真正喜欢的歌曲，听歌的时间和地点。

　　Gracenote拥有数百万首歌曲的音频和元数据，因而可以快速识别歌曲信息，并按音乐风格、歌手、地理位置等分类。

文章来自：中国大数据

摘　要：统计分析是一种反映统计结果的工具,它在现在的企业中,被运用得很广泛,但它所使用的技术水平也在不断的提高,特别是在反映企业统计结果方面,更具有一定的实用性。企业在使用统计分析时,涉及到很多种行业中,例如:工业、商业、建筑业和交通以及邮电等各企业统计分析工作中。

关键词：

一、统计分析的概念统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识。它又是在一定的选题下，集分析方案的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。二、统计分析的特点 　统计分析是对客观现象的一种认识活动，它在定性分析的基础上，经过定量研究，达到对现象本质及规律性的认识。　　统计分析方法具有特殊性　统计分析方法是以总体现象的数量关系为对象的一类特殊科学研究方法的总称。从应用的角度来看，统计分析方法可分为经验方法和数学方法两大类。经验方法是指一些与初等数学知识和人们的实践经验相关联的方法。数学方法又称为数理统计方法，是以数学理论，特别是概率论为基础对客观现象进行研究的方法。它可以通过对现象貌似偶然的变动来探求其必然的规律性。

统计分析的对象具有综合性　统计分析的对象不是某种社会经济现象的个体数量方面，而是现象的总体数量方面，分析研究其综合数量特征。从总体上对客观现象的数量方面进行分析，可以避免以偏概全，使认识较为全面和正确。三、统计分析方法 统计分析方法很多，但基本方法是定量分析 。l、从统计理论上看，我们所见到的统计学著作，除了统计设计、统计调查、统计整理等理论和方法外，其他大部分内容都是统计分析方法，这些统计分析方法有一个共同点，它们都是定量分析方法。 2、统计实践上看，统计分析所起的作用，是通过定量分析实现的。统计分析在人们的认识过程中有三个作用：第一，对客观事物量化，包括反映客观事物规律的数量表现；第二，根据量变程度确认事物的质，即确定区别事物质量的数量界限；第三，揭示新的规律，即通过分析数量关系，发现尚未被认识的事物的规律。　　四、企业如何运用统计分析 　　随着社会主义市场经济的发展,统计为企业发展战略的研究和制定,为各项职能管理提供必要的信息,为防范和化解风险,发挥其预警作用,新经济时代统计信息是影响企业管理层决策成败的关键。

（一）在企业经营过程中：在企业的经营管理中，统计分析占据着十分重要的地位。在认识统计的过程中，企业通过统计调查以及整理取得的统计资料能够对客观现象的数量特点取得一定的认识。若不进行深入的整理和分析，对于这些现象的认识还只停留在表面的初步认识状态，所以必须对这些统计资料加以分析和研究，才可以掌握事物的本质以及内在的发展规律，通过逐渐地深化认识，有效的深入的分析方法，查找出经营管理中存在的问题和薄弱环节，就可以提出改进的举措，给各级领导各级管理部门参考改进建议，是企业的各项管理工作不段得到改善和提高，充分显示出统计分析在企业经营管理中发挥的广泛应用。（二）在企业目标管理中：（1）在企业的各项经济指标的预测中，通常强调动态的分析预测与静态的分析预测相互结合，其中以静态分析预测为主。企业首先要根据自身发展的特点，寻找到经济运行波动的共性和差异，根据企业的总体规划以及企业的特殊性，依据企业的历史统计数据，运用相应的预测模型给出企业相关指标的科学性预测，根据预测数据制定出各项计划经营指标和各项KPI考核指标，再通过把企业的月度统计预测、季度统计预测和年度统计预测与月度、季度及年度各解段实际完成情况进行对比分析，进行不断调整修正完善，使得企业的目标管理以及考核指标得到实现和完成的保证。

（三）、在企业的决策性分析中：在我国的经济管理领域，决策性分析方法是最先被引入和普及的定量化分析方法。随着企业信息化建设的推进，企业受外部环境的影响逐步加深，这就要求企业及时对相关信息进行处理和分析。一是对市场需求和供给能力的分析。主要包括居民的购买力、商品的潜在和实际市场需求量、品牌成熟度、订单满足率、消费偏好等。通过分析，可以判断企业的赢利空间、供需缺口等，为领导层确定商品销售规模、制定阶段性营销策略等提供依据。二是对社会经济环境的分析和影响。主要包括国内、国际的宏观环境对我国行业发展的影响和对地方法规、民风民俗对企业的发展的影响。三是对企业竞争力的分析。通过分析本行业其他企业的经营情况，在对比中认识自身发展的差距和潜力，从而为制定正确的发展战略提供参考。（四）在企业过程分析和阶段分析控制中：在计划方案的落实过程中，往往会出现一些不可预知的状况。需要及时的进行过程分析和阶段分析。企业利用统计数据定期分析计划完成情况、进度情况等，可以及时的发现执行过程中所存在的问题。通过对完成阶段的结果进行对比分析，有利于确定指标完成率。便于衡量市场潜力相同的不同市场之间的业绩。也作为销售目标制定的依据。 　

在企业当中，统计分析工作是了解现状、预测未来，为了更好的促进企业发展进步的重要方法。做好统计分析工作具有重要的作用和意义。因此，我们要提高对统计分析的研究，使统计分析工作更好地成为企业发展的有力推动力量。 参考文献：[1]百度百科.统计分析[EB/OL]. 　[2]赵井霞．试谈如何进行统计分析[J]．商业经济．2004.4． 　　[3]宋安. 统计分析在企业管理与经营决策中的应用[J].经济师.2003.6

CIO正在采用数据分析来提高效率，但并不是每一次努力都有成果，一下是知名公司领先CIO如何成功地利用数据分析和机器学习来提高收入或降低成本的成功案例。

降低成本或提高收入的Hyperaware可以帮助他们在C套房和董事会的眼中闪耀，CIO比以往任何时候都更加支持支持数据科学的技术。据IDC统计，2017年全球大数据和业务分析的收入将达到1580亿美元，比2016年上涨了12.4％。旨在支持大数据和分析的硬件，软件和服务的商业购买预计将超过2100亿美元。IDC分析师Dan Vesset指出，大数据分析解决方案已经成为在全球各行业和业务流程中实现数字转型工作的关键支柱。

但是，这种令人沮丧的支出有一个黑暗的一面：大多数数据分析项目无法产生可衡量的价值。遗留系统和商业机构官僚机构已经产生了数据仓库，并使数据质量不佳。而CIO们仍然在努力填补操纵数据所需的人才差距。人才战争激烈，大学分析课程的兴起并不能够足够快地培养合格人选。

然而，数据分析的成功案例在本月初的CIO100研讨会上比较丰富，几个IT领导者透露了他们的努力。首席信息官还分享了对同行进行类似努力的经验教训和建议。

数据分析

已经发展成为全球140多个市场的400亿美元全球医疗保健公司的默克公司力图利用ERP和核心系统收集的数据进行制造执行和库存控制，以获得更多的业务见解。但默克公司的工程师花费了60％到80％的努力来寻找，访问和摄取每个项目的数据，业务目标已经过去了。默克制造IT部门的首席信息官Michelle A'lessandro表示：我们并没有将数据视为可行的，永久的和有价值的资产。我们希望建立一种文化，我们花费更少的时间移动和报告数据，并将更多的时间用于有意义的业务成果的数据。

默克创建了MANTIS（制造和分析智能），这是一个über数据仓库系统，包括内存数据库和开放源码工具，可以压缩包含文本，视频和社交媒体在内的结构化和非结构化系统中的数据。重要的是，该系统旨在让非技术业务分析人员轻松查看可视化软件中的数据。相反，数据科学家可以通过复杂的模拟和建模工具访问信息。MANTIS已经将公司整体IT分析项目组合的时间和成本降低了45％。有形的业务成果包括平均交货时间减少30％，平均库存支出成本减少50％。

经验教训： A'lessandro表示，她成功的关键是在亚太工厂确定了一个灯塔”分析项目，默克公司将获得最大的回报。在MANTIS展示成功之后，它成为了对其他网站的呼吁。她也学会了不要咬伤多于她可以咀嚼。A'andandro表示，她在早期的实验中,过度”地使用人工智能和机器学习来分析默克制造过程的成本。A'andandro说：不是因为缺乏赞助或缺乏愿景，我们不能让它上班。

机器学习

多年来，Pepper Snapple集团的销售路线人员抓住了一个含有客户数据，销售和促销记录的肥皂，并打入沃尔玛和Target等零售客户的道路。今天，销售人员不是使用绑定器，而是配备iPad，告诉他们他们需要访问什么商店，为零售商提供什么，以及其他关键指标。Pepper Snapple集团的首席信息官Tom Farrah表示：他们是荣耀的接班人，现在他们正在成为聪明的销售人员，配备信息来帮助实现他们的目标。

该平台MyDPS配有机器学习和其他分析工具，可在推送应用程序时向工作人员推荐建议和日常操作记分卡。显示员工如何按照预期的预测执行的算法，包括他们是否符合自己的计划，这些算法都会落在下面，以及他们如何正确地解决问题的见解。Farrah说：如果我要让某人取得成功，我必须确保他们有什么信息具有内容相关性。”

经验教训：为了测试MyDPS的概念证明，Farrah将该软件分给了四个分支机构，并让业务总裁去拜访他们。他们透露，使用MyDPS后，上个月的执行销售额已经提高了50％，说服他对项目进行了绿化。Farrah说：他得到了结果，这就是销售所需要的，”这不仅仅是为了项目的业务赞助，而且希望得到结果，这一点非常重要。

预测分析

皮特俄亥俄州首席信息官Scott Sullivan表示，货运业正在遭受所谓的;亚马逊影响”的打击。皮特·俄亥俄州，一家7亿美元的货运公司，已经习惯于收取运费，并在第二天交付给客户。但是，要感谢亚马逊，客户越来越期待当天的交货。他们期待有关他们的包的更多信息。

沙利文说：客户现在不仅要知道什么时候会被拿起来，而且要知道如何交付，以便他们能够计划工作量。” 利用历史数据，预测分析和算法实时计算各种货物重量，行驶距离和其他因素，Pitt Ohio可以估计驾驶员以99％的准确率到达运送目的地的时间。该公司估计，通过重复订单增加了收入（估计每年为5万美元），并降低了客户损失的风险（估计为每年6万美元）。

经验教训：沙利文说，这是涉及市场研究，销售业务和信息技术的跨部门事务，他们都检查并重新检查结果，以确保其实现目标。Sullivan表示：四面墙内有很多数据，是创新的，寻找有挑战性的方法来使用它。

如果数据是新的石油，那么知道如何将其改进为可操作的智能是利用其潜力的关键。为此，CIO正在使用预测分析工具，制定机器学习算法和战斗测试其他解决方案，以追求企业的效率和新的服务方式。想获得更多大数据分析成功案例，加学习交流8群640193172，和大数据大数据资深交流经验.

小兵博客几年前分享的二项logistic回归分析案例非常受欢迎，在实际应用中，可能还会碰到因变量是多个分类的情况，并且不包含排序信息。比如视力分为轻度、中度、重度三个水平，此时如果想考察影响视力评价的指标，常用的二项logistic回归已经无法胜任。

幸好，SPSS软件为我们提供了多项logistic回归。

logistic回归对数据的要求

因变量：分类变量，要求是（含）三个以上分类水平；

自变量：可以是分类变量或连续变量，建议是分类变量；

协变量：必须是分类变量。

概念什么的，先不说，即使说，小兵我也说不清楚，看了案例自然就了解了。用SPSS学统计的好处就是这，辣眼睛的统计原理可以通过案例实践来逐步理解掌握。

案例数据

该假设数据文件涉及一份880人参于的关于早餐喜好的民意调查，该调查记录了参与者的年龄、性别、婚姻状况以及生活方式是否积极，每个个案代表一个单独的响应者。

调查机构想搞清楚是什么影响着受访人每天吃什么早餐。因变量“早餐选择”包括（1=早餐摊点、2=燕麦类、3=谷物类），自变量暂定年龄、婚姻状况以及生活态度。

分步骤说明

菜单栏中依次选择【分析】【回归】【多项logistic】，打开主面板。

因变量、自变量分别按照箭头指示移入对应的变量框内，然后最为重要的是，点击【参考类别】按钮，默认勾选【最后一个类别】。

什么意思呢？大意是指以因变量和自变量的最后一个分类水平为参照，用其他分类依次与之对比，考察不同水平间的倾向。

主面板中，点击【模型】按钮，打开【多项logistic回归：模型】对话框，勾选【主效应】，本例主要考察自变量年龄、性别、婚姻状况的主效应，暂不考察它们之间的交互作用，然后点击【继续】。

主面板中，点击【统计】按钮，设置模型的统计量。主要【伪R方】【模型拟合信息】【分类表】【拟合优度】这几项必选，其他可以默认不勾选。这些参数主要用于说明建模的质量。

主面板中，点击【保存】按钮，勾选【估算响应概率】，我们要求SPSS软件帮我们估算每个个案三类早餐的概率。

其余的参数主要和逐步回归有关系，本例采用主效应模型，人为指定进入模型的自变量，在其他研究中，可以根据情况选择逐步回归。

下主面板底部点击【确定】按钮，软件开始执行此处建模。

多项logistic回归结果解读

个案处理摘要表，列出因变量和自变量的分类水平及对应的个案百分比。建议在此表主要读取变量分类水平的顺序，比如自变量“年龄段”，第一个分类是“低于31岁”，第二个分类是“31-45”，第三个分类是“45-60”，第四个分类是“60岁以上”，尤其是看清楚最后一个分类，因为我们前面参数设置时要求是以最后一个分类最为对比参照组的。谁和谁对比，一定要搞清楚。

模型拟合信息表，读取最后一列，显著性值小于0.05，说明模型有统计意义，模型通过检验。

拟合优度表，原假设模型能很好地拟合原始数据，最后一列皮尔逊卡方显著性值0.952，概率较大，原假设成立，说明模型对原始数据的拟合通过检验。

伪R方表，依次列出的3个伪R方值（类似于决定系数）均偏低，最高0.4，说明模型对原始变量变异的解释程度一般，还有一部分信息无法解释，拟合程度并不是很优秀。

模型似然比检验表，我们能看到最终进入模型的效应包括截距、年龄、婚姻状况、生活态度，而且最后一列显著性值表明，三个自变量（影响因素）对模型构成均有显著贡献，研究它们是有意义的。

参数估计表，列出自变量不同分类水平对早餐选择的影响检验，是多项logistic回归非常重要的结果。

第二列B值，即各自变量不同分类水平在模型中的系数，正负符号表明它们与早餐选择是正比还是反比关系。第六列是瓦尔德检验显著性值，此值小于0.05说明对应自变量的系数具有统计意义，对因变量不同分类水平的变化有显著影响。

比如，早餐摊点和谷物类早餐相比，31-45岁的年轻人更偏向于选择在早餐摊点吃早餐，这种可能性是60岁以上人的3.7倍；燕麦类和谷物类早餐相比，结婚与否对早餐的选择没有差别。

多项logistic回归模型

经过对该早餐喜好民意调查数据进行多项logistic回归分析，由参数估计表，我们可以得到模型如下：

G1=LOG[P(早餐摊)/P(谷物类)]=-1.224+0.984年龄1+1.309年龄2+0.542年龄3+0.843婚姻状况0-0.792生活态度0

G2=LOG[P(燕麦类)/P(谷物类)]=1.134-4.273年龄1-2.532年龄2-1.192年龄3+0.843婚姻状况0+0.186生活态度0

G3=0 （对照组）

根据这个模型，我们首先计算某个受访者G1、G2、G3的值，然后带入如下公式，最终可得到三个早餐相应的概率。

P1=exp(G1)/[exp(G1)+exp(G2)+exp(G3)]

P2=exp(G2)/[exp(G1)+exp(G2)+exp(G3)]

P3=exp(G3)/[exp(G1)+exp(G2)+exp(G3)]

当然，SPSS软件已经自动帮我们计算出每个受访者三种早餐选择的相应概率，我们无需手工计算，返回数据编辑器窗口，具体来看结果。

原始数据最右侧新增3个变量，依次为EST1_1、EST2_1、EST3_1，分别对应因变量“早餐选择”的三个分类水平（早餐摊、燕麦类、谷物类）的响应概率。比如第一个个案，他选择谷物类早餐的概率为0.55，在三种选择中数值最大，因此，模型会判定他选择谷物类早餐，这和原始记录的真值一致，说明模型判断准确。

当然，SPSS软件也输出了模型预测分类表，如下所示。

模型在预测燕麦类早餐选择倾向上准确率最高，达到77%，其他两个早餐选择的预测略低，模型总体预测准确率为57.4%，表现一般。前面伪R方数据显示，模型对总体变异的解释能力不足，这和总体预测准确率结论也一致。

（文/图 数据小兵）

两个分类变量间的关系，无法直接使用常见的皮尔逊相关系数来表述，多采用频数统计、交叉表卡方检验等过程进行处理，当分类变量的取值较多时，列联表频数的形式就变得更为复杂，很难从中归纳出变量间的关系。

对应分析，则是解决分类变量间关系这个复杂问题的有力武器。也称为相应分析，是一种多元统计分析方法，目的是在同时描述各变量分类间关系时，在一个低维度空间中对对应表中的两个分类变量进行关系的描述。

常见应用领域如市场研究分析、竞争分析等。

先看一个案例

对于男性而言，个人职位是否与吸烟有关，假设有人收集了这样的一组数据，如下：

数字表示人数，仅从交叉表内数据大小按照热度区分的话，效果大概是这个样子，红色越深的格子表示人数越多：

我们发现初级雇员普遍吸烟，中度最多，其他的表现并不明显，总体上很难发现什么规律。

除了热图之外，还可以考虑常见的条形图，效果如下：

可视化的效果要比前面热图好很多，给人的直观感觉是，职位较高的男性，重度吸烟的比例较低，多数从不吸烟。

经过以上两种图示化方法的预处理，我们能从其中总结职位和吸烟关系的把握并不大。

SPSS交叉表卡方检验

熟悉SPSS统计分析的人可能还会想到，是否可以先采用交叉表卡方检验来观察职位和吸烟之间的关系呢？

在SPSS的数据视图下，对数据按频数变量进行加权，然后依次点击【分析】→【描述统计】→【交叉表】，在【交叉表：统计】对话框内勾选【卡方】，其他参数默认设置。来看结果：

原假设职位和吸烟两个变量间相互独立，渐进显著性小于0.01，说明两个变量间不完全独立，存在某种关系。

卡方检验的结果给我们吃下一颗放心丸子，职位和吸烟之间的关系值得深入研究，但它们之间的关系到底应该如何描述呢？前面尝试的热力图、条形图、交叉表卡方检验均没有给出完美结论。

SPSS简单对应分析

之所以前面先讲述三种方法，主要目的是告诉大家，对应分析实际上也是一种数据可视化的技术，同时它也能输出卡方检验，下面具体来看。

步骤1：案例数据导入SPSS软件

SPSS对应分析对数据的要求是按变量存储，一般包括三个变量，两个名义变量和一个频数变量，如果原始数据在Excel文件中是一个二维表，需要首先将其转换为一维表格，再导入SPSS软件。

小蚊子老师主编的畅销书《谁说菜鸟不会数据分析》（P164）中介绍过实用方法，在Excel数据文件中，采用【数据透视表向导】功能，利用【多重合并计算数据区域】的方法，快速地实现二维表转为一维表，我在SPSS常见问题答疑电子书中也有类似的讲述，对此感兴趣的可以参考学习。

数据较少时，最简单的方法就是复制粘贴，也可以快速实现二维表转一维表。不管如何处理，最终导入SPSS的数据文件长这样：

步骤二：数据加权

我们的分析任务是搞清楚职位和吸烟程度两个名义变量的关系，要对他们进行量化考察，需要用频数数据加权，SPSS数据视图下，依次点击菜单【数据】→【个案加权】，将频数数据移入右侧【频率变量】框内，对职位和吸烟两个变量进行加权。

步骤三：对应分析主面板参数设置

菜单栏中依次点击【分析】→【降维】→【对应分析】，打开对应分析主面板，依次将【不同职位】【吸烟程度】两个名义变量移入行和列框内。

点击下方【定义范围】按钮，以定义行范围为例，行变量【不同职位】有5个分类水平，标签值从小到到依次为1-5，所以最小值输入数字“1”，最大值输入数字“5”，然后点击右侧【更新】按钮，此时下方的【类别约束】框内自动出现1-5一个序列，类似操作，完成对列变量范围的定义。点击【继续】返回主面板。

步骤四：对应分析模型参数设置

在主面板上点击【模型】按钮，打开模型对话框。

一般默认采取2维，距离测量勾选【卡方】。对应分析也是一种降维技术，通常选择在一个二维表和二维图形中考察分类变量间的关系。

行和列变量间的距离测度软件默认选择【卡方】，当用卡方测量距离时，SPSS软件只默认选择【除去行列平均值】作为标准化方法。

最底部的【正态化方法】相对比较复杂，理解起来有一定难度，建议选择软件默认选项【对称】，检查两个变量分类间的差异或相似。

点击【继续】按钮，返回主面板。

步骤五：对应分析统计参数设置

软件默认勾选【对应表】【行点概述】【列点概述】，点击【继续】按钮，返回主面板。

步骤六：对应分析图参数设置

对应分析最重要的结果之一，就是对应图，主面板上点击【图】按钮，打开图对话框，散点图选项中默认勾选【双标图】，也就是我们最终想要的对应图了。其他默认设置，点击【继续】按钮，返回主面板。

最后在主面板中点击【确定】按钮，SPSS软件开始执行对应分析。

SPSS对应分析结果解读

1、对应表

对应表实际上就是交叉表，行与列交叉的单元格显示为频数，行与列的活动边际，具体为对应行和列的和。对应表看看即可，了解一下，不用深究。

2、模型摘要表

模型摘要表是关键结果之一，重点考察。

此表类似于因子分析的总方差表，第一列【维】较抽象，可以理解为因子分析的因子，第2-5列分别为奇异值、惯量、卡方值及sig值，随后给出各个维度所能解释两个变量关系的百分比。

首先来看卡方检验的结果，卡方值=164.416，显著性Sig值=0.000<0.01，表明此次分析的两个名义变量，职位和吸烟程度不完全独立，存在一定关系，这和前面交叉表卡方检验结果一致。

卡方检验通过之后，再来解读对应分析的其他结果更有意义。

摘要表数据表明，前两个维度累积惯量可解释99.5%的信息，效果非常不错，此次分析较成功。

3、行/列点总览

这两个表格，主要输出各类别在各维度上的得分，后续最重要的对应图，将依据这两组维度得分进行绘制。

4、对应图

对应分析关键结果之一，重点考察。

模型摘要表中，我们已经确认前两个维度解释能力很棒，那么SPSS软件默认将采用这两个维度的得分制作二维散点图，也就是现在的对应图。

此时我们可以看到，不同职位的5个类别和吸烟程度的4个类别被标记为不同的颜色进行区分，职位点和吸烟点间距离有远有近，距离的远近包含了它们之间的关系。

总体观察来看，容易发现初级雇员和中度距离较近，可以理解为初级雇员多为中度吸烟；而高级雇员和从不吸烟的距离比较近，说明高级别雇员很少吸烟。此外职别最低的初级工程师和重度吸烟较近，说明这个级别的职工重度吸烟居多。

沈浩老师博客和小蚊子数据分析博客曾对对应分析对应图的解读做过总结，一共有7种解读的方式，按照四象限以及市场定位的方法，本例分析的对应图可以作出如下优化：

以维度1原点为界，吸烟程度中的轻度、中度、重度均在左侧，而从不吸烟则单独出现在右侧，说明从不吸烟和其他三种类别区别较大，与此对应的是，高级工程师和高级雇员这三个职位也集中在右侧，可以理解为职别较高的人最有可能是从不吸烟。采用同样的方式，容易发现，初级雇员与轻度和中度吸烟距离较近，职别最低的初级工程师与重度吸烟距离近，这和总体观察时的结论一致。

文/图=数据小兵

首席信息官正在利用数据分析来提高效率和促进增长，但并不是每一次努力都会产生结果。以下讲述了优秀的首席信息官是如何成功地利用数据分析和机器学习技术来增加收益或降低成本的。

如果把数据比作新的石油，那么掌握如何将其提炼为可使用的情报就是发挥其潜力的关键。为此，首席信息官正在使用预测分析工具，设计机器学习算法和对其他解决方案进行测试，以追求企业的效率和以新的方式为客户服务。

胡椒博士集团(Dr.PepperSnappleGroup)将机器学习技术用于语境相关性工作中

多年来，胡椒博士集团的销售路线员工一直是抓着一本厚厚的活页夹，里面装满了客户数据、销售和促销说明，然后去吸引一些零售客户，如沃尔玛和塔吉特百货公司(Target)等。今天，销售人员不再使用这种活页夹，而是配备了能告诉他们需要拜访哪家商店的iPad，而且还会告诉销售人员该为这些零售商提供何种优惠，以及其他关键指标。胡椒博士集团的首席信息官汤姆·法拉(TomFarrah)表示：“他们都是接订单的销售人员，为此他们感到很骄傲。现在他们配备了信息资料来帮助其实现目标，使他们成为智能的销售人员。”

该MyDPS平台配有机器学习和其他分析工具，可在工作人员加载应用程序时向其提供建议和日常操作记分卡。这些算法向员工显示他们是如何按照预期计划进行工作的，包括他们是否按照自己的计划工作，或是落后于计划，以及给他们提供见解，让他们清楚如何纠正他们的工作。法拉说：“如果我要让某人获得成功，我必须确保他们拥有哪些信息是与工作内容相关的。”

经验教训：为了测试验证MyDPS平台的概念，法拉将该软件分给了一个分公司的四个人，并让业务总裁去拜访他们。他们透露，自从上个月使用MyDPS之后，执行销售额已经提高了50%，这一表现让他批准了该项目。法拉说：“他获得了结果，这就是销售所需要的，这不仅仅是为了项目的商业赞助，而且这也是他们希望得到的结果，这一点非常重要。”

凭借机器学习技术，RRD公司走上新业务之路

营销传播公司R.H.Donnelley公司为RRD公司的前身，几年前，RRD公司设立了物流部门，向消费者和企业配送它的印刷材料。为了支持这项业务，公司自己管理运营，并代表其合作伙伴配送各种物品，包括洗衣机、狗粮等等，最终成长为价值10亿美元的一个企业。这是一个挑战吗?在联邦快递和UPS成为无可争议的霸主的天下，找到一个最优的运费。

诸如天气、地域、司机和政治局面等因素都是业务上的成本。RRD公司的首席信息官肯奥布莱恩(KenO'Brien)表示，随着迫切需要对费率变量进行预测，RRD公司转向了机器学习和数据分析。公司聘请员工和与大学合作来帮助编写算法，在700条路线上测试数千个场景，直到能够以99%的准确率提前7天实时预计运费。奥布莱恩说：“该项目在不到一年的时间就完成了，我们现在仍然看到业务的增长与运费有关。”该公司预计，在2017年，其卡车货运代理业务将从400万美元增长到1600万美元，营收将增长1200万美元，业务规模达6亿美元。

经验教训：新企业需要高水平的全心投入，尽管奥布莱恩承认，他的一些业务同行已准备好在业务的不同环节上认输。该业务并不相信那些通常以感觉和猜测来完成一个流程的技术。RRD公司建立了一个协作环境，业务和IT共同合作来推进结果。“你会遇到困难，你会遇到挑战，但要耐心，”奥布莱恩说。

孟山都公司(Monsanto)利用机器学习技术，实现最佳种植计划

农民永远为要种植何种作物，种植面积，在哪里种植及何时种植而苦恼。种子行业巨人孟山都公司正在研究这项工作，利用数据科学为农业种植提供规范性建议。数学和统计学模型会绘制出雄性作物和雌性作物的最佳种植时间，以及在何处种植，在理想状态下，这就最大限度地提高产量并减少土地使用。孟山都公司全球IT分析主管艾德里安·卡地亚(AdrianCartier)表示，其机器学习算法在数天内完成了超过900亿的数据点，而不是几周或几个月。这是商业利益吗?在2016年，孟山都公司节省了600万美元，其供应链足迹减少了4%。卡地亚说：“北美地区的土地利用率下降了4%，相当于不去使用大面积的土地，这节省了大量资金。”

经验教训：孟山都公司成功的关键是在信息技术与供应链业务之间建立了一个“自始至终”的合作。卡地亚说：“他们具有农业和供应链角度的专业知识，而我们具有数学和统计领域的专业知识，两者结合起来，就创造了我们能够提供的价值。”卡地亚说道，他还寻求在供应链业务中“改变领导者和倡导者”，以形成对反对者一种健康的平衡。

柏克德公司(Bechtel)以卓越的大数据中心来颠覆自己

一个鲜为人知的事实：柏克德公司首席信息官CarolZierhoffer说，与建筑有关的支出占GDP的13%，但整个行业在过去二十年中只有1%的生产率增长。专家表示，通过重新制定合同、提高工人技能以及改进现场执行工作等方式，该行业可以提高50%至60%的生产率。柏克德公司建造了胡佛水坝、英吉利海峡隧道和其他大型设施，已经开始在业务各个环节的数据中挖掘洞察力。

Zierhoffer在沃尔玛、波音和洛克希德马丁公司会见了业内同行，以获得有关如何向前发展的见解。柏克德公司建立了一个先进的大型数据中心，其中包含5千万亿字节数据的数据湖，并开始了概念验证。该数据中心使用照片识别技术，并代表客户来检查和标记各个地点的照片，这节省了200万美元。自然语言处理(NLP)工具可解析索赔、提案请求(RFP)和合同。过去需要几天和几周的评估和计划工作现在只需要数小时。柏克德公司还扩大了分析工作范围，以了解员工的流失率情况，包括试图预测员工将何时离职。Zierhoffer说：“我们相信我们正在敲开解决生产率难题的大门。”

经验教训：数据仓库和质量是支柱。尽管柏克德公司可以分析大量的数据，但在整个业务各环节的数据质量必须提高。“我们不得不颠覆自己，了解我们是如何工作的，并且将数据仓库进行连接。”

数据分析帮助辛辛那提动物园提高客户满意度

辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。

辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。

借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：

-帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

读者朋友们，为了方便大家自学SPSS统计分析，小兵把本号原创发布的统计方法案例，由浅入深全部归纳整理在此篇文章中，请各位收藏。

↓

↓

SPSS统计分析案例：生成随机数

SPSS统计分析案例：箱图

SPSS统计分析案例：误差条图

SPSS统计分析案例：可视离散化

SPSS统计分析案例：别把排序不当回事儿

SPSS统计分析案例：快速统计样本缺失

SPSS统计分析案例：配对样本T检验

SPSS统计分析案例：独立样本T检验

SPSS统计分析案例：卡方检验（2）

SPSS统计分析案例：卡方检验（1）

SPSS统计分析案例：无空白列正交试验设计

SPSS统计分析案例：KS单样本检验

SPSS统计分析案例：游程检验

SPSS统计分析案例：2*2交叉表分析案例

SPSS统计分析案例：正交试验设计

SPSS统计分析案例：一元线性回归

SPSS统计分析案例：多重响应分析案例

SPSS统计分析案例：复本信度

SPSS统计分析案例：多维尺度分析

SPSS统计分析案例：TwoStep二阶聚类

SPSS统计分析案例：K-means聚类

SPSS统计分析案例：聚类分析

SPSS统计分析案例：因子分析

SPSS统计分析案例：主成分分析

SPSS统计分析案例：最优尺度回归

SPSS统计分析案例：多项logistic回归分析

SPSS统计分析案例：生存分析之寿命表

SPSS统计分析案例：对应分析

SPSS统计分析案例：多层感知器神经网络