大数据真的太神奇了，真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了，你要是不知道大数据这个概念，都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面十三个大数据应用案例来了解下最真实的大数据故事把，并鲜明得了解大数据在生活当中实际应用的情况。

大数据应用案例之电视媒体

　　对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不可能的事情，因为有超过上百个赛事在8000多个电视频道播出。

　　而现在市面上开发了一个可追踪所有运动赛事的应用程序RUWT，它已经可以在iOS和Android设备，以及在Web浏览器上使用，它不断地分析运动数据流来让球迷知道他们应该转换成哪个台看到想看的节目，在电视的哪个频道上找到，并让他们在比赛中进行投票。对于谷歌电视和TiVo用户来说，实际上 RUWT就是让他们改变频道调到一个比赛中。

　　该程序能基于赛事的紧张激烈程度对比赛进行评分排名，用户可通过该应用程序找到值得收看的频道和赛事。

大数据应用案例之社交网络

　　数据基础设施工程部高级主管Ghosh描绘的LinkedIn数据构建图，其中就包括hadoop战略部署。

　　五年前，LinkedIn只是一家普通的科技公司。而现在，其俨然成为一个工程强国。 LinkedIn建成的一个最重要的数据库是Espresso。不像Voldemort，这是继亚马逊Dynamo数据库之后的一个最终一致性关键值存储，用于高速存储某些确定数据，Espresso作为一个事务一致性文件存储，通过对整个公司的网络操作将取代遗留的Oracle数据库。它最初的设计就是为了提供LinkedIn InMail消息服务的可用性，该公司计划今年晚些时候将推出开源Espresso。

大数据应用案例之医疗行业

　　Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

　　在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

　　它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

　　Express Scripts就是这么一家处方药管理服务公司，目前它正在通过一些复杂模型来检测虚假药品，这些模型还能及时提醒人们何时应该停止用药。 Express Scripts能够解决该问题的原因在于所有有关数据。因为它每年管理着1.4亿处方，覆盖了一亿美国人和65,000家药店，虽然该公司是能够识别潜在问题的信号模式，但它也使用数据来尝试解决某些情况下之前曾经发现的问题。

　　同时，Express Scripts还着眼于一些事情，如他们所开处方的药物种类，甚至有人在网上谈论医生。如果一个医生的行为被标记为红色的旗帜，那么他在网络上是个好人的形象，更是你所需要的医生。

大数据应用案例之保险行业

　　保险行业并非技术创新的指示灯，然而MetLife保险公司已经投资3亿美金建立一个新式系统， 其中的第一款产品是一个基于MongoDB的应用程序，它将所有客户信息放在同一个地方。

　　MongoDB汇聚了来自70多个遗留系统的数据，并将它合并成一个单一的记录。它运行在两个数据中心的6个服务器上，目前存储了24TB的数据。这包括MetLife的全部美国客户，尽管它的目标是扩大它的国际客户和多种语言，同时也可能创建一个面向客户的版本。它的更新几乎是实时的，当新客户的数据输入时，就好像Facebook墙一样。

　　大多数疾病可以通过药物来达到治疗效果，但如何让医生和病人能够专注参加一两个可以真正改善病人健康状况的干预项目却极具挑战。安泰保险目前正尝试通过大数据达到此目的。

　　安泰保险为了帮助改善代谢综合征患者的预测，从千名患者中选择102个完成实验。在一个独立的实验室工作内，通过患者的一系列代谢综合症的检测试验结果，在连续三年内，扫描600,000个化验结果和18万索赔事件。将最后的结果组成一个高度个性化的治疗方案，以评估患者的危险因素和重点治疗方案。这样，医生可以通过食用他汀类药物及减重5磅等建议而减少未来10年内50%的发病率。或者通过你目前体内高于20%的含糖量，而建议你降低体内甘油三酯总量。

大数据应用案例之职业篮球赛

　　专业篮球队会通过搜集大量数据来分析赛事情况，然而他们还在为这些数据的整理和实际意义而发愁。通过分析这些数据，可否找到两三个制胜法宝，或者至少能保证球队获得高分? Krossover公司正致力于此。

　　在每场比赛过后，教练只需要上传比赛视频。接下来，来自Krossover团队的大学生将会对其分解。等到第二天教练再看昨晚的比赛时，他只需检查任何他想要的——数据统计、比赛中的个人表现、比赛反应等等。通过分析比赛视频，毫不夸张地分析所有的可量化的数据。

　　大数据应用案例之能源行业

　　智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

　　维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

大数据应用案例之社会生活

　　印度有一档非常受欢迎的电视节目Satyamev jayate，该节目整理并分析社会民众关于争议话题的各种意见，包括女性堕胎、种姓歧视和虐待儿童等社会热点问题，并使用这些数据来推进政治改革。

　　虽然目前只播放了13集，但是来自各方的反馈数据不容小觑。

　　-来自印度电视和世界各地的YouTube上的400万观众;

　　-超过1.2亿人在其网站、Facebook，Twitter，YouTube和移动设备上已连接Satyamev jayate;

　　-超过800万的人通过Facebook，网络注释，文本消息及电话热线等方式发送14万个回应，每周有超过10万个新观众进行回应。

大数据应用案例之公路交通

　　在洛杉矶开过车的人一定都经历过那里噩梦般的交通拥堵情况。目前政府在I-10和I-110州际公路上建立了一条了收费的快速通道。政府可通过大数据引导驾驶人员在该通道上的行驶情况，保证交通畅通。

　　施乐就是参与此次项目的公司，它的抗拥塞项目，包括用ExpressLanes、动态定价，上升的需求等等以维持某种秩序的想法。施乐公司的首席技术执行官Natesh Manikoth表示，如果司机支付给驾驶热车道(高占用收费系统)，他必须保证车速每小时45英里左右。如果交通开始拥堵，私家汽车的支付价格将上升，以减少他们进入，而将车道用于高占用率的车辆，例如公共汽车和大巴车。

　　施乐还有另一个项目在洛杉矶称为ExpressPark， 目标是让人们知道他们何时即将离开房子，在哪能找到停车场和花费金额。不仅要确保定价，同时更要确保数据实时到达用户手中。例如，应当提前40分钟告知用户停车位置。

大数据应用案例之汽车制造

　　当问起汽车的制造过程，大多数人脑子里随即浮现的是各种生产装配流水线和制造机器。然而在福特，在产品的研发设计阶段，大数据就已经对汽车的部件和功能产生了重要影响。

　　比如，福特产品开发团队曾经对SUV是否应该采取掀背式(即手动打开车后行李箱车门)或电动式进行分析。如果选择后者，门会自动打开、便捷智能，但这种方式会影响到车门开启有限的困恼。此前采用定期调查的方式并没有发现这个问题，但后来根据对社交媒体的关注和分析，发现很多人都在谈论这些问题。

大数据应用案例之零售业

　　“我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。”Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

　　零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

大数据应用案例之总统竞选

　　许多人通过Facebook更新个人状态、分享图片以及他们"喜欢"的内容。奥巴马的总统竞选运动也通过使用社交网络的各种数据功能完成了竞选，他们不仅通过社交网络寻找支持者，而且还通过社交网络召集了一批志愿军。

　　早在2006年，Facebook联合创始人，克里斯·休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在Facebook上建立个人主页，以便他们进行形象推广。2006年9月，Facebook全面开放，用户数量爆炸式增长，在年底达到1200万。这一过程恰好有利地推升了奥巴马的知名度。此后，在克里斯的辅佐下，奥巴马掀起了一系列的网络活动，在Facebook、MySpace等社交网站上发表公开演讲、推广施政理念，赢得大量网民支持，募集到5亿多美元的竞选经费。

　　最终，"黑人平民"战胜了实力雄厚的对手，成为美国历史上第一位黑人总统，之后，在第二次的选举中更获得连任。此次选举被认为是美国民主的巨大进步，而互联网则提供了前所未有的实施手段，其中尤以Facebook代表的社交网站最为突出，以至于有人戏称之为"Facebook之选"。

大数据应用案例之电子邮件

　　MailChimp的核心业务是提供电子邮件服务，它在一年内为大约300万用户发送了350亿封邮件。不过真正能体现MailChimp未来价值的则是该公司对这些邮件数据的处理和分析。

　　MailChimp的一个重要任务就是搞清楚如何帮助客户更好地了解他们所发送的信息。考虑到这一点，该公司建立了一个服务叫Wavelength，向客户展示了与他们相似的其他讯息。这个系统使得Wavelength能够储存公司数据库中每个邮件地址发生的互动。这意味着告诉了你,用户打开了什么样的邮件，何时打开，他们点击了什么链接，还有订阅了什么邮件。MailChimp也有一个功能叫做Ecommerce360，能让客户通过转换来跟踪点击。

大数据应用案例之音乐

　　十多年前，音乐元数据公司Gracenote收到来自苹果公司的神秘忠告，建议其购买更多的服务器。Gracenote照做了，而后苹果推出iTunes和iPod，Gracenote从而成为了元数据的帝国。

　　在车内听的歌曲很可能反映你的真实喜好， Gracenote就拥有此种技术。它采用智能手机和平板电脑内置的麦克风识别用户电视或音响中播放的歌曲，并可检测掌声或嘘声等反应，甚至还能检测用户是否调高了音量。这样，Gracenote可以研究用户真正喜欢的歌曲，听歌的时间和地点。

　　Gracenote拥有数百万首歌曲的音频和元数据，因而可以快速识别歌曲信息，并按音乐风格、歌手、地理位置等分类。

文章来自：中国大数据

CIO正在采用数据分析来提高效率，但并不是每一次努力都有成果，一下是知名公司领先CIO如何成功地利用数据分析和机器学习来提高收入或降低成本的成功案例。

降低成本或提高收入的Hyperaware可以帮助他们在C套房和董事会的眼中闪耀，CIO比以往任何时候都更加支持支持数据科学的技术。据IDC统计，2017年全球大数据和业务分析的收入将达到1580亿美元，比2016年上涨了12.4％。旨在支持大数据和分析的硬件，软件和服务的商业购买预计将超过2100亿美元。IDC分析师Dan Vesset指出，大数据分析解决方案已经成为在全球各行业和业务流程中实现数字转型工作的关键支柱。

但是，这种令人沮丧的支出有一个黑暗的一面：大多数数据分析项目无法产生可衡量的价值。遗留系统和商业机构官僚机构已经产生了数据仓库，并使数据质量不佳。而CIO们仍然在努力填补操纵数据所需的人才差距。人才战争激烈，大学分析课程的兴起并不能够足够快地培养合格人选。

然而，数据分析的成功案例在本月初的CIO100研讨会上比较丰富，几个IT领导者透露了他们的努力。首席信息官还分享了对同行进行类似努力的经验教训和建议。

数据分析

已经发展成为全球140多个市场的400亿美元全球医疗保健公司的默克公司力图利用ERP和核心系统收集的数据进行制造执行和库存控制，以获得更多的业务见解。但默克公司的工程师花费了60％到80％的努力来寻找，访问和摄取每个项目的数据，业务目标已经过去了。默克制造IT部门的首席信息官Michelle A'lessandro表示：我们并没有将数据视为可行的，永久的和有价值的资产。我们希望建立一种文化，我们花费更少的时间移动和报告数据，并将更多的时间用于有意义的业务成果的数据。

默克创建了MANTIS（制造和分析智能），这是一个über数据仓库系统，包括内存数据库和开放源码工具，可以压缩包含文本，视频和社交媒体在内的结构化和非结构化系统中的数据。重要的是，该系统旨在让非技术业务分析人员轻松查看可视化软件中的数据。相反，数据科学家可以通过复杂的模拟和建模工具访问信息。MANTIS已经将公司整体IT分析项目组合的时间和成本降低了45％。有形的业务成果包括平均交货时间减少30％，平均库存支出成本减少50％。

经验教训： A'lessandro表示，她成功的关键是在亚太工厂确定了一个灯塔”分析项目，默克公司将获得最大的回报。在MANTIS展示成功之后，它成为了对其他网站的呼吁。她也学会了不要咬伤多于她可以咀嚼。A'andandro表示，她在早期的实验中,过度”地使用人工智能和机器学习来分析默克制造过程的成本。A'andandro说：不是因为缺乏赞助或缺乏愿景，我们不能让它上班。

机器学习

多年来，Pepper Snapple集团的销售路线人员抓住了一个含有客户数据，销售和促销记录的肥皂，并打入沃尔玛和Target等零售客户的道路。今天，销售人员不是使用绑定器，而是配备iPad，告诉他们他们需要访问什么商店，为零售商提供什么，以及其他关键指标。Pepper Snapple集团的首席信息官Tom Farrah表示：他们是荣耀的接班人，现在他们正在成为聪明的销售人员，配备信息来帮助实现他们的目标。

该平台MyDPS配有机器学习和其他分析工具，可在推送应用程序时向工作人员推荐建议和日常操作记分卡。显示员工如何按照预期的预测执行的算法，包括他们是否符合自己的计划，这些算法都会落在下面，以及他们如何正确地解决问题的见解。Farrah说：如果我要让某人取得成功，我必须确保他们有什么信息具有内容相关性。”

经验教训：为了测试MyDPS的概念证明，Farrah将该软件分给了四个分支机构，并让业务总裁去拜访他们。他们透露，使用MyDPS后，上个月的执行销售额已经提高了50％，说服他对项目进行了绿化。Farrah说：他得到了结果，这就是销售所需要的，”这不仅仅是为了项目的业务赞助，而且希望得到结果，这一点非常重要。

预测分析

皮特俄亥俄州首席信息官Scott Sullivan表示，货运业正在遭受所谓的;亚马逊影响”的打击。皮特·俄亥俄州，一家7亿美元的货运公司，已经习惯于收取运费，并在第二天交付给客户。但是，要感谢亚马逊，客户越来越期待当天的交货。他们期待有关他们的包的更多信息。

沙利文说：客户现在不仅要知道什么时候会被拿起来，而且要知道如何交付，以便他们能够计划工作量。” 利用历史数据，预测分析和算法实时计算各种货物重量，行驶距离和其他因素，Pitt Ohio可以估计驾驶员以99％的准确率到达运送目的地的时间。该公司估计，通过重复订单增加了收入（估计每年为5万美元），并降低了客户损失的风险（估计为每年6万美元）。

经验教训：沙利文说，这是涉及市场研究，销售业务和信息技术的跨部门事务，他们都检查并重新检查结果，以确保其实现目标。Sullivan表示：四面墙内有很多数据，是创新的，寻找有挑战性的方法来使用它。

如果数据是新的石油，那么知道如何将其改进为可操作的智能是利用其潜力的关键。为此，CIO正在使用预测分析工具，制定机器学习算法和战斗测试其他解决方案，以追求企业的效率和新的服务方式。想获得更多大数据分析成功案例，加学习交流8群640193172，和大数据大数据资深交流经验.

首席金融官

如今，金融业面临众多前所未有的跨界竞争对手，市场格局、业务流程将发生巨大改变，企业更替兴衰；未来的金融业，业务就是IT，IT 就是业务；金融业将开展新一轮围绕大数据、移动化、云的IT 建设投资。本节主要介绍金融行业大数据的应用案例，希望对读者有一定的启发和学习价值。

【案例一】淘宝网掘金大数据金融市场

随着国内网购市场的迅速发展，淘宝网等众多网购网站的市场争夺战也进入白热化状态，网络购物网站也开始推出越来越多的特色产品和服务。

1．余额宝

以余额宝为代表的互联网金融产品在2013 年刮起一股旋风，截至目前，规模超1000亿元，用户近3000 万，如图所示。相比普通的货币基金，余额宝鲜明的特色当属大数据。以基金的申购、赎回预测为例，基于淘宝和支付宝的数据平台，可以及时把握申购、赎回变动信息。另外，利用历史数据的积累可把握客户的行为规律。

2．淘宝信用贷款

淘宝网在聚划算平台推出了一个奇怪的团购“商品”——淘宝信用贷款。开团不到10 分钟，500 位淘宝卖家就让这一团购“爆团”。他们有望分享总额约3000 万元的淘宝信用贷款，并能享受贷款利息7.5 折的优惠。据悉，目前已经有近两万名淘宝卖家申请过淘宝信用贷款，贷款总额超过14 亿元。

淘宝信用贷款是阿里金融旗下专门针对淘宝卖家进行金融支持的贷款产品。淘宝平台通过以卖家在淘宝网上的网络行为数据做一个综合的授信评分，卖家纯凭信用拿贷款，无需抵押物，无需担保人。由于其非常吻合中小卖家的资金需求，且重视信用无担保、抵押的门槛，更加上其申请流程非常便捷，仅需要线上申请，几分钟内就能获贷，被不少卖家戏称为“史上最轻松的贷款”，也成为淘宝网上众多卖家进行资金周转的重要手段。

3．阿里小贷

淘宝网的“阿里小贷”更是得益于大数据，它依托阿里巴巴（B2B）、淘宝、支付宝等平台数据，不仅可有效识别和分散风险，提供更有针对性、多样化的服务，而且批量化、流水化的作业使得交易成本大幅下降。

每天，海量的交易和数据在阿里的平台上跑着，阿里通过对商户最近100 天的数据分析，就能知道哪些商户可能存在资金问题，此时的阿里贷款平台就有可能出马，同潜在的贷款对象进行沟通。

案例解析：通常来说，数据比文字更真实，更能反映一个公司的正常运营情况。通过海量的分析得出企业的经营情况，这就是大数据的应用。在本案例中，正像淘宝信用贷款所体现的那样，这种新型微贷技术不依赖抵押、担保，而是看重企业的信用，同时通过数据的运算来评核企业的信用，这不仅降低了申请贷款的门槛，也极大简化了申请贷款的流程，使其有了完全在互联网上作业的可能性。

大数据的价值已经得到互联网公司以及金融机构的认可，笔者认为：“谁掌握的‘拼图’图块多，谁就能快速拼出客户的图谱，成为真正的王者。”然而，目前来看，谁都不愿意轻易地交出自己手上的“拼图”，于是，互联网公司、银行、支付机构等各个海量数据的拥有者展开了激烈的金融数据争夺战。

【案例二】IBM 用大数据预测股价走势

不久前，IBM 使用大数据信息技术成功开发了“经济指标预测系统”。借助该预测系统，可通过统计分析新闻中出现的单词等信息来预测股价等走势。

IBM 的“经济指标预测系统”首先从互联网上的新闻中搜索与“新订单”等与经济指标有关的单词，然后结合其他相关经济数据的历史数据分析与股价的关系，从而得出预测结果。

在“经济指标预测系统”的开发过程中，IBM 还进行了一系列的验证工作。IBM 以美国“ISM 制造业采购经理人指数”为对象进行了验证试验，该指数以制造业中的大约20 个行业、300 多家公司的采购负责人为对象，调查新订单和雇员等情况之后计算得出。实验前，首先假设“受访者受到了新闻报道的影响”，然后分别计算出约30 万条财经类新闻中出现的“新订单”、“生产”以及“雇员”等5 个关键词的数量。追踪这些关键词在这段时期内的搜索数据变化情况，并将数据和道指的走势进行对比，从而预测该指数的未来动态。

IBM 研究称，一般而言，当“股票”、“营收”等金融词汇的搜索量下降时，道指随后将上涨，而当这些金融词汇的搜索量上升时，道指在随后的几周内将下跌。

据悉，IBM 的试验仅用了6 小时，就计算出了分析师需要花费数日才能得出的预测值，而且预测精度几乎一样。

案例解析：从本案例可以看出，大数据不再仅仅局限在媒体与厂商之间的讨论，它犹如一场数据旋风开始席卷全球，从各行各业的IT 主管到政府部门都开始重视大数据及其价值。

目前，不少信息系统企业都在使用大数据信息技术开发预测系统。例如，2011 年，英国对冲基金Derwent Capital Markets 建立了规模为4000 万美金的对冲基金，该基金是首家基于社交网络的对冲基金，该基金通过从Twitter 的数据内容来感知市场情绪，从而进行投资。无独有偶，美国加州大学河滨分校也公布了一项通过对Twitter 消息进行分析从而预测股票涨跌的研究报告。

笔者认为：“企业数据就是新时代还未开采的石油，具有非常之高的价值。”国外一些金融机构已经开始做一些前瞻性的研究了，这种做法是非常值得国内金融机构学习和借鉴的。例如，国内大部分证券公司仍然没有摆脱交易性数据为主的特点，但很多有前瞻意识的证券公司已经开始做一些转型了，对微博、互联网等外部数据进行一些分析与预测。

【案例三】汇丰银行采用SAS 管理风险

近日，汇丰银行选择SAS 防欺诈管理解决方案构建其全球业务网络的防欺诈管理系统。据悉，这一解决方案是一种实时欺诈防范侦测系统。

SAS 被誉为“全球500 强背后的管理大师”，是全球领先的商业分析软件与服务供应商。SAS 通过三部分服务（包括软件及解决方案服务、咨询服务、培训及技术支持服务）帮助客户洞察商机，成就变革，改善业绩。

凭借丰富的行业专业知识，SAS 的行业解决方案在各领域为行业解析蕴藏于信息之中的独特的商业问题。例如金融服务领域的信用风险管理问题、生命科学领域加快药物上市速度和识别零售领域的交叉销售机会等问题。SAS 还提供跨职能解决方案，不分行业地帮助企业克服其面临的挑战。例如增加客户关系价值、测量和管理风险、检测欺诈和优化IT 网络等。

汇丰银行与SAS 在防范信用卡和借记卡欺诈的基础上，共同扩展了SAS 防欺诈管理解决方案的功能，为多种业务线和渠道提供完善的欺诈防范系统。这些增强功能有助于全面监控客户、账户和渠道业务活动，进一步提高分行交易、银行转账和在线付款欺诈以及内部欺诈的防范能力。通过监控客户行为，汇丰银行可以优化并更加有效地利用侦测资源。

汇丰银行利用SAS 系统，通过收集和分析大数据解决复杂问题，并获得非常精确的洞察，以加快信息获取速度和超越竞争对手。因此，汇丰银行还将继续采用SAS 告警管理、例程和队列优先级软件，提高运营效率，以便迅速启动紧急告警。

案例解析：在当今这个海量数据的时代，如何找到大数据中蕴含的前所未有的商业价值？笔者认为高性能分析就是那把“钥匙”。在本案例中，SAS 高性能分析可以帮助用户：将相关的大数据转变为真正的商业价值，采用世界顶级的分析技术来生成精确的洞察，快速获得答案来改变企业的运营模式，以及部署一个适合未来扩展的分析架构。

总之，高性能分析环境让用户可以充分利用IT 投资，同时克服原有架构的约束，从大数据资产中产生高价值的洞察。

【案例四】Kabbage 用大数据开辟新路径

Kabbage 是一家为网店店主提供营运资金贷款服务的创业公司，总部位于美国亚特兰大，截至目前已经成功融资六千多万美元。Kabbage 的主要目标客户是eBay、亚马逊、雅虎、Etsy、Shopify、Magento、PayPal 上的美国网商。

Kabbage 与“阿里小贷”的经营模式类似，通过查看网店店主的销售和信用记录、顾客流量、评论以及商品价格和存货等信息，来最终确定是否为他们提供贷款以及贷多少金额，贷款金额上限为4 万美元。店主可以主动在自己的Kabbage 账户中添加新的信息，以增加获得贷款的概率。Kabbage 通过支付工具PayPal 的支付API 来为网店店主提供资金贷款，这种贷款资金到账的速度相当快，最快十分钟就可以搞定。

Kabbage 用于贷款判断的支撑数据的来源除了网上搜索和查看外，还来自于网上商家的自主提供，且提供的数据多少直接影响着最终的贷款情况。同时，Kabbage 也通过与物流公司UPS、财务管理软件公司Intuit 合作，扩充数据来源渠道。

目前，使用Kabbage 贷款服务的网店店主已达近万家，Kabbage 的服务范围目前仅限于美国境内，不过公司打算利用这轮融资将服务拓展至其他国家。

案例解析：基于大数据的商业模式创新过程有两个核心环节：一是数据获取；二是数据的分析利用。在本案例中，Kabbage 与阿里金融的区别在于数据获取方面，前者是从多元化的渠道收集数据，后者则是借助旗下平台的数据积累，其中网上商家可自主提供数据且其数据的多少直接决定着最终的贷款额度与成本，这充分体现出大数据的资产价值，就如同传统的抵押物一样可以换取资金。

笔者觉得，虽说大数据是一座极具价值的“金矿”，但如果不能科学地加以利用，那么大数据就变成了一堆堆毫无用处的“石头”，Kabbage 就是借助大数据技术，并结合金融行业的特点，有效地控制了风险，实现了完美融合和创新。 本文来自

金融是服务于实体经济的，随着大数据时代的到来，传统的实体经济形态正在向融合经济形态转变，同时虚拟经济也快速兴起，金融的服务对象必将随之发生变化，这种转变为金融业带来了巨大的机遇和挑战，如图 所示。

融合经济产生新的金融需求

虚拟经济（Fictitious Economy）是经济虚拟化（西方称之为“金融深化”）的必然产物，是指基于计算机和互联网产生的一种经济形态，其产品和服务都具有虚拟化的特点，具体包括软件、网络游戏、社交网络、搜索引擎、门户网站等细分市场领域。实体经济是指物质的、精神的产品和服务的生产、流通等经济活动。随着新兴信息技术的快速发展，实体经济与虚拟经济正在加速融合，从而衍生了未来的主体经济形态，即融合经济，电子商务、O2O 模式都是融合经济发展进程的一个产物。

【案例五】大数据时代信用卡该怎么玩

中信银行信用卡中心是国内银行业为数不多的几家分行级信用卡专营机构之一，也是国内最具竞争力的股份制商业银行信用卡中心之一。近年来，中信银行信用卡中心的发卡量迅速增长。

2013 年11 月，在中信银行与腾讯联合发布“中信银行QQ 彩贝联名信用卡”仪式上，中信银行信用卡中心总裁陈劲表示，该行信用卡发卡量已突破2000 万张，未来将充分利用互联网基因和大数据技术挖掘客户需求。

过去，中信银行信用卡中心无论在数据存储、系统维护等方面，还是在有效地利用客户数据方面，都面临巨大的压力。同时，为了应对激烈的市场竞争，中信银行信用卡中心迫切需要一个可扩展、高性能的数据仓库解决方案，支持其数据分析战略，提升业务的敏捷性。

2010 年4 月，中信银行信用卡中心实施了EMC Greenplum 数据仓库解决方案。Greenplum 数据仓库解决方案为中信银行信用卡中心提供了统一的客户视图，借助客户统一视图，中信银行信用卡中心可以更清楚地了解其客户价值体系，从而能够为客户提供更有针对性和相关性的营销活动。

基于数据仓库，中信银行信用卡中心现在可以从交易、服务、风险、权益等多个层面分析数据。通过提供全面的客户数据，营销团队可以对客户按照低、中、高价值来进行分类，根据银行整体经营策略积极地提供相应的个性化服务。

基于Greenplum 解决方案在系统维护方面的便捷简单，中信银行信用卡中心每年减少了大约500 万元的数据库维护成本，这有助于减少解决方案的总拥有成本。

案例解析：在本案例中，Greenplum 解决方案采用了“无共享”的开放平台MPP架构，此架构是为BI 和海量数据分析处理而设计，相比普通的数据库系统，该系统提供了更高的可扩展性。与其他产品相比，Greenplum 解决方案可以给中信银行信用卡中心提供最高级别的性能。同时，该解决方案与银行所使用的硬件、应用程序和数据源实现了有效集成。此外，Greenplum 解决方案通过把数据集中在一个统一的平台，极大地减少了系统维护的工作量。

笔者认为，大数据对信用卡产品的营销具有很大的促进作用。例如，在大数据的环境下，银行可以利用先进的互联网、云计算等新兴技术，对消费者的刷卡行为进行数据化的分类、统计，通过整理数据获取消费者的消费习惯、消费能力、消费偏好等非常重要的数据信息。通过客户数据、财务数据来区隔客户，通过消费区域定位、内容定向，知晓他们的消费习惯，然后进行深入地数据分析挖掘和展开精准营销。

2018年5月13日，北京：滴滴出行总部。（东方IC/图）

（本文首发于2018年5月24日《南方周末》，原标题为《50个性侵犯样本与“滴滴整改”》）

8月24日，浙江温州乐清市女孩儿赵某在虹桥镇乘坐滴滴顺风车前往永嘉县，途中遇害。25日凌晨4时，警方将犯罪嫌疑人抓获，经初步侦查，该滴滴司机钟某交代了对赵某实施强奸，并将其杀害的犯罪事实。

滴滴顺风车的安全问题再次受到公众质疑。过去四年里，媒体报道及有关部门处理过的滴滴司机性侵、性骚扰事件，至少有50起。女乘客被顺风车司机奸杀，2017年已发生过。

滴滴公关部门相关负责人：滴滴对性骚扰事件的处罚都是顶格——永久封闭账户，但也不得不承认，目前对性骚扰案件存在取证难的问题。

50个司机，至少有3人有危及人身安全的犯罪前科，却通过“三证验真”；53名被害人均为女性，其中7人被侵害时处于醉酒状态。

2018年5月12日起，滴滴出行推出“史上力度最大的整改”，仍有“咸猪手”继续伸向女乘客。

5月17日，北京昌平的毛悠儿看到刚送自己回家的滴滴司机躲进小区草丛；报警后，对方承认尾随了一路，只是想留她的微信号。

5月20日，大连某高校的陈同学被滴滴快车司机叫“亲爱的”，问“啥时候有时间激情一下”；湖南长沙的朱颜颜遭遇滴滴司机锁住车门，“给你500元，摸一下”。

而据南方周末记者不完全统计，过去四年里，媒体公开报道及有关部门如法院处理过的滴滴司机性侵、性骚扰事件，至少有50起，几乎每个月都有。

50个案例中，有2起故意杀人案，有19起强奸案、9起强制猥亵案、5起行政处罚案件、15起未立案的性骚扰事件；涉及50个司机，53名被害人均为女性。

但直到2018年5月6日的郑州顺风车杀人案曝光，女性乘车安全才引发全社会的关注。

21岁的空姐李明珠，并不是第一个被顺风车司机奸杀的女乘客。

2017年5月14日，重庆永川，顺风车司机周航用风筝线和红布将30岁的甘女士勒死。周航被判处死缓，该案在网上几乎搜索不到任何报道。

“人脸识别”常态化，能否拦住“最危险的人”

5月11日，滴滴公布三大整改内容，包括，承诺对运营及客服体系全面整改，滴滴顺风车业务下线自查一周，用一切手段清理平台上可能的人车不符情况。

时隔近一周，5月16日，滴滴公布了更具体的阶段性整改措施。

许多措施看起来是对空姐遇难事件的应对：原本暴露乘客隐私的“所有个性化标签和评论功能”全部下线；还有，“暂停接受22点-6点期间出发的订单”。

南方周末记者梳理的50个案例，有21起就发生在这个时段内，证明该时段性侵或性骚扰频发。但光天化日下也不一定安全：有20起发生在早上六点到晚上六点之间。

最危险的季节是夏天。有近25起案件发生在5月到8月之间，其中一半发生在5月。

而针对广受诟病的“人车不符”的问题，在原有“三证验证”基础上，“快车、专车、豪华车每天出车前司机必须进行人脸识别验证”，并设奖鼓励举报。

对顺风车的要求更严，“每次接单前必须进行人脸识别”。

在南方周末记者梳理的案例中，（涉嫌）实施侵害的50个司机，有21人公布了年龄，最大的40岁，最小的案发时22岁，是第一起顺风车奸杀案中的凶手周航，出生于1995年。

与郑州顺风车杀人案凶手刘振华一样，这些司机大多学历不高。10个公布学历的人中，3人为初中学历，7人为高中学历。

最令人担忧的是，50个司机中，至少3人有过危及人身安全的犯罪前科。

2016年5月初，深圳女教师被顺风车司机劫杀。凶手利用滴滴只显示车牌的一部分的漏洞，伪造了套牌车。

据新华社报道，2016年6月开始，滴滴平台已陆续上线“分享行程”“紧急求助”“号码保护”及“人像认证”等安全功能。

半年后，滴滴公布成绩单：“号码保护”实现了每天2500万次以上的应用量，“分享行程”日均用量超过20万次，“紧急求助”始终保持7×24小时专业应急团队在线，“人像认证”也已覆盖到了全国所有开通滴滴服务的城市。

而此前对司机及车主最基本的“三证验真”（身份证，驾驶证，行驶证），也有数据证明其成效：因未能通过“三证验真”流程，滴滴每天拒绝3万个不符合要求的注册申请请求。

另外，滴滴也多次强调和公安部门签署了合作协议，协助滴滴对注册车主进行背景筛查，防止有危害人身安全的刑事犯罪记录人员或存在安全隐患人员进入平台。

不过，南方周末记者梳理的案例显示，就在滴滴那一轮安全“升级”中，仍有“漏网之鱼”。

2016年6月24日，乘客周小姐在滴滴快车上喝了司机混入迷药的雀巢咖啡后，遭到强奸。判决书显示，涉案司机李波涛曾在2006年因犯抢劫罪被北京市石景山区人民法院判处有期徒刑三年。

两年后杀害空姐的刘振华，曾被吊销驾照，刚拿到新驾照未满一年，原本无法成为顺风车司机。然而，他用父亲的证件，通过了滴滴的“三证验真”和“人脸识别”。

顺风车车主曾得智认为，现在每次接单前都要刷脸，“只能防君子未必能防住小人”。因为顺风车提前预约出行时间，完全可以由本人接单后，再换别人去开。

同为顺风车车主的田傅认为，增加人脸识别之后，犯罪的成本高了，风险相对减小了。但有些人可能就是纯粹的心理变态，这种滴滴平台是没有办法完全杜绝的。

空姐李明珠防范意识很强，当刘振华故技重施，她把行程告诉家人、和好朋友假装打电话……但最终未逃过魔爪。

2018年5月16日，河南洛阳街头，不少出租车司机自己掏钱印制标语，贴在车后窗上，以悼念遇害空姐。（东方IC/图）

危险的社交醉酒的女性

53个被害人中，有22人公开了年龄，最大不过33岁，最小16岁；有16个人公开了自己的身份，女大学生最多，共有6人。

有7名被害人在醉酒后，遭到了滴滴司机强奸或者猥亵。

自陷危险的行为还包括，在滴滴平台上搞社交。50个案例中，有6起刑事案件涉及“社交”。

有的认识了一个月时间，有的只认识了两天。南宁女大学生张晶和盐城的女大学生沈某，就都是在初步信任了滴滴司机后，被对方带到家里企图强奸。

有的则是在车上就出了问题。30岁的叶伟在苏州工业园区上班，平时兼职做滴滴专车。他会先准备下了迷药的饮料，一番花言巧语哄骗年轻女乘客喝下，等她们昏迷过后伺机拍裸照。警方发现，叶伟的这种行为不是一次两次了。

比起快车、专车，顺风车被认为是最接近共享交通的出行方式。滴滴对顺风车的定位是，“让私家车成为一种连接人与人的生活方式”。2015年七夕节，滴滴顺风车甚至还推出过以“约会”为主题的广告。

“快车和专车是为了赚钱混饭吃。顺风车就不一样，并没有多大的利润空间，而且可接可不接选择性很强。”顺风车司机曾得智告诉南方周末记者。

曾得智开着一辆宝马，已做了一千多单。他选择乘客的标准主要看顺路程序，但偶尔看到女生也会禁不住点开看看头像。以前，他常常看到一些司机开着豪车蹲守在广州一些女生居多的院校门口。

有一次，在某酒吧门口，他看到有个女生和司机在车里吵了起来，仔细一听才知道，原来是顺风车主在“猎艳”，要带拼他车的美女去开房。

这次，滴滴顺风车平台将以前司乘互相评价的话语，变成了“满意”或“不满意”两个选项。顺风车司机田量觉得，这个改动很好，“以前有些长得漂亮的女乘客会被司机评价为‘女神’，甚至还有司机露骨地说‘美女你不要穿那么短，我都快有生理反应了’。这不是变相的语言性骚扰吗？”

此次滴滴整改前，女生们纷纷换下自己在滴滴页面里的漂亮大头照，而打顺风车的人也少了不少。这让曾得智的心情有些复杂，他打趣地说道：“以后打顺风车都得一视同仁了，美女也不是优势了。”

在美国，最早强调网约车社交属性的Uber，也面临着严峻的安全挑战。据美国有线电视新闻网报道，过去四年内，全美至少有103名Uber司机因涉嫌性侵乘客，被通缉、逮捕或起诉，其中有31名司机被判有罪。

随着“ME TOO”运动在全世界范围的兴起，Uber感受到了更多的压力。2017年11月，Uber发布公开信，承诺5年拿出500万美元给合作伙伴，用于减少性骚扰和家庭暴力的发生。它还表示，会在平台上发布相关信息，让乘客和司机意识到这类事件的严重性，并提醒用户注意防范。

滴滴出行公关部门相关负责人向南方周末记者介绍，滴滴对性骚扰事件的处罚都是顶格——永久封闭账户，但也不得不承认，目前对性骚扰案件存在取证难的问题。

滴滴提出的一个解决思路是，安装车载录音设备，在车内进行录音。但是否推行这个措施，还需要征求社会公众、学者专家及政府等各方面的意见。

“反正我个人还是很抵触的。”顺风车司机田傅并不看好这个规定，“我们就是想单纯地赚一下油费，哪有必要搞这么复杂呢，而且我们还是私家车，一些隐私还是需要保障的吧。”

投诉司机企图性侵，“客服居然笑了”

2018年5月19日，滴滴顺风车恢复业务，不论是司机还是乘客，都必须完成包括上传身份证、人脸识别等6项措施后才可使用业务。（东方IC/图）

没人知道，李明珠是否了解，滴滴出行右上角折叠页面里还隐藏着一个“紧急求助”按钮。

5月19日，滴滴顺风车恢复上线。南方周末记者打开滴滴出行APP发现，只要单子被接，接单页面中部就会出现“紧急求助”按钮。

2016年，滴滴上线这个功能时，最高峰的一天收到近2万人次的呼救，其中99.27%均是来自用户的好奇尝试。后来为了避免误按，按钮就被折叠了起来。

2018年3月30日晚上，媒体人孟婆遭遇滴滴司机性骚扰，坐在车内，她感觉自己的心跳几乎要停止了，却没找到那个被折叠的“紧急求助”。

下车后好不容易找到了，才发现首先必须录音，而录音不满2分钟似乎无法上传。颇费周折上传了录音，几分钟后她才接到了求助专线的客服电话，上来“先是一长串的自我介绍”。

“如果我遇到的那个司机真的贼胆包天……”孟婆想想很后怕。

空姐遇难后，有网友给孟婆发来私信：“你有没有想过，你本来有可能拯救这个女孩一命？倘若当时你不在乎舆论，毅然走向维权之路，这次调查会不会早些来？”

案发前一个月，孟婆曾在自己的公众号发表《滴滴，今天我想和你谈一谈》一文，声称自己遭遇滴滴司机性骚扰，而滴滴很冷漠。

她并未遭到实质性侵害，但感到危险。对方一直暗示知道她是干什么的，一遍遍问她：“做一个多少钱？”并发出不合时宜的笑声。

更反常的是，司机中途赶她下车后，又再次接了她的快车单，并拉她上车。

成功脱身后，孟婆打电话向滴滴投诉。她详细回忆了司机一系列的反常举动，当说到司机企图侵害她时，“这位客服居然笑了”。

孟婆对滴滴的要求并不多：严肃处理这名司机，向她公开道歉。

客服后来反馈说，联系了司机调查确认，“也许只是司机头晕不舒服”，后来司机又拉她上车“是因为司机身体好了”，最后表示“你说的这些没有证据，也没有证人……”

孟婆公开了自己自媒体人的身份，客服的态度大变：你的微博和公众号在哪里，我要将这些反馈给领导，然后看看事情的严重性再决定如何处理。

最后，滴滴向孟婆公开道歉，封禁了涉事司机账户，承诺将调查真相。

直到现在，滴滴方面没有公布调查结论。滴滴曾表示尝试恢复行车记录，但没能成功。

南方周末记者梳理发现，过去四年的50起滴滴司机性骚扰事件中，许多当事人对客服的处理很不满意。

17岁的女高中生李丽向滴滴客服投诉，滴滴司机杨某在行程中将手放在她的大腿根部。她悄悄拍下照片。等了4天，才有一位“滴滴部门负责人”打来电话：赔偿50元钱，了结此事。

一位接滴滴单的出租车司机曾边开车边自慰，被车里的海口四名女高中生暗地里拍下照片。滴滴接女生投诉后，对涉事司机账户永久封禁，但称未能联系到这位司机，“在未征得当事人同意的情况下，无法透露这名司机的姓名、完整车牌号等隐私信息”。

天津也曾有滴滴司机赤裸下身被女乘客拍下曝光，而滴滴客服提出先“赔偿10元顺风车优惠券”，之后才永久封禁该司机账户。

据《睿士》杂志报道，郑州顺风车杀人案曝光后，有祥鹏航空空姐在微博爆料，称自己曾投诉刘振华言语骚扰。滴滴证实案发前刘振华确曾被投诉，但客服五次未联系上他。

此后，刘振华的顺风车仍继续接单。赶着去郑州火车站的空姐李明珠上了他的车，自此未归。

（应受访者要求，田量、毛悠儿、朱颜颜、李丽为化名）

转自南方周末

转自综合

微信号后台有非常之多的关于回归分析的留言，作为最常见的统计分析方法，在工作生活中的应用需求量巨大，这两天已经为大家选好了案例数据，先从一元线性回归分析开始。

一元线性回归，顾名思义，仅有一个自变量的回归模型，研究的是一个因素对结果的影响，可以用于预测，也经常被称之为简单线性回归分析。它的模型表达式为：

Y=a+bX+e

回归的过程就是要确定截距a和回归系数b的具体值，当然前提条件是模型具备统计学意义。

看案例：

案例数据很好理解，是常见的销售数据，反映的是某公司太阳镜一年12个月的具体销售情况。试分析当广告费用为15万元时，预测当月的销售量值。

几乎所有的回归分析问题，首先都从一个散点图开始，散点图能够快速而且直观的看到自变量和应变量之间是否包含线性关系，如果图形上看不出明显线性关系的话，后续的分析效果也不会太好。

散点图菜单步骤：图形→旧对话框→散点图→简单算点图，自变量广告费用用作X轴，销售量用作Y轴。

由散点图可以看出，增加广告投入销售量随之上升，一个正相关线性关系，图示的作用在于让我们对预测销售量充满信心，接下来开始一元线性回归。

一调出主面板

菜单栏中点击【分析】→【回归】→【线性】，弹出线性回归主功能面板，销售量作为因变量，广告费用作为自变量，散点图显示二者有较强的线性关系，我们将采取强制【输入】的方法要求建立一元回归模型。

二统计按钮参数设置

默认勾选回归系数的【估算值】，要求SPSS软件为我们输出回归系数，也就是模型中的参数b，同时默认勾选【模型模拟】，要求软件帮助我们建议回归模型是否具有统计学意义。

以上这两个参数是线性回归分析必选设置，不能忽略不计。在此基础上，我们可以根据实际需要选择其他参数。

本案例勾选【德宾沃森】，要求就模型残差进行Durbin Watson检验，用于判断残差是否独立，作为一个基础条件来判断数据是否适合做线性回归。

三图按钮参数设置

上半部分有些复杂，允许我们定制残差的图形，作为入门理解，此处建议直接勾选底部【直方图】和【正态概率图】，要求软件输出标准化残差图，同样用于判断数据是否适合进行线性回归。

四保存按钮参数设置

我们此处分析的目的是为了利用广告费用来预测销售量，保存按钮参数与预测和残差有关，可以勾选【未标准化】预测值。

在这个对话框上面，有许多参数可选，严谨态度出发的话，建议在这里深入学习，本例暂时不讨论。

五选项按钮参数设置

这里建议接受软件默认选项即可。

主要参数基本设置完成，现在点击主面板下方的【确定】按钮，要求SPSS开始执行此次简单线性回归分析过程，我们坐等结果。

六主要结果解释

1、模型摘要表

第三列R方，在线性回归中也称为判定系数，用于判定线性方程拟合优度的重要指标，体现了回归模型解释因变量变异的能力，通常认为R方需达到60%，最好是80%以上，当然是接近1更好。

本例R方=0.93，初步判断模型拟合效果良好。

2、方差分析表

刚才我们建立的回归模型是不是有统计意义，增加广告费用可销售量这样的线性关系是否显著，方差分析表可以回答这些问题。

直接读取最后一列，显著性值=0.000<0.01<0.05，表明由自变量“广告费用”和因变量“销售量”建立的线性关系回归模型具有极显著的统计学意义。

3、回归系数表

这是有关此处建模的最直接结果，读取未标准化系数，我们可以轻松写出模型表达式，如下：

Y=76.407+7.662X

关键的是，自变量广告费用的回归系数通过检验，t检验原假设回归系数没有意义，由最后一列回归系数显著性值=0.000<0.01<0.05，表明回归系数b存在，有统计学意义，广告费用与销售量之间是正比关系，而且极显著。

OK，现在我们有了回归模型表达式在手里，心里总会油然沉甸甸的，因为就连小学生都知道，只要把广告费用的具体值带入回归方程式中，就可以轻松计算出对应的销售量数据。

不急，在开始预测前还有一项关键操作，我们需要检验数据是否可以做回归分析，它对数据的要求是苛刻的，有必要就残差进行分析。

七适用性检验

1、残差正态性检验

从标准化残差直方图来看，呈一个倒扣的钟形，左右两侧不完全对称，有一定瑕疵；从标准化残差的P-P图来看，散点并没有全部靠近斜线，并不完美，综合而言，残差正态性结果不是最好的，当然在现实分析当中，理想状态的正态并不多见，接近或近似即可考虑接受。

2、模型残差独立性检验

采用Durbin Watson检验来判断，回过头来再看模型摘要表。

DW=1.464，查询 Durbin Watson table 可以发现本例DW值恰好出在无自相关性的值域之中，认定残差独立，通过检验。

实际上关于回归模型的适应性检验还有其他项目，比如异常点、共线性等检验项目，本例暂不展开，有兴趣的读者可以自行学习。

根据以上残差正态性和残差独立性检验的结果，本例认为案例数据基本满足线性回归要求（值得在其他应用中讨论，本例仅展示主要过程），所建立的模型可根据拟合质量进行预测。

八预测

通过前面的一系列分析和论证，我们现在已经得到回归模型的方程式：Y=76.407+7.662X，

我们的预测任务是当广告投入达15万元时，太阳镜的销售量，具体计算：Y=76.407+7.662*15=191.337，

至此，建立了广告和销售量之间的线性回归模型，并且实施了预测，那么模型的准确性到底如何呢，有待最终实际销售比对分析。本例结束。

（文/图=数据小兵）

（已同步在SPSS统计训练营微信号原创推送）

两个分类变量间的关系，无法直接使用常见的皮尔逊相关系数来表述，多采用频数统计、交叉表卡方检验等过程进行处理，当分类变量的取值较多时，列联表频数的形式就变得更为复杂，很难从中归纳出变量间的关系。

对应分析，则是解决分类变量间关系这个复杂问题的有力武器。也称为相应分析，是一种多元统计分析方法，目的是在同时描述各变量分类间关系时，在一个低维度空间中对对应表中的两个分类变量进行关系的描述。

常见应用领域如市场研究分析、竞争分析等。

先看一个案例

对于男性而言，个人职位是否与吸烟有关，假设有人收集了这样的一组数据，如下：

数字表示人数，仅从交叉表内数据大小按照热度区分的话，效果大概是这个样子，红色越深的格子表示人数越多：

我们发现初级雇员普遍吸烟，中度最多，其他的表现并不明显，总体上很难发现什么规律。

除了热图之外，还可以考虑常见的条形图，效果如下：

可视化的效果要比前面热图好很多，给人的直观感觉是，职位较高的男性，重度吸烟的比例较低，多数从不吸烟。

经过以上两种图示化方法的预处理，我们能从其中总结职位和吸烟关系的把握并不大。

SPSS交叉表卡方检验

熟悉SPSS统计分析的人可能还会想到，是否可以先采用交叉表卡方检验来观察职位和吸烟之间的关系呢？

在SPSS的数据视图下，对数据按频数变量进行加权，然后依次点击【分析】→【描述统计】→【交叉表】，在【交叉表：统计】对话框内勾选【卡方】，其他参数默认设置。来看结果：

原假设职位和吸烟两个变量间相互独立，渐进显著性小于0.01，说明两个变量间不完全独立，存在某种关系。

卡方检验的结果给我们吃下一颗放心丸子，职位和吸烟之间的关系值得深入研究，但它们之间的关系到底应该如何描述呢？前面尝试的热力图、条形图、交叉表卡方检验均没有给出完美结论。

SPSS简单对应分析

之所以前面先讲述三种方法，主要目的是告诉大家，对应分析实际上也是一种数据可视化的技术，同时它也能输出卡方检验，下面具体来看。

步骤1：案例数据导入SPSS软件

SPSS对应分析对数据的要求是按变量存储，一般包括三个变量，两个名义变量和一个频数变量，如果原始数据在Excel文件中是一个二维表，需要首先将其转换为一维表格，再导入SPSS软件。

小蚊子老师主编的畅销书《谁说菜鸟不会数据分析》（P164）中介绍过实用方法，在Excel数据文件中，采用【数据透视表向导】功能，利用【多重合并计算数据区域】的方法，快速地实现二维表转为一维表，我在SPSS常见问题答疑电子书中也有类似的讲述，对此感兴趣的可以参考学习。

数据较少时，最简单的方法就是复制粘贴，也可以快速实现二维表转一维表。不管如何处理，最终导入SPSS的数据文件长这样：

步骤二：数据加权

我们的分析任务是搞清楚职位和吸烟程度两个名义变量的关系，要对他们进行量化考察，需要用频数数据加权，SPSS数据视图下，依次点击菜单【数据】→【个案加权】，将频数数据移入右侧【频率变量】框内，对职位和吸烟两个变量进行加权。

步骤三：对应分析主面板参数设置

菜单栏中依次点击【分析】→【降维】→【对应分析】，打开对应分析主面板，依次将【不同职位】【吸烟程度】两个名义变量移入行和列框内。

点击下方【定义范围】按钮，以定义行范围为例，行变量【不同职位】有5个分类水平，标签值从小到到依次为1-5，所以最小值输入数字“1”，最大值输入数字“5”，然后点击右侧【更新】按钮，此时下方的【类别约束】框内自动出现1-5一个序列，类似操作，完成对列变量范围的定义。点击【继续】返回主面板。

步骤四：对应分析模型参数设置

在主面板上点击【模型】按钮，打开模型对话框。

一般默认采取2维，距离测量勾选【卡方】。对应分析也是一种降维技术，通常选择在一个二维表和二维图形中考察分类变量间的关系。

行和列变量间的距离测度软件默认选择【卡方】，当用卡方测量距离时，SPSS软件只默认选择【除去行列平均值】作为标准化方法。

最底部的【正态化方法】相对比较复杂，理解起来有一定难度，建议选择软件默认选项【对称】，检查两个变量分类间的差异或相似。

点击【继续】按钮，返回主面板。

步骤五：对应分析统计参数设置

软件默认勾选【对应表】【行点概述】【列点概述】，点击【继续】按钮，返回主面板。

步骤六：对应分析图参数设置

对应分析最重要的结果之一，就是对应图，主面板上点击【图】按钮，打开图对话框，散点图选项中默认勾选【双标图】，也就是我们最终想要的对应图了。其他默认设置，点击【继续】按钮，返回主面板。

最后在主面板中点击【确定】按钮，SPSS软件开始执行对应分析。

SPSS对应分析结果解读

1、对应表

对应表实际上就是交叉表，行与列交叉的单元格显示为频数，行与列的活动边际，具体为对应行和列的和。对应表看看即可，了解一下，不用深究。

2、模型摘要表

模型摘要表是关键结果之一，重点考察。

此表类似于因子分析的总方差表，第一列【维】较抽象，可以理解为因子分析的因子，第2-5列分别为奇异值、惯量、卡方值及sig值，随后给出各个维度所能解释两个变量关系的百分比。

首先来看卡方检验的结果，卡方值=164.416，显著性Sig值=0.000<0.01，表明此次分析的两个名义变量，职位和吸烟程度不完全独立，存在一定关系，这和前面交叉表卡方检验结果一致。

卡方检验通过之后，再来解读对应分析的其他结果更有意义。

摘要表数据表明，前两个维度累积惯量可解释99.5%的信息，效果非常不错，此次分析较成功。

3、行/列点总览

这两个表格，主要输出各类别在各维度上的得分，后续最重要的对应图，将依据这两组维度得分进行绘制。

4、对应图

对应分析关键结果之一，重点考察。

模型摘要表中，我们已经确认前两个维度解释能力很棒，那么SPSS软件默认将采用这两个维度的得分制作二维散点图，也就是现在的对应图。

此时我们可以看到，不同职位的5个类别和吸烟程度的4个类别被标记为不同的颜色进行区分，职位点和吸烟点间距离有远有近，距离的远近包含了它们之间的关系。

总体观察来看，容易发现初级雇员和中度距离较近，可以理解为初级雇员多为中度吸烟；而高级雇员和从不吸烟的距离比较近，说明高级别雇员很少吸烟。此外职别最低的初级工程师和重度吸烟较近，说明这个级别的职工重度吸烟居多。

沈浩老师博客和小蚊子数据分析博客曾对对应分析对应图的解读做过总结，一共有7种解读的方式，按照四象限以及市场定位的方法，本例分析的对应图可以作出如下优化：

以维度1原点为界，吸烟程度中的轻度、中度、重度均在左侧，而从不吸烟则单独出现在右侧，说明从不吸烟和其他三种类别区别较大，与此对应的是，高级工程师和高级雇员这三个职位也集中在右侧，可以理解为职别较高的人最有可能是从不吸烟。采用同样的方式，容易发现，初级雇员与轻度和中度吸烟距离较近，职别最低的初级工程师与重度吸烟距离近，这和总体观察时的结论一致。

文/图=数据小兵

小兵博客几年前分享的二项logistic回归分析案例非常受欢迎，在实际应用中，可能还会碰到因变量是多个分类的情况，并且不包含排序信息。比如视力分为轻度、中度、重度三个水平，此时如果想考察影响视力评价的指标，常用的二项logistic回归已经无法胜任。

幸好，SPSS软件为我们提供了多项logistic回归。

logistic回归对数据的要求

因变量：分类变量，要求是（含）三个以上分类水平；

自变量：可以是分类变量或连续变量，建议是分类变量；

协变量：必须是分类变量。

概念什么的，先不说，即使说，小兵我也说不清楚，看了案例自然就了解了。用SPSS学统计的好处就是这，辣眼睛的统计原理可以通过案例实践来逐步理解掌握。

案例数据

该假设数据文件涉及一份880人参于的关于早餐喜好的民意调查，该调查记录了参与者的年龄、性别、婚姻状况以及生活方式是否积极，每个个案代表一个单独的响应者。

调查机构想搞清楚是什么影响着受访人每天吃什么早餐。因变量“早餐选择”包括（1=早餐摊点、2=燕麦类、3=谷物类），自变量暂定年龄、婚姻状况以及生活态度。

分步骤说明

菜单栏中依次选择【分析】【回归】【多项logistic】，打开主面板。

因变量、自变量分别按照箭头指示移入对应的变量框内，然后最为重要的是，点击【参考类别】按钮，默认勾选【最后一个类别】。

什么意思呢？大意是指以因变量和自变量的最后一个分类水平为参照，用其他分类依次与之对比，考察不同水平间的倾向。

主面板中，点击【模型】按钮，打开【多项logistic回归：模型】对话框，勾选【主效应】，本例主要考察自变量年龄、性别、婚姻状况的主效应，暂不考察它们之间的交互作用，然后点击【继续】。

主面板中，点击【统计】按钮，设置模型的统计量。主要【伪R方】【模型拟合信息】【分类表】【拟合优度】这几项必选，其他可以默认不勾选。这些参数主要用于说明建模的质量。

主面板中，点击【保存】按钮，勾选【估算响应概率】，我们要求SPSS软件帮我们估算每个个案三类早餐的概率。

其余的参数主要和逐步回归有关系，本例采用主效应模型，人为指定进入模型的自变量，在其他研究中，可以根据情况选择逐步回归。

下主面板底部点击【确定】按钮，软件开始执行此处建模。

多项logistic回归结果解读

个案处理摘要表，列出因变量和自变量的分类水平及对应的个案百分比。建议在此表主要读取变量分类水平的顺序，比如自变量“年龄段”，第一个分类是“低于31岁”，第二个分类是“31-45”，第三个分类是“45-60”，第四个分类是“60岁以上”，尤其是看清楚最后一个分类，因为我们前面参数设置时要求是以最后一个分类最为对比参照组的。谁和谁对比，一定要搞清楚。

模型拟合信息表，读取最后一列，显著性值小于0.05，说明模型有统计意义，模型通过检验。

拟合优度表，原假设模型能很好地拟合原始数据，最后一列皮尔逊卡方显著性值0.952，概率较大，原假设成立，说明模型对原始数据的拟合通过检验。

伪R方表，依次列出的3个伪R方值（类似于决定系数）均偏低，最高0.4，说明模型对原始变量变异的解释程度一般，还有一部分信息无法解释，拟合程度并不是很优秀。

模型似然比检验表，我们能看到最终进入模型的效应包括截距、年龄、婚姻状况、生活态度，而且最后一列显著性值表明，三个自变量（影响因素）对模型构成均有显著贡献，研究它们是有意义的。

参数估计表，列出自变量不同分类水平对早餐选择的影响检验，是多项logistic回归非常重要的结果。

第二列B值，即各自变量不同分类水平在模型中的系数，正负符号表明它们与早餐选择是正比还是反比关系。第六列是瓦尔德检验显著性值，此值小于0.05说明对应自变量的系数具有统计意义，对因变量不同分类水平的变化有显著影响。

比如，早餐摊点和谷物类早餐相比，31-45岁的年轻人更偏向于选择在早餐摊点吃早餐，这种可能性是60岁以上人的3.7倍；燕麦类和谷物类早餐相比，结婚与否对早餐的选择没有差别。

多项logistic回归模型

经过对该早餐喜好民意调查数据进行多项logistic回归分析，由参数估计表，我们可以得到模型如下：

G1=LOG[P(早餐摊)/P(谷物类)]=-1.224+0.984年龄1+1.309年龄2+0.542年龄3+0.843婚姻状况0-0.792生活态度0

G2=LOG[P(燕麦类)/P(谷物类)]=1.134-4.273年龄1-2.532年龄2-1.192年龄3+0.843婚姻状况0+0.186生活态度0

G3=0 （对照组）

根据这个模型，我们首先计算某个受访者G1、G2、G3的值，然后带入如下公式，最终可得到三个早餐相应的概率。

P1=exp(G1)/[exp(G1)+exp(G2)+exp(G3)]

P2=exp(G2)/[exp(G1)+exp(G2)+exp(G3)]

P3=exp(G3)/[exp(G1)+exp(G2)+exp(G3)]

当然，SPSS软件已经自动帮我们计算出每个受访者三种早餐选择的相应概率，我们无需手工计算，返回数据编辑器窗口，具体来看结果。

原始数据最右侧新增3个变量，依次为EST1_1、EST2_1、EST3_1，分别对应因变量“早餐选择”的三个分类水平（早餐摊、燕麦类、谷物类）的响应概率。比如第一个个案，他选择谷物类早餐的概率为0.55，在三种选择中数值最大，因此，模型会判定他选择谷物类早餐，这和原始记录的真值一致，说明模型判断准确。

当然，SPSS软件也输出了模型预测分类表，如下所示。

模型在预测燕麦类早餐选择倾向上准确率最高，达到77%，其他两个早餐选择的预测略低，模型总体预测准确率为57.4%，表现一般。前面伪R方数据显示，模型对总体变异的解释能力不足，这和总体预测准确率结论也一致。

（文/图 数据小兵）

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

首席信息官正在利用数据分析来提高效率和促进增长，但并不是每一次努力都会产生结果。以下讲述了优秀的首席信息官是如何成功地利用数据分析和机器学习技术来增加收益或降低成本的。

如果把数据比作新的石油，那么掌握如何将其提炼为可使用的情报就是发挥其潜力的关键。为此，首席信息官正在使用预测分析工具，设计机器学习算法和对其他解决方案进行测试，以追求企业的效率和以新的方式为客户服务。

胡椒博士集团(Dr.PepperSnappleGroup)将机器学习技术用于语境相关性工作中

多年来，胡椒博士集团的销售路线员工一直是抓着一本厚厚的活页夹，里面装满了客户数据、销售和促销说明，然后去吸引一些零售客户，如沃尔玛和塔吉特百货公司(Target)等。今天，销售人员不再使用这种活页夹，而是配备了能告诉他们需要拜访哪家商店的iPad，而且还会告诉销售人员该为这些零售商提供何种优惠，以及其他关键指标。胡椒博士集团的首席信息官汤姆·法拉(TomFarrah)表示：“他们都是接订单的销售人员，为此他们感到很骄傲。现在他们配备了信息资料来帮助其实现目标，使他们成为智能的销售人员。”

该MyDPS平台配有机器学习和其他分析工具，可在工作人员加载应用程序时向其提供建议和日常操作记分卡。这些算法向员工显示他们是如何按照预期计划进行工作的，包括他们是否按照自己的计划工作，或是落后于计划，以及给他们提供见解，让他们清楚如何纠正他们的工作。法拉说：“如果我要让某人获得成功，我必须确保他们拥有哪些信息是与工作内容相关的。”

经验教训：为了测试验证MyDPS平台的概念，法拉将该软件分给了一个分公司的四个人，并让业务总裁去拜访他们。他们透露，自从上个月使用MyDPS之后，执行销售额已经提高了50%，这一表现让他批准了该项目。法拉说：“他获得了结果，这就是销售所需要的，这不仅仅是为了项目的商业赞助，而且这也是他们希望得到的结果，这一点非常重要。”

凭借机器学习技术，RRD公司走上新业务之路

营销传播公司R.H.Donnelley公司为RRD公司的前身，几年前，RRD公司设立了物流部门，向消费者和企业配送它的印刷材料。为了支持这项业务，公司自己管理运营，并代表其合作伙伴配送各种物品，包括洗衣机、狗粮等等，最终成长为价值10亿美元的一个企业。这是一个挑战吗?在联邦快递和UPS成为无可争议的霸主的天下，找到一个最优的运费。

诸如天气、地域、司机和政治局面等因素都是业务上的成本。RRD公司的首席信息官肯奥布莱恩(KenO'Brien)表示，随着迫切需要对费率变量进行预测，RRD公司转向了机器学习和数据分析。公司聘请员工和与大学合作来帮助编写算法，在700条路线上测试数千个场景，直到能够以99%的准确率提前7天实时预计运费。奥布莱恩说：“该项目在不到一年的时间就完成了，我们现在仍然看到业务的增长与运费有关。”该公司预计，在2017年，其卡车货运代理业务将从400万美元增长到1600万美元，营收将增长1200万美元，业务规模达6亿美元。

经验教训：新企业需要高水平的全心投入，尽管奥布莱恩承认，他的一些业务同行已准备好在业务的不同环节上认输。该业务并不相信那些通常以感觉和猜测来完成一个流程的技术。RRD公司建立了一个协作环境，业务和IT共同合作来推进结果。“你会遇到困难，你会遇到挑战，但要耐心，”奥布莱恩说。

孟山都公司(Monsanto)利用机器学习技术，实现最佳种植计划

农民永远为要种植何种作物，种植面积，在哪里种植及何时种植而苦恼。种子行业巨人孟山都公司正在研究这项工作，利用数据科学为农业种植提供规范性建议。数学和统计学模型会绘制出雄性作物和雌性作物的最佳种植时间，以及在何处种植，在理想状态下，这就最大限度地提高产量并减少土地使用。孟山都公司全球IT分析主管艾德里安·卡地亚(AdrianCartier)表示，其机器学习算法在数天内完成了超过900亿的数据点，而不是几周或几个月。这是商业利益吗?在2016年，孟山都公司节省了600万美元，其供应链足迹减少了4%。卡地亚说：“北美地区的土地利用率下降了4%，相当于不去使用大面积的土地，这节省了大量资金。”

经验教训：孟山都公司成功的关键是在信息技术与供应链业务之间建立了一个“自始至终”的合作。卡地亚说：“他们具有农业和供应链角度的专业知识，而我们具有数学和统计领域的专业知识，两者结合起来，就创造了我们能够提供的价值。”卡地亚说道，他还寻求在供应链业务中“改变领导者和倡导者”，以形成对反对者一种健康的平衡。

柏克德公司(Bechtel)以卓越的大数据中心来颠覆自己

一个鲜为人知的事实：柏克德公司首席信息官CarolZierhoffer说，与建筑有关的支出占GDP的13%，但整个行业在过去二十年中只有1%的生产率增长。专家表示，通过重新制定合同、提高工人技能以及改进现场执行工作等方式，该行业可以提高50%至60%的生产率。柏克德公司建造了胡佛水坝、英吉利海峡隧道和其他大型设施，已经开始在业务各个环节的数据中挖掘洞察力。

Zierhoffer在沃尔玛、波音和洛克希德马丁公司会见了业内同行，以获得有关如何向前发展的见解。柏克德公司建立了一个先进的大型数据中心，其中包含5千万亿字节数据的数据湖，并开始了概念验证。该数据中心使用照片识别技术，并代表客户来检查和标记各个地点的照片，这节省了200万美元。自然语言处理(NLP)工具可解析索赔、提案请求(RFP)和合同。过去需要几天和几周的评估和计划工作现在只需要数小时。柏克德公司还扩大了分析工作范围，以了解员工的流失率情况，包括试图预测员工将何时离职。Zierhoffer说：“我们相信我们正在敲开解决生产率难题的大门。”

经验教训：数据仓库和质量是支柱。尽管柏克德公司可以分析大量的数据，但在整个业务各环节的数据质量必须提高。“我们不得不颠覆自己，了解我们是如何工作的，并且将数据仓库进行连接。”

数据分析帮助辛辛那提动物园提高客户满意度

辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。

辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。

借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：

-帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。

读者朋友们，为了方便大家自学SPSS统计分析，小兵把本号原创发布的统计方法案例，由浅入深全部归纳整理在此篇文章中，请各位收藏。

↓

↓

SPSS统计分析案例：生成随机数

SPSS统计分析案例：箱图

SPSS统计分析案例：误差条图

SPSS统计分析案例：可视离散化

SPSS统计分析案例：别把排序不当回事儿

SPSS统计分析案例：快速统计样本缺失

SPSS统计分析案例：配对样本T检验

SPSS统计分析案例：独立样本T检验

SPSS统计分析案例：卡方检验（2）

SPSS统计分析案例：卡方检验（1）

SPSS统计分析案例：无空白列正交试验设计

SPSS统计分析案例：KS单样本检验

SPSS统计分析案例：游程检验

SPSS统计分析案例：2*2交叉表分析案例

SPSS统计分析案例：正交试验设计

SPSS统计分析案例：一元线性回归

SPSS统计分析案例：多重响应分析案例

SPSS统计分析案例：复本信度

SPSS统计分析案例：多维尺度分析

SPSS统计分析案例：TwoStep二阶聚类

SPSS统计分析案例：K-means聚类

SPSS统计分析案例：聚类分析

SPSS统计分析案例：因子分析

SPSS统计分析案例：主成分分析

SPSS统计分析案例：最优尺度回归

SPSS统计分析案例：多项logistic回归分析

SPSS统计分析案例：生存分析之寿命表

SPSS统计分析案例：对应分析

SPSS统计分析案例：多层感知器神经网络