引子

通常情况下，我们可以通过用户访谈的方法了解用户需求，其实设计师还可以通过分析用户问卷调查数据以及网站页面数据等方式，了解用户需求以及用户在使用产品时遇到的问题。

而且，直接通过接触用户了解到的需求有可能只是个案，为了增强客观性，通常都会通过大样本调查，从数据实证的角度，进一步更准确和客观地找到用户的普遍需求。

此外，通过对数据分析结果与用户访谈所得到的定性分析结论，进行比较和综合分析，设计师也能够从不同的角度了解用户的真实需求。

从用研的角度来看，交互设计包括新产品设计以及已有产品的改版设计两大类业务，笔者将分两次分别叙述在这两大类业务中，可以如何利用数据了解用户需求。本文重点讨论数据在现有产品改版设计中的应用。

因考虑到商业信息保密，本文案例采用了2011年的项目，互联网产品迭代频繁，文中提到的产品页面截至目前已经有多次改版，大家只需要了解整个文章的思路即可。

实际案例

商家服务平台上线后，平稳发展了一段时期，但随着平台各种信息的激增，用户开始抱怨原页面无法快速查找到适合自己的内容。这时候就要求交互设计师对页面进行设计重构，帮助用户更便捷地找到真正所需的信息和服务。

在改版设计中，研究者结合了多个来源的数据进行研究，提供给设计师更加全面的数据结果，包括页面数据、页面反馈问卷调研数据、EDM问卷调研数据等数据的分析结果。

1.通过监测页面获得数据

其实与交互设计更相关的是页面各模块的的程度，也能够计算出页面的点击热图，进而考察各模块的转化率。

与眼动实验的热图考察用户短期的重点注视区域不同，点击热图考察的则是用户长期累积的重点应用区域，从另一方面看，也衡量了交互设计是否与产品的规划初衷相一致，能够让重要的内容被顺畅地发现并有效点击。

本案例中，商家服务平台上线后，就做了页面埋点，方便长期监控页面数据，如PV、UV、点击数等。

2.页面数据如何分析？

分析页面数据的方法看似简单，但若要分析得透彻，并非易事。首先，如果想要做到精确，就要对后台数据做清洗、整理，考察极端值、无法解释的数据具体是什么原因造成的。当然很多时候为了节省时间，也直接应用后台数据，近似地看成真实情况的反映。此外，有了干净的数据，还可以从基础数据衍生出各种指标，评估和指导交互设计。

对于后台数据，通常有四类分析方法：聚合度量、基于操作的统计、基于用户的统计、路径分析。

——聚合度量

后台行为数据的优势在于大量用户使用情况的聚合，可考察的指标有：

一段时间内的页面浏览量。

特定时间内页面浏览的分布情况。

整个网站的页面浏览分布情况。

这些都是原始数据的度量，不能只看数字，要分析产生数据的原因。

其他聚合度量指标还包括：

操作系统和浏览器的比例。

客户端类型。

新用户/重复用户。

——基于操作的统计

最有用的指标可能是操作信息相关的指标，这些指标能发现出更丰富的用户行为，而不是简单地统计大量数字。

一些最有用的指标如下：

每次操作的平均访问页面数量。

平均操作的持续时长。

访问的第一页和最后一页。

——基于用户的统计

通过cookie或登录信息判断出的用户背景信息，能进一步聚合单个用户的行为信息，汇总不同用户的行为信息，统计出一些指标，对理解用户会起到非常重要的作用。这些指标包括：

访问次数。

访问频率。

网站总停留时间。

保留率。

转换率。

——路径分析

除了一般指标之外，还有其他度量方法能了解用户体验。当然，和所有间接用户研究一样，这些方法都不能揭示用户“为什么”以某种方式发生的行为，但这些方法肯定可以帮助研究员缩小用户如何使用的可能性。

这些综合方法中，最有用的方法是路径分析。路径分析是指分析用户在网站上如何浏览，从而发现他们浏览的共同方式。路径分析可以产生如下结果：

一般浏览路径。

“下一步”页面。

对于电子商务网站还能有更专业的结果，如：

购买路径

购物车使用路径

从用户的角度阅读。

关注事实。

不急于下结论。

不要把常见问题清单当成必改清单。

不要完全相信反馈意见。

出于分析考虑，研究者可以问问自己以下四个问题，从而更好的跟踪用户体验。

用户是谁？

他们想做什么？

他们如何处理问题？

他们碰到了什么问题？

本案例中，商家服务平台在改版阶段，事先设置反馈问卷的目的就是为了收集用户对目前产品的使用痛点和改进需求，以致于更有针对性地改版。问卷设计好后，问卷链接采用右侧浮动条的方式展现在商家服务平台页面。

反馈问卷挂出一个月后，研究员对其中的开放题进行了总结，整理分析报告节选如下：

由于业务调整，商家服务平台改版后，会突出第三方的服务，调研的研究目的一方面需要了解卖家对第三方服务的态度和行为，另一方面需要了解卖家选择服务时，对页面布局的偏好、选择心理和行为习惯，从而指导页面改版。

考虑到项目执行周期的问题，采用了正式问卷调研的方式研究导航的布局方式、服务的分类等，其实研究这类问题，可以采用定性研究方法，如A/B test、参与式设计、卡片分类等，但为了节约研究成本，尝试用问卷的方式解决关键问题。作为案例，只是一种抛砖引玉的介绍，以此来说明，改版中也可以应用调研的方式，利用数据指导交互设计。

我们可以来看看问卷的重点部分：

特别说明：此题采用了类比的方法，设置了另外一种类似的使用场景，来考察用户的使用偏好。

特别说明：网络调研问卷能够设置选项随机，这在一定程度上避免了由于选项固定排序导致的选择。

最终分析数据时，发现卖家对排版布局的倾向性比较明显，接近半数用户最喜欢A样式。

卖家更倾向从功能的角度对服务进行分类，如下图：

对于数据驱动的游戏运营而言，有意义的数据指标一定是可以明确绑定游戏问题的标准，而这些游戏问题也一定是可以通过研发、设计、运营来解决问题的。

不过，最后还要说一点的是，虽然我们需要成功的标准来帮助我们去改进产品，做好运营，不过再成功的标准也只是一个一个孤立的数据指标点，这样的结果，就容易造成我们看不到问题的全貌，而造成错误的分析结论，因此，切记，必要的时候要记得退一步。

4.数据指导设计

——优化首页导航布局，更贴近卖家经营店铺中的需求

上文问卷调研中的数据显示，卖家更倾向用功能对服务和工具进行划分，因此新首页按照功能进行布局，将原首页上的工具或服务，根据调研数据显示的卖家分类偏好，归类到各个类目。

功能类目放置在页面的第一屏左侧，而且各类功能的命名、排序都参考了调研结果；同时，每一种功能内的展示，服务和工具尽量分开显示，也应用了调研数据。

——首页新增卖家工具订购排行榜和最新服务模块，新增卖家资讯、卖家经验和成功案例模块

通过分析产品反馈问卷可知，卖家需要及时掌握目前使用最多和最新上架的服务，作为选择服务的重要参考指标；他们也需要淘宝官方根据经验总结，打包一些服务，直接推送；同时也希望服务平台能够成为经验交流、资讯集合的平台。

调研问卷设计了相应的题目进行考察，数据结果显示这些都是需求旺盛的模块。因此，在改版设计时，均在第一屏呈现出来，更方便卖家选择。

——优化了页尾的服务归类

通过对比能够发现，页尾的店铺管理和营销推广所包含的内容，命名更加清晰、归类更加合理，也体现了数据的作用。

写在最后

对于产品的调研，不论是定量的还是定性的，最终结论只要可靠有效，都会成为指导交互设计师工作的有力依据。一般而言，定性结论用于理解用户和产品、提供设计思路，定量结论则帮助交互设计师明确设计重点和方向。

定量与定性研究方法相结合，能产生有效互补，以便更深入地挖掘用户需求，产出更科学、更有价值的研究结论。

　　今天给大家分享三个数据分析的经典案例，主要是学习其中的思路，当故事看吧，不要拘泥于文中故事的真实性。每个故事我简单的做一个点评吧

　　1、数据分析大神 高手在民间

　　这天，新上任的邢县长到小吃摊吃早餐，刚找个板凳坐下，就听炸油条的胡老头一边忙活一边唠叨：“大家吃好喝好哦，城管要来撵摊儿了，起码三天你们捞不着吃咱炸的油条了!”

　　邢县长心里一惊：省卫生厅领导最近要来视察，昨天下午县里才决定明后两天开展突击整治，这老头儿怎么今天一早就知道了?

　　哪料这件事还没弄明白，另一件事儿让县长脑袋里的问号更大了。一天，他照例到胡老头这儿吃油条。没想到，老头居然又在发布消息：“上面马上要来青天大老爷了!谁有什么冤假，就去县府宾馆等着吧!”

　　邢县长又是吃惊，又是恼怒。省高院的工作组星期三要来清查积案，这个消息昨天晚上才在常委会上传达，这老儿咋这么快就知道了呢?让他更吃惊的是，这老家伙不但对大领导们的行程了如指掌，就连派出所要突击检查娱乐场所这样的绝密行动，他都知道得清清楚楚。

　　一个大字不识的老头儿，居然能知道这么多政府内部消息，毫无疑问，定是某些政府工作人员保密意识太差，嘴巴不紧。于是，他立即召开会议，把那些局长、主任狠批了一通。与会领导个个低着头、不敢出声。

　　还是公安局长胆大，忍不住问道：“邢县长，这胡老头儿的事是您亲眼所见，还是道听途说来的?”

　　邢县长声色俱厉地一拍桌子：“都是我亲耳听到的!我问你，你们城关派出所今天晚上是不是要清查娱乐城?”

　　公安局长一脸尴尬，楞在那里。邢县长气恼地当即下令：“你亲自去查查这老头儿到底什么背景，明天向我汇报!”公安局长赶紧换上便装，立马跑到胡老头那儿进行暗访。没想到，老家伙正在向大伙儿发布新闻：“城关镇的镇长最近要倒霉了。大伙等着瞧，事儿不会小的……”

　　公安局长一听，很是诧异。于是，他运了口气，腆着笑脸，装傻卖呆似的问道：“你咋知道的?难道你儿子是纪委书记?”

　　胡老头呵呵一笑：“我咋知道的?那孙子以前吃我的油条，都是让司机开专车来买，这两天一反常态，竟然自己步行来吃，还老是一脸愁容。那年他爹死，都没见他那么难受过。能让那孙子比死了爹还难受的事，除了丢官儿，还能是啥?”

　　局长听了，暗自吃惊，这老头儿还真有两下子。于是他不动声色继续问道：“那昨天派出所清查娱乐城，你是咋知道的?”

　　胡老头又是一笑：“你没见那几家娱乐城一大早就挂出了停业修缮的牌子?人家有眼线，消息比咱灵通!”

　　“那卫生厅领导来视察，你是咋知道的?”

　　胡老头儿说：“除了上面来人检查，你啥时见洒水车出来过?”。

　　最后，局长问了个他最想不通的问题：“上次省高院的工作组来指导工作，你咋那么快就得到消息了呢?”

　　胡老头撇了撇嘴说：“那就更简单了。俺邻居家有个案子，法院拖了八年不办。那天，办案的法官突然主动来访，满脸笑容问长问短，还再三保证案子马上解决。这不明摆着上面来了人，怕他们上访嘛!”

　　局长佩服得五体投地，连忙一路小跑赶回去，把情况向邢县长汇报。县长听了，大动肝火，马上再次召开会议，做了四个小时的训话：“同志们，一个炸油条的都能从一些简单现象中，看出我们的工作动向，这说明了什么?说明我们存在太多的形式主义。这种恶习不改，怎么能提升政府形象?从今天开始，哪个部门再因为这种原因泄密，让那老头‘未卜先知’，我可就不客气!”

　　次日一早，邢县长又来到胡老头儿这儿吃油条，想验证一下开会的效果。没想到胡老头居然又在发布最新消息：“今天，上面要来大领导了，来的还不止一个!”

　　邢县长这一惊，真是非同小可。下午，市长要陪同省领导来检查工作，自己昨晚才接到通知，这老头咋又提前知道了?

　　邢县长强压怒火，问胡老头：“你说要来大领导，到底有多大呢?”

　　胡老头儿头也不抬地回答：“反正比县长还大!”

　　邢县长又问：“你说要来的不止一个，能说个准数吗，到底来几个?”

　　胡老头儿仰起头想了想，确定地回答：“四个!”

　　邢县长目瞪口呆，上级领导还真是要来四个!他心里怦怦直跳，又问：“胡……胡师傅，这些事儿你是怎么知道的?而且知道的这么准确。”

　　胡老头儿淡淡一笑：“这还不容易?我早上出摊儿，见县府宾馆的保安都戴上了白手套，一个个如临大敌，肯定是上面来人了。再看看停车场，书记、县长的车都停在了角落里，肯定是来了比他们大的官儿。再仔细看看，书记、县长停的车位是5号、6号，说明上面来了四个领导。你信不信?当官儿的和咱老百姓不一样，上厕所都要讲究个级别、排个先后顺序呢!”

　　邢县长听罢，张着塞满油条的大嘴，一动不动，好像僵化了似的…

　　(本故事来自于网络)

　　启示：

　　与其说高手来自于民间，还不如说生活是我们数据分析的基本素材，善于观察、善于整理关联信息才是我们做数据分析人员应该掌握的基本技能。可是啊，很多人忽略了我们身边的生活常识，不去思考，人云亦云，就像网上的这个全国离婚率排行榜数据，很多人首先不是思考数据的准确性，而是感叹世风日下。

　　想想吧，在你的生活圈子中，每3对夫妻就有1对离婚的吗?如果答案为“是”，我只能说，贵圈真乱!哈哈哈

　　2、林彪的数据挖掘本领

　　1948年辽沈战役开始之后，在东北野战军前线指挥所里面，每天深夜都要进行例常的“每日军情汇报”：由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。

　　那几乎是重复着千篇一律的枯燥无味的数据：每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少、枪支、物资多少….

　　司令员林彪的要求很细，俘虏要分清军官和士兵，缴获的枪支，要统计出机枪、长枪、短枪;击毁和缴获尚能使用的汽车，也要分出大小和类别。

　　经过一天紧张的战斗指挥工作，人们都非常疲劳。整个作战室里面估计只有定下这个规矩的司令员林彪本人、还有那个读电报的倒霉参谋在用心留意。

　　1948年10月14日，东北野战军以迅雷不及掩耳之势，仅用了30小时就攻克了对手原以为可以长期坚守的锦州并全歼了守敌十余万之后，不顾疲劳，挥师北上与从沈阳出援的敌精锐廖耀湘基团二十余万在辽西相遇，一时间形成了混战。战局瞬息万变，谁胜谁负实难预料。

　　在大战紧急中，林彪无论有多忙，仍然坚持每晚必作的“功课”。一天深夜，值班参谋正在读着下面某师上报的其下属部队的战报。说他们下面的部队碰到了一个不大的遭遇战，歼敌部分、其余逃走。与其它之前所读的战报看上去并无明显异样，值班参谋就这样读着读着，林彪突然叫了一声“停!”他的眼里闪出了光芒，问：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?”

　　大家带着睡意的脸上出现了茫然，因为如此战斗每天都有几十起，不都是差不多一模一样的枯燥数字吗?林彪扫视一周，见无人回答，便接连问了三句：

　　“为什么那里缴获的短枪与长枪的比例比其它战斗略高”?

　　“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高”?

　　“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高”?

　　人们还没有来得及思索，等不及的林彪司令员大步走向挂满军用地图的墙壁，指着地图上的那个点说：“我猜想，不，我断定!敌人的指挥所就在这里!”

　　随后林彪口授命令，追击从胡家窝棚逃走的那部分敌人，并坚决把他们打掉。各部队要采取分割包围的办法，把失去指挥中枢后会变得混乱的几十万敌军切成小块，逐一歼灭。司令员的命令随着无线电波发向了参战的各部队….

　　而此时的廖耀湘，正庆幸自己刚刚从偶然的一场遭遇战中安全脱身并与自己的另外一支部队汇合。他来不及休息就急于指令各部队尽快调整部署，为下一阶段作准备。可是好景不长，紧追而来的解放军迅速把他的新指挥部团团围住，拼命攻击，漫山遍野的解放军战士中，不断有人喊着：“矮胖子，白净脸;金丝眼镜湖南腔，不要放走廖耀湘!”

　　把对方指挥官的细节特征琢磨到如此细微，并变成如此威力巨大的顺口溜，穿着满身油渍伙夫服装的廖耀湘只好从俘虏群中站出来，无奈的说“我是廖耀湘”，沮丧的举手投降。

　　廖耀湘对自己静心隐蔽的精悍野战司令部那么快就被发现、打掉，觉得实在不可思议，认为那是一个偶然事件，输得不甘心。当他得知林彪是如何得出判断之后，这位出身黄埔军校并留学法国著名的圣西尔军校，参加过滇缅战役，在那里把日本鬼子揍得满地乱爬的新六军军长说，“我服了，败在他手下，不丢人。”

　　取得这场重要战役胜利的其中一个关键因素，居然出于获胜方的统帅夜半时分，对一份普通遭遇战之后的战报的数据分析，来源于他“从红军带兵时起，身上有个小本子，上面记载着每次战斗的缴获、歼敌数量”的优良军事素养。

　　(本故事来源于黄勇-丰沃华的博客)

　　启示：

　　林彪问的三个问题其实就是根据自己的数据库做的对比、细分、溯源。我们很多人把数据分析完全交给机器了，忘了我们自己的大脑也是一台紧密的数据分析机器。

　　数据的积累、数据的挖掘，分析、归纳、整理，是数据分析师所必须俱备的基本素养，没有它，你永远是匹夫之勇。

　　3、蛋挞与曼城队

　　2011年夏天，曼城队助理教练大卫·普拉特决定利用数据分析来解决球队在表现方面遇到的一个棘手难题。普拉特发现，尽管球队阵容中拥有多名高大强壮的球员，但他们的角球得分情况却不尽如人意。

　　在征求了俱乐部内部数据分析师的意见后，该队增加了对内旋角球(球转向守门员方向)的使用。战术转变产生了惊人的效果。在整个赛季中，曼城队依靠角球打入15个进球，成为英超角球得分效率最高的球队，其中2/3的进球采用的是内旋角球。

　　这一实践为数据驱动型决策提供了强有力的支撑。但是，还有一个附加因素需要考虑：主教练曼奇尼最初对数据的实际价值持怀疑态度。事实上，早在两年前，曼奇尼曾就球队角球的使用情况咨询过俱乐部的数据分析师。分析师回应，他依靠直觉偏爱采用的战术——外旋角球(球飞向远离守门员的方向)从数据统计上看并不理想。

　　曼奇尼选择相信自己的直觉而非数据分析的导向性建议。因为直觉告诉他，球旋向远离门将的方向减小了门将触球的概率，同时增加了进攻队员冲顶时争到头球的概率。但当曼奇尼发现两种变数存在某种联系的时候，直觉却模糊了他对两者关联程度的判断能力。换句话说，外旋角球和进球数可能存在着某种关联，但数据表明，内旋角球和进球数存在着更为直接的因果关系。

　　这一案例研究为我们改善商业决策带来哪些启示?一家美国零售商最近发现，两种不同变数之间存在着某种有趣的联系。当天气变冷，肉桂葡式蛋挞的销量上升500%——并非所有的葡式蛋挞，只是肉桂这一个品种。面对这种零星数据，零售商要做出抉择。每当预测天气即将转冷时，应该储备多少肉桂葡式蛋挞?还有一家零售商发现，羊奶干酪打折似乎能促进红酒的销售。希望减小红酒库存的时候，是不是应考虑羊奶干酪打折这种方法?

　　这两个问题的答案取决于大数据分析的核心问题：弄清相关性与因果关系之间的区别。人类善于发现事物的相关性——这是进化的特征——但是却在发掘直接相关事物的关系时显得有些笨拙。将相关性误解为因果关系所做出的决策是危险的，可能会遭受惨败，因为你所期待看到的影响可能并不会发生。

　　最近的一项研究显示，某国的巧克力销量与诺贝尔奖的人均比例之间呈现明显的相关性。各国是不是都该鼓励公民增加巧克力的消费来提高获得诺贝尔奖的人数呢?

　　为有效利用大数据，相关性分析应仅作为一个出发点去考虑。如果两个变量存在关联，我们该如何应对?当然，政府在推行“巧克力替代教育”的政策之前，应当首先考虑一下其他因素。比方说，看看那些获得诺贝尔奖人数较多的国家相对教育水平和研究预算，与巧克力消费相比，这两个变量与获诺奖的因果关系显然更大。

　　同样，那些葡式蛋挞和羊奶干酪的零售商们在拥有十足把握以前，需要对他们的假设进行验证。比如说，在确定因果关系存在以前，考察一些商店肉桂葡式蛋挞的“库存积压”情况;或者采取打折销售羊奶干酪的方式，看看红酒销量是否真的增加。

　　事物之间可能存在着一些简单的因果关系，但公司需要清楚每种因果关系都可能产生意想不到的结果。肉桂葡式蛋挞销量的增加是否意味着其他产品销量的减少?红酒销量的增加是否也意味着啤酒销量的�...

电商平台的数据分析可以按业务逻辑，以前、中、后台进行区分，在电商平台的数据分析中，线上、线下店铺管理为前台、全服务管理为中台，培训招聘等为后台支持。

这三类主要面向的服务对象如下。

前台：面向客户

中台：对面向客户的部门进行支持

后台：财务、法务、招聘、培训

按这样的框架分配之后，就能知道单个部门进行的动作对于整体的影响是什么。

其实整体会分为线上店铺分析、线下门店分析、全服务分析、后台支持分析四个部分，因为本篇文章以讲电商内容为主，所以我们此处只说上线上店铺分析这一块。

线上店铺分析会分为流量分析、销售分析、商品分析、活动分析，下面我们展开来看。

1.流量分析

流量分析就会演变为以下几个问题：

什么样的流量能够带来转化？什么影响了流量的转化？什么样的流量转化金额比较大，选择什么样的渠道？

比如我有1000万，我要知道如何进行投入产出是最高的。针对这样的问题，可以进行以下三类分析：

推广分析：分析不同流量来源、渠道及获客成本 。

内容分析：分析各内容的流量来源及相关运营效果（主要针对手淘中的内容、达人直播等）。

页面分析：特别是单独活动的落地页，需要分析当前页面的流量来源及去向分布，关注页面热力重点，为店铺装修指导提供依据。

2.销售分析

当用户进店之后，把用户进行的每个详细的步骤拆分出来，去看哪些过程影响了销售订单的转化。

对于该公司来讲，他们的核心指标是发货，只有到发货环节的订单，才能算作业绩。所以在发货前的所有环节都需要进行分析，比如商品详情页、客户咨询环节、支付环节等。

3.商品分析

其实对于淘宝店家来说，需要知道有哪些商品？怎样搭配契合对应的活动？

之前是零零散散的状态，新品研发进度、上架商品的表现、滞销产品的去库存，这些其实都是需要有一个完整的掌握的，这样才能更好地去配合活动。

很多淘宝店铺的销售是需要围绕活动进行的，所有的业绩其实是拆分在很多个活动里的。只要活动选得好，一个活动产生的效果可能会大于其他营销方式的总和。

所以活动的选品就成了重点需要去关注的。在选品的时候，除了要考虑商品的历史表现，还要考虑如何备货、备货周期是多久，能不能保证活动期间的发货。

所以，通过数据分析我们可以知道三个部分：

一、 目前的产品结构及产品情况

二、 针对本次活动需要达成的目标，选品的逻辑是什么，应该看哪些数据。

三、 爆款的备货，如果要把一个商品作为活动的爆款，我需要这件商品在7天内就能发货。

备货如何验证商品销售、活动预测精准度？

4.活动分析

活动分析其实是非常重要的一部分。比如这家淘宝店去年的销售额是50个亿，仅双十一单个活动销售额就达到了8亿。所以他们对于活动有严格的计划表，于是我们会把活动单独列一个主题进行分析。

他们在活动前期策划的时候，历史数据能够指导他做出比较好的决策。

而在活动进行中，可以通过数据监控整体的流量变化、销售情况变化。比如这次活动的某几个页面跳出率高，我通过数据发现之后，就要作出相应的调整优化，提高从流量到销量的转化率。

或者说，活动过程中发现爆款商品的库存已经无法满足现状了，我需要考虑是否要把原来7天的发货期改为15天，还是说我可以推其他的产品。这些都可以凭借数据来提供决策的依据。

活动复盘环节，从整体上我可以知道活动投入和产出的金额，衡量这次活动的价值，从细节上，可以看到不同商品的销售情况，还可以分析这次活动中哪些环节是可以做的更好的。比如这次活动中，因为一些优惠券的规则设置不合理，导致大量退货，那在下次活动就要避免这样的失误。

以上就是电商平台数据分析的应该关注的4个模块，如果拥有的客户数据比较全，其实还可以做客户分析，来了解你客户的消费行为，从而进行一些动作，来提升整个用户的终身价值（LTV）。

此为电商行业的经验分享，希望能给大家带来借鉴意义。

本文素材来源于书籍《深入浅出数据分析》

由于现实工作复杂多变，有时候针对某一目标的数据分析无从下手，甚至会迷失在浩瀚的数据中，宇宙万物运行都是有一定规律的，如果摸索出数据分析的规律，那么分析工作就会事半功倍，本文将通过案例解析的方式提供一种数据分析的常用思路。

举个栗子：

宇宙最强化妆品公司CEO吴给出了公司明星产品宝宝牌儿保湿霜的6个月的销售情况，数据如下表，作为最优秀的数据分析师的你来帮忙分析分析如何提高销量。

1月

2月

3月

4月

5月

6月

总销售额（万元）

528

550.1

546.9

548

553.3

555.4

目标销售额（万元）

550

572.9

596.8

621.7

647.6

广告费（万元）

105.6

95.04

73.92

52.8

31.68

社交网络推广费（万元）

0

10.56

产品单价（元）

20

19

拿到数据的你是否一脸懵逼？该从哪儿下手呢？

确定问题并分解问题

提高销量看起来是一个很大的问题，我们需要确定问题并把问题分解成若干个实际小问题，这样才好解决，通过与CEO吴的沟通，问题被分解成以下几个小问题，括号里是CEO吴提供的一些想法和信息。

1.希望销售额提高多少？（销售额能提高至目标值）-----量化目标

2.目前的客户群体是谁？（扩大唯一消费群体（11-15岁）少女市场）----扩大消费群体

3.如何安排推广费用？（提高社交网络推广费用）-----市场推广策略

解读数据

针对目前的数据情况，我们需要对数据做出评估。图表显示，6月份的销售额与1月份相比略有增长，但几乎持平，并且背离目标销售额越来越远；降低广告费用可能影响了销售达标；产品降价对销售额的提高也没什么帮助。

由于目前的数据看不出消费群体的相关情况，我们需要进一步挖掘用户数据，根据经销商提供的用户明细数据我们发现：

除了公司认定的唯一客群11-15岁的少女以外，还有中老年男性的用户群体，当他们刮完胡子后，用宝宝牌儿保湿霜涂抹在刮完胡子的地方特别舒服，这一潜在用户群体的发现给提高销量带来了转机。

提供决策

由于针对少女群体的市场推广效果很一般，当我们深度挖掘数据时，发现了中老年男性这一潜在消费群体，我们可以针对这一群体投放更多的广告宣传，制定适合男性的销售策略。

欢迎关注“云途壹看板”，数据分析工具免费试用！

最近在研究商超零售的数据分析，有不少干货和想法可分享。此前，一直注重店铺管理、商品库存管理、财务绩效管理的数据分析。后来发现，无论是零售商铺的选址，还是百货商场的招商营运，都有不少需要运用到数据管理思维的地方。

店铺选址前或者招商营运前都要进行市场调研，小规模的店家可能会说，我照自己的经验，观测人流量以及周边店铺的经营情况来判断，这样的方法确实是有迹可寻。但是，店铺不是放着让你来选的，店铺商也是需要去谈的，甚至对于那些成体系的，每年都在扩张的一些企业，必须需要一套成体系的数据分析方法论来指导。

一、市场调研的要点

1、着重于项目周边状况调查，如：业态布局、购买力等；

2、网点及竞争对手调研的要点

3、收集品牌资源，是否符合定位，有无可备选方案，效益最大化；

针对选址，

可采用常用的SWOT分析模型，分析内部环境以及外部环境的优劣势；而后采用3C模型（Company商铺，Customer顾客，Competitor 竞争者）对开店的选址分析；看附近1小时经济圈、2小时经济圈、3小时经济圈的覆盖范围。

而正式营运之后，最主要关注的就是客流量。

传统零售的数据是基于交易客流，基本等同于俗称的会员。商超里面的客流其实分为交易客流、返店客流、进店客流、到达客流、潜在客流。这里最容易获取的就是交易客流，因为企业现有的CRM系统或者收银系统基本都能涵盖这部分客流。怎么得顾客数据？这就要建立一整套的全顾客全消费行为管理的客流分析系统。

客流数据分析建模

二、如何去经营分析？

经营分析是指商业运营管理者通过数据采集并运用统计、分析、图表呈现等方式，对商场整体经营情况进行深入解析。

确定这样一个流程后，经营分析按照时间划分一般分为日、周、月以及一些关键时期，比如活动、法定节假日等等。形式以经营报表为主。

大体分析内容

经营分析的指标解析

做好全百货的经营分析要发挥主观能动性，有了数据和图表，要做好经营分析，还要发挥人的主观能动性，营运人员需根据数据和图表阐述现象并提出相关建议，加强与店铺、品牌负责人的沟通和联系，充分了解店铺的经营现状。

三、关于品牌店铺活动的分析

经营分析案例分享及关注点（日经营分析）

以上每日的客流与销售趋势图，需要关注波动趋势、波动周期和波动异常。比如波峰大多是重大节假日或企划活动，或者特殊事件。

店铺活动分析

活动前期搭建好相关指标，收集活动数据，实时监测分析。

至于如何搭建这样的分析体系，譬如以上用finereport搭建的活动监测模板，这里不多赘述。前提需要明确分析的指标，之后就是数据收集、整合、分析、展现的额工作啦~

Hello，everyone，我是小昭，Marketing从业5年，闲暇无事，将我对Marketing的一些思考总结一下，如果您感兴趣，想要高清大图，欢迎关注并私信与我讨论。

社会人不比比，直奔主题。

一、什么是市场规模

首先要解决的是“是什么”的问题。

市场规模即市场容量，是一个特定产品的购买用户数（或销售量、销售额）。 由于市场具有不同的维度、阶段和层次。因此在开始估算前，首先要扪心自问，我到底要估算的是什么市场，估算什么维度，估算什么市场阶段，估算什么市场规模层次。

二、如何估算市场规模

明晰了“是什么”问题之后，要搞清楚“怎么做”。

这个问题可以分解为三个方面：估算思路、信息来源和注意事项 。

（一）估算思路（如图）

1、构成关系

(1)总用户数*有购买欲望的用户占总用户数的比例

案例1：某地区图书市场规模估算(现有市场的用户数)

思路：已知总人数，若能估算出读书者所占比例，则可估算出图书市场规模。

如图

故：图书市场规模=总人数*读书者所占的比例

案例2：新营养啤酒在某地的市场规模(现有市场的销售额)

思路：已知该地可支配收入，若能估算出该新营养啤酒占可支配收入的比重，则两者相乘可得结果。由于可支配收入有多重构成，因此需要进行连乘得到所需比重。

故：新营养啤酒在某地的市场规模=该地可支配收入*E*D*C*B*A

案例3：某地木料车床的市场潜量（销售量）

思路：木料车床的需求者为需将其所经营的木料刨平或钻孔的制造厂商。 根据国家统计局的数据，可查得标准产业分类体系以及根据员工人数、年销售额和净资本额划分的企业数目。 根据判断，制造业中的代码为 20 和 21 的产业是木料车床的潜在客户。并可得按年销售额统计的厂家数。 根据经验，假设在代码为 20 的产业中，每百万的销售额可能需要 10 台车床；在代码为21的行业中，每百万的销售额可能需要5台车床。

故：该地木料车床的市场潜量为980台（见下表）

(2)现有用户+新用户

案例4：某地区彩电的市场规模(家庭数)

思路：彩电的市场规模可以从新老用户的角度考虑，新用户首次购买；而老用户重复购买。另外，老用户又可根据购买动机，分为更新换代和因生活水平提高而追求更高品质的彩电两种。

故：某地区彩电的市场规模=首次购买的市场规模+更新换代的市场规模+提高生活水平的市场规模

2、类比关系

可以通过差异性或者相似性，用一个地区类比另一个地区；用一个产品类比另一个产品。

案例5：设美国药品总销额为 1500万美元，求药品在弗吉尼亚州的销额

思路：利用类比关系，用美国对弗吉尼亚州的药品销售额进行估算。需要首先找出影响药品销售额的因素，再比较两者在这些因素上的差异。从而得到弗吉尼亚州的药品销售额占美国总药品销售额的比重 Bi，从而得出药品在弗吉尼亚州的销售额=A*Bi。 根据美国《销售和营销管理》杂志公布的“购买力年度调查”的模型： Bi＝0.5yi＋0.3ri +0.2pi (其中 Bi 购买力指数，即地区 i 的购买力占全国的比重；yi 为地区 i 的个人可支配收入占全国的比重；ri为地区i的零售产品销额占全国比重；pi为地区i的居住人口数占全国比重)弗吉尼亚州在 yi、ri 和 pi 上与美国总体的比较，可得Bi=2.04%（见下表）

这里的购买力指数 Bi 具有一定的片面性，还有一些影响因素没有考虑进来。比如竞争环境、促销成本、季节因素等。在使用类比法时，所考虑的影响因素越完善、越合理，规模估算的效果越好。

惯性关系和相关关系，往往需要有较详实的数据基础，后续的博文再展开。

(二)信息来源

(三)注意事项

1、在对市场规模进行估算时，需要对业务特征具有基本的理解，才能捋清楚上下游的逻辑关系，设计合理的推理模型。

2、当可从多个角度建立推理模型时，选择最简洁、有可靠数据来源的那个。

3、基础数据要有官方权威来源，切忌所有的数据都是推测出来的。

4、当数据需要假设时，多从不同的角度进行分析，以其得到多种方法的相互佐证。

首席信息官正在利用数据分析来提高效率和促进增长，但并不是每一次努力都会产生结果。以下讲述了优秀的首席信息官是如何成功地利用数据分析和机器学习技术来增加收益或降低成本的。

如果把数据比作新的石油，那么掌握如何将其提炼为可使用的情报就是发挥其潜力的关键。为此，首席信息官正在使用预测分析工具，设计机器学习算法和对其他解决方案进行测试，以追求企业的效率和以新的方式为客户服务。

胡椒博士集团(Dr.PepperSnappleGroup)将机器学习技术用于语境相关性工作中

多年来，胡椒博士集团的销售路线员工一直是抓着一本厚厚的活页夹，里面装满了客户数据、销售和促销说明，然后去吸引一些零售客户，如沃尔玛和塔吉特百货公司(Target)等。今天，销售人员不再使用这种活页夹，而是配备了能告诉他们需要拜访哪家商店的iPad，而且还会告诉销售人员该为这些零售商提供何种优惠，以及其他关键指标。胡椒博士集团的首席信息官汤姆·法拉(TomFarrah)表示：“他们都是接订单的销售人员，为此他们感到很骄傲。现在他们配备了信息资料来帮助其实现目标，使他们成为智能的销售人员。”

该MyDPS平台配有机器学习和其他分析工具，可在工作人员加载应用程序时向其提供建议和日常操作记分卡。这些算法向员工显示他们是如何按照预期计划进行工作的，包括他们是否按照自己的计划工作，或是落后于计划，以及给他们提供见解，让他们清楚如何纠正他们的工作。法拉说：“如果我要让某人获得成功，我必须确保他们拥有哪些信息是与工作内容相关的。”

经验教训：为了测试验证MyDPS平台的概念，法拉将该软件分给了一个分公司的四个人，并让业务总裁去拜访他们。他们透露，自从上个月使用MyDPS之后，执行销售额已经提高了50%，这一表现让他批准了该项目。法拉说：“他获得了结果，这就是销售所需要的，这不仅仅是为了项目的商业赞助，而且这也是他们希望得到的结果，这一点非常重要。”

凭借机器学习技术，RRD公司走上新业务之路

营销传播公司R.H.Donnelley公司为RRD公司的前身，几年前，RRD公司设立了物流部门，向消费者和企业配送它的印刷材料。为了支持这项业务，公司自己管理运营，并代表其合作伙伴配送各种物品，包括洗衣机、狗粮等等，最终成长为价值10亿美元的一个企业。这是一个挑战吗?在联邦快递和UPS成为无可争议的霸主的天下，找到一个最优的运费。

诸如天气、地域、司机和政治局面等因素都是业务上的成本。RRD公司的首席信息官肯奥布莱恩(KenO'Brien)表示，随着迫切需要对费率变量进行预测，RRD公司转向了机器学习和数据分析。公司聘请员工和与大学合作来帮助编写算法，在700条路线上测试数千个场景，直到能够以99%的准确率提前7天实时预计运费。奥布莱恩说：“该项目在不到一年的时间就完成了，我们现在仍然看到业务的增长与运费有关。”该公司预计，在2017年，其卡车货运代理业务将从400万美元增长到1600万美元，营收将增长1200万美元，业务规模达6亿美元。

经验教训：新企业需要高水平的全心投入，尽管奥布莱恩承认，他的一些业务同行已准备好在业务的不同环节上认输。该业务并不相信那些通常以感觉和猜测来完成一个流程的技术。RRD公司建立了一个协作环境，业务和IT共同合作来推进结果。“你会遇到困难，你会遇到挑战，但要耐心，”奥布莱恩说。

孟山都公司(Monsanto)利用机器学习技术，实现最佳种植计划

农民永远为要种植何种作物，种植面积，在哪里种植及何时种植而苦恼。种子行业巨人孟山都公司正在研究这项工作，利用数据科学为农业种植提供规范性建议。数学和统计学模型会绘制出雄性作物和雌性作物的最佳种植时间，以及在何处种植，在理想状态下，这就最大限度地提高产量并减少土地使用。孟山都公司全球IT分析主管艾德里安·卡地亚(AdrianCartier)表示，其机器学习算法在数天内完成了超过900亿的数据点，而不是几周或几个月。这是商业利益吗?在2016年，孟山都公司节省了600万美元，其供应链足迹减少了4%。卡地亚说：“北美地区的土地利用率下降了4%，相当于不去使用大面积的土地，这节省了大量资金。”

经验教训：孟山都公司成功的关键是在信息技术与供应链业务之间建立了一个“自始至终”的合作。卡地亚说：“他们具有农业和供应链角度的专业知识，而我们具有数学和统计领域的专业知识，两者结合起来，就创造了我们能够提供的价值。”卡地亚说道，他还寻求在供应链业务中“改变领导者和倡导者”，以形成对反对者一种健康的平衡。

柏克德公司(Bechtel)以卓越的大数据中心来颠覆自己

一个鲜为人知的事实：柏克德公司首席信息官CarolZierhoffer说，与建筑有关的支出占GDP的13%，但整个行业在过去二十年中只有1%的生产率增长。专家表示，通过重新制定合同、提高工人技能以及改进现场执行工作等方式，该行业可以提高50%至60%的生产率。柏克德公司建造了胡佛水坝、英吉利海峡隧道和其他大型设施，已经开始在业务各个环节的数据中挖掘洞察力。

Zierhoffer在沃尔玛、波音和洛克希德马丁公司会见了业内同行，以获得有关如何向前发展的见解。柏克德公司建立了一个先进的大型数据中心，其中包含5千万亿字节数据的数据湖，并开始了概念验证。该数据中心使用照片识别技术，并代表客户来检查和标记各个地点的照片，这节省了200万美元。自然语言处理(NLP)工具可解析索赔、提案请求(RFP)和合同。过去需要几天和几周的评估和计划工作现在只需要数小时。柏克德公司还扩大了分析工作范围，以了解员工的流失率情况，包括试图预测员工将何时离职。Zierhoffer说：“我们相信我们正在敲开解决生产率难题的大门。”

经验教训：数据仓库和质量是支柱。尽管柏克德公司可以分析大量的数据，但在整个业务各环节的数据质量必须提高。“我们不得不颠覆自己，了解我们是如何工作的，并且将数据仓库进行连接。”

数据分析帮助辛辛那提动物园提高客户满意度

辛辛那提动植物园成立于1873年，是世界上著名的动植物园之一，以其物种保护和保存以及高成活率繁殖饲养计划享有极高声誉。它占地面积71英亩，园内有500种动物和3000多种植物，是国内游客人数最多的动植物园之一，曾荣获Zagat十佳动物园，并被《父母》（Parent）杂志评为最受儿童喜欢的动物园，每年接待游客130多万人。

辛辛那提动植物园是一个非营利性组织，是俄亥州同时也是美国国内享受公共补贴最低的动植物园，除去政府补贴，2600万美元年度预算中，自筹资金部分达到三分之二以上。为此，需要不断地寻求增加收入。而要做到这一点，最好办法是为工作人员和游客提供更好的服务，提高游览率。从而实现动植物园与客户和纳税人的双赢。

借助于该方案强大的收集和处理能力、互联能力、分析能力以及随之带来的洞察力，在部署后，企业实现了以下各方面的受益：

-帮助动植物园了解每个客户浏览、使用和消费模式，根据时间和地理分布情况采取相应的措施改善游客体验，同时实现营业收入最大化。

首席金融官

如今，金融业面临众多前所未有的跨界竞争对手，市场格局、业务流程将发生巨大改变，企业更替兴衰；未来的金融业，业务就是IT，IT 就是业务；金融业将开展新一轮围绕大数据、移动化、云的IT 建设投资。本节主要介绍金融行业大数据的应用案例，希望对读者有一定的启发和学习价值。

【案例一】淘宝网掘金大数据金融市场

随着国内网购市场的迅速发展，淘宝网等众多网购网站的市场争夺战也进入白热化状态，网络购物网站也开始推出越来越多的特色产品和服务。

1．余额宝

以余额宝为代表的互联网金融产品在2013 年刮起一股旋风，截至目前，规模超1000亿元，用户近3000 万，如图所示。相比普通的货币基金，余额宝鲜明的特色当属大数据。以基金的申购、赎回预测为例，基于淘宝和支付宝的数据平台，可以及时把握申购、赎回变动信息。另外，利用历史数据的积累可把握客户的行为规律。

2．淘宝信用贷款

淘宝网在聚划算平台推出了一个奇怪的团购“商品”——淘宝信用贷款。开团不到10 分钟，500 位淘宝卖家就让这一团购“爆团”。他们有望分享总额约3000 万元的淘宝信用贷款，并能享受贷款利息7.5 折的优惠。据悉，目前已经有近两万名淘宝卖家申请过淘宝信用贷款，贷款总额超过14 亿元。

淘宝信用贷款是阿里金融旗下专门针对淘宝卖家进行金融支持的贷款产品。淘宝平台通过以卖家在淘宝网上的网络行为数据做一个综合的授信评分，卖家纯凭信用拿贷款，无需抵押物，无需担保人。由于其非常吻合中小卖家的资金需求，且重视信用无担保、抵押的门槛，更加上其申请流程非常便捷，仅需要线上申请，几分钟内就能获贷，被不少卖家戏称为“史上最轻松的贷款”，也成为淘宝网上众多卖家进行资金周转的重要手段。

3．阿里小贷

淘宝网的“阿里小贷”更是得益于大数据，它依托阿里巴巴（B2B）、淘宝、支付宝等平台数据，不仅可有效识别和分散风险，提供更有针对性、多样化的服务，而且批量化、流水化的作业使得交易成本大幅下降。

每天，海量的交易和数据在阿里的平台上跑着，阿里通过对商户最近100 天的数据分析，就能知道哪些商户可能存在资金问题，此时的阿里贷款平台就有可能出马，同潜在的贷款对象进行沟通。

案例解析：通常来说，数据比文字更真实，更能反映一个公司的正常运营情况。通过海量的分析得出企业的经营情况，这就是大数据的应用。在本案例中，正像淘宝信用贷款所体现的那样，这种新型微贷技术不依赖抵押、担保，而是看重企业的信用，同时通过数据的运算来评核企业的信用，这不仅降低了申请贷款的门槛，也极大简化了申请贷款的流程，使其有了完全在互联网上作业的可能性。

大数据的价值已经得到互联网公司以及金融机构的认可，笔者认为：“谁掌握的‘拼图’图块多，谁就能快速拼出客户的图谱，成为真正的王者。”然而，目前来看，谁都不愿意轻易地交出自己手上的“拼图”，于是，互联网公司、银行、支付机构等各个海量数据的拥有者展开了激烈的金融数据争夺战。

【案例二】IBM 用大数据预测股价走势

不久前，IBM 使用大数据信息技术成功开发了“经济指标预测系统”。借助该预测系统，可通过统计分析新闻中出现的单词等信息来预测股价等走势。

IBM 的“经济指标预测系统”首先从互联网上的新闻中搜索与“新订单”等与经济指标有关的单词，然后结合其他相关经济数据的历史数据分析与股价的关系，从而得出预测结果。

在“经济指标预测系统”的开发过程中，IBM 还进行了一系列的验证工作。IBM 以美国“ISM 制造业采购经理人指数”为对象进行了验证试验，该指数以制造业中的大约20 个行业、300 多家公司的采购负责人为对象，调查新订单和雇员等情况之后计算得出。实验前，首先假设“受访者受到了新闻报道的影响”，然后分别计算出约30 万条财经类新闻中出现的“新订单”、“生产”以及“雇员”等5 个关键词的数量。追踪这些关键词在这段时期内的搜索数据变化情况，并将数据和道指的走势进行对比，从而预测该指数的未来动态。

IBM 研究称，一般而言，当“股票”、“营收”等金融词汇的搜索量下降时，道指随后将上涨，而当这些金融词汇的搜索量上升时，道指在随后的几周内将下跌。

据悉，IBM 的试验仅用了6 小时，就计算出了分析师需要花费数日才能得出的预测值，而且预测精度几乎一样。

案例解析：从本案例可以看出，大数据不再仅仅局限在媒体与厂商之间的讨论，它犹如一场数据旋风开始席卷全球，从各行各业的IT 主管到政府部门都开始重视大数据及其价值。

目前，不少信息系统企业都在使用大数据信息技术开发预测系统。例如，2011 年，英国对冲基金Derwent Capital Markets 建立了规模为4000 万美金的对冲基金，该基金是首家基于社交网络的对冲基金，该基金通过从Twitter 的数据内容来感知市场情绪，从而进行投资。无独有偶，美国加州大学河滨分校也公布了一项通过对Twitter 消息进行分析从而预测股票涨跌的研究报告。

笔者认为：“企业数据就是新时代还未开采的石油，具有非常之高的价值。”国外一些金融机构已经开始做一些前瞻性的研究了，这种做法是非常值得国内金融机构学习和借鉴的。例如，国内大部分证券公司仍然没有摆脱交易性数据为主的特点，但很多有前瞻意识的证券公司已经开始做一些转型了，对微博、互联网等外部数据进行一些分析与预测。

【案例三】汇丰银行采用SAS 管理风险

近日，汇丰银行选择SAS 防欺诈管理解决方案构建其全球业务网络的防欺诈管理系统。据悉，这一解决方案是一种实时欺诈防范侦测系统。

SAS 被誉为“全球500 强背后的管理大师”，是全球领先的商业分析软件与服务供应商。SAS 通过三部分服务（包括软件及解决方案服务、咨询服务、培训及技术支持服务）帮助客户洞察商机，成就变革，改善业绩。

凭借丰富的行业专业知识，SAS 的行业解决方案在各领域为行业解析蕴藏于信息之中的独特的商业问题。例如金融服务领域的信用风险管理问题、生命科学领域加快药物上市速度和识别零售领域的交叉销售机会等问题。SAS 还提供跨职能解决方案，不分行业地帮助企业克服其面临的挑战。例如增加客户关系价值、测量和管理风险、检测欺诈和优化IT 网络等。

汇丰银行与SAS 在防范信用卡和借记卡欺诈的基础上，共同扩展了SAS 防欺诈管理解决方案的功能，为多种业务线和渠道提供完善的欺诈防范系统。这些增强功能有助于全面监控客户、账户和渠道业务活动，进一步提高分行交易、银行转账和在线付款欺诈以及内部欺诈的防范能力。通过监控客户行为，汇丰银行可以优化并更加有效地利用侦测资源。

汇丰银行利用SAS 系统，通过收集和分析大数据解决复杂问题，并获得非常精确的洞察，以加快信息获取速度和超越竞争对手。因此，汇丰银行还将继续采用SAS 告警管理、例程和队列优先级软件，提高运营效率，以便迅速启动紧急告警。

案例解析：在当今这个海量数据的时代，如何找到大数据中蕴含的前所未有的商业价值？笔者认为高性能分析就是那把“钥匙”。在本案例中，SAS 高性能分析可以帮助用户：将相关的大数据转变为真正的商业价值，采用世界顶级的分析技术来生成精确的洞察，快速获得答案来改变企业的运营模式，以及部署一个适合未来扩展的分析架构。

总之，高性能分析环境让用户可以充分利用IT 投资，同时克服原有架构的约束，从大数据资产中产生高价值的洞察。

【案例四】Kabbage 用大数据开辟新路径

Kabbage 是一家为网店店主提供营运资金贷款服务的创业公司，总部位于美国亚特兰大，截至目前已经成功融资六千多万美元。Kabbage 的主要目标客户是eBay、亚马逊、雅虎、Etsy、Shopify、Magento、PayPal 上的美国网商。

Kabbage 与“阿里小贷”的经营模式类似，通过查看网店店主的销售和信用记录、顾客流量、评论以及商品价格和存货等信息，来最终确定是否为他们提供贷款以及贷多少金额，贷款金额上限为4 万美元。店主可以主动在自己的Kabbage 账户中添加新的信息，以增加获得贷款的概率。Kabbage 通过支付工具PayPal 的支付API 来为网店店主提供资金贷款，这种贷款资金到账的速度相当快，最快十分钟就可以搞定。

Kabbage 用于贷款判断的支撑数据的来源除了网上搜索和查看外，还来自于网上商家的自主提供，且提供的数据多少直接影响着最终的贷款情况。同时，Kabbage 也通过与物流公司UPS、财务管理软件公司Intuit 合作，扩充数据来源渠道。

目前，使用Kabbage 贷款服务的网店店主已达近万家，Kabbage 的服务范围目前仅限于美国境内，不过公司打算利用这轮融资将服务拓展至其他国家。

案例解析：基于大数据的商业模式创新过程有两个核心环节：一是数据获取；二是数据的分析利用。在本案例中，Kabbage 与阿里金融的区别在于数据获取方面，前者是从多元化的渠道收集数据，后者则是借助旗下平台的数据积累，其中网上商家可自主提供数据且其数据的多少直接决定着最终的贷款额度与成本，这充分体现出大数据的资产价值，就如同传统的抵押物一样可以换取资金。

笔者觉得，虽说大数据是一座极具价值的“金矿”，但如果不能科学地加以利用，那么大数据就变成了一堆堆毫无用处的“石头”，Kabbage 就是借助大数据技术，并结合金融行业的特点，有效地控制了风险，实现了完美融合和创新。 本文来自

金融是服务于实体经济的，随着大数据时代的到来，传统的实体经济形态正在向融合经济形态转变，同时虚拟经济也快速兴起，金融的服务对象必将随之发生变化，这种转变为金融业带来了巨大的机遇和挑战，如图 所示。

融合经济产生新的金融需求

虚拟经济（Fictitious Economy）是经济虚拟化（西方称之为“金融深化”）的必然产物，是指基于计算机和互联网产生的一种经济形态，其产品和服务都具有虚拟化的特点，具体包括软件、网络游戏、社交网络、搜索引擎、门户网站等细分市场领域。实体经济是指物质的、精神的产品和服务的生产、流通等经济活动。随着新兴信息技术的快速发展，实体经济与虚拟经济正在加速融合，从而衍生了未来的主体经济形态，即融合经济，电子商务、O2O 模式都是融合经济发展进程的一个产物。

【案例五】大数据时代信用卡该怎么玩

中信银行信用卡中心是国内银行业为数不多的几家分行级信用卡专营机构之一，也是国内最具竞争力的股份制商业银行信用卡中心之一。近年来，中信银行信用卡中心的发卡量迅速增长。

2013 年11 月，在中信银行与腾讯联合发布“中信银行QQ 彩贝联名信用卡”仪式上，中信银行信用卡中心总裁陈劲表示，该行信用卡发卡量已突破2000 万张，未来将充分利用互联网基因和大数据技术挖掘客户需求。

过去，中信银行信用卡中心无论在数据存储、系统维护等方面，还是在有效地利用客户数据方面，都面临巨大的压力。同时，为了应对激烈的市场竞争，中信银行信用卡中心迫切需要一个可扩展、高性能的数据仓库解决方案，支持其数据分析战略，提升业务的敏捷性。

2010 年4 月，中信银行信用卡中心实施了EMC Greenplum 数据仓库解决方案。Greenplum 数据仓库解决方案为中信银行信用卡中心提供了统一的客户视图，借助客户统一视图，中信银行信用卡中心可以更清楚地了解其客户价值体系，从而能够为客户提供更有针对性和相关性的营销活动。

基于数据仓库，中信银行信用卡中心现在可以从交易、服务、风险、权益等多个层面分析数据。通过提供全面的客户数据，营销团队可以对客户按照低、中、高价值来进行分类，根据银行整体经营策略积极地提供相应的个性化服务。

基于Greenplum 解决方案在系统维护方面的便捷简单，中信银行信用卡中心每年减少了大约500 万元的数据库维护成本，这有助于减少解决方案的总拥有成本。

案例解析：在本案例中，Greenplum 解决方案采用了“无共享”的开放平台MPP架构，此架构是为BI 和海量数据分析处理而设计，相比普通的数据库系统，该系统提供了更高的可扩展性。与其他产品相比，Greenplum 解决方案可以给中信银行信用卡中心提供最高级别的性能。同时，该解决方案与银行所使用的硬件、应用程序和数据源实现了有效集成。此外，Greenplum 解决方案通过把数据集中在一个统一的平台，极大地减少了系统维护的工作量。

笔者认为，大数据对信用卡产品的营销具有很大的促进作用。例如，在大数据的环境下，银行可以利用先进的互联网、云计算等新兴技术，对消费者的刷卡行为进行数据化的分类、统计，通过整理数据获取消费者的消费习惯、消费能力、消费偏好等非常重要的数据信息。通过客户数据、财务数据来区隔客户，通过消费区域定位、内容定向，知晓他们的消费习惯，然后进行深入地数据分析挖掘和展开精准营销。

大数据时代的来临，使得企业在业务运作的过程中产生的数据量呈现出了爆发式的增长。各行各业都面临着海量数据的分析和处理问题。如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。我们在迎接挑战的同时，也可以了解、学习国内外大数据应用中的经典案例，希望能对我们有所启示。

01 塔吉特（Target）百货孕妇营销分析

最早关于大数据的故事发生在美国第二大超市塔吉特（Target）百货。孕妇对于零售商来说一直是个含金量很高的顾客群体，但是她们一般都会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特也有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围。如果等到孩子出生再行动就晚了，因此零售商必须赶在孕妇怀孕前期就行动起来。

塔吉特的顾客数据分析部门发现，怀孕的妇女一般会在怀孕第三个月的时候购买很多无香乳液、无添加的化妆品、护肤品等等。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。

02 谷歌的意图

如果说有一家科技公司准确定义了“大数据”概念的话，那一定是谷歌。根据搜索研究公司comScore的数据，仅2012年3月一个月的时间，谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模，使它拥有比其他大多数企业更多的应用大数据的途径。

谷歌搜索引擎本身的设计，就旨在让它能够无缝链接成千上万的服务器。如果出现更多的处理或存储需要，抑或某台服务器崩溃，谷歌的工程师们只要再添加更多的服务器就能轻松搞定。将所有这些数据集合在一起所带来的结果是：企业不仅从最好的技术中获益，同样还可以从最好的信息中获益。下面选择谷歌公司的其中三个亮点。

谷歌意图：谷歌不仅存储了搜索结果中出现的网络连接，还会储存用户搜索关键词的行为，它能够精准地记录下人们进行搜索行为的时间、内容和方式，坐拥人们在谷歌网站进行搜索及经过其网络时所产生的大量机器数据。这些数据能够让谷歌优化广告排序，并将搜索流量转化为盈利模式。谷歌不仅能追踪人们的搜索行为，而且还能够预测出搜索者下一步将要做什么。用户所输入的每一个搜索请求，都会让谷歌知道他在寻找什么，所有人类行为都会在互联网上留下痕迹路径，谷歌占领了一个绝佳的点位来捕捉和分析该路径。换言之，谷歌能在你意识到自己要找什么之前预测出你的意图。这种抓取、存储并对海量人机数据进行分析，然后据此进行预测的能力，就是数据驱动的产品。

03 沃尔玛的“啤酒加尿布”

总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛对顾客的购物行为进行了“购物篮分析”。沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘，可以很轻松地知道顾客经常一起购买的商品有哪些。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”

这是数据挖掘技术对历史数据进行分析的结果，反映了数据内在的规律。沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析。经过大量实际的调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%-40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。

04 中国移动的数据化运营

通过大数据分析，中国移动能够对企业运营的全业务进行针对性的监控、预警、跟踪。大数据系统可以在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

客户流失预警：一个客户使用最新款的诺基亚手机，每月准时缴费、平均一年致电客服3次，使用WEP和彩信业务。如果按照传统的数据分析，可能这是一位客户满意度非常高、流失概率非常低的客户。事实上，当搜集了包括微博、社交网络等新型来源的客户数据之后，这位客户的真实情况可能是这样的：客户在国外购买的这款手机，手机中的部分功能在国内无法使用，在某个固定地点手机经常断线，彩信无法使用——他的使用体验极差，正在面临流失风险。这就是中国移动一个大数据分析的应用场景。通过全面获取业务信息，可能颠覆常规分析思路下做出的结论，打破传统数据源的边界，注重社交媒体等新型数据来源，通过各种渠道获取尽可能多的客户反馈信息，并从这些数据中挖掘更多的价值。

数据增值应用：对运营商来说，数据分析在政府服务市场上前景巨大。运营商也可以在交通、应对突发灾害、维稳等工作中使大数据技术发挥更大的作用。运营商处在一个数据交换中心的地位，在掌握用户行为方面具有先天的优势。作为信息技术的又一次变革，大数据的出现正在给技术进步和社会发展带来全新的方向，而谁掌握了这一方向，谁就可能成功。对于运营商来说，在数据处理分析上，需要转型的不仅是技巧和法律问题，更需要转变思维方式，以商业化角度思考大数据营销。

05 阿里信用贷款和淘宝数据魔方

中国最大的电子商务公司阿里巴巴已经在利用大数据技术提供服务：阿里信用贷款与淘宝数据魔方。

每天有数以万计的交易在淘宝上进行。与此同时相应的交易时间、商品价格、购买数量都会被记录。更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配。各大中小城市的百货大楼做不到这一点，大大小小的超市做不到这一点，而互联网时代的电商可以做到。

淘宝数据魔方就是淘宝平台上的大数据应用方案。通过这一服务，商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此进行生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格买到心仪的宝贝。

而阿里信用贷款则是阿里巴巴通过其掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。截至目前，阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...