本书为数据猿推出的《每周一本书》栏目丛书。

欢迎大家推荐好书给我们，让更多人受益。

学习的时候，案例最容易被接受，它直观、生动、可借鉴性强，无论是课堂授课，还是自我学习，案例都是必不可缺的。本周，小猿君为大家推荐一本案例集锦，同时它也是一本大数据分析挖掘领域实操类的书籍，由国内两位资深的大数据分析和挖掘专家所著，豆瓣评分9.0。

无论你是需要提升实战能力的数据分析专业人员，还是在市场营销、金融、财务和人力资源管理中需要应用数据分析的人士，抑或是从事咨询、科研等工作的专业人士，这本书都值得一看，同时这本书也适合各专业的本科和研究生作为学习数据分析应用的参考书，从初学者到专家各个级别的数据分析人员都可以通过这本书有所获益。

内容简介

《IBM SPSS数据分析与挖掘实战案例精粹》以IBM spss statistics 20．0和IBM spss modeler 14．1为工具，提供了医疗、金融、保险、汽车、快速消费品、市场研究、互联网等多个行业的数据分析、挖掘案例，基于实战需求，详细讲解整个案例的完整分析过程，并将模型和软件的介绍融于案例讲解之中，使读者在阅读时能突破方法和工具的局限，真正聚集于对数据分析精髓的领悟。　　

作者简介

张文彤 博士，数据挖掘、市场研究、统计软件教学与应用领域专家，现任全球第八大市场研究集团INTAGE中国公司全国技术总监。曾在复旦大学任教数载，期间协助SPSS在中国建立并完善了其培训体系，是国内知名的SPSS培训师之一。

钟云飞 资深数据分析专家，拥有超过10年的统计分析与数据挖掘在各行业的软件应用及咨询经验，历任SPSS、SAS软件公司首席咨询顾问，目前在国际商业机器(中国)有限公司软件部工作，从事SPSS软件企业应用的推广工作。

目录

第一部分 spss数据分析基础

第1章 数据分析方法论简介

第2章 数据分析方法体系简介

第3章 ibm spss statistics操作入门

第4章 ibm spss statistics操作进阶

第5章 ibm spss modeler操作入门

第二部分 影响因素发现与数值预测

第6章 酸奶饮料新产品口味测试研究案例

第7章 偏态分布的激素水平影响因素分析

第8章 某车企汽车年销量预测案例

第9章 脑外伤急救后迟发性颅脑损伤影响因素分析案例

第10章 中国消费者信心指数影响因素分析

第三部分 信息浓缩、分类与感知图呈现

第11章 探讨消费者购买保健品的动机

第12章 1988年汉城奥运会男子十项全能成绩分析

第13章 打败sars

第14章 住院费用影响因素挖掘

第四部分 数据挖掘案例精选

第15章 淘宝大卖家之营销数据分析

第16章 超市商品购买关联分析第17章 电信业客户流失分析第18章 信用风险评分方法

第19章 医疗保险业的欺诈发现

第20章 电子商务中的数据挖掘应用

读者评价

数据挖掘分析，是一种在非结构化、杂乱无章的数据中，通过一定的数学方 法，挖掘出有用信息的过程。本文旨在通过研究一些常用算法的数学原理，并运 用一系列的数学知识加以解释，从而阐释一种数据挖掘分析的新思路。

一、拓扑学简介

拓扑学，是一门研究几何图形不随形状改变而改变的性 质的学科，只考虑物体间的位置关系而不考虑其形状与大小。 下面，我们从具体空间（n维欧氏空间），到一般度量空间， 再到更一般化的拓扑空间，阐述其来龙去脉，以及性质上的异 同。

1、n维欧氏空间 我们知道，对于自然数n，均存在集合 Rn={x=(x1,x2,…,xn)|xi是任意实数，i=1,2,…,n} 其中Rn中的元素x=(x1,x2,…,xn)叫做Rn中的点，xi是点x的坐标分量。两点x，y之间的距离自然是：

显然，对于Rn中的任意三个点x，y，z，距离ρ满足以下三点：

（D1）非负性：ρ(x,y)≥0，并且ρ(x,y) <=> 0 x=y；

（D2）对称性：ρ(x,y)=ρ(y,x)；

（D3）三角不等式：ρ(x,z)≤ρ(x,y)+ρ(y,z).

2、度量空间现在，我们抛开具体的集合Rn及其赋予的具体距离，只保留性质（D1）~（D3），定义一般的度量空间：设X为集合，其元素叫做点，如对X中的任意三个点x，y，z，存在函数ρ满足（D1）~（D3），则(X, ρ)叫做度量空间，ρ叫做(X, ρ)的度量， ρ(x,y)叫做两点x，y之间的距离。在明确所赋予的ρ时，(X, ρ)可 以简记为X。

设(X, ρ)为度量空间，x∈X，ε为正数，则X的子集 B(x,ε)={y∈X|ρ(y,x)<ε}叫做以点x为中心，以ε为半径的球形邻 域。对于度量空间(X, ρ)所有球形邻域组成的集族B，有以下性 质：

(B1) X=∪B∈B B；

(B2)若x∈B1∩B2，其中B1,B2∈B，则存在x的球形邻域 Bx，使得x∈BxB1∩B2；

(B3) 若x∈B, B∈ B，则存在x的球形邻域B x ，使得 x∈BxB.

若A是度量空间X的子集，a∈X，如果a有一球形邻域包含于A，则称a是A在X中的内点。A在X中的全部内点所组成的集 合叫做A在X中的内部，记作IntA。若A=IntA，则称A为X中的开 集。如果A的余集X\A是X中的开集，则称A为X中的闭集。

对于 度量空间X的全体开集组成的集族T，有以下性质：

(O1）X,∈T； (O2)若O1,O2∈T，则O1∩O2∈T； (O3)任意多个开集（即T的成员）的并集仍∈T.

3、拓扑空间

现在，我们进一步抛开距离的概念，只保留开集的性质（O1）~（O3），直接用开集来表示邻域。为此，我们引入拓 扑空间的概念：设X为集合，T是X的一个子集族，其成员满足 公理（O1）~（O3），则称T为X的一个拓扑，T的成员称为X的 开集。集合X连同其拓扑T称为拓扑空间，记作(X, T)，在明确所 赋予的T时，(X, T)可以简记为X。如果X的子集族B满足(B1)和 (B2)，则称集族B为X的拓扑基。在拓扑空间中，我们既然抛开了距离的概念，那么我们同样地，可以抛开球形邻域的概念，而直接以开集为邻域。不难 发现，拓扑空间X的任一开集U是其上每一点x∈U的邻域，也是 其任一子集AU的邻域。

如果拓扑空间X与Y之间存在连续的一一对应映射，则称X 与Y拓扑等价。

二、几种常见算法

在上一节中，我们描述了解释数据空间的几种数学方法。 由于概率统计是分析的基础知识，在此我不赘述，直接对数据 分析挖掘的一些常用算法进行数学上的解释与分析。

1、邻近算法kNN 邻近算法kNN是一种将特征进行量化后，依据距离关系（一般用欧氏距离）判定相似度，从而进行分类的算法。此算 法不产生模型。

2、朴素贝叶斯算法 朴素贝叶斯算法是一种依据贝叶斯定理及其条件概率进行分析的算法，用于依据已有数据对事物的可能性进行推测。

3、回归方法 回归方法是一种将数据拟合逼近一定类型等式的描述方法，旨在通过方程式尽可能准确、接近地描述数据间的规律。

三、拓扑学对数据挖掘的介入 在上一节中，我们说到的邻近算法和回归方法都是建立在欧氏空间的基础上，并基于欧氏空间的性质进行分析的。我们 不妨尝试着让拓扑空间的一些性质和概念接入到分析过程中。

在回归分析中，可对全体数据点形状大小相同邻域（例 如：同半径球形邻域）的并集分析拓扑性质随各邻域大小变化 而发生的改变（如空腔、孔洞、连通性等），从而掌握数据密 度的分布情况。这样有利于在分析中分清高低密度区域，识别 离群点。在数据挖掘分析中，离群点是出现的相对较少，高低 密度带的情况相对要多很多。

在挖掘与拟合的过程中，可以选取高密度带，其选取区域 的密度筛选值应适度：如果太高，分析会欠缺数据；太低，则 会有太多的噪声数据干扰。在大数据分析思维里，可抛开因变 量自变量的概念，只分析彼此关联关系，所以拟合的对象可以 是曲线或曲面方程，而不仅限于函数。例如当数据分布为球面 带时，相关系数为零，线性无法拟合，就可以通过上述方法进 行挖掘。

拓扑学解决的是不变性的问题，可以介入到数据挖掘分析 的过程中来发现本质问题；概率统计研究的是随机事物，可用 于分析预测不确定的事情。概率拓扑的运用，可以更为准确地 在变换的条件下把握本质，并不断依据新出现的实际情况修正 和完善判断标准。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

在数据分析中,模型是非常有用和有效的工具和数据分析应用的场景,在建立模型的过程中,数据挖掘很多时候能够起到非常显著的作用。伴随着计算机科学的发展,模型也越来越向智能化和自动化发展。对数据分析而言,了解数据挖掘背后的思想,可以有助于建立更具稳定性的模型和更高效的模型。

数据挖掘前世今生

数据模型很多时候就是一个类似Y=f(X)的函数,这个函数贯穿了模型从构思到建立,从调试再到最后落地应用的全部过程。

Y=f(X)建立之路

对模型而言,其中的规则和参数,最初是通过经验判断人为给出的。伴随着统计方法和技术的发展,在模型的建立过程中,也引入了统计分析的过程。更进一步地,随着计算机科学的发展,建模的过程,也被交给了机器来完成,因此数据挖掘也被用到了模型的建立中。

数据挖掘,是从大量数据中,挖掘出有价值信息的过程。在有的地方,数据挖掘也被成为是数据探矿,正如数据挖掘的英文data mining一样,从数据中挖掘有价值的知识,正如在矿山中采集钻石一般,不断去芜存精,不断发掘数据新的价值。数据挖掘是通过对数据不断的学习,从中发掘规律和信息的过程,因此也被称为统计学习或者是机器学习。对数据挖掘而言,其应用范围广泛,除了建模,在人工智能领域也有使用。

回到模型中,从经验判断到数据挖掘,建立模型的计算特征发生了极大的改变。

计算特征的发展

首先数据的维度开始从少变多,最初只有几个维度,到现在有上百个维度。数据的体量,即记录的条数也从少量到海量,从过去了百条规模到了现在亿条规模。伴随着数据获取的难度下降,数据的维度和记录数量会越来越多。在这种情况下,数据的处理过程也越来越复杂,从过去简单的几次加减计算得到结果,到了现在必须要经历上亿次的复杂运算。同时,伴随着计算性能的提升,对于从数据中提取信息而言,也从渐渐深入,过去只能发现一眼看出的浅表信息,如今可以不断去挖掘隐含的知识。

数据挖掘的基本思想

数据挖掘的别名机器学习和统计学习一样,数据挖掘的实质是通过计算机的计算能力在一堆数据中发掘出规律并加以利用的过程。因此对数据挖掘而言,就需要经历规则学习、规则验证和规则使用的过程。

数据挖掘的基本思想

规则学习又称为模型训练,在这个步骤中,有一个数据集将作为训练集。按照相关的算法和输出规则的要求,从训练集中筛选出需要使用的变量,并根据这些变量生成相关的规则。有的时候,是将过去已经发生的数据作为训练集,在对比已知的结果和输入的变量的过程中,以尽可能降低输出误差的原则,拟合出相应的模型。

当产生了规则后,就需要验证规则的效果和准确度,这个时候就需要引入验证集。验证集和训练集具有相同的格式,既包含了已知的结果也包含了输入的变量。与训练集不同的是,对验证集的应用是直接将规则应用于验证集中,去产生出相应的输出结果,并用输出的结果去对比实际情况,以来确定模型是否有效。如果有效的话,就可以在实际的场景中应用。如果效果不理想,则回头去调整模型

测试集是将模型在实际的场景中使用,是直接应用模型的步骤。在测试集中,只包含输入变量却没有像其他两个数据一样存在的已知结果。正因为结果未知,就需要用测试集通过模型去产生的输出的结果。这个输出结果,将在为结果产生以后进行验证,只要有效,模型就会一直使用下去。

数据挖掘的流程

数据挖掘与数据分析的流程相似,都是从数据中发现知识的过程,只不过由于数据体量和维度的原因,数据挖掘在计算上最大。

数据挖掘的流程

对数据挖掘而言,首先是进行数据获取,数据获取的来源很多,有系统中自行记录的数据,对这种数据只要导出即可,同时也有外来数据,比如网页爬取得数据,或者是购买的数据,这些数据需要按照分析系统的需求进行导入。

在完成了数据获取步骤后,就需要进行数据处理,数据处理即是处理数据中的缺失值,错误值以及异常值,按照相关的规则进行修正或者删除,同时在数据处理中也需要根据变脸之间的关系,产生出一系列的衍生变量。总而言之,数据处理的结果是可以进行分析的数据,所有数据在进行分析以前都需要完成数据处理的步骤。

如果数据在分布上存在较极端的情况,就需要经历数据平衡的不走。例如对于要输出的原始变量而言,存在及其少量的一种类别以及及其大量的另一种类别,就像有大量的0和少量的1一样,在这种情况下,就需要对数据进行平衡,通过复制1或者削减0的形式生成平衡数据集。

当完成数据平衡后,将会把数据处理的结果分出一部分作为验证集使用,如果数据平衡性好,那么剩下的部分作为训练集,如果平衡性不好,那么平衡数据集就会作为训练集使用。当有了训练集后,就按照相关的算法对训练集进行学习,从而产生出相关的规则和参数。当有了规则以后,就将产生的规则用在验证集中,通过对比已知结果和输出结果之间的误差情况,来判断是否通过。如果通过则在后面再测试集中使用,如果未通过,就通过数据平衡、参数调整,以及变量选择等手段重新调整规则,并再次进行验证,直到通过验证。

对于验证集验证的步骤而言,在无监督学习中没有这个步骤,当缠上规则后,就直接用于测试集。

数据挖掘周而复始

数据挖掘是一个周而复始的过程,在生成规则的过程中,不断地对模型进行调整,从而提升精度。同时也将多批次的历史数据引入到数据挖掘的过程中,进行多次的验证,从而在时间上保证模型的稳定性。

数据挖掘的模式

在数据挖掘中,对于规则的获取,存在三种方式,分别是监督学习,无监督学习和半监督学习,这三种方式都是通过从数据的统计学习来制定规则。

在一个数据挖掘问题中,变量可以分为自变量和因变量,规则是以自变量为输入,以因变量为输出的结果,由此对数据挖掘问题,就把自变量定义为X,把因变量定义为Y。

获取规则的方式,来源于对数据的统计学习

对于监督学习而言,训练集中包括了自变量X和因变量Y,通过对比X和Y的关系,得除相应的规则,同时再在验证集中,通过输入验证集的自变量X,借助规则得到因变量Y的预测值,再将Y的预测值与实际值进行对比,看是否可以将模型验证通过,如果通过了,就把只包含自变量X的测试集用于规则中,最终输出因变量Y的预测值。在监督学习中,因变量的实际值和预测值的对比,就起到监督的作用,在规则制定中需要尽量引导规则输出的结果向实际值靠拢。

对无监督学习而言,训练集中,就没有包含因变量Y,需要根据模型的目标,通过对自变量X的分析和对比来得出相关的规则,并能够产生合理的输出结果,即Y,在制定规则的过程中,需要有一些人为的原则对规则进行调整。当完成调整后,就可以把只包含自变量X的测试集放到规则中,去产生规则的结果Y。

对比监督学习和无监督学习,最大的区别就是,在制定规则的过程中,是否有Y用于引导规则的生成。监督学习中,有Y存在,生成规则过程中和生成规则时,也会对比Y的预测值和实际值。而在无监督学习中,就没有Y作为对比的标准,相应的规则都直接由X产生。

半监督学习,与监督学习类似,也需要因变量Y参与到规则生成和规则验证中去。但是在训练集只用只有一少部分的对象既有自变量X和因变量Y,还有大部分对象只包含了自变量X。因此在对半监督学习的规则生成中,需要有一些特殊的手段来处理只包含的自变量X的对象后,再生成相关的规则。在后面的验证和测试的流程都与监督学习一致。因而对于半监督学习,最重要的问题就是如何借助少量的因变量Y而产生出可以适用的规则。

数据挖掘的应用场景

数据挖掘应用的场景很多,通常有四种情况被广泛的使用。

数据挖掘的应用场景

首先是聚类分析,就是将不同的对象,根据其变量特征的分布自然地分成不同的类别。此外是分类模型,这是针对已知的类别,构建出分类的模型,通过分类的模型来探求其他未分类对象的类别。第三是预测估计，集根据对象的连续数据因变量，通过围绕已知的维度，构建出预测因变量的模型，从而对因变量未知的对象进行估计。最后是关联分析，即通过探求数据对象之间的相关关系，来发现对象之间的联系，在关联分析中，更多是以对象之间的关系作为输出。

聚类分析

聚类分析是一种无监督学习的数据挖掘方法，其目的是基于对象之间的特征，自然地将变量划分为不同的类别。在聚类分析中，基本的思想就是根据对象不同特征变量，计算变量之间的距离，距离理得越近，就越有可能被划为一类，离得越远，就越有可能被划分到不同的类别中去。

聚类分析基本思想

例如在坐标系中，B距离A的距离远远小于，B到C的距离，因此，AB更容易划分为一类，而BC更容易为不同的类别。通常来说，一个对象距离同类的距离是最近的，都小于其他类别中对象的距离。

在聚类分析中，有两种常用的方法，一种是K-means聚类，一种是层次聚类。

K-means聚类VS层次聚类

在K-means聚类中，是预先规定出要产生多少个类别的数量，再根据类别数量自动聚成相应的类。对K-means而言，首先是随机产生于类别数相同的初始点，然后判断每个点与初始点的距离，每个点选择最近的一个初始点，作为其类别。当类别产生后，在计算各个类别的中心点，然后计算每个点到中心点的距离，并根据距离再次选择类别。当新类别产生后，再次根据中心点重复选择类别的过程，直到中心点的变化不再明显。最终根据中心点产生的类别，就是聚类的结果。正如图中所示，一组对象中需要生成三个类别，各个类别之间都自然聚焦在一起。

在层次聚类中，不需要规定出类别的数量，最终聚类的数量可以根据人为要求进行划分。对层次聚类，首先每个对象都是单独的类别，通过比较两两之间距离，首先把距离最小的两个对象聚成一类。接着把距离次小的聚成一类，然后就是不断重复按距离最小的原则，不断聚成一类的过程，直到所有对象都被聚成一类。在层次聚类中，可以以一张树状图来表示聚类的过程，如果要讲对象分类的话，就可以从根节点触发，按照树状图的分叉情况，划分出不同的类别来。在图中，把一组对象分成了三个类别，可见这三个类别就是构成了树状图最开始的三个分支。

聚类分析的过程，和分桔子其实很很像，人们通常都把特征相同的桔子分成一类，聚类分析中，也是同样的方式。

聚类分析案例

正如在这个例子中，有A-H的8个桔子，对每个桔子而言有提体积和变量两个变量。通过将各个桔子投射到重量和体积构成的坐标系中，可以发现BEF距离很近，ACG距离很近，而DH距离很近。如果聚成3类的话，可以是ACG、BEF，DH各为一类。如果是聚成两类，BEFDH与ACG相对更近，因此可以是ACG为一类，而BEFDH为另外一类

分类模型

分类模型通常是通过监督学习产生的，根据已知的对象的类别和其具体特征特征的数据，通过训练从而产生由特征判断类别的规则。在分类模型中，规则的输出就是具体的类别。

分类模型基本思想

分类模型的规则产生的过程中，类别判别的原则与训练集中各特征变量的分布息息相关，通常就是在对比各个类别下特征变量的互相关系，而划分出相关的规则，这个过程遵循的原则就是尽可能让输出的类别与实际的类别保持一致。

当前，不管在学术研究领域还是业务应用领域都有大量的分类模型，通常来说，决策树和朴素贝叶斯是非常普遍的分类模型算法，这两个算法在一些文献中也被列为十大数据挖掘算法。

决策树VS朴素贝叶斯

决策树的规则生成算法是将对象按照相关的特诊变量进行依次拆分，在拆分中不断迭代条件，最终划分为最终的类别。决策树的划分过程，就像是一个树一样，从根节点触发，依次开支散叶，最终形成分类准则。

在图中，首先就按照年龄进行分支，直接将所有对象分成了三堆，其中年龄在31-40岁的被划定为购买类，另外的两堆对象，还需要继续进行分支。对年龄小于30岁，按照是否为学生进行分支，其中是学生的被判定为购买类，不是学生的被判定为不买类。同样对年龄大于40岁，按照信用等级进行分类，信用等级高的被判定为不买类，信息等级低的被判定为购买类。就这样，任何一个对象，都可以根据条件达成的情况，最终到达购买或者不买的节点，完成分类过程。

朴素贝叶斯的规则生成算法相对决策树而言，就没有这么直观了，其依赖于概率中的贝叶斯公式。由公式P(AB)=P(A/B)×P(B)=P(B/A)×P(A)得来的后验概率公式P(A/B)=P(B/A)×P(A)/P(B)，其中A类别，B表示条件即特征变量。P(A/B)表示在特定条件下该类别的概率，P(B/A)表示在特定类别下该条件的分布概率，P(A)表示已知的特定分类的概率，而P(B)表示已知的特定条件的概率。

在算法中，P(B/A)、P(A)、P(B)都通过训练集能够得到，再加上在条件一定时，P(B)是恒定的，同时每个条件互相独立，根据概率公式，P(类别/总条件)是P(类别)和所有P(条件/类别)的乘积。因此在朴素贝叶斯中，最大的P(类别/总条件)对应的类别，就是被划分的类别�...

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

作为新媒体人，我们在做数据分析挖掘时，常常会用到指数，今天我们来聊聊指数。

什么是指数

指数是一个关键词在过去的时间段内用户的关注度，它能形象地反映该关键词的变化趋势。

通过指数我们可以研究关键词搜索趋势、洞察网民需求变化、监测媒体舆情趋势、定位数字消费者特征。

目前我们常用的指数有百度指数、头条指数、微指数、360趋势、微信指数。

百度指数

以百度海量网民行为数据为基础的数据分享平台，包含趋势研究、需求图谱、咨询关注、人群画像。

头条指数

基于今日头条大数据分析，反映出用户在智能分发下的阅读及互动行为。包括热度指数、关联分析、相关内容、人群画像。

微指数

是新浪微博的数据分析工具，反映微博舆情或账号的发展走势，分为热词指数和影响力指数两大模块。

360趋势

是基于360搜索的大数据分享平台，包括变化趋势、需求分布、用户画像。

微信指数

微信推出的基于微信大数据的移动端指数，其热度情况来源于对微信搜索、公众号文章及朋友圈公开转发文章形成的综合分析。

小技巧：

1、在使用时可以进行热词对比。

2、各指数平台帮助一般在页面最下方。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

数据分析可以分为广义的数据分析和狭义的数据分析，广义的数据分析就包括狭义的数据分析和数据挖掘，我们常说的数据分析就是指狭义的数据分析，下面来看看数据分析与数据挖掘的区别对比。

先来了解下数据分析与数据挖掘的基本定义

数据分析（狭义）：

（1）定义：简单来说，数据分析就是对数据进行分析。专业的说法，数据分析是指根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用；

（2）作用：它主要实现三大作用：现状分析、原因分析、预测分析（定量）。数据分析的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到相应的结论；

（3）方法：主要采用对比分析、分组分析、交叉分析、回归分析等常用分析方法；

（4）结果：数据分析一般都是得到一个指标统计量结果，如总和、平均值等，这些指标数据都需要与业务结合进行解读，才能发挥出数据的价值与作用。

数据挖掘：

（1）定义：数据挖掘是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程；

（2）作用：数据挖掘主要侧重解决四类问题：分类、聚类、关联和预测（定量、定性），数据挖掘的重点在寻找未知的模式与规律；如我们常说的数据挖掘案例：啤酒与尿布、安全套与巧克力等，这就是事先未知的，但又是非常有价值的信息；

（3）方法：主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘；

（4）结果：输出模型或规则，并且可相应得到模型得分或标签，模型得分如流失概率值、总和得分、相似度、预测值等，标签如高中低价值用户、流失与非流失、信用优良中差等。

综合起来，数据分析（狭义）与数据挖掘的本质都是一样的，都是从数据里面发现关于业务的知识（有价值的信息），从而帮助业务运营、改进产品以及帮助企业做更好的决策。所以数据分析（狭义）与数据挖掘构成广义的数据分析。

数据挖掘与数据分析的主要区别是什么？

1、计算机编程能力的要求

作为数据分析很多情况下需要用到成型的分析工具，比如EXCEL、SPSS，或者SAS、R。一个完全不懂编程，不会敲代码的人完全可以是一名能好的数据分析师，因为一般情况下OFFICE包含的几个工具已经可以满足大多数数据分析的要求了。很多的数据分析人员做的工作都是从原始数据到各种拆分汇总，再经过分析，最后形成完整的分析报告。当然原始数据可以是别人提供，也可以自己提取(作为一名合格的数据分析师，懂点SQL知识是很有好处的)。

而数据挖掘则需要有编程基础。为什么这样说呢？举两个理由：第一个，目前的数据挖掘方面及相关的研究生方面绝大多数是隶属于计算机系；第二点，在招聘岗位上，国内比较大的公司挂的岗位名称大多数为“数据挖掘工程师”。从这两点就可以明确看出数据挖掘跟计算机跟编程有很大的联系。

2、在对行业的理解的能力

要想成为一名优秀的数据分析师，对于所从事的行业有比较深的了解和理解是必须要具备的，并且能够将数据与自身的业务紧密结合起来。简单举个例子来说，给你一份业务经营报表，你就能在脑海中勾画出目前经营状况图，能够看出哪里出现了问题。但是，从事数据挖掘不一定要求对行业有这么高的要求。

3、专业知识面的要求

数据分析师出对行业要了解外，还要懂得一些统计学、营销、经济、心理学、社会学等方面的知识，当然能了解数据挖掘的一些知识会更好。数据挖掘工程师则要求要比较熟悉数据库技术、熟悉数据挖掘的各种算法，能够根据业务需求建立数据模型并将模型应用于实际，甚至需要对已有的模型和算法进行优化或者开发新的算法模型。想要成为优秀的数据挖掘工程师，良好的数学、统计学、数据库、编程能力是必不可少的。

总之一句话来概括的话，数据分析师更关注于业务层面，数据挖掘工程师更关注于技术层面。

数据分析师与数据挖掘工程师的相似点：

1、都跟数据打交道。

他们玩的都是数据，如果没有数据或者搜集不到数据，他们都要丢饭碗。

2、知识技能有很多交叉点。

他们都需要懂统计学，懂数据分析一些常用的方法，对数据的敏感度比较好。

3、在职业上他们没有很明显的界限。

不管是数据分析师还是数据挖掘师在国内的需求量都是越来越大，发展前景不可估量，在一个领域钻研精透，没有理由不成功！

大数据挖掘与大数据分析一样吗？随着大数据越来越火，与大数据相关的职位也开始粉墨登场，引人关注。作为大数据行业最为重要的两种职位，大数据挖掘和大数据分析更是受到了与众不同的待遇。现在有许多的朋友都会问：大数据挖掘和大数据分析有什么区别，不是都是搞数据的吗？在这里，魔据小编认为：尽管大数据挖掘和大数据分析同属于大户数据行业，但是依然有着很大的区别。

一．什么是数据

不谈数据，就无以谈大数据挖掘和大数据分析，因此，我们先说一下什么是数据。

其实很简单，数据就是观测值。例如测量数据。大家可能有个误区，认为客户填写的表单就是数据，对编程序而言，是的，但是不是常规的数据。当然填写的内容，一旦落入到观测空间，自然就成了数据。

二．什么是大数据挖掘和大数据分析

大数据挖掘指对大数据数据分析手段后的信息，进行价值化的分析。

大数据分析指对大数据的一种操作手段，或者算法。目标是针对先验的约束，对数据进行整理、筛选、加工，由此得到信息。

三．大数据挖掘和大数据分析有什么区别

大数据挖掘是对信息的价值化的获取。价值化自然不会考虑数据本身，而是考虑数据是否有价值。由此，一批数据，你尝试对它做不同的价值评估，这是大数据挖掘。

大数据分析是以输入的数据为基础，通过先验的约束，对数据进行处理，但是不以结论何如为调整。例如你需要图像识别，这个属于大数据分析。你要分析人脸，数据就是通过先验的 方法，就是出来个猫脸。你的数据分析也没有问题，你需要默默承受结果，并且尊重事实。因此大数据分析的重点在于数据的有效性、真实性和先验约束的正确性。

此时对比大数据分析，最大的特点就是你需要调整你不同的先验约束，再次对数据进行分析。而先验的约束已经不是针对数据来源自身的特点，例如信噪比处理算法。你期望得到的一个有价值的内容，做先验的约束，以观测，数据根据这个约束，是否有正确的反馈。

不管大数据挖掘和大数据分析有什么不同，这两个职位的前景都是十分好的，现在入行，正是最好的时机。

大数据时代的来临，使得企业在业务运作的过程中产生的数据量呈现出了爆发式的增长。各行各业都面临着海量数据的分析和处理问题。如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。我们在迎接挑战的同时，也可以了解、学习国内外大数据应用中的经典案例，希望能对我们有所启示。

01 塔吉特（Target）百货孕妇营销分析

最早关于大数据的故事发生在美国第二大超市塔吉特（Target）百货。孕妇对于零售商来说一直是个含金量很高的顾客群体，但是她们一般都会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特也有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围。如果等到孩子出生再行动就晚了，因此零售商必须赶在孕妇怀孕前期就行动起来。

塔吉特的顾客数据分析部门发现，怀孕的妇女一般会在怀孕第三个月的时候购买很多无香乳液、无添加的化妆品、护肤品等等。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。

02 谷歌的意图

如果说有一家科技公司准确定义了“大数据”概念的话，那一定是谷歌。根据搜索研究公司comScore的数据，仅2012年3月一个月的时间，谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模，使它拥有比其他大多数企业更多的应用大数据的途径。

谷歌搜索引擎本身的设计，就旨在让它能够无缝链接成千上万的服务器。如果出现更多的处理或存储需要，抑或某台服务器崩溃，谷歌的工程师们只要再添加更多的服务器就能轻松搞定。将所有这些数据集合在一起所带来的结果是：企业不仅从最好的技术中获益，同样还可以从最好的信息中获益。下面选择谷歌公司的其中三个亮点。

谷歌意图：谷歌不仅存储了搜索结果中出现的网络连接，还会储存用户搜索关键词的行为，它能够精准地记录下人们进行搜索行为的时间、内容和方式，坐拥人们在谷歌网站进行搜索及经过其网络时所产生的大量机器数据。这些数据能够让谷歌优化广告排序，并将搜索流量转化为盈利模式。谷歌不仅能追踪人们的搜索行为，而且还能够预测出搜索者下一步将要做什么。用户所输入的每一个搜索请求，都会让谷歌知道他在寻找什么，所有人类行为都会在互联网上留下痕迹路径，谷歌占领了一个绝佳的点位来捕捉和分析该路径。换言之，谷歌能在你意识到自己要找什么之前预测出你的意图。这种抓取、存储并对海量人机数据进行分析，然后据此进行预测的能力，就是数据驱动的产品。

03 沃尔玛的“啤酒加尿布”

总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛对顾客的购物行为进行了“购物篮分析”。沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘，可以很轻松地知道顾客经常一起购买的商品有哪些。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”

这是数据挖掘技术对历史数据进行分析的结果，反映了数据内在的规律。沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析。经过大量实际的调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%-40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。

04 中国移动的数据化运营

通过大数据分析，中国移动能够对企业运营的全业务进行针对性的监控、预警、跟踪。大数据系统可以在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

客户流失预警：一个客户使用最新款的诺基亚手机，每月准时缴费、平均一年致电客服3次，使用WEP和彩信业务。如果按照传统的数据分析，可能这是一位客户满意度非常高、流失概率非常低的客户。事实上，当搜集了包括微博、社交网络等新型来源的客户数据之后，这位客户的真实情况可能是这样的：客户在国外购买的这款手机，手机中的部分功能在国内无法使用，在某个固定地点手机经常断线，彩信无法使用——他的使用体验极差，正在面临流失风险。这就是中国移动一个大数据分析的应用场景。通过全面获取业务信息，可能颠覆常规分析思路下做出的结论，打破传统数据源的边界，注重社交媒体等新型数据来源，通过各种渠道获取尽可能多的客户反馈信息，并从这些数据中挖掘更多的价值。

数据增值应用：对运营商来说，数据分析在政府服务市场上前景巨大。运营商也可以在交通、应对突发灾害、维稳等工作中使大数据技术发挥更大的作用。运营商处在一个数据交换中心的地位，在掌握用户行为方面具有先天的优势。作为信息技术的又一次变革，大数据的出现正在给技术进步和社会发展带来全新的方向，而谁掌握了这一方向，谁就可能成功。对于运营商来说，在数据处理分析上，需要转型的不仅是技巧和法律问题，更需要转变思维方式，以商业化角度思考大数据营销。

05 阿里信用贷款和淘宝数据魔方

中国最大的电子商务公司阿里巴巴已经在利用大数据技术提供服务：阿里信用贷款与淘宝数据魔方。

每天有数以万计的交易在淘宝上进行。与此同时相应的交易时间、商品价格、购买数量都会被记录。更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配。各大中小城市的百货大楼做不到这一点，大大小小的超市做不到这一点，而互联网时代的电商可以做到。

淘宝数据魔方就是淘宝平台上的大数据应用方案。通过这一服务，商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此进行生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格买到心仪的宝贝。

而阿里信用贷款则是阿里巴巴通过其掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。截至目前，阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。