数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息！

数据其实是非常的客观的，但是数据本身并不会告诉你多少有价值的东西，其中蕴涵的内容才是我们应该去发掘的。

我们通过数据分析将现实中的问题简化成数字问题，从而得到解决问题的建议。

需要注意的是，数据分析只是工具，不是目的。我们进行数据分析是为了让分析结果能反映现阶段的情况，并对下一步计划产生指导意义，所以千万不要为了分析而分析。

1、明确目标

一切分析的基础都是需要明确目标，在此之前，不要开始任何分析，因为那很可能是无用功。

一般来说，目的主要有以下三种。

（1）分析现状，反映目前的状况，并且帮助我们制定下一步计划。

（2）分析问题，针对出现的问题，分析其中的原因并找到解决办法。

（3）分析变化，当产品的情况出现变化时反映变化的情况，并找出原因，有针对性的进行下一步行动。

2、明确分析范围

因为数据的量和维度都非常的多，我们在明确目标后，就必须选定我们分析的范围，明确的分析范围能避免分析报告内容太多，而且不深入。

需要注意的是，确定范围后我们就需要进行数据采集了，但是具体要采集什么样的数据，不是我们平常的“自然语言”描述就可以实现的，需要抽象成“数学语言”表达出来。

3、数据采集

确定了范围后，我们就可以采集数据了，需要采集哪些数据也是有讲究的，它也是需要我们用“数学语言”来表达的。一般来说，需要采集的数据分为以下3类，这是最基础的：名称、数量和转化率。

（1）名称：某些数据的结果不是以数字形式展现的，比如某某功能

（2）数量：这个比较简单，比如：某某功能的点击次数

（3）转化率：有些数据单独的看，是不能说明问题的，例如：光看一个功能的点击次数，我们不能得出这个功能是否吸引人，是否需要改进，我们还需要看完成这个功能的人数。然后将两个数据相除后得到这个功能的转化率。

以上都是一个分析中最基础的指标，在实际数据分析中，还会有更多更细致的维度。比如：用户点击这个功能后，停留时间，退出的数量，在中途放弃的数量等等。

4、数据清洗

采集数据后，这些数据并不是直接就可以用的。因为可能会有一部分“脏数据”会污染我们的数据，进而影响我们的分析结果。这就需要进行数据清洗，将不符合要的“脏数据”清洗掉。

比如，某个用户一直在点击某个功能，每秒固定点击1次，然后退出，那么这个“用户”很可能是个机器，而不是人。这些数据是不能用的。

一般“脏数据”有以下几个类型。

（1）频率异常：正常用户的使用一个功能的频率一般会保持在一定范围内，不会太频繁。

（2）总数异常：比如某一个用户一个人就拉高了整个数据的水平，让某个功能点击率陡然上升。

（3）行为异常：这个就比较复杂了，对应不同的业务有不同的理解。比如：比如一个购物APP，一个用户的多次的下单，然后退货，这类数据就是应该排除的。

5、数据整理

收集完成后，我们需要对收集到的原始数据进行整理。因为收集出来的数据必然是比较乱的，不能直接拿来分析。整理分析分为汇总和拆分两种。

（1）汇总

有些数据比较杂乱无章，我们要按照某个维度汇总才能进行效果的观察。比如：我们需要观察某个功能上线后用户行为的变化，就可以按照上线前和上线后的用户行为数据进行分类汇总，然后通过两份数据的对比来得到结论。

（2）拆分

有些原始数据并不足够细致，需要我们依据数据的关系进行数据拆分。例如，一个功能的入口可能有多个，我们就需要确认每个入口的量，甚至完成整个功能的量，这些数据会让我们更加了解我们的用户行为。

6、数据对比

整理完数据后，我们要进行数据对比。这也是数据分析中非常重要的步骤，因为数据分析的结果绝大多数都来自于对数据的对比。比如：一个功能改进前和改进后的转化率，肯定要经过对比才能知道我们的改进是不是有效的，有效多少。通常对比方法有以下几种。

（1）时间对比。通过时间节点前后进行对比数据。例如：某个营销活动，促进注册、活跃等，我们就可以得出这个营销活动能够带动日活的结论。

（2）空间对比。在我们生活的世界中，因为人们所存在的空间不同，会有不同的行为。比如：通过数据分析，我们会发现，东北的羽绒服效率比海南高，于是我们就可以判断羽绒服在东北更加畅销。

（3）人群属性对比。在用户画像中也提高过。不同的年龄层对于不同事物的看法不同，会导致某个功能在不同人群中的差异性。

依据分析目的灵活地选定对比范围，能让我们从数据中挖掘到我们想要的东西。

7、原因探寻

数据，通过对比呈现出来，能够反映一定的现象，但是造成这些现象的原因还需要我们来寻找。

原因的分析方法有很多，可以正推导、反推导。我们可以结果，那假设原因，再去求证。或者通过某个功能的整个流程进行梳理和复盘，结合数据来分析每一步发生这种情况的原因。

或者通过数据来复盘某一个活动，来分析活动输出的这种数据或好的或坏的原因是什么。

8、展现结果

完成上面的7步，我们的数据分析报告也就差不多了，当然我们必须形成一个比较完整的文档来反馈给相关人员。

我们可以把报告分成以下3部分。

（1）数据分析背景：向大家交代分析的背景与原因。

（2）主要结论：给出主要结论，方便不需要了解细节的人阅读，或领导。

（3）具体分析过程：向大家说明分析的步骤并展示具体数据。

这样就完成了一篇还比较靠谱的数据分析报告。

在我过去的博客文章中，我们已经介绍了数据分析的一些基本原理和陷阱。在这篇博文中，我们专注于数据科学中会遇到的四种数据分析：描述性分析，诊断性分析，预测性分析和规范性分析。

当我与刚刚进入数据科学世界的年轻分析师相遇时，我经常会问他们 “你认为数据科学家最重要的技能是什么？”。他们的答案是非常多样。

我对他们的回馈是：数据科学家最重要的技能应该是将数据转化为非定量的、清晰的、有意义的见解的能力。瑞典统计学家汉斯·罗斯林（Hans Rosling）为此而闻名。这是一个经常被忽视的技能。

围绕今天主题，非常有必要为大家详细介绍一些帮助个人如何使用分析相关的知识提炼出有价值的见解的工具。其中的一款工具就是四维范式分析。

简单地，可以将数据分析分类成四个主要类型。下面我将会详细介绍里面的细节。

一、描述性分析：发生了什么？

这是所有形式中最常见的。在业务中，它为分析人员提供了业务中关键指标和措施的视图。

例如公司每月的收支表。类似地，分析师可以获得大量客户的数据。了解客户的人口统计信息（例如我们的客户的30％是个体经营者）将被归类为“描述性分析”，利用有效的可视化工具可以增强描述性分析的信息。

二、诊断性分析：为什么发生？

这是数据分析的复杂性的下一步是诊断性分析。在对描述性数据进行评估时，诊断分析工具将使分析师能够深入到细分的数据，从而隔离出问题的根本原因。

精心设计的商业信息（BI）仪表板包含读取时间序列数据（即多个连续时间点的数据），并具有过滤器和钻取能力，可进行此类分析。

三、预测性分析：将发生什么？

预测分析是关于预测的。无论是将来发生事件的可能性，预测可量化的数量还是估计可能发生事件的时间点。这些都是通过预测模型完成的。

预测模型通常利用各种可变数据进行预测。组件数据的变异性将与可能预测的关系（例如，一个较老的人，他们对心脏病发作的敏感程度越高 - 我们会说年龄与心脏病发作风险呈线性相关），然后将这些数据一起编译成分数或预测。

在一个很大的不确定性的世界中，能够预测能够做出更好的决定。预测模型是许多领域中最重要的一些模型。

这是预测中需要避开的坑：http://insights.principa.co.za/the-top-predictive-analytics-pitfalls-to-avoid

四、规范性分析：需要做什么？

在价值和复杂性方面的下一步是规范性模式。规范模型利用对发生的事情的理解，为什么发生了这种情况以及各种“可能发生的”分析，以帮助用户确定采取的最佳行动方案。规定性分析通常不仅仅是一个单独的行动，而且实际上是其他一些行动。

一个很好的例子是一个交通应用程序，帮助您选择最佳路线回家，并考虑每个路线的距离，每个路上可以行驶的速度，以及当前的交通限制。

另一个例子可能是制作考试时间表，使得各个班级的学生没有冲突的时间表。

总结

虽然不同形式的分析可能为企业提供不同数量的价值，但它们都具有自己的位置。

俗话说得好“泰山不拒细壤，故能成其高；江海不择细流，故能就其深。”清晰的思路在我们的实际工作中是非常重要的，能够让我们认真的去思考自己的岗位工作。可以让我们更高效的去完成工作任务。

一个优秀的数据分析师应该以价值为导向，放眼全局、立足业务、与人为善，用数据来驱动增长。所以清晰的思路对数据分析师尤为重要。下面是小编整理的数据分析师的常见分析思路。

九种基本思路

简单趋势

通过实时访问趋势了解产品使用情况。如总流水，总用户，总成功率，总转化率。

多维分解

根据分析需要，从多维度对指标进行分解。例如新老用户、支付方式、游戏维度、产品版本维度、推广渠道、来源、地区、设备品牌等等维度。

追踪思路

运营的问题，是追踪出来的，不是一次就看出来的。所有的数据都是靠积累和沉淀才能发现问题，单一的数字没有任何意义，只能称为 “数值”。

对比思路

单独看一个数据没有太多感觉，必须和另一个数据对比才更有感觉。通过对比，才能发现自己差距到底在哪，找到优化的正确方向。

用户分群

在精细化分析中，常常需要对有某个特定行为的用户群组进行分析和比对；数据分析需要将多维度和多指标作为分群条件，有针对性地优化产品，提升用户体验。

细查路径

数据分析可以观察用户的行为轨迹，探索用户与产品的交互过程；进而从中发现问题、激发灵感亦或验证假设。

留存分析

留存分析是探索用户行为与回访之间的关联。一般我们讲的留存率，是指“新增用户”在一段时间内“回访”的比例。通过分析不同用户群组的留存差异、使用过不同功能用户的留存差异来找到产品的增长点。

A/B 测试

A/B测试就是同时进行多个方案并行测试，但是每个方案仅有一个变量不同；然后以某种规则（例如用户体验、数据指标等）优胜略汰选择最优的方案。数据分析需要在这个过程中选择合理的分组样本、监测数据指标、事后数据分析和不同方案评估。

上海数据分析：shcpda

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

一、什么是数据分析？

二、数据分析的分类

数据分析的三大作用：现状分析、原因分析、预测分析。

三、数据分析的六部曲

1.明确目的和思路

首先先明确分析目的，然后梳理分析思路，并搭建分析框架，把分析目的分解成若干个不同的分析要点，即如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标（各类分析指标需合理搭配使用）。同时，确保分析框架的体系化和逻辑性。

2.数据收集

一般数据来源于四种方式：数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告、市场调查。

3.数据处理

数据处理主要包括数据清洗、数据转化、数据抽取、数据合并、数据计算等处理方法，将各种原始数据加工成为数据分析所要求的样式。

4.数据分析

常用的数据分析工具，掌握Excel的数据透视表，就能解决大多数的问题。需要的话，可以再有针对性的学习SPSS、R等工具。

数据挖掘是一种高级的数据分析方法，侧重解决四类数据分析问题：分类、聚类、关联和预测，重点在寻找模式与规律。

5.数据展现

一般情况下，数据是通过表格和图形的方式来呈现的。

常用的数据图表包括饼图、柱形图、条形图、折线图、气泡图、散点图、雷达图等。进一步加工整理变成我们需要的图形，如金字塔图、矩阵图、漏斗图、帕雷托图等。

一般能用图说明问题的就不用表格，能用表说明问题的就不用文字。

图表制作的五个步骤：

1、确定要表达主题

2、确定哪种图表最适合

3、选择数据制作图表

4、检查是否真实反映数据

5、检查是否表达观点

常用图表类型和作用：

6.报告撰写

一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。

结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。

好的数据分析报告需要有明确的结论、建议或解决方案。

四、数据分析的四大误区

1.分析目的不明确，为了分析而分析，这是菜鸟常常容易出现的问题；

2.缺乏行业、公司业务认知，分析结果偏离实际。数据必须和业务结合才有意义。摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解，再根据业务当前的需要，制定发展计划，归类出需要整理的数据。同时，熟悉业务才能看到数据背后隐藏的信息；

3.为了方法而方法，为了工具而工具，只要能解决问题的方法和工具就是好的方法和工具；

4.数据本身是客观的，但被解读出来的数据是主观的。同样的数据由不同的人分析很可能得出完全相反的结论，所以一定不能提前带着观点去分析。

内容来源：小蚊子数据分析

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

随着互联网的发展，大数据也在逐渐彰显出自己的优势特点，那么关于大数据的处理流程，你是否了解?

第一，数据采集

定义：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

特点和挑战：并发系数高。

使用的产品：MySQL，Oracle，HBase，Redis和 MongoDB等，并且这些产品的特点各不相同。

第二，统计分析

定义：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。

特点和挑战：导入数据量大，查询涉及的数据量大，查询请求多。

使用的产品：InfoBright，Hadoop(Pig和Hive)，YunTable， SAP Hana和Oracle Exadata，除Hadoop以做离线分析为主之外，其他产品可做实时分析。

第三，挖掘数据

定义：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求。

特点和挑战：算法复杂，并且计算涉及的数据量和计算量都大。

使用的产品：R，Hadoop Mahout

在我们日常工作中经常需要用到数据分析，但一些如回归，聚类、概率分析方法比较复杂，学习成本高，也不一定能用得上。实际分析的时候，有四种很简单的分析方法非常实用，这四种就是：对比、细分、转化和分类。只要掌握了这四种思想，基本上已经可以应付日常的分析工作了。

一、对比

对比又可以分为纵向对比和横向对比，指标间的横向对比帮助我们认识数据的合理性和分析是否有问题，而指标纵向的对比，如在时间维度上的对比，既可以做趋势分析也可以判断是否达到预期值。

如店铺的订单量，可以把最近30天的订单显示在坐标轴上，这样就可以很明显的看到最近的订单数量是否达到了预期，当然我们也可以以周或者月（或者季度，年等等）为单位。做对比一定要考虑实际的场景，因为今天和昨天的性质可能未必一样，例如今天可能是周六，或者恰好是节假日等等。所以我们在做纵向对比的时候，两个对比的数据是否合理，是否是同一性质。比如看最近30天的趋势数据，我们还可以考虑环比和同比，今天和上个月的今天，今年的双11和去年的双11进行对比。横向的对比，比如一个地区这周的成交额上涨了10%，那当地的子公司是不是应该高兴呢？但是例如其它子公司的店铺这周的成交额都上涨了20%！那这个子公司可能已经被其它子司拉大了距离。也就是说，我们对一个数据结果判断好不好，这是需要一个参照物的。

二、拆解

通过拆解方法我们对分析对象进行逐步拆分，最终定位到问题点。拆解的角度可以有很多，越细分越能准确描述问题。比如零售中的人货场分析，就是将零售中的问题，逐步定位某一个或几个细节上的问题，最终找出成本最低的解决方式。举个栗子，通过报表知道了这个月成交额下降了这个问题后，现在我们用拆解来找出问题的所在：

成交额 = 客单价 X 客户数。对比客单价和客户数的趋势，就可以判断出影响成交额变化的主要因素是什么，如果是客户数问题，我们则对客户数进行细分，如果是客单价问题，则对客单价进行细分。

客户数 = 新客户 + 老客户。老客户 = 二次成交客户 + 多次成交客户

一段时间内的新客户反映的是电商的引流效果，而老客户反馈的是电商的产品质量，服务质量和客户维护营销等。

客单价 = 成交价 X 人均成交数。 均成交数这是电商中一个非常值得关注的指标，它能最直接地反馈出电商的服务质量和客户维护营销等方面的效果，如果该值过小表明电商的客户流失率很大，应该重点关注。

成交价 = 件单价 X 连带率。 成交价反馈的通常是导购的能力，促销活动的效果等，成交价的上升或者下跌，反映的问题可能很多，对其进行分解后就很明确了。件单价的变化通常是有促销的力度，商品结构和消费结构（例如季节因素等）变化引起的。带率这个反馈的是店铺内导购的能力，或者促销手段（例如买一送一等）的效果，也是店铺管理人员重点要关注的指标。

拆解的方法其实就是不断用更小的量化指标去细分一个大的指标，从而达到定位问题的目的。

三、转化

拆解的方法可以从纵向定位问题，但是单单细分是不够的。这些指标是从哪里来的，每一个步骤的转化率怎么样，哪一个步骤的转化不好，可以改善？这些通过转化都可以分析出来。

例如我们要分析本周的活跃客户数（有成交的客户数），那么我们就要分析这些活跃的客户数是从哪里来的，梳理一下可以简单分为以下4个步骤：进入平台的客户数 ==》浏览过商品的客户数 ==》下单的客户数 ==》支付成功的客户数。这里4个步骤就会有3个转化率，哪些步骤转化率比较高，哪些步骤转化率比较低，历史趋势怎么样，是否合理，是否有改进的空间等等。通过应用转化的思想，能够有效的指导和优化实际的运营工作。转化的思想就是一种漏斗，每一步其实都会有转化率，通过改善我们的转化率来提高我们的运营业绩。

四、分类

分类就是把一些对象，按照某种规则，划分为若干个类别，然后分析各个类别的特征，并以此来指导我们的行动。分类思想的应用很多，例如对客户的分类，我们可以用RFM分析模型，也可以用简单的利用某个指标的值（例如渠道标识，这样我们就可以分析到各个渠道客户的质量等）。基于这些客户的分类，我们就可以进行精准的客户营销了。在电商或者零售业上，我们经常做的分类还有商品分类，经典的有按照品类分类，或者ABC分类，这些对于我们做商品运营都是非常重要的。

总结：

以上四种其实都是很简单的数据分析思想，而且在日常的运营中也非常实用，但需要注意的是一定要了解自己的业务，只有深入了解业务，才能很好的运用数据分析，并不是自己知道几种统计学的算法，就能做好业务数据分析了。

大家好，我是零一。这一篇给大家介绍聚类/分类。

我们先讲一讲聚类。

上一篇的探索关系，很多朋友反映说非常有趣，这一篇，聚类分析也是相当有趣的。

聚类分析简称聚类，俗话说物以类聚，人以群分，聚类就是划分子类的过程。算法上面多用k-means和k-medoids，当然，大家可以跳过这些算法的过程，用程序来完成即可。

说简单一点，通过聚类，可以将我们的数据进行分类，并且描述每个类的特征。

聚类应用非常广泛，包括在电商领域的应用也是多不胜数。比如

（1）对客户数据进行聚类分析得到多个客户群组，并且得到各个群组的特征，这可以帮助我们发现客户的共性和差异性；

（2）竞争对手数据进行聚类分析得到多个对手群组和各自的特征，这一样可以让我们找到对手们的共性和差异性；

（3）对行业数据进行聚类分析得到多个行业群组和各自的特征，这个可以来发现不同行业之间的共性和差异性

（4）对销售数据进行聚类分析（比如以其中的地域聚类），可以告诉我们那些地域之间的共性和差异性

不难发现，我举的4个例子都是在发现共性和差异性。对的！我们了解了这些信息，可以指导我们的运营决策，对不同群组制定不同的策略。

下图是对地域数据做的聚类分析，得到的一个谱系图，我们从上往下看，首先是分成两大类

广东，天津，浙江，北京和上海这五个省市为一类，其余的多省为一类。

再往下看又分成了四大类，西藏作为单独一个分类，广东也作为单独的一个分类，天津和浙江为一类，北京和上海为一类。

从上往下，越分越细。红色的边框把多个省市划分成5个分类。一般没必要分得太细，这个数据目测是分成了20个细分的分类，除非是确实是需要细分到很细的时候，才需要看最低层的分类。

当我们知道天津和浙江聚为一类的时候，他们必然存在共性，才会聚在一起。当我们知道天津-浙江类和北京-上海类，作为两个不同的群组聚集，它们之间肯定是存在某种差异。

=======================================

下面，我们用上篇共享的数据，跟大家一起探讨聚类，和寻找他们的共性和差异性。

先处理下缺失值，选择清除数据里面的离群值

中间要选择需要处理的字段，选择好后，进入以下界面，也一样下一步即可

选择删除包含离群点的行（因为这里数据量不少，可以删了）

一般情况下，我们都避免直接修改源数据，需要新建一个变量或者空间或者工作表来存放处理过后的数据。这里选择复制到新的工作表就可以了。

数据处理好后，就可以进行聚类分析了。在数据挖掘套件里面直接选择聚类分析即可。

选择需要的数据进入模型里面

点击参数，然后就会看到下图这个对话框，可以手动输入数字来更改聚类算法，可以看到微软提供的聚类算法有4种，分别是可变的EM，固定的EM，可变的K-means跟固定K-means（EM是最大期望算法，K-means是K平均值算法，可变的是可以伸缩调整的，固定的就是固定不可调整的）

这里我输入4，选择固定的K-means算法

下图是选择测试集的比例，默认是30%。【测试集】是数据挖掘特有的名词，数据挖掘里头将数据集一分为二，大头的部分用来训练建立模型，称之为【训练集】，小的部分就用来测试模型，称之为【测试集】。这是数据挖掘和统计学最大的差异之一。统计学是通过统计方法来验证模型是否可靠，而数据挖掘技术是利用测试集来验证模型的可靠性。一般用于预测模型，聚类分析其实可以不用测试集，可以把数值改为0。但我就不改了。就用随机抽取出来的70%的数据来建立模型。

完成后，就会进入模型浏览界面，我们看到共有划分了7个，这有点儿多，我们可以在选择输入列的时候指定分类的数量，刚才我们是选了自动检测来着。

线粗代表两个分类之间的关系的强度，越粗关系越强。分类的颜色代表密度，颜色越是深蓝代表这个分类的数据个数越多。那非常明显，系统把大部分的数据归入分类1里头了。

下面是分类的剖面图，每个分类对应的指标范围在这里一览无遗。

简单解读一下上面这个分类情况

【分类1】包含2768个数据，最鲜明的是30天成交量偏大，价格偏低的这一个群组，是中低端爆款类

【分类2】只有246个数据，这个群组比较失败，发货分丶服务分丶好评率都偏低，销量偏低，价格偏高一点，典型就是卖货不卖服务类

【分类3】只有187个，集中在广东深圳，DSR很好，评价很好，价格很高，但退款率也很高，应该是高端市场的卖家，标准的价格高，服务好，但不知为何退款率也高，可能是买家收到了，觉得不划算吧，这一类是高端类，但产品或品牌的价值感可能没有做好。

【分类4】只有65个，也是DSR超好，价格中档，产品的价值完美体现，退款率不错，同样集中在广东深圳，是中档性价比类。

【分类5】只有61个，这个群组很惨，集中在浙江金华（估计是义乌），价格超低，DSR超烂，好评率很惨，是低端烂货类

【分类6】和【分类7】规模很小，就不解读了。以上解读仅供参考。一般分个4-5个群组就差不多了，如果数据量确实大，可以考虑分细一些。

每一个分类都可以单独提取出这个分类下的数据的。

下图是分类的一些特征，每个特征的概率情况

下图是分类间的差异性，通过对比可以发现，分类1多是天猫，非分类1的多是C店。

下面我着重看下分类3和分类4的区别，因为分类3败在退款率上面，而分类四就解决了这个问题。

我大致上看出来了，分类3的服务（DSR,退款速度）没有分类4的做得好，但分类4的价格又要比分类3低，并且包邮。那作为消费者，肯定选个价格中肯，服务又好的店家。而且分类4的销量还不低，有少部分是心店，我对心店的印象就是心店的服务一般要比大店的要好。

以上就是对这儿聚类分析结果的简单解读，具体的，亲们实操一下吧。

=============================================

下面说说分类。

聚类和分类，从语义来讲，看似很像，但有一点重要的差异。分类是指定了我们要分析的列（维度），然后通过决策树算法（默认方法是用贝叶斯分类器），来告诉我们，影响这个目标的维度有哪些。下面我们看下过程。

选择要分析的列，我这里选择的是30天销量，看下会影响销量的是什么因子。

下图是结果，告诉我们，收藏很重要！收藏跟销量有很强的关系。同样第一张图是决策树，一样有分组的作用。

决策树一般用来分析影响客户下单或者流失的因子有哪些。有兴趣的朋友可以自己倒腾一下。试下会有哪些意外的收获。

===========================================

下面，告诉大家测试集的使用方法。

选择准确性图表

选择模型，一般用于预测模型，刚才的决策树是属于预测模型，而聚类就不属于，因此聚类的模型不可用于准确性图表。

选择要预测的区间，我选择的是30天成交大于122的情况

我们之前保留的测试集，就在这里出现了，默认会选择测试集来验证准确性。

在上图点了完成后，就会得到这样的一个结果（部分截图），会有一个指标， “分类 30天成交”模型提升144.11%，这个数值越大代表模型的准确性越高。但我一般看下面的ROC图。

蓝色代表没有模型的结果，红色代表理想的结果。而绿色代表我们测试得到的结果。

绿色的线越接近红色的就代表越好，一般情况下，只要不要太接近蓝色的线（或者低于蓝色的线），就好了。如果接近蓝色的线或者在蓝色线下面，那就不如不用模型了，此时这个模型就没什么存在的意义，如果硬要用那就只是为了做模型玩玩而已了。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。