（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

1.首先选中要处理的数据，即您需要绘制图标的数据，如下图所示，一般来说应由三组以上数据组成。

2.在“插入”菜单下找到找到柱形图按钮，此处任选一种图标形式，其他的图标形式原理类似。

3.下图是插入的原始柱形图，会发现其实只有两个坐标，接下来需要对第三组数据进行坐标处理，如下如选中第三组数据柱状图。

4.单击"右键"调出右键菜单，如下图选择“设置数据系列格式”。

5.在弹出的窗口中选择“系列选项”菜单，如下图设置，选择“次坐标轴”。

6.这时候已经出现三个坐标轴了，但是图标显示的方式不是很好看，我们需要对第三坐标数据的柱形图做些修改。

7.选中第三坐标数据柱形图，单击右键调出右键菜单，选择“更改系列图标类型”。

8.在弹出的窗口中选择折线图，当然也可以根据需要和喜好选择其他的图标类型。

（本文内容由百度知道网友茗童贡献）

这三个步骤是，确定目标、列出公式、确认元素。

我们以某互联网金融公司A为例。

假设A公司正准备上市，当前核心目标为利润。

针对利润，我们列出公式。上面公式中，利润拆解成了 付费用户数、投资金额、投资时长、对应利率 四个元素。其中对应利率取决于资产端，跟用户侧关系不大。

因此如果我想提升核心KPI—利润，就要尽可能的提升付费用户、投资金额和投资时长。

恭喜你，已经找到了发力点。

注意，核心目标会随着业务发展不断变化，比如用户运营，App初期看重新增，中期看重转化，后期看重留存。如果仍然难以确定，看看你的核心KPI。

确认需要提升的元素后，问题来了。

- 如何提升每个元素的量级？

- 怎样制定策略，分配资源？

- 如何验证策略是否有效？

你需要掌握3个模型。

A. 漏斗模型

适用范围：需要多个步骤达成的元素。

比如投资用户数。

达到投资用户的状态，需要多个步骤。每个步骤都存在转化率，放在一起就成了层层缩减的漏斗。

漏斗模型作用：提升量级。

通过提升转化率，提升单个元素量级。

有了漏斗模型，就可以分析每层漏斗衰减的原因。有些原因显而易见，有些需要做A/B测试。你可以逐层提升转化；也可以改变用户路径，减少漏斗层级。

比如，支持H5内投资的理财产品漏斗，要比下载App投资的漏斗少2个层级，转化率要高很多。

盈利还是亏损，有时只取决于一个漏斗。

注意，优化漏斗是个长期过程，需要每天关注。

B. 多维坐标

适用范围：具有多重属性的单个元素。

比如，本文公式中的投资用户，就有投资金额和投资时长两个属性。可以将其作为横纵坐标轴，把所有投资用户分成四组。

电商品类运营有个经典坐标，按流水和利润划分品类。

用户运营也有个经典坐标，叫RFM坐标。

R=最近一次行为(Recency)

F=行为频率(Frequency)

M=行为量级(Monetary)

这里的行为指和你的核心目标密切相关的行为。比如在本文的金融产品中，就是投资。

R代表可触达，毕竟6个月没来投资的用户，说不定都卸载了，甚至已经忘了你这个App；

F代表忠实度，高频次的使用App，虽然ta可能每次只投几块钱的活期；

M代表价值，比如累计投了50万，这可是个高净值用户。

多维坐标作用：精细化运营。

通过多维坐标将用户分组，对不同组用户采取对应的运营措施。

首先，一定有一个象限是好的。

比如下面的坐标图，高金额、高时长的A象限，就是好的。

A象限的用户，是核心用户（俗称爸爸），公司的现金牛，你的重点运营对象。

A象限往往占整体流水的80%。你的活动效果好不好，运营策略给不给力，往往要看这些爸爸们的反应。你甚至可以建立一个微信群，把爸爸们都拉进去，多多交流，做好服务，时不时发个红包啥的。

接下来，你要把B、D两个象限的用户往A象限拉。

D象限，是高潜力用户。可以定向发一些大额度长期标的优惠券，比如投20w，6个月，送3000元红包。提升他们的投资时长。

B象限，是高忠诚用户。虽然可能没什么钱，但使用频次很高。可以定向发送梯度优惠券，比如投资1000送10元，投5000送投资80元，投10000送200元，逐步拉升他们的投资额度。

A是现金牛，D是A的孵化器，B用户价值低但忠诚度高，产品开拓新场景后也有可能进化成现金牛。

重要性，A>D>B。

资源有限时，请参照此排序。

时刻牢记，投入产出比！忘了的都去复习《破解这「七宗罪」，你才能晋升高级运营》

多维坐标的适用范围非常广。

比如你可以按事物价值的精力投入和价值衰减速度建立二维坐标，优化你的精力分布。

C. 分组表格

适用范围：随时间变化的用户属性元素。

比如投资用户数。

分组表格的原理，是将某一周（或一天，一个月）进入App的新用户，作为单独的一组用户。

上面的表格，就是投资用户分组表格。

横向看，是某组用户的投资用户数，随时间变化的留存情况。

比如第一行，第一周共新增200名投资用户，到第二周留存100名，到第三周留存80名……

纵向看，是某一周投资用户的构成情况。比如第三列，显示第三周的730个投资用户，是由第一周进入的80个+第二周进入的150个+第三周进入的220个构成的。

通过投资用户分组表格，我们还能计算出留存率分组表格，只需将每一行，每周的留存用户除以对应的新增用户数，即可获得下表：

这个表格也可以做适度变形，比如将所有数据向左对齐：

作用：监测&验证。

分组表格可以帮你分析清楚一个复杂元素的变化。

比如你发现投资用户数在提升，你其实很难判定原因，因为投资用户是由很多组用户构成的。因此提升的可能原因有很多，比如：

- 新增用户量级增大

- 渠道质量提高

- 运营策略起作用

这时候，把留存率分组表格掏出来瞅瞅。

先看新增用户数这一列，发现新增用户量级确实在提升；

纵向看每一列，比较不同组用户留存。发现次周留存确实上升了，说明运营策略可能起到了一定作用。但后续的留存情况都在下降，可能是渠道质量在下降。

横向看，留存始终没能稳定在一个值，说明产品的粘性还不够。

是不是很溜？

确定核心目标，通过公式拆解成元素，找到发力点。

用漏斗模型提升元素量级；用多维坐标进行精细化运营，更好的分配精力和资源；用分组表格检验效果，监测数据。

以上，就是极简数据分析法。

|来源： 数据挖掘与大数据分析 原文作者：孙金龙

袁帅，互联网数据分析运营实践者，智能一体化会展活动运营服务平台会点网事业合伙人/运营负责人。CEAC国家信息化计算机教育认证：网络营销师，SEM搜索引擎营销师，SEO工程师。中国电子商务协会认证：中国电子商务职业经理人，畅销书《互联网销售宝典》联合出品人之一。中国国际贸易促进委员会:今日会展会员联盟VIP个人会员，全经联园区委秘书处成员，中国低碳智慧园区联盟理事，周五咖啡媒体人俱乐部发起合伙人。互联网数据官（iCDO）原创作者，互联网营销官CMO原创作者，执牛耳媒体特约撰稿人。

近年来，大数据引发了大量关于组织价值的讨论和争论。然而，在研究大数据的各种用途之前，了解其基本特征将是有益的。简而言之，由于其庞大的数量，大数据与常规数据集不同。大数据是折衷的，复杂的，非常庞大的。此外，它的特点是以不稳定的速度生成的大量变量和信息规格。最后，大数据的一个重要特征（产生对仔细数据处理和分析的需求）是真实的。大数据的可信度有时值得商榷，这在很大程度上影响了大数据的使用案例。

由于不同行业正在考虑大数据分析对其组织的直接好处，普遍的共识表明，大数据分析产生的最有利可图的方面是“业务洞察力”。业务领导者已经认识到，大数据本身无法为组织提供洞察力 - 需要对其进行结构化和高度分析。这给昂贵的技术资源带来了很大的压力，让专家们陷入了疯狂的境地。因此，为了对大数据的使用案例得出更明确的结论，让我们看看以下3种可以有效利用大数据的重要方法。

对消费者的整体研究

大数据具有独特的优势，可以提供有关特定产品或服务的消费者的细粒度洞察。它可以带来消费者的某些细微差别，有助于指导公司的业务战略。从消费者与您的网站或应用程序交互的方式到最有可能购买您的产品或服务的方式，大数据分析能够为您的核心消费者行为描绘出足够清晰的图景。很多公司提供商提供有益的大数据分析工具来剖析产品或服务的消费者行为。

安全问题

数字世界仍在适应当今对数据安全的迫切需求。大数据的一个重要用途是构建防欺诈以及加强基于Web的业务的数字安全性。如今，许多企业已启用在线支付网关，这需要采取多个步骤来确保最高安全性。大数据有助于加强这一进程。此外，通过与机器学习等技术的合作，很多该公司等组织能够轻松信任其数字安全系统，因为大数据为这些流程提供了强有力的支持。

大数据和物联网

作为一项重要的新兴技术，物联网（IoT）与大数据密切相关。传感器和探测器在机器上产生的见解为复杂的数据库提供了重要的补充。反过来，这有助于物联网机制提供与机器操作有关的有益建议。大数据和物联网的合作可以为改善供应链，生产，运输等物流流程带来无限可能。

大数据 - 革新企业运作方式

大数据基本上已经革新化并改造了多个行业。它对金融，营销，业务发展，物流和客户关系等部门的运作产生了持久影响。公共和私营部门已经接收了大数据分析的力量。很快，所有企业都将从大数据处理和分析的优势中获益！

分析小程序后台数据,及时调整小程序的运营方向,是每个小程序运营者都需要做的一件事情。

今天,速报君向大家介绍3个小程序后台数据分析的渠道。

懒人目录:

百度统计「小程序数据助手」小程序微信小程序后台1. 百度统计

在2018年7月31日,百度统计平台上线了微信小程序统计数据,微信小程序开发者只需3步即可接入小程序统计。

在该平台上,用户可以查看完整的统计数据,包括:用户分析、使用分析、场景分析、留存分析、转化分析、分享传播六大模块的分析功能,实时分析各场景带来的流量情况、监控每个关键节点的流失和转化等一系列问题

据了解,在百度统计平台上,有一个强大的功能:能够将App、百度小程序、微信小程序多端数据统一查看。

这个功能的出现,大大方便了开发者。

2.「小程序数据助手」小程序

为了让小程序开发者、运营者能够在手机端方便地查看小程序的数据,微信于2017年5月12日上线了「小程序数据助手」。

目前已有如下功能模块:数据概况、访问分析、实时统计、用户画像等,最近又新增了“总添加人数”和“新添加人数”的数据统计。

小程序开发者、运营者在手机端查看小程序的运营数据,随时随地掌握小程序的市场反应情况。

3. 微信小程序后台

自小程序上线以来,在微信小程序后台就已经支持小程序的数据统计分析了,官网地址为:https://mp.weixin.qq/

在功能上,类似于「小程序数据助手」小程序,但微信小程序后台的功能更加完善,同时也支持数据的下载,运营者可以分别下载各个小程序相关数据,合拼到Excel中做每天的数据对比。

通过数据分析,及时调整小程序的运营方向。

为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?

01 遵循数据分析标准流程

数据分析遵循一定的流程，不仅可以保证数据分析每一个阶段的工作内容有章可循，而且还可以让分析最终的结果更加准确，更加有说服力。一般情况下，数据分析分为以下几个步骤：

1)业务理解，确定目标、明确分析需求;

2)数据理解，收集原始数据、描述数据、探索数据、检验数据质量;

3)数据准备，选择数据、清洗数据、构造数据、整合数据、格式化数据;

4)建立模型，选择建模技术、参数调优、生成测试计划、构建模型;

5)评估模型，对模型进行较为全面的评价，评价结果、重审过程;

6)成果部署，分析结果应用。

02 明确数据分析目标

在数据分析前期，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。

03 业务与数据结合确定分析主题

以解决业务问题为目标，以数据现状为基础，确定分析主题。前期要做好充分的准备，以业务问题为导向，以业务梳理为重点，进行多轮讨论，分析主题避免过大，针对业务痛点，实现知现状、明原因、可预测、有价值。

04 多种分析方法结合

分析过程中尽量运用多种分析方法，以提高分析的准确性和可靠性。例如，运用定性定量相结合的分析方法对于数据进行分析;融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法;高级分析和可视化分析相结合等。

05 选择合适的分析工具

工欲善其事，必先利其器，数据分析过程中要选择合适的分析工具做分析。SPSS、Rapidminer、R、Python等这几种工具都是业界比较认可的数据分析产品。

它们各有其优势，SPSS 较早进入国内市场，发展已经相对成熟，有大量参考书可供参考，操作上容易上手，简单易学。Rapidminer 易用性和用户体验做得很好，并且内置了很多案例用户可直接替换数据源去使用。R 是开源免费的，具有良好的扩展性和丰富的资源，涵盖了多种行业中数据分析的几乎所有方法，分析数据更灵活。Python，有各种各样功能强大的库，做数据处理很方便。

06 分析结论尽量图表化

经过严谨推导得出的结论，首先要精简明确，3-5条即可。其次要与业务问题结合，给出解决方案或建议方案。第三尽量图表化，要增强其可读性。

数据分析过程中，除了以上六条原则，还要避免以下3种情况：

1)时间安排不合理

在开始分析工作之前，一定要做一个明确的进度计划，时间分配的原则是：数据收集、整理及建模占70%，数据可视化展现及分析报告占25%，其他占5%。

2)数据源选择不合理

一般企业中的数据来源有很多，SAP、TMS、CRM及各部门业务系统，每个渠道的数据各有特点。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理，不仅影响结论的可靠性，而且有返工的风险。

3)沟通不充分

无论是分析人员内部的沟通还是与外部相关人员的沟通，都是至关重要的。与外部人员沟通效不顺畅，可能造成前期需求不清，中间业务逻辑混乱，最终导致数据分析结果差强人意。与内部人员沟通效率低，可能造成分析进度滞后，分析工作开展不畅等诸多问题，直接影响分析效果。

对于数据分析师，分析经验的积累与专业知识的提升同样重要，因为有些问题不是只用专业知识就能解决的，所以在平时的工作中要有意识的去学习业务知识、掌握先进的分析工具，做一个有心人! |内容来源：大数据

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者，新社汇联合创始人。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

对于这一问题，答案是多种多样的，此文分别从实践者，观察者和预言者三种角度来分析，看完会对您有所启发。

观点1，实践者的角度来看：

大数据- 表示数据的几个维度 - 可用数据的多样性，速度，体积和可信度。此外，大数据相关技术使我们能够处理和存储4V的一个或所有特性。

数据分析- 通常意味着探索性数据分析，可视化和报告。我们可以使用大数据或典型数据来了解和探索数据，并更好地了解上下文。或回答几个商业问题。

数据科学或更早的业务分析- 让我们建立统计学，数学和机器学习模型，以获得更好的业务成果。我们可以使用大数据来做到这一点。

观点2，实践者的角度来看：

大数据只不过是非结构化数据的收集。这些数据不是特定的格式，因为它的数据集大小通常是巨大的 - 测量数十TB，有时跨越PB的门槛。大数据术语之前是使用数据库管理系统（DBMS）进行管理的非常大的数据库（VLDB）。

大数据分析是检查大量和多样化数据集（即大数据）的过程，以发现隐藏模式，未知相关性，市场趋势，客户偏好和其他有用信息，可帮助组织做出更明智的业务决策。由专业分析系统和软件驱动，大数据分析可以指出各种业务收益，包括新的收入机会，更有效的营销，更好的客户服务，提高运营效率以及竞争对手的竞争优势。

虽然这些定义可能听起来很简单，但它们是相当复杂的领域。大数据和分析涉及很多步骤和技术。其中一些是数据采集，出生的数字数据，出生的模拟数据，非关系数据库，内存数据库系统，混合数据存储和处理系统 - Apache Hadoop和数据挖掘。

此外，使用弹性搜索，变得更加容易理解大数据。它用于网页搜索，日志分析和大数据分析。还有许多其他工具，但Elasticsearch更受欢迎，因为它易于安装，扩展到数百个节点，没有额外的软件，并且由于其内置的REST API而易于使用。

Google的AlphaGo计算机在Go游戏中击败了世界冠军Lee Se-dol，Data已经成为新的货币，全球政府已经开始大力投资智慧城市。围绕大数据的炒作终于结束了，在2017年的今年，我们可以预期数据在数量和种类上都会大幅增长。

观点3，预言者角度分析：

HADOOP将成为WIDESPREAD

今年，我们将看到Hadoop采用的激增以及组织的其他相关解决方案。随着Hadoop的采用，任何规模的组织都可以使用高级分析来处理大量和多种数据。采用更高级的数据库，如MemSQL，Exasol等，已经成为组织成功的关键。

IOT，云和大数据的收敛

随着几个互联网连接的IoT设备的出现，大量的结构化和非结构化数据的涌入。这些数据中的大部分部署在云服务中。该数据将驻留在包括Hadoop集群到NoSQL数据库的几个关系和非关系系统中。云迁移十大注意事项

混合现实

混合现实将改善数据可视化AR和VR在过去几年中赢得了客户的极大的关注。随着神奇宝贝的推出，增强现实在几个星期内就已经获得了大约1亿用户。虽然AR或VR可能对大公司来说可能不是很有用，但混合现实的概念可能非常好。混合现实将虚拟世界与现实世界结合起来，像微软全能组织这样的设备已经在吸引人。混合现实将为组织提供更好的执行任务以及更好地了解数据的巨大机会。chatbots上升的前五大平台

深度学习

深度学习是基于神经网络的高级机器学习形式。深度学习有助于从大量非结构化数据中识别特定的兴趣项目。从大量的结构化和非结构化数据中学习是非常有用的。因此，企业和组织应该更多地关注深度学习算法来应对数据的大量涌入。数据虚拟

化今年数据虚拟化将呈现强劲势头。数据虚拟化能够从大量数据中解锁隐藏的概念和结论。它还允许企业和组织随时检索和操纵数据。

结论

如前所述，今年将是一个令人兴奋的一年，大数据和分析系统将成为组织的首要任务。这些系统预计运作良好，履行对企业价值的承诺。

想了解更多关于大数据分析的精辟观点，加大数据学习交流8群640193172，或者去看BAT大数据专家私人圈TBanna521。

一「吃鸡太难了」

前几天，同学找我吃鸡。不出所料，很快就成盒了。这个游戏对于我来说，就是一个「到底死在哪」的游戏。

所以啊，吃鸡是不可能吃鸡的了，这辈子都吃不到鸡，枪又打不准，连队友都打不到，只有靠良好的心态，才能维持下去。

更重要的是，天天吃鸡，荒废学术，让我不胜惶恐。我就开始想，能不能研究一下，如何科学吃鸡？

所以，我就拿出了我的老本行，用Mathematica来研究一下，有什么可以科学吃鸡的方法。吃一次鸡可能是运气，吃两次、三次，可能就是科学了。

幸运的是，Kaggle上已经有了PUBG的数据集，一共有72万次的击杀数据，解压之后，大约有20多G的数据。

里面的信息还是非常丰富的，包括击杀/被杀玩家的位置、原因（武器、车辆）、时间、排名等信息，用工具分析分析，说不定还有可能吃到鸡呢。

前面说了，数据集非常大，单个的CSV文件就已经有几个G的大小了，所以直接用Mathematica的Import函数肯定是作死了，系统直接崩掉。所以这里我用底层的文件流来一行行的输入数据，读取之后立即处理，释放内存，这样才可以读取数据。

下面的代码提供了ImportFirst函数，可以读取CSV文件的前N行，输入是一个文件流对象：

ImportFirst[stream_,type_,n_]:=ImportString[StringRiffle[Table[ReadLine[stream],{n}],"\n"],type]

二 拿到数据，就可以做一些分析了。我一共找到了吃鸡中的三个「秘密」，在这里与大家分享一下。

1、 「死角」的作用有多大？

我们都知道，在游戏中要不被人看到，就要利用地形。比如上图中，若要悄悄摸到房子下，可能橙色的路线就比较好，因为相对于窗户来说，其角度非常刁钻，是一个死角。但是，死角的作用有多大呢？口说无凭，我们要科学吃鸡，就得做实验。

数据集中，有两个数据可以拿出来研究：击杀者的位置，以及被击杀者的位置。

使用这些数据，就可以很容易的计算出角度，如果角度在某些方位上，出现概率有峰值的话，就可以印证我的猜想：死角的确有用。角度的计算非常容易， 。我将数据都代入了上面的公式，得到了一个惊人的结果（图中离原点越远，表示这个角度击杀的概率越高）：

一个近似的正方形！旋转了45度角。这太令人惊讶了，不只在于有四个「死亡角度」，还在于其结构居然如此规整！

这张图意味着什么呢？它意味着：东南西北四角的击杀概率很高，而四角之间的几个方向，也就是房间里的死角方向，击杀概率很低。

我们反过来，也可以说，在靠近房屋的时候，建议从这四个死角去接近。从统计结果上来看，这几个角度的安全性，比其他方向要高30%！不要小看这30%，如果一局游戏中要三次接近房屋，这就会提高65%的生存率！

2、 地图上的十个「死亡孤岛」

在吃鸡常见的两个地图中，其实还分别暗藏着十个左右的「死亡孤岛」。在这些区域，玩家的死亡数量要明显高于其他位置。如果是吃鸡新手的话，知道这些信息，就可以选择避开这些「是非之地」。

前面提到，我们已经有了击杀、被击杀的位置数据，所以可以很容易的得到击杀位置的分布情况。

首先，可以看看具体的分布情况，这里我使用了Mathematica中的DensityHistogram函数，分别绘制了两个地图的死亡地点分布情况。

图中颜色越红的地方，表示击杀数越多。那有红色标记的地方都不能去了吗？当然不是，我们毕竟要承受一定的风险。所以，可以设定一个阈值：死亡数量高于这个值，就认为是「高危区域」；低于这个值，则认为是安全区域。

所以，我们就得到了第二版的地图——死亡孤岛：

这样，虽然总的信息量减少了，但我们能获得的信息却增加了。这是因为，虽然图像做了简化，但正是这简化的工作，让核心的信息突出了出来。

这里我们可以注意到很多有意思的事情，首先，在海岛地图中，左下角虽然也散落着不少房屋，但却没有出现集中的「死亡岛」。虽然这可能是因为这里的资源比较少，但同样可以作为新手的庇护池。更重要的是，这两张地图，可以作为「玩家密度图」来使用，想苟着，就可以走「暗区」（图中暗色区域）；想刚枪，则可以去「明区」。

正因为这些死亡集中的区域，互不相连，就像岛屿一样，所以我称之为「死亡孤岛。」

3、「击杀」是随机的吗？

最后，我们来讨论一个更学术一点的问题：击杀事件是随机的吗？

所谓说「击杀」事件随机，意思就是认为相邻的几次击杀之间没有关联。比如说，可能存在一种机制，使得击杀事件更容易集中起来。举个例子，我在某处淘汰了一个玩家，枪声是否会引来其他玩家，从而提高我被淘汰的几率呢？

数据集中还包含了击杀时间的数据，我们可以以此为切入点，去研究这个问题。

我们首先可以看看击杀时间间隔的分布情况。也就是前后两次击杀的间隔时间，其不同长度的时间，出现概率不同。比如说，可能两次击杀时间间隔为1秒的概率为10%，10秒的概率则可能是1%。

我在对数坐标上绘制了时间间隔的分布图：

这里，注意到一个非常有意思的现象：在对数坐标下，分布图呈现了近似直线的结构。那么，这意味着什么呢？这意味着击杀事件可能是随机的！

这是因为，如果你使用一个随机生成的序列，每一个事件的发生时间都是随机数，其得到的间隔，其分布就是指数分布！

我们对所有的间隔数据，进行了独立检验：

这里使用Mathematica中的「IndependenceTest」，对间隔数据进行了检验，其结果如下：

请你关注P-Value这一列，这表示数据前后可能相关的概率。第一列则是各种类型的相关性检验方法，这里不用太过关心。这里的P-Value的值都非常小，意味着在各个假设检验的条件之下，都一致认为，击杀事件都不是随机的！

那么，真的如此吗？我们再看看这张图：

在数值很小的地方，分布其实偏离了指数分布。如果我们提取这一部分的数据，是否会得到不同的结果呢？

检验结果似乎有了很大的变化：

P-Value有了显著的提升（参与检验的序列长度一致），最高达到了26%！这是为什么呢？我们来看看分布，特别是间隔小于20个时间单位的分布情况：

0～1这一段有一个峰值，但在其他位置，仍然保持幂律分布的结构。我们去掉了等于0的数值，结果这里的峰值就没有了。我们再做一下相关性检验：

很明显，P-Value大部分都非常小，只不过Blomqvist beta测试超过了0.05的阈值，说明在线性相关方面，独立性还不够显著。所以，我们可以认为：击杀事件不是随机的，虽然间隔分布符合指数分布，但仍然是有很弱的关联的

三 最后，我吃到鸡了吗？

没有。吃鸡是不可能吃鸡的，数据科学这么好玩，进了里面去，个个都是人才，说话又好听，超喜欢在里面。

为什么数据分析思维重要

如果我们在分析一个问题前，思维缺失就像下面图中所表达的一样，往往不知道问题从哪里下手，在这个时候就轮到平时锻炼的数据分析思维了。

核心数据分析思维

结构化

可以看作金字塔思维，把待分析问题按不同方向去分类，然后不断拆分细化，能全方位的思考问题，一般是先把所有能想到的一些论点先写出来，然后在进行整理归纳成金字塔模型。主要通过前面介绍的思维导图来写我们的分析思维。

案例现在有一个线下销售的产品。我们发现8月的销售额度下降，和去年同比下降了20%。我想先观察时间趋势下的波动，看是突然暴跌还是逐渐下降。再按照不同地区的数据看一下差异，有没有地区性的因素影响。我也准备问几个销售员，看一下现在的市场环境怎么样，听说有几家竞争对手也缩水了，是不是这个原因。客户访谈也要做，但是往常一直找不出原因，这次我也不抱希望，姑且试试吧。要是还找不出原因，那我也很绝望啊。

公式化

在结构化的基础上，这些论点往往会存在一些数量关系，使其能进行＋、－、×、÷的计算，将这些论点进行量化分析，从而验证论点。

业务化

业务化即是深入了解业务情况，结合该项目的具体业务进行分析，并且能让分析结果进行落地执行。用结构化思考＋公式化拆解得出的最终分析论点再很多时候表示的是一种现象，不能体现产生结果的原因。所以需要继续去用业务思维去思考，站在业务人员或分析对象的角度思考问题，深究出现这种现象的原因或者通过数据推动业务。

增加业务思维方法：贴近业务，换位思考，积累经验

数据分析的思维技巧

在数据分析中，三种核心数据分析思维是框架型的指引，实际应用中还是需要很多技巧工具的。7种数据分析技巧，它们分别是象限法，多维法，假设法，指数法，二八法，对比法，漏斗法。

象限法

通过对两种维度的划分，运用坐标的方式表达出想要的价值，由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，广泛应用于战略分析，产品分析，市场分析，客户管理，用户管理，商品管理等。

下图是RFM模型，把客户按最近一次消费(Recency)、消费频率(Frequency)、消费金额 (Monetary)三个维度分成八个象限。

菜品销售增长率和销售利润

多维法

多维法是指对分析对象从多个维度去分析，这里一般是三个维度，每个维度有不同数据分类，这样代表总数据的大正方体就被分割成一个个小方块，落在同一个小方块的数据拥有同样的属性，这样可以通过对比小方块内的数据进行分析。如图，这是一个快餐店的外卖订单多维表：

虽然只有下单时间、菜品名称、平台三个维度。但根据这个立方体，已经能解决很多掌柜急需了解的问题了。

我们可以通过切片实现每个平台每种菜品的销量，每个月每种菜品的销量，某个月某平台菜品销售情况等等操作。

假设法

在一些情况下，如进入新市场的销量、商品提价后销量的变化情况，可能没有明细数据进行分析，那么就需要用到假设法。假设法也就是假设一个变量或者比率成立，然后根据部分数据进行反推，这是一种启发思维的技巧，一般过程是先假设后验证然后判断出分析结果。

例题：你是自营电商分析师，现在想将商品提价，你分析下销售额会有怎样的变化？解答思路：首先可以确定销量会下降，那么下降多少？这里就要假设商品流量情况，提价后转化率的变化情况，然后根据历史数据汇总出销量下降百分百，从而得出销售额的变化情况。

指数法

指数法是把某个数据多个指标按一定的计算转化为同度量的一个值，这个度量值称为指数。例如在一场游戏竞技比赛中要确定该场的MVP，则是需要根据击杀数、死亡数、助攻数、经济、补兵等指标进行综合计算出一个得分，得分高的为MVP。

指数法常用的有线性加权、反比例、log三种。线性加权即是把每个指标乘以一个系数后相加，反比例即是用数学上的反比例函数y=k/x变化后在计算，log即是数学中所说的对数一般以2为底数或者10为底数。指数法使用没有统一标准，一般是根据经验来做，将无法利用的数据加工成可以可利用的。例如，NBA计算最有价值球员的指数参考：

二八法

二八法即是二八法则也可以叫做帕累托法则，比如在个人财富上可以说世界上20%的人掌握80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

对比法

对比法就是用两组或两组以上的数据进行比较，常见的是用于在时间维度上的同比和环比、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用非常频繁，多与前面的技巧结合使用。

漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。不过，单一的漏斗分析是没有用的，不能得出什么结果，要与其它相结合，如与历史数据的对比等。

下图我用BI商业智能工具FineBI连接了CRM系统的数据，对客户的行为数据做了漏斗图形式的展现。

引言

在过去几年中在公司经营中使用数据分析方法已经取得了重要的进展，有多家公司在数据分析的帮助下，提高了业务绩效。

Analytics（分析）不仅可以帮助公司从过去的复盘中吸取教训，也可以对未来有一个前瞻性的判断，并据此对将来可能发生的状况做好准备。

使用分析，公司可以找到三个主要问题的答案：“发生了什么”，“发生了什么”和“会发生什么”。分析不仅限于从过去得出见解，还可以预测未来的成果，并优化业务资源。因此，更先进的分析形式——预测和规范性在支持组织的决策需求方面已经变得更为重要。

在本文中，我解释了三种主要的分析模型。

正文

那么，不同类型的分析模型的本质区别是什么呢？

1、描述性分析

我们从最基本的分析类型开始，即描述性分析。描述性模型的目的是分析历史趋势，找出相关模式，以获得人口行为的见解。描述性分析涉及到找到“发生了什么事”的答案，它是组织日常运作中最常用的分析形式，通常也是最简单的。

描述性模型使用基本的统计学和数学技术来推导突出历史趋势的关键绩效指标。该模型的主要目的不是估计价值，而是获取对潜在行为的洞察。用于描述性分析的常用工具包括MSExcel，SPSS和STATA。

一个典型例子就是银行业的客户细分——通过发掘历史数据来分析客户的支出模式和钱包份额，从而实现有针对性的营销和销售方法。这些模型是描述人口的强大工具，但是对于个体用户的行为预测能力有限。

2、预测分析

预测分析使用统计建模来确定未来结果或情况发生的可能性，目的在找到“可能发生什么事情”的答案。

预测模型建立在描述性模型上，因为它不仅使用历史数据作为决策的主要依据，也使用来自各种来源的结构化和非结构化数据。它使决策者能够做出明智的决定，提供事件未来发生可能性的压缩性记录。包含各种先进的统计模型和复杂的数学概念，如随机森林、GBM、SVM、GLM、博弈论等。

预测模型建立在描述性模型的基础上，以预测未来行为。然而，与仅描述人口的描述性模型不同，预测模型侧重于预测单个客户行为。

用于运行预测模型的工具根据模型复杂性的不同而不同，常用的工具有RapidMiner、Python、SAS、Matlab、DataikuDSS等。有关使用这些工具的在线资源可以在Coursera上找到。

一个典型的例子是银行业高级的竞争分析。它可以帮助客户预测响应给定的营销报价来改善产品的交叉销售和销售的可能性。另一个例子是预测信用卡欺诈的可能性。

3、规范性分析

规范分析是最复杂的分析类型，它使用随机优化和模拟来探索一组可能的选项，并为特定情况推荐最佳的操作。它涉及到找到“应该做什么”的答案。

规范性模型超出了只能解决正在发生的事情的描述性模型，也超出只能说明会发生什么的预测模型，因为规范性模型通过预测明确在未来应该做什么。他们量化未来行动对关键业务指标的影响，并提出最佳行动方案。

规范性模型对大数据和业务规则综合使用复杂算法，以比较多种行为的可能结果，并选择最佳的行动来推动业务目标。先进的规范模型遵循模拟过程，模型会不断自动从当前数据中学习，以提高其智能化。

这些模型通常是很复杂的，因此被一些难以管理的大型公司所使用。如果正确实施，可能会对公司的决策有效性产生重大影响，从而对公司的决策效果产生重大影响。

也就是说，超级计算机，云计算，HadoopHDFS，Spark，数据库处理，MPP架构等技术进步使得使用结构化和非结构化数据的复杂规范模型的部署变得更加容易。然而，用于运行规范性模型的工具大多与预测模型相同，需要高级数据基础架构功能。

一个常见例子是银行各分行销售人员的最佳配置。结合地理位置信息与每个分支机构的业绩和潜力，该模式可以规定所有分支机构的销售人员的最优配置。

航空机票定价系统采用的是更为复杂的规范建模方法，根据旅行要素，需求水平，采购时间等优化机票价格，最大限度地提高利润率，同时不影响销售。

根据一项研究，目前约有10％的组织采用某种形式的规范性分析，同时这一数字将从2014年的3％上升到2020年的35％。

结语

在本文中，讨论了当前使用的三种不同版本的分析方法。这些是全球分析行业的基石。可以公平地说，使用数据制作的所有模型，发展和发现都可以分为这三类。