大数据分析的五个基本方面

1、可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2、数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3、预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4、语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5、数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

如何选择适合的数据分析工具

要明白分析什么数据，大数据要分析的数据类型主要有四大类：

1、交易数据（TRANSACTION DATA）

大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

2、人为数据（HUMAN-GENERATED DATA）

非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

3、移动数据（MOBILE DATA）

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更即报告一个新的地理编码）。

4、机器和传感器数据（MACHINE AND SENSOR DATA）

这包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网（IoT）所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为（如当传感器值表示有问题时进行识别），提供规定的指令（如警示技术人员在真正出问题之前检查设备）。

数据分析工具达到哪些要求和目的？

能应用高级的分析算法和模型提供分析以大数据平台为引擎，比如Hadoop或其他高性能分析系统能够适用于多种数据源的结构化和非结构化数据随着用于分析模型的数据的增加，能够实现扩展分析模型可以，或者已经集成到数据可视化工具能够和其他技术集成

另外，工具必须包含必备的一些功能，包括集成算法和支持数据挖掘技术，包括（但不限于）：

集群和细分：把一个大的实体分割拥有共同特征的小团体。比如分析收集来的客户，确定更细分的目标市场。分类：把数据组织进预定类别。比如根据细分模型决定客户改如何进行分类。恢复：用于恢复从属变量和一个及一个以上独立变量之间的关系，帮助决定从属变量如何根据独立变量的变化而变化。比如使用地理数据、净收入、夏日平均温度和占地面积预测财产的未来走向。联合和项目集挖掘：在大数据集中寻找变量之间的相关关系。比如它可以帮助呼叫中心代表提供基于呼叫者客户细分、关系和投诉类型的更精准的信息。相似性和联系：用于非直接的集群算法。相似性积分算法可用于决定备用集群中实体的相似性。神经网络：用于机器学习的非直接分析。

人们通过数据分析工具了解什么？

数据科学家们，他们想使用更复杂的数据类型实现更复杂的分析，熟知如何设计，如何应用基础模型来评估内在倾向性或偏差。业务分析师，他们更像是随性的用户，想要用数据来实现主动数据发现，或者实现现有信息和部分预测分析的可视化。企业经理，他们想要了解模型和结论。IT开发人员，他们为以上所有类用户提供支持。

如何选择最适合的大数据分析软件？

分析师的专业知识和技能。有些工具的目标受众是新手用户，有的是专业数据分析师，有的则是针对这两种受众设计的。

分析多样性。

根据不同的用户案例和应用，企业用户可能需要支持不同类型的分析功能，使用特定类型的建模（例如回归、聚类、分割、行为建模和决策树）。这些功能已经能够广泛支持高水平、不同形式的分析建模，但是还是有一些厂商投入数十年的精力，调整不同版本的算法，增加更加高级的功能。理解哪些模型与企业面临的问题最相关，根据产品如何最好地满足用户的业务需求进行产品评估，这些都非常重要。

数据范围分析。

要分析的数据范围涉及很多方面，如结构化和非结构化信息，传统的本地数据库和数据仓库、基于云端的数据源，大数据平台（如Hadoop）上的数据管理等。但是，不同产品对非传统数据湖（在Hadoop内或其他用于提供横向扩展的NoSQL数据管理系统内）上的数据管理提供的支持程度不一。如何选择产品，企业必须考虑获取和处理数据量及数据种类的特定需求。

协作。

企业规模越大，越有可能需要跨部门、在诸多分析师之间分享分析、模型和应用。企业如果有很多分析师分布在各部门，对结果如何进行解释和分析，可能会需要增加更多的共享模型和协作的方法。

许可证书和维护预算。

几乎所有厂商的产品都分不同的版本，购买费用和整个运营成本各不相同。许可证书费用与特性、功能、对分析数据的量或者产品可使用的节点数的限制成正比。

易用性。

没有统计背景的商业分析师是否也能够轻松地开发分析和应用呢？确定产品是否提供了方便开发和分析的可视化方法。

非结构化数据使用率。

确认产品能够使用不同类型的非结构化数据（文档、电子邮件、图像、视频、演示文稿、社交媒体渠道信息等），并且能够解析和利用收到的信息。

可扩展性和可伸缩性。

随着数据量的不断增长和数据管理平台的不断扩展，要评估不同的分析产品如何跟随处理与存储容量的增长而增长。

三、如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的？具体是做什么工作的？需要哪些技能？让我们一起来看看吧。

这3个职业是如何定位的？

数据科学家是个什么样的存在数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。数据工程师是如何定义的

数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼，那么你需要一个数据工程师。他们的核心价值在 于他们借由清晰数据创建数据管道的能力。充分了解文件系统，分布式计算与数据库是成为一位优秀数据工程师的必要技能。

数据工程师对演算法有相当好的理解。因此，数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时 候，这些需求超过了数据工程师掌握知识范围，这个时候你就需要打电话寻求数据科学家的帮助。

数据分析师该如何理解数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。

这3个职业具体有什么职责？

数据科学家的工作职责数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律建议给Boss，从而影响产品，流程和决策。数据工程师的工作职责分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。以腾讯来说，能反映大数据工程师工作的最简单直接的例子就是选项测试（ABTest），即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试—比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。数据分析师的工作职责互联网本身具有数字化和互动性的特征，这种属性特征给数据搜集、整理、研究带来了革命性的突破。以往“原子世界”中数据分析师要花较高的成本（资金、资源和时间）获取支撑研究、分析的数据，数据的丰富性、全面性、连续性和及时性都比互联网时代差很多。与传统的数据分析师相比，互联网时代的数据分析师面临的不是数据匮乏，而是数据过剩。因此，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。就行业而言，数据分析师的价值与此类似。就新闻出版行业而言，无论在任何时代，媒体运营者能否准确、详细和及时地了解受众状况和变化趋势，都是媒体成败的关键。

此外，对于新闻出版等内容产业来说，更为关键的是，数据分析师可以发挥内容消费者数据分析的职能，这是支撑新闻出版机构改善客户服务的关键职能。

想要从事这3个职业需要掌握什么技能？

A. 数据科学家需要掌握的技能

1、计算机科学

一般来说，数据科学家大多要求具备编程、计算机科学相关的专业背景。简单来说，就是对处理大数据所必需的hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。

2、数学、统计、数据挖掘等

除了数学、统计方面的素养之外，还需要具备使用SPSS、SAS等主流统计分析软件的技能。其中，面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R的强项不仅在于其包含了丰富的统计分析库，而且具备将结果进行可视化的高品质图表生成功能，并可以通过简单的命令来运行。此外，它还具备称为CRAN(TheComprehensive R Archive Network)的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。

3、数据可视化(Visualization)

信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义进行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其他服务统一起来，从而使分析结果可视化，这是对于数据科学家来说十分重要...

质量管理五大核心工具

质量管理五大工具，也称品管五大工具。包括：

1、统计过程控制（SPC，Statistical Process Control）

统计过程控制（简称SPC)是应用统计技术对过程中的各个阶段进行评估和监控，建立并保持过程处于可接受的并且稳定的水平，从而保证产品与服务符合规定的要求的一种质量管理技术。

SPC的内容

SPC是过程控制的一部分,从内容上说主要是有两个方面:

1）过程运行状态是否稳定，可利用控制图这一统计工具进行测定，对过程存在的异常因素进行预警； 2）过程能力是否充足，可通过过程能力分析来实现，计算过程能力指数分析稳定的过程能力满足技术要求的程度,对过程质量进行评价。

实施SPC的目的

1）对过程做出可靠的评估；

2）确定过程的统计控制界限，判断过程是否失控和过程是否有能力；

3）为过程提供一个早期报警系统，及时监控过程的情况以防止废品的发生；

4）减少对常规检验的依赖性，定时的观察以及系统的测量方法替代了大量的检测和验证工作

2、测量系统分析（MSA，Measure System Analyse）

测量系统分析（MSA）是对每个零件能够重复读数的测量系统进行分析，评定测量系统的质量，判断测量系统产生的数据可接受性。

理想的测量系统在每次使用时，应只产生“正确”的测量结果。每次测量结果总应该与一个标准值相符。一个能产生理想测量结果的测量系统，应具有零方差、零偏倚和所测的任何产品错误分类为零概率的统计特性。

MSA的目的

了解测量过程，确定在测量过程中的误差总量，及评估用于生产和过程控制中的测量系统的充分性。MSA促进了解和改进（减少变差）。

在日常生产中，我们经常根据获得的过程加工部件的测量数据去分析过程的状态、过程的能力和监控过程的变化；那么，怎么确保分析的结果是正确的呢？我们必须从两方面来保证：

1）确保测量数据的准确性/质量，使用测量系统分析（MSA）方法对获得测量数据的测量系统进行评估； 2）确保使用了合适的数据分析方法，如使用SPC工具、试验设计、方差分析、回归分析等。 MSA使用数理统计和图表的方法对测量系统的分辨率和误差进行分析，以评估测量系统的分辨率和误差对于被测量的参数来说是否合适，并确定测量系统误差的主要成分。

3、失效模式和效果分析（FMEA，Failure Mode & Effct Analyse）；、

FMEA用来分析当前和以往过程的失效模式数据，以防止这些失效模式将来再发生的正式的结构化的程序。

v失效一词乃指出物品的功能失去原先设定的运用效果，失效的原因可能来自：错误、遗漏、没有或仅部分动作、产生危险、有障碍等与原先产品设定机能的目标不符的情形。 v这些状况的产生会造成顾客对制造者与销售者的不满，可能产生的情形有大有小、也因使用时间有长有短而发生，对于设计、生产乃至检验者而言，都需要对自己负责的部分将隐藏的失效因素排除。 v失效是客户抱怨的主要来源，必须依照一定的步骤予以分析解构，将这样具模组化的作业方式整合成一种模式，称之为失效模式分析（FMEA）。

FMEA的目的

1）能够容易、低成本地对产品或过程进行修改，从而减轻事后修改的危机。 2）找到能够避免或减少这些潜在失效发生的措施。

4、产品质量先期策划（APQP，Advanced Product Quality Planning）

为满足产品、项目或合同规定,在新产品投入以前,用来确定和制定确保生产某具体产品或系列产品使客户满意所采取的一种结构化过程的方法。为制订产品质量计划提供指南，以支持顾客满意的产品或服务的开发。

特点

1）目标明确：满足顾客要求，不断改进。 2）按规定的方法和组织形式进行策划。 3）应用各类分析工具：FMEA,MSA,SPC、流程图，QFD等。 4）保证跨职能活动的效率：横向协调小组。

5、生产件批准程序（PPAP，Production Part Approval Process）

生产件批准程序(PPAP)规定了包括生产件和散装材料在内的生产件批准的一般要求。PPAP的目的是用来确定供应商是否已经正确理解了顾客工程设计记录和规范的所有要求，以及其生产过程是否具有潜在能力，在实际生产过程中按规定的生产节拍满足顾客要求的产品

PPAP的目的

1）确定供方是否已经正确理解了顾客工程设计记录和规范的所有要求。 2）并且在执行所要求的生产节拍条件下的实际生产过程中，具有持续满足这些要求的潜能。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?

01 遵循数据分析标准流程

数据分析遵循一定的流程，不仅可以保证数据分析每一个阶段的工作内容有章可循，而且还可以让分析最终的结果更加准确，更加有说服力。一般情况下，数据分析分为以下几个步骤：

1)业务理解，确定目标、明确分析需求;

2)数据理解，收集原始数据、描述数据、探索数据、检验数据质量;

3)数据准备，选择数据、清洗数据、构造数据、整合数据、格式化数据;

4)建立模型，选择建模技术、参数调优、生成测试计划、构建模型;

5)评估模型，对模型进行较为全面的评价，评价结果、重审过程;

6)成果部署，分析结果应用。

02 明确数据分析目标

在数据分析前期，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。

03 业务与数据结合确定分析主题

以解决业务问题为目标，以数据现状为基础，确定分析主题。前期要做好充分的准备，以业务问题为导向，以业务梳理为重点，进行多轮讨论，分析主题避免过大，针对业务痛点，实现知现状、明原因、可预测、有价值。

04 多种分析方法结合

分析过程中尽量运用多种分析方法，以提高分析的准确性和可靠性。例如，运用定性定量相结合的分析方法对于数据进行分析;融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法;高级分析和可视化分析相结合等。

05 选择合适的分析工具

工欲善其事，必先利其器，数据分析过程中要选择合适的分析工具做分析。SPSS、Rapidminer、R、Python等这几种工具都是业界比较认可的数据分析产品。

它们各有其优势，SPSS 较早进入国内市场，发展已经相对成熟，有大量参考书可供参考，操作上容易上手，简单易学。Rapidminer 易用性和用户体验做得很好，并且内置了很多案例用户可直接替换数据源去使用。R 是开源免费的，具有良好的扩展性和丰富的资源，涵盖了多种行业中数据分析的几乎所有方法，分析数据更灵活。Python，有各种各样功能强大的库，做数据处理很方便。

06 分析结论尽量图表化

经过严谨推导得出的结论，首先要精简明确，3-5条即可。其次要与业务问题结合，给出解决方案或建议方案。第三尽量图表化，要增强其可读性。

数据分析过程中，除了以上六条原则，还要避免以下3种情况：

1)时间安排不合理

在开始分析工作之前，一定要做一个明确的进度计划，时间分配的原则是：数据收集、整理及建模占70%，数据可视化展现及分析报告占25%，其他占5%。

2)数据源选择不合理

一般企业中的数据来源有很多，SAP、TMS、CRM及各部门业务系统，每个渠道的数据各有特点。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理，不仅影响结论的可靠性，而且有返工的风险。

3)沟通不充分

无论是分析人员内部的沟通还是与外部相关人员的沟通，都是至关重要的。与外部人员沟通效不顺畅，可能造成前期需求不清，中间业务逻辑混乱，最终导致数据分析结果差强人意。与内部人员沟通效率低，可能造成分析进度滞后，分析工作开展不畅等诸多问题，直接影响分析效果。

对于数据分析师，分析经验的积累与专业知识的提升同样重要，因为有些问题不是只用专业知识就能解决的，所以在平时的工作中要有意识的去学习业务知识、掌握先进的分析工具，做一个有心人! |内容来源：大数据

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者，新社汇联合创始人。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

做数据分析首先得要有一个完整的思路。《谁说菜鸟不会数据分析》书中举了一个很生动的例子。做数据分析就好比做一件衣服，首先的先有设计图，然后在根据设计图分步骤的去制作成成品。今天我们说的数据分析的完整思路就相当于衣服的设计图，有了完整的思路，才不至于漫无目的的，没有一个清晰的目标去做分析。

那么我们如何才能建立一个完整的数据分析的思路呢呢？《谁说菜鸟不会数据分析》给大家提供了几种数据分析方法论来助力大家形成完整的数据分析思路。主要有PEST分析法，5W2H分析法，逻辑树分析法，4P营销理论（现在用的比较多是4C），用户行为理论。下面呢，我就以5W2h分析方法，给大家详细的说明一下怎么建立完整的数据分析思路。

首先，先介绍一下什么是5W2H。

（1）WHAT——是什么？目的是什么？做什么工作？

（2）WHY——为什么要做？可不可以不做？有没有替代方案？

（3）WHO——谁？由谁来做？

（4）WHEN——何时？什么时间做？什么时机最适宜？

（5）WHERE——何处？在哪里做？

（6）HOW ——怎么做？如何提高效率？如何实施？方法是什么？

（7）HOW MUCH——多少？做到什么程度？数量如何？质量水平如何？费用产出如何？

例如要不要增加一个推广渠道，我们来形成一个完整的分析思路。

WHAT：一个引流的渠道，对这个渠道要有一定认识。

WHY ：目前其他的渠道的流量不能满足，做了渠道之后可能会增加多少流量。

WHO：是直接让其他渠道的人来负责，还是重新招一个操作过这个渠道的人。

WHEN：如果要做这个渠道，有没有时间来做，什么时候开始实施。

WHERE：如果是大公司，要考虑是总公司来做，还是分公司来做。

HOW：怎么做，是否有详细的解决方案，是否先参考同行竞争对手。

HOW MUCH：新增加的这个渠道，需要投入多少成本，人力成本，广告成本等等。

对每个环节进行分析，评估，然后综合每个环节，看看这个渠道是否值得开发。

虽然，很多公司都在喊抓质量，质量第一，但公司的质量工作者却对常用的质量工具都不熟悉，有的甚至都没有听说过，下面，就为大家分享一下质量管理中的一些常用方法都有哪些。

1、因果图

所谓因果图，主要用于分析品质特性与影响品质特性的可能原因之间的因果关系，通过把握现状、分析原因、寻找措施来促进问题的解决，是一种用于分析品质特性（结果）与可能影响特性的因素（原因）的一种工具。又称为特性要因图或鱼骨图。

它是一种依据问题逐渐由大到小逐级分析原因的一种方法，原因解析愈细愈好，愈细则更能找出关键原因或解决问题的方法，往往最终采取的措施都是根据末端的小原因来的，因为那更能体现问题是怎么发生的。

2、检查表

在品质改善活动中，为了便于收集数据与解析判断，而设计的一种表格，换句话说，检查表就是将需要检查的内容或项目一一列出，然后定期或不定期的逐项检查，并将问题点记录下来的方法。

3、柏拉图

柏拉图的使用要以层别法为前提，将层别法已确定的项目从大到小进行排列，再加上累积值的图形。它可以帮助我们找出关键的问题，抓住重要的少数及有用的多数，适用于记数值统计，有人称为ABC图，又因为柏拉图的排序识从大到小，故又称为排列图。

柏拉图有助于人们掌握问题点，虽然分类很多，但实际上影响较大的只不过那么几项而已，因此很容易找出问题出在哪里。另外，柏拉图还能确认改善效果，把改善前与改善后的柏拉图排列在一起，可以很明显的看出效果如何。

4、直方图

直方图是针对某产品或过程的特性值，利用常态分布（也叫正态分布）的原理，把50个以上的数据进行分组，并算出每组出现的次数，再用类似的直方图形描绘在横轴上。

通过直方图可以较容易了解数据的分布状况：中心趋势、离散趋势、分布形态等。通过这些信息，了解制成的安定与异常。

5、层别法

发生品质变异的原因很多，有时很单纯，有时很复杂，但影响其品质的要因不外乎是原料、机器设备、操作人员及操作方法，要找出原因出自何处，就有分开观察而收集数据的必要。如果能找出何种原料，哪一台机器或哪一位操作员有问题后再加以改善，而杜绝不良品的发生。这种以分层别类的收集数据，以找出其间差异方法，称之为层别法。

层别法在某种程度上提高了人们分析问题的效率。

6、散布图

在分析独立数据时，用直方图、柏拉图就可找出改善的着眼点，但如要分析两个变量X、Y之间的相关性时，就需使用散布图，将X与Y的两组数据绘在方格纸上，可看出X、Y之间相关情形的图称为散布图。

如：钢的粹火温度和硬度、油的温度与粘度、镙钉的转距和抗张力、玻璃中含铅量与抗辐射。

7、控制图

影响产品质量的因素很多，有静态因素也有动态因素，有没有一种方法能够即时监控产品的生产过程、及时发现质量隐患，以便改善生产过程，减少废品和次品的产产出？控制图法就是这样一种以预防为主的质量控制方法，它利用现场收集到的质量特征值，绘制成控制图，通过观察图形来判断产品的生产过程的质量状况。控制图可以提供很多有用的信息，是质量管理的重要方法之一。

控制图又叫管理图，它是一种带控制界限的质量管理图表。运用控制图的目的之一就是，通过观察控制图上产品质量特性值的分布状况，分析和判断生产过程是否发生了异常，一旦发现异常就要及时采取必要的措施加以消除，使生产过程恢复稳定状态。也可以应用控制图来使生产过程达到统计控制的状态。产品质量特性值的分布是一种统计分布．因此，绘制控制图需要应用概率论的相关理论和知识。

控制图是对生产过程质量的一种记录图形，图上有中心线和上下控制限，并有反映按时间顺序抽取的各样本统计量的数值点。中心线是所控制的统计量的平均值，上下控制界限与中心线相距数倍标准差。多数的制造业应用三倍标准差控制界限，如果有充分的证据也可以使用其它控制界限。

常用的控制图有计量值和记数值两大类，它们分别适用于不同的生产过程；每类又可细分为具体的控制图，如计量值控制图可具体分为均值——极差控制图、单值一移动极差控制图等。

QC七大手法

“七大手法”主要是指企业质量管理中常用的质量管理工具，有“老七种”和“新七种”之分。“老七种”有分层法、调查表、排列法、因果图、直方图、控制图和相关图，新的QC七种工具分别是系统图、关联图、亲和图、矩阵图、箭条图、PDPC法以及矩阵数据分析法等。

“老七种”

1

分层法（分类法、分组法）

质量问题的原因多方面，来源于不同条件（4M1E）。为真实反映质量问题的实质性原因和变化规律，须将大量综合性统计数据按数据的不同来源（需要进行追溯）进行分类，再进行质量分析的方法。

2

调查表

用于收集和记录数据的一种表格形式, 便于按统一的方式收集数据并进行统计计算和分析。

3

排列图

对发生频次从最高到最低的项目进行排列——简单图示技术。

4

直方图

直方图也叫质量分布图、矩形图、柱形图、频数图。它是一种用于工序质量控制的质量数据分布图形，是全面质量管理过程中进行质量控制的重要方法之一。直方图适用于对大量计量数值进行整理加工，找出其统计规律，也就是分析数据分布的形态，以便对其整体的分布特征进行推断。

5

因果图（Causeand effectdiagram)

——石川图、特色要因图、树枝图、鱼刺图

以结果为特性，以原因为因素，将原因和结果用箭头联系，表示因果关系。

5

控制图

也叫质量管理图或监控图。它是通过把质量波动的数据绘制在图上，观察它是否超过控制界限来判断工序质量能否处于稳定状态。这种方法是在1924年由美国的休哈特首创，应用简单、效果较佳、极易掌握，能直接监视控制生产过程，起到保证质量的作用。

7

相关图法

相关图法又叫散布图法、简易相关分析法。它是通过运用相关图研究两个质量特性之间的相关关系，来控制影响产品质量中相关因素的一种有效的常用方法。相关图是把两个变量之间的相关关系，用直角坐标系表示的图表，它根据影响质量特性因素的各对数据，用小点表示填列在直角坐标图上，并观察它们之间的关系。

“新七种”

1

系统图

表示某个质量问题与组成要素之间的关系，从而明确问题的重点，寻求达到目的所应采取的最适当的手段和措施的树状图形(倒立逻辑关系因果图）。

4

关联图

把几个问题及涉及这些问题的关系极为复杂的因素之间的因果关系用箭头连接起来的图形。

3

KJ法——亲和图

KJ法（川喜田二郎KawakitaJiko）——利用卡片对语言资料进行 归纳整理的方法。KJ法的主体方法，把收集到的大量有关特定主题的意见、观点、想法等语言文字资料，按它们相互亲近的程度用图形加以归纳、汇总。

4

矩阵图

从作为问题的事项中,找出成对的因素群,分别排列成行和列在其交点上表示成对因素间相关程度的图形。

方法——多元思考。

5

PDPC过程决策程序图

在制定计划阶段，进行系统设计时，事先预测可能发生的障碍 （不理想事态或结果），从而设计出一系列对策措施，以最大的可能引向最终目标。

6

箭条图

箭条图又称为网络计划技术，我国称为统筹法，它是安排和编制最佳日程计划，有效地实施管理进度的一种科学管理方法，其工具是箭条图。

所谓箭条图，是把推进计划所必须的各项工作，按其时间顺序和从属关系，用网络形式表示的一种"矢线图"。一项任务或工程，可以分解为许多作业，这些作业在生产工艺和生产组织上相互依赖、相互制约，箭条图可以把各项作业之间的这种依赖和制约关系清晰地表示出来。通过箭条图，能找出影响工程进度的关键和非关键因素，因而能进行统筹协调，合理地利用资源，提高效率与效益。

7

矩阵数据分析法

矩阵图上各元素间的关系如果能用数据定量化表示，就能更准确地整理和分析结果。这种可以用数据表示的矩阵图法，叫做矩阵数据分析法。在QC新七种工具中，数据矩阵分析法是唯一种利用数据分析问题的方法，但其结果仍要以图形表示。

数据矩阵分析法的主要方法为主成分分析法（Principal component analysis），利用此法可从原始数据获得许多有益的情报。主成分分析法是一种将多个变量化为少数综合变量的一种多元统计方法。

QC九大步骤简介

1. 发掘问题 2.选定题目 3.追查原因 4.分析资料 5.提出办法 6.选择对象 7.草拟行动 8.成果比较 9.标准化

1

一. 发掘问题

发掘问题之方向:

1.问题小易发挥

2.不花钱即可由小组自行解决

3.有预期之成果(成就感)

4.可达到演练和实用之目的

脑力激荡法原则：

1.不要随意打断或者批评别人的讲话,如要发言,等人家说完再说

2.欢迎自由奔放的意见

3.意见越多越好

4.在他人的意见中寻找灵感

2

二. 选定题目

选题原则: 意见一致，不花钱短期内可以做到不要别人支持选题方向: 团队合作，提高生产力，提高品质，降低成本

工具: 选题评估

3

三. 追查原因

针对问题，经由脑力激荡，从4M1E找出可能发生的原因。

工具:鱼骨图(特性要因图)

4

四. 分析资料

用QC七大工具找出产生问题的重点，加以分类，排列及编辑，以使小组成员修作明确的决择。

工具: 查检表、管制图、直方图、特性要因图、柏拉图、散布图、层别法

5

五. 提出办法

针对问题重点提出解决办法，同时订出解决方案的标准，以确定小组是否有能力解决。工具:鱼骨图(特性要因图)

6

六. 选择对象

1.采用全员认为最能发挥的方式

2.朝防止再发之方向选择

3.对策无副作用，选择对策要根据现状分析，检讨如何改善并将预期的成果显现出来。

7

七. 草拟行动

3W：WHAT WHO WHEN

1.把每一样工作细节列下来

2.每位组员参与讨论取得协议

3.开始分配任务(平均分配、组员性向、 职位相关)

4.制定完成时间和期限

8

八. 成果比较

1.期间比较(改善前、改善中、改善后)

2.特性值比较(品质提高、成本降低、效率提升)

3.无形成果比较(意识、能力、信心、责任感、方法应用)

4.比较基准一致,且勿以单一角度比较

工具: 柏拉图比较 推移图比较

9

九. 标准化

依据现场实际状况合理制定材料、设备、制品等作业方法、手训、规定、规格等标准有组织、有系统、灵活有效运用以达到经营管理之目的。

1.效果维持

2.减少因人而异,提高效率

3.技术储蓄

4.明确权限责任易于管理

5.易于追查不良原因

6.教育训练

福亿企业管理

您的生产管理咨询专家·主要服务内容包括生产许可证（食品生产许可证、工业产品生产许可证、化妆品生产许可证、危险化学品生产许可证）、工商（公司设立、变更、注销）、质量管理体系认证、GMP、商标注册、税务、食品经营许可证、环保申请审批及验收相关项目、出口加工设备、计量认证、机动车安全检验检测机构资质认定及机动车安全检验检测机构资质许可、医疗器械备案、特种设备备案、项目立项及可行性研究报告、项目资金申报、检验员培训、产品及检验仪器检测、厂房设计规划及施工等

1、以上内容整理于网络，仅供参考；

2、如需专业咨询请拨打上方号码；

3、本公总号拥有最终解释权；

原作者：Martin P Doyle

译者： FOFO

为了能够系统化地、高效地解决出现的任何问题，我们必须学会将这些问题分而治之。毕竟，知己知彼方是解决问题的首重至要。由此，我们才会发现解决之道就在其中。 而对于提高数据质量同样适用：每一个解决问题的方法都有不同的阶段与角度。

当一个数据质量改进程序在启动时，仅知道数据库中有多少错误计算或重复录入是远远不够的。不止于此，我们还需要知道不同类型的错误在收集的资源中是如何分配的。

据 Jim barker 一篇很有意思的博客所述，数据的质量被分解成两种不同类型。而在本文中，我会带领大家仔细区分这些“类型”有何不同，并且如何利用这些“类型”在开发预算中确保我们的优势资源放在何处。

数据类型

被誉为“数据博士”的Jim barker，借用了一个简单的医学概念来定义数据质量问题。 在他的博客中介绍了如何将这两种“类型”组合在一起，并且成功激发了那些一直纠结于找到在数据库中拉低数据质量的幺蛾子的数据分析师们的兴趣。

I 型数据质量问题我们可以使用自动化工具检测到。II型数据质量问题就非常隐秘了。大家都知道它是存在的，但它看不见摸不着，更处理不了，因为它需要放在特殊情境才能被检测到。

它们之间的区别简而言之可归纳为如下几点：

I型数据质量问题首先需要 “知其然” 才能来检测数据的完整性、一致性、唯一性和有效性。这些属性靠数据质量软件甚至手动很好地找到。你不需要有很多的背景知识，或者数据分析经验。只要按照4个属性验证它的存在，就可以判定它错误的。例如，如果我们在性别领域插入一个3，我们就可以判定它到底是不是一个有效值。

II型 数据质量问题需要 “知其所以然” 来检测时效性、一致性和准确性属性。需要研究能力、洞察力和经验，而不是简简单单就可以找得出来的。这些数据集经常从表面上看起来没有问题。但幺蛾子往往存在于细节中，需要时间去发现。Jim举的例子就是一份退休人员的雇佣记录。如果我们不知道他们早已退休的话，是看不出来这个数据是错的。

所以，解决这些数据质量问题的关键就是需要一个复杂的、战略化的方法，而非孤立的、片面的来看问题。一旦数据质量不好，我们就需要寻求自动化与人工的方式才能解决这个问题了，真可谓是“屋漏偏逢连夜雨”啊。

成本调整

所以，我们如何解决I型和II型数据质量问题呢？处理它们所花费的费用是可比的，还是完全不同的？

要记住重要的一点是，I型数据的验证问题可以在逻辑上定义，这意味着我们可以靠编写软件来查找并显示它。软件自动修复的速度快、成本低，甚至配合手动审查就可以完成。考虑到I型数据质量问题实际上是作为表格内字段型的验证，一旦解决了表格字段的问题，I型数据质量问题实际上也就解决了。

根据我们以往的经验： I型数据基本涵盖了80%的数据质量问题，但消耗了我们20%的经费成本。

第二类数据问题往往需要多方的输入，以便发现、标记和根除。虽然我们客户关系管理系统中的每个人都有购买日期，但购买日期可能不正确，或者与发票或发货清单不符。只有专家才能通过仔细核查其内容来解决问题并手动改进客户关系管理系统。

通常情况下，企业很难做到资源的合理分配，原因有二，特别是企业处于快速增长阶段；或者处于人才流失的时候。 你别看这些II类问题较少，可能仅占数据问题剩余的20%，但它们很有可能需要消耗超过80%的成本预算。 所以，如果当企业处于人才大量流失，却又对此无能为力的时候。你会发现第二类数据问题更难处理，因为人工解决的途径已不复存在了。

提高精确程度

为了提高数据的准确性，我们必须将I型和II型数据问题作为单独的，但同时存在的问题进行研究。I类型数据质量的挑战可以呈现快速获胜，但第II类问题提出了一个挑战，必须依靠人类的专业知识才可以解决。

随着时间的推移，数据库会超过使用期限。为保其时效性，这需要持续不断的努力。数据可以在数据库中进行清洗，或在使用阶段进行清理，但由于如导入/导出、损坏、手动编辑、人为导致错误等多种原因，仍然要注意I型错误的发生。第II类数据问题在这阶段自然而然地发生，因为就算数据经过验证和审查之后看起来正确，但对于现在来说仍有可能是不正确的，因为此时已非彼时，数据的使用环境改变了。

确保数据的完整

数据的完整会有助于我们观察整个事物的全貌并推动其对事物的决策。正如我们前面所说，发 现 I型数据质量问题是比较简单、廉价和快速的。但如果企业的工作业务还没有采用某种数据质量软件来解决I型数据质量问题的话，那现在也应该着手考虑了，因为这样才可能避免将来出现的资源浪费、损害品牌效应和来自大众的误解。

而对于第II类数据问题，关键是要理解它为什么会发生，并采取措施以防止它的发生。从日常工作中，处事的变通以及员工疏忽常导致数据的质量不佳。随着时间的推移，资源分配失当也会增加II型数据问题的增加。而改善它的费用也会成倍增加，因为你需要具备专家的眼光方能在茫茫的数据中找到它的存在。

其实，发现并解决这两类问题在当下已不是不可能的事了。会变得越来越容易。 很多数据质量供应商们也在不断寻找新的方法，相信在不远的将来，得到高质量的数据会变得越来轻松，越来越简单。

End.

原文链接：http://bigdata-madesimple/defining-data-quality-problems/

数据特工介绍

后台回复“特工”加入我们

据某第三方平台近期调研结果显示，在金融创业领域，2013年一家互联网金融创业公司的投资获客成本区间为300-500元，而2016年则涨为1000-3000元；在电商领域，新用户的获取成本，是维护一个老用户的3倍到10倍……

如今，高居不下的获客成本让互联网、移动互联网创业者们遭遇新的“天花板”，甚至陷入“纳不起”新客的窘境。而花费极高成本所获取的客户，可能仅打开一次APP、或完成一次交易，就流白白流失。随着市场饱和度上升，绝大多数企业亟待解决如何增加客户黏性，延长每一个客户的生命周期价值。因此留存分析分析模型备受青睐。

一、什么是留存分析

留存分析是一种用来分析用户参与情况/活跃程度的分析模型，考察进行初始行为的用户中，有多少人会进行后续行为。这是用来衡量产品对用户价值高低的重要方法。留存分析可以帮助回答以下问题：

一个新客户在未来的一段时间内是否完成了您期许用户完成的行为？如支付订单等；

某个社交产品改进了新注册用户的引导流程，期待改善用户注册后的参与程度，如何验证？

想判断某项产品改动是否奏效，如新增了一个邀请好友的功能，观察是否有人因新增功能而多使用产品几个月？

有人会疑惑：为什么要做留存分析，直接看活跃用户百分比不行吗？当然不行！如果产品目前处于快速增长阶段，很有可能新用户中的活跃用户数增长掩盖了老用户活跃度的变化。按初始行为时间分组的留存分析可以消除用户增长对用户参与数据带来的影响。通过留存分析，你可以将用户按照注册时间分段查看，得出类似如下结论：“三月份改版前，该月注册的用户 7 天留存只有 15%；但是四月份改版后，该月注册的用户 7 天留存提高到了 20%。”

二、神策分析留存分析模型特点与价值

神策分析留存分析根据实际需求灵活配置条件。可针对事件属性，根据具体需求筛选初始行为或后续行为的细分维度。另外，还可以针对用户属性筛选合适的分析对象。那么，留存分析有哪些价值呢？

第一，留存率是判断产品价值最重要的标准，揭示了产品保留用户的能力。

留存率反映的实际上是一种转化率，即由初期的不稳定的用户转化为活跃用户、稳定用户、忠诚用户的过程。随着统计数字的变化，运营人员可看到不同时期用户的变化情况，从而判断产品对客户的吸引力。

第二，宏观上把握用户生命周期长度以及定位产品可改善至之处；

通过留存分析，可以查看新功能上线之后，对不同群体的留存是否带来不同效果? 可以判断产品新功能或某活动是否提高了用户的留存率？结合版本更新、市场推广等诸多因素结合，砍掉使用频率低的功能，实现快速迭代验证，制定相应的策略。

三、神策分析留存分析应用场景

场景一：游戏行业提升活跃、留存——如何精准找到玩家“流失点”？

游戏的生命周期的时长差异、玩家的游戏粘度，直接体现了游戏的竞争能力和盈利能力。玩家对游戏的直观感受、游戏难度曲线、游戏节奏的松弛、游戏福利等游戏内涵都能够导致游戏玩家流失。正确找到玩家流失原因，是促进玩家、活跃挽留玩家的第一步。《迷城物语》是如何在神策分析做到这一点的？下面为《迷城物语》在删档测试期间的相关应用情景。（注：以下配图所涉及的数据，均为模拟真实应用场景下的虚拟数据）

在神策分析的平台上，可统计流失玩家的等级分布，判断玩家流失与关卡设置的相关性。

图1 玩家在首次登陆游戏之后的8周流失情况分析

上图显示，100～110级、80～90级是玩家流失较多的关卡。为精准导致玩家流失的关键因素，需要每个环节、具体场景进行深入追踪与分析，下略。

场景二：了解新用户的留存

运营人员可以根据新用户启动 App 的时间按日或按月进行分组，得到同期群，观察该群体用户发生投资的7日留存、14日留存或30日留存(可自由选择)，通过比较不同的同期群，可以获知，从总体上看用户留存的情况是否越来越好了。也可以点击“曲线标识”按钮，就可以看到每天留存率的变化趋势了。

图 2 新用户群体七天留存趋势变化

对于 7 日或者 30 日仍留下来做投资的用户，显然是一批忠诚度非常高的用户，什么样的用户群体有这么高的留存率？以 4 月 10 号这天的新用户为例，一共有 1931 个新用户，在第 7 天有 68 人留下来了，点击“68”这个数字，我们进入了用户列表界面。

这里值得强调的是，神策分析支持用户路径分析结果的人群明细查看。迄今为止，神策数据所有用户行为分析中的人群明细均可查看，如下图。

图3 第 7 天用户留存 68 人基本信息明细

这里我们能够看到留存下来的用户的一些详细的基础信息，比如借款次数，借款金额、年龄等，通过总借款次数以及借款金额，可进行用户质量评估；通过年龄可以分析到金融平台吸引的群体用户的年龄分布。

若想深度挖掘高留存用户有哪些共性特征、具体操作流程，以作为后序产品优化与改进的借鉴，则可使用用户分群功能，命名为“ 4-10 号 7 日留存用”然后通过用户路径等其他分析模型进一步深度分析。

测量系统是用来对被测特性定量测量或定性评价的仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合； 是用来获得测量结果的整个过程。从这个定义中可以看出， 测量过程实际上是一个制造数据的过程，获得正确的测量数据则是保证产品质量的第一步。如果不能科学地评价测量系统产生的数据的可靠性， 就无法对测量系统的有效性进行控制， 质量管理和控制就失去了最基本的前提。因此，在ISO/TS16949汽车行业质量体系标准中，测量系统分析（简称MSA）被列为该标准的五大工具之一。

测量系统分析（MSA） 的目的是确定测量数据的可靠性， 它实际上是一个对测量系统的监督检查程序， 在一定程度上可以看作是一个检验产品控制计划满足程度的把关程序。即对已判定为合格的零件进行抽样检查， 经过科学的统计理论分析， 找出因测量系统因素导致不合格的因素， 并加以整改， 逐渐减少产生不合格产品因素的存在，从而达到控制产品质量的最终目的。

1 基本MSA方法

测量系统分析，顾名思义针对的是整个测量系统的稳定性和准确性，它的核心是分析

测量系统的位置变差、宽度变差。在位置变差中包括测量系统的偏倚、稳定性和线性；在宽度变差中包括测量系统的重复性、再现性。测量系统的偏倚、稳定性、线性、重复性和再现性就是人们通常所说的“五性”。因此，MSA 可简单概括为：分析整个测量系统（仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合）在测量过程中存在哪些风险和误差的过程。MSA采用的数据分析方法有：独立样本法、图表法、极差法、方差分析法等。按照测量系统分析过程前后顺序，相关方法摘记如下。

1.1 识别数据类型 在进行测量系统分析前首先要识别测量数据的类型，了解了数据的类型才能使用合适的方法进行测量系统分析。一般数据类型有两种：计数型数据和计量型数据。计数型数据是指不能连续取值的，如砂眼数、裂纹处、疵点数等。计量型数据是可以连续取值的，如长度、尺寸、温度等。

1.2 选定测量系统分析方法 测量系统分析常用的方法有Gage R&R研究、专家再评估、检验一致性和专家循环研究。重点研究Gage R&R。Gage R&R方法主要用于计量型数据，评定标准是用Gage R&R值。一般Gage R&R值在小于10%以下可接受，Gage R&R值在10%-30%之间为灰色区域，也许可接受，Gage R&R值大于30%，测量系统需改进。同时还要看可区分数NDC，当NDC大于等于5时，通常认为测量系统可靠。用Gage R&R值作为评定标准时还要考虑零件的关键特性，对关健特性测量系统分析结果Gage R&R值大于15%时，我们就要考虑对这个测量系统进行改进。

1.3 测量系统的重复性和再现性分析方法（简称%GR&R%或R&R） 确定研究主要变差形态的对象/量具（如：游标卡尺、电子秤、硬度计、千分尺等）。工序量具、产品和质量特性；选择使用极差法，均值和极差法中的其中一种方法对检验、测量和试验设备进行分析；从代表整个工作范围的过程中随机抽取样品进行；测量系统分析的工作人员在进行检验、测量和试验设备测量系统的重复性和再现性分析时，必须先对被分析的检验、测量和试验设备进行零件评价人平均值和重复性极差分析，同时所分析的零件评价人平均值和重复性极差之结果必须均受控方可进行被检验、测量和试验设备测量系统的重复性和再现性分析工作；否则该检验、测量和试验设备的测量系统不能检查出零件间的变差且不能将其用于过程控制中。

1.4 平均值和重复性极差分析 1）选择2-3个操作员（至少2人）在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测，每个操作员对同一样品的同一特性在盲测的情况下重复测量2-3次。 2）操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“零件评价人平均值和重复性极差控制图”上。 3）负责组织此项测量系统分析研究的工作人员，依据“零件评价人平均值和重复性极差控制图”上的数据和产品质量特性规格进行计算和分析，并将其分析的结果记录于“零件评价人平均值和重复性极差控制图”上。

1.5 均值和极差法（X-R） 1）选择2-3个操作员（至少2人）在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测，每个操作员对同一样品的同一特性重复测量2-3次。 2）操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“量具重复性和再现性X-R分析数据表”上。 3）负责组织此项测量系统分析研究的工作人员，依据“量具重复性和再现性X-R分析数据表”上的数据和产品质量特性/规格进行计算，并将其记录于“量具重性和再现性X-R分析报告”上。

1.6 极差法（R） 1）选取两位评价人和5个产品进行分析，每个评价人对每个产品进行盲测一次，并将测量结果记录于“量具极差法分析表”中（每个操作员应熟悉和了解使用量具的一般操作程序，避免应操作不一致而影响测量系统的可靠性），并评估不同操作员对量具使用的熟练程度； 2）针对重要特性（尤其指有特殊特性符号的）测量所使用量具的精度应是被测量产品公差的1/10（即其最小刻度应能读到1/过程变差或规格公差较小者），以避免量具的分辩力不足，而一般特性测量所使用量具的精度应是被测量产品公差的1/5； 　　

3）负责组织此项%R&R测量系统分析研究的工作人员，依据“量具极差法分析表”的数据和产品质量特性/规格进行计算，并将其计算结果记录于“量具极差法分析表”上；必要时，可将其作成X-R控制图。

4）%R&R接受准则： a）、%R&R<10%，可接受；b）、10%≤%R&R≤30%，依据量具的重要性、成本及维修费用等因素，决定是否可接受或不可接受；c）、%R&R>30%，不能接受，必须进行改进。

1.7 线性分析法

在测量系统工作范围内选定5个产品，它们的测量值应覆盖量具工作范围；在计量室或工具间用全尺寸检验设备（精密量具）测量每个产品10次，并计算其平均值，然后将其确定为“基准值”，同时确定它们各自所取得的“基准值”是否覆盖了被检量具的工作范围；让一位经常使用该量具的操作员（评价人）对5个产品以盲测的方式按随机抽取 顺序分别测量每个产品各10次（或更多次），并将其测量值记录于“量具线性分析报告”中，然后计算各产品的测量平均值，此值即为每个产品的“观察平均值”。

2 MSA与计量的关系

MSA主要针在现场环境下，由现场控制人员按照《控制计划》要求的频次，对具体的零件使用正确的监视或者测试设备，按照《检验作业指导书》的方法进行有效的检测和监控（即人机料法环等环节），在每个时期，针对不同的目的，采用不同的MSA方法，研究分析每个环节产生的变差（即分离分离各个变差），最后消除或减小变差，使得我们生产的产品满足技术要求。MSA的数学理论基础为《概率与数理统计》。

计量主要是实现单位统一和量值准确可靠的测量，它以保证测量统一和准确为目的。测量环境有严格的控制要求。测量的变差分析的数学理论基础为《误差分析与数据处理》，也是根据《概率与数理统计》原理基础上建立起来的。本文主要指计量体系和管理，不涉及具体计量内部运作，只谈与测量系统的相互关系。

MSA关注对产品技术要求测量的综合反应有影响的结果，用来研究和分析整个测量系统以及影响测量的各个因素。计量的含义则是保证量值传递或溯源准确可靠，而将影响量值的其他分量进行控制，如环境、温度等，更关注的是测量方法。可以这样说：综合研究的是MSA，测量系统分析；只研究测量的是计量，所以也称之为“测量分析”。

3 两个例子

3.1 案例一

盛玉在他的文章《MSA实例分析》中，针对一把高度尺应用MSA分析方法的全过程。

下面通过日常监控分析常用的线性和R&R 的实例。

1、线性———验证一把高度尺，基本内容见下表。

1）在现场取一根曲轴，选其上5 个不同尺寸；

2）选用比高度尺精度高（一般高3 倍以上）的精密三坐标测量出5 个尺寸的基准值；

3）用高度尺分别测量5 个尺寸，每个尺寸重复测12 次

4）输入软件，自动得到结果；

5）接收准则：≤5%接收，≥10%拒收；5%—10%有条件接收；

6） 结果处理：该例中线性自动计算为3%至5%，按照接收准则线性可接收。

若大于5%，我们要从人、机、料、法、环、测几个方面去查找根本原因并改进，若已对产品质量造成影响，还需去追溯造成影响的产品，重新检测，直到满足要求。

2、重复性和再现性，简称R&R

在实际生产应用中，R&R 通常一起分析。如：验证曲轴OP100 综合检具上法兰轴头直径∮88.8（+0.804/+0.004）,具体计算如下表所示。

1）按照MSA 计划分别在不同时段收集OP100曲轴共10 根；

2）3 名熟练操作工分别测量10 个工件，每个件重复测3 次；

3）把3 人3 次共90 个测量数据输入计算软件（表2 中有底色部分），则会自动得到结果；

4）接收准则：

a. R&R 低于10%，测量系统可接受；

b. 介于10%到30%之间，基于应用的重要性，该量具可能会被接受；

c. 大于30%，测量系统需要改善，识别出原因并纠正它们；

d. 数据分级数NDC>=5 测量系统可接受。

5）分析结果

前文表格中测量结果明显看出该测量系统不可接受，EV=65.7%、R&R=73.1%且NDC=1。我们测量小组一起到现场查找原因，通过排除法最终找到R&R 超差根本原因如下：

a. %EV=65.7% (计算软件要求%EV<30%)，零件安装时有转动，不稳定；

b. 数据分级数（NDC）=1 （计算软件要求NDC>=5，测量软件显示分辨力不够，稳定生产条件下被测件尺寸稳定，分组少。

6）解决方案

针对a. 零件安装时有转动问题，经过现场反复装夹测量，结果差异0.002mm，由于重新加工制作条件不成熟，对这影响量0.002 mm，我们和工艺一起确认采取收紧控制限方法避免；

针对b. NDC 分级数偏低问题，现场排除一切可能影响因素，分析软件仍显示分辨力不够，最终确认是10 件样件产品尺寸太接近造成，也可以说是我们现在的产品质量很稳定。对于NDC 偏低问题，在做MSA 取样时要充分考虑到尺寸范围，如留下换刀或平时偶发时发现的不合格产品。

7）重新取样

找到2 件接近公差限样件，重新测量输入测量软件后计算结果满足要求见下表，表明我们现在的测量系统稳定可靠，不需要去追溯已经测量的产品。

一般情况下如果重复性比再现性大，原因可能是：

1）仪器需要维护；

2）计量检测设备应重新设计来提高刚度；

3）夹紧和检验点需要改进；

4）存在过大的零件变异。

如果再现性比重复性大，原因可能是：

1）评价人需要更好的培训如何使用计量检测设备和数据读取方式；

2）计量检测设备刻度盘上的刻度不清楚或校正不良；

3）需要某种夹具帮助评价人提高使用计量检测设备的一致性。

3.2 案例二

作者洪涛在他的论文《MSA在电能表误差检验中的应用研究》中介绍了MSA方发在分析电能表测量误差中的具体应用过程。

（一） MSA在电能表误差检验中具体应用

(1) 研究方案

在测量系统分析中，准确性特性一般可通过检验装置的量值传递或对比来解决，目前电能表制造企业都已采用。本文重点介绍测量系统的R&R分析。本设计方案和具体实施都是依托国内某知名电能表生产企业的计量测试中心的电能表误差检验系统展开的，

具有一定的代表性。

(二) 稳定条件的确定

进行MSA分析前提是系统处于稳定状态。本文的研究涉及的稳定性包括两个方面：一是检验装置的稳定性，二是电能表的稳定性。综合起来就是电能表误差检验系统的稳定性。方案选择了7块电能表和3个检验装置作为研究对象。对于稳定性的研究，用标准试验室的标准装置（误差等级为0.01级，中国科学研究院比对校准）测试所选7块表的0.1Ib点误差：每块表测试5次，每次读取10个数据，共取得35组350个数据，每次测试前预热十分钟。整个试验是在标准试验室进行的，试验的温度都是严格控制在20±3℃以内。

试验所取得7块表的数据便是其真值，对数据修约后进行分析，做出Xbar- R控制图，如下图所示，进行分析和判定，发现2号表的误差不稳定，有多个均值统计量和极差统计量超出控制限，淘汰2号表用剩下的6块表做剩下的试验和研究。

采用同样的方法，对三台检验装置进行稳定性测试和判定，结果3台检验装置均符合要求。

(三) 重复性和再现性试验及研究

由于现在的电能表误差检验系统已经实现了测试、读数、计算、显示的自动化，人的影响因素已经消除，针对电能表误差检验系统而言，重复性是指在用同一检验装置检测同一批次电能表时，测试结果之间的一致程度。再现性是指用不同检验装置检测同一批次电能表时，测试�...