做好数据分析需要考虑三个问题，数据从哪来，数据到哪去，数据怎么去？今天我们来讲讲数据怎么去的问题，也就是数据分析步骤。

一、定义

“勿忘初心，方得始终”，做数据分析前要想好针对的问题是什么，想通过数据分析解决什么问题，数据分析的结果能帮助你达到什么目的，对现阶段你的产品有何实际的意义。

基于分析目的确定分析范围。比如你想分析用户流失原因，你分析的范围就是流失的用户，你不能去分析新增的用户，再比如电商类产品，你想对高价值用户进行分析，那么什么是高价值用户，那么你可能确定范围：“xx年xx月xx号-xx年xx月xx号，购买次数5次以上，总金额在3000元以上的用户”，这些都是我们在数据分析之前需要确定的，只有范围确定清楚了，分析的数据才具有指导意义。

规划分析的进度和质量。比如说你要做数据的采集，你就需要考虑清楚用什么样的技术手段采集数据，用什么样的方法进行分析，然后这个过程中产生的误差多大范围内是可接受的，或者是自身有了预判，我知道这种数据分析方式会带来什么样的影响，对最后的结论带来多少干扰。

二、测量

测量包含收集获取数据和数据预处理。

收集获取数据。是用问卷的方式定量分析？还是从服务器调取日志进行分析...，这些都是数据的来源

预处理：比如说做调查问卷，对于回收来的问卷我们需要判断哪些数据是有效的，哪些数据是无效的，比如调查问卷共15道题，用户就答了一道题，这个就属于无效问卷，需要剔除出去，这个时候他的数据是不完整的，放进去反而会影响最终的数据结果。同样对数据库的数据也需要预处理，比如说你想统计新增用户，但是来了很多羊毛党用户，这部分用户对你是没有价值的，也需要处理掉。预处理的好坏，直接决定数据分析结果的质量。

三、分析

分析包含对数据的统计描述和针对问题的归纳和总结。

数据的统计描述。统计是对数据的定量分析，描述是对数据的定性分析，就是对你的数据进行定性和定量的客观性描述。

问题的归纳总结。这个是最重要的，也就是拿出我们的结论，数据本身没有价值，数据分析的结果才有价值。

四、改进

改进就是找到问题的解决方案和降低负面影响。

给出解决方案。比如最近产品用户流失比较厉害，你通过调查问卷和用户访谈了解用户流失原因，当得到分析结果以后，你需要给出解决方案。是你的体验没做好，还是竞争对手挖墙脚，亦或是你的商品价格提高了...这些都是原因，找到主要原因，给出专业的解决方案，老板要的是方案，不关心你分析的过程。

降低负面影响。比如电商的购物流程，浏览商品--》加入购物车--》下单--》支付--》完成购买，你通过漏斗模型分析，发现从加入购物车到下单流失很多，你通过数据分析发现流失的原因是设计上的问题，那么就可以重新优化设计方案，降低负面影响。

五、控制

数据分析是一个持续性的过程，所以需要持续的跟踪反馈，比如做数据的日报、周报、月报，它是一个非常持久的工作，而且数据分析的结果发出去以后，不同的人可能会有不同的看法，那么我们产品经理就需要收集不同的观点。

更新迭代。更新迭代是我们产品经理的一份重要的工作内容，不论是功能上的更新迭代，还是数据上的更新迭代。有的人可能说为什么要做数据上的跟踪迭代呢？因为数据具有时效性，我们分析的往往是一个时间段内的数据，数据会随着时间的推移发生变化，根据这些变化，我们需要做一轮新的数据分析。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

现在数据已经成为了一些企业的“天”。近年来，近年来越来越多的公司已经意识到数据分析可以带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，大数据很大，因此数据收集中的小差异或错误可能导致重大问题，错误信息和不准确的推论。

对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。

但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。以下是几个技术技巧做参考：

优化数据收集

数据收集是事件链中的第一步，最终导致业务决策。确保收集的数据与业务感兴趣的指标的相关性非常重要。

定义对公司有影响的数据类型以及分析如何为底线增加价值。从本质上讲，考虑客户行为以及这对您的业务有何针对性，然后使用这些数据进行分析。

存储和管理数据是数据分析中的重要一步。必须保持数据质量和分析效率。

把垃圾带出去

肮脏的数据是大数据分析的祸害。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏并导致分析结果不佳。基于脏数据做出决策是一个有问题的场景。

清理数据至关重要，涉及丢弃无关数据并仅保留高质量，最新，完整和相关的数据。人工干预不是理想的范例，是不可持续和主观的，因此数据库本身需要清理。这种类型的数据以各种方式渗透到系统，包括时间相关的转移，例如更改客户信息或数据孤岛中的存储，这可能会破坏数据集。脏数据可能会影响营销和潜在客户生成等明显的行业，但财务和客户关系也会因基于错误信息的业务决策而受到不利影响。后果很普遍，包括盗用资源，重点和时间。

这个脏数据难题的答案是确保进入系统的数据干净的控制措施。具体而言，重复免费，完整和准确的信息。有些应用程序和公司专门研究反调试技术和清理数据，这些途径应该针对任何对大数据分析感兴趣的公司进行调查。数据卫生是营销人员的首要任务，因为不良数据质量的连锁效应可能会大大降低企业的成本。

为了在数据方面获得最大收益，必须花时间确保质量足以为决策和营销策略提供准确的业务视图。

标准化数据集

在大多数业务情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这可能会大大扭曲统计推断。为了避免这种可能性，必须确定数据的标准化框架或格式并严格遵守它。

数据集成

如今，大多数企业都包含不同的自治部门，因此许多企业都拥有孤立的数据存储库或“孤岛”。这很具挑战性，因为来自一个部门的客户信息的变化不会转移到另一个部门，因此他们将根据不准确的源数据做出决策。

为了解决这个问题，中央数据管理平台是必要的，集成了所有部门，从而确保了数据分析的准确性，因为任何变更都可以立即被所有部门访问。

数据隔离

即使数据干净，有组织和集成在那里，也可能是分析问题。在这种情况下，将数据分组成小组很有帮助，同时牢记分析正在努力实现的目标。这样，可以分析子组内的趋势，这可能更有意义并且具有更大的价值。在查看可能与整个数据集无关的高度特定的趋势和行为时尤其如此。

数据质量对于大数据分析至关重要。许多公司试图用分析软件直奔潜水，而不考虑进入系统的内容。导致不准确的推断和解释，这可能是昂贵的并且对公司造成损害。一个定义明确，管理良好的数据库管理平台是企业利用大数据分析不可或缺的工具

产品运营三大核心指标：拉新、活跃、留存。相信每一个小伙伴都不陌生。

不同的产品阶段可能运营策略重心会有所不同，但肯定对于各种拉新活动并不陌生，例如H5活动、广告投放、软文扩散、渠道换量等。

每一轮的投放活动都需要衡量投入产出比ROI，每一次活动结束都需要进行复盘讨论，每一轮迭代投放都可能在验证一些猜想。

我们的目标是：用合理的投入成本，通过各类途径优化，最大化效果产出。

但实际的运营投放中，往往会遇到各式各样的投放方式：

这个渠道说，我们不能实现不了直接跳转下载；

那个渠道又说，我们是做品牌的，高曝光才是我们的优势，转化不关我事；

还有的时候，一个渠道上，就有3个不同的位置x3种素材x3种跳转方式，跳转应用市场之后到底下载了木有，打开APP了木有，效果怎么衡量，头有点晕……

但其实，我们关心的是以下几个方向：合理投入、优化路径、最大化产出。简而言之，我们关心的是：投入产出比。

（在不同的渠道进行拉新）

如何找到最大化的投入产出比，这是每一个负责拉新业务的小伙伴都曾经或者正在头疼的事情。

从上图的流程上看，我们可以优化的就是几个环节：产品是否吸引人、渠道是否优质、投放的方式是否高效、效果是否符合预期。

这里暂时不讨论产品定位，我们只讨论丰富多彩的渠道投放的效果优化。

我有100种投放姿势，就问你敢不敢试~

这里，我们虽然是以APP拉新为例，讨论的是一种多渠道效果数据分析体系，但其实适用于每一个就算不是APP产品，或者你的拉新不是以增加APP用户为核心，都可以复用这套数据分析框架。

设定预期目标

首先，对于任何一次投放活动，我们都必须界定它的目标产出。只有在清晰的效果衡量体系下，渠道数据的对比才有意义，多渠道的ROI才有可比性。

对于APP拉新的投放活动来说，常见的预期效果可能是：

提高对APP的认知（以传播广泛为目的）

成为APP用户（APP下载并激活）

在APP内完成特定行为（如购买、身份验证或者领取礼包）

我们以常见的拉新——“APP下载并激活”为例，先搭建一个数据漏斗，看看我们效果环节上需要观察哪些数据。

如果我们希望监控的是上述内容中③的效果数据，我们就在激活之后继续添加下一层级的漏斗，统计例如加入购物车、确认下单、付款这样的流程。

在这样的漏斗流程之上，我们可以搭建监控指标，有时候监控的数据可能无法实现理想的统计指标，我们可能会需要补充其他监控指标，有时候也无需如此精确的数据粒度。

我们最后监控的数据指标如下（表1）：

而效果数据部分，则可以通过MTA的新增报表——安装来源分析实现。

为什么这里增加了“下载所用网络占比”？

原因是在下载完成到安装，这两个事件属于APP应用市场的原生事件，开发者无法主动采集，但我们依然关心这其中的转化步骤，主要是担心用户如果处于较差网络环境下，下载行为可能会被终止，因此这里用了“所用网络占比”这样的辅助字段数据。

这里的辅助字段数据主要是为了优化转化效果所做的准备。确定了目标，我们第二步就可以做投放过程的数据记录了。

投放过程记录

做这一部分的数据记录，主要的目的，一是为了复盘的时候方便做分析对比，二是为了优化迭代的时候更有方向。

根据埃里克·莱斯的《精益创业》中的观点：每一次的实验迭代，其实都是为了得到一个经证实的认知。

应用在推广投放体系下，每一次投放策略的设计，都是为了验证一个投放策略的有效性，是为了提升效果产出。

这个环节是一个多路分支，我们需要做一些版本记录，以便更好的定位问题。过程图大致如下：

记录过程表2为：

（表2 广告投放策略记录）

*根据投放方式的不同，可能记录的方式也会略有不同

**具体的策略信息可以在详表中展开记录

然后把表1的效果数据映射在表2之后，得到一条投放活动的完整记录。然后就可以通过数据来验证具体的投放策略的有效性了。

验证目标是怎样的投放策略，这一点需要在投放开始前就规划好，这样数据分析的时候才能得到有效的结论。

分析与优化效果

对于搜集到的众多详细数据，我们接下来就可以做一些数据上的结果分析了。

首先，我们可能想验证的是投放素材对渠道1的banner-1的影响，那么，我们把表2中渠道1单独拿出来，可以得到如下表格：

（表3.投放素材对渠道1的banner-1的影响）

如果我们想比较渠道1上Banner和Feeds流的差别，我们可以得到：

我们也可以针对人群定向投放效果、不同的投放时间，乃至渠道效果质量对比等多个维度进行数据分析，通过数据来验证我们的策略，优化投入产出比。

所以，虽然说投放的姿势有千千万，但效果路径总是相似的。

如果你有丰富多彩的投放策略，不用急，不要慌，把路径理出来，控制策略的版本，采用A/B TEST等加快验证迭代速度，最终得到有效的投放策略与最大化的ROI效果。

以上是关于投放效果上的数据指标体系分享，相似的分析思路可以复用在不同需求的投放方案中，包括一些线上、线下的运营活动，其实也可以复用这个框架。

来源：pm28

为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?

01 遵循数据分析标准流程

数据分析遵循一定的流程，不仅可以保证数据分析每一个阶段的工作内容有章可循，而且还可以让分析最终的结果更加准确，更加有说服力。一般情况下，数据分析分为以下几个步骤：

1)业务理解，确定目标、明确分析需求;

2)数据理解，收集原始数据、描述数据、探索数据、检验数据质量;

3)数据准备，选择数据、清洗数据、构造数据、整合数据、格式化数据;

4)建立模型，选择建模技术、参数调优、生成测试计划、构建模型;

5)评估模型，对模型进行较为全面的评价，评价结果、重审过程;

6)成果部署，分析结果应用。

02 明确数据分析目标

在数据分析前期，要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做数据分析，要达到一个什么目标。

03 业务与数据结合确定分析主题

以解决业务问题为目标，以数据现状为基础，确定分析主题。前期要做好充分的准备，以业务问题为导向，以业务梳理为重点，进行多轮讨论，分析主题避免过大，针对业务痛点，实现知现状、明原因、可预测、有价值。

04 多种分析方法结合

分析过程中尽量运用多种分析方法，以提高分析的准确性和可靠性。例如，运用定性定量相结合的分析方法对于数据进行分析;融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法;高级分析和可视化分析相结合等。

05 选择合适的分析工具

工欲善其事，必先利其器，数据分析过程中要选择合适的分析工具做分析。SPSS、Rapidminer、R、Python等这几种工具都是业界比较认可的数据分析产品。

它们各有其优势，SPSS 较早进入国内市场，发展已经相对成熟，有大量参考书可供参考，操作上容易上手，简单易学。Rapidminer 易用性和用户体验做得很好，并且内置了很多案例用户可直接替换数据源去使用。R 是开源免费的，具有良好的扩展性和丰富的资源，涵盖了多种行业中数据分析的几乎所有方法，分析数据更灵活。Python，有各种各样功能强大的库，做数据处理很方便。

06 分析结论尽量图表化

经过严谨推导得出的结论，首先要精简明确，3-5条即可。其次要与业务问题结合，给出解决方案或建议方案。第三尽量图表化，要增强其可读性。

数据分析过程中，除了以上六条原则，还要避免以下3种情况：

1)时间安排不合理

在开始分析工作之前，一定要做一个明确的进度计划，时间分配的原则是：数据收集、整理及建模占70%，数据可视化展现及分析报告占25%，其他占5%。

2)数据源选择不合理

一般企业中的数据来源有很多，SAP、TMS、CRM及各部门业务系统，每个渠道的数据各有特点。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理，不仅影响结论的可靠性，而且有返工的风险。

3)沟通不充分

无论是分析人员内部的沟通还是与外部相关人员的沟通，都是至关重要的。与外部人员沟通效不顺畅，可能造成前期需求不清，中间业务逻辑混乱，最终导致数据分析结果差强人意。与内部人员沟通效率低，可能造成分析进度滞后，分析工作开展不畅等诸多问题，直接影响分析效果。

对于数据分析师，分析经验的积累与专业知识的提升同样重要，因为有些问题不是只用专业知识就能解决的，所以在平时的工作中要有意识的去学习业务知识、掌握先进的分析工具，做一个有心人! |内容来源：大数据

百家号-【袁帅数据分析运营】运营者：袁帅，互联网数据分析运营实践者，新社汇联合创始人。会展业信息化、数字化领域专家。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、电子商务职业经理人。

移动互联网时代，吃喝玩乐、办公支付等等各种应用都在抢占移动 APP 市场，在流量为王的今天，移动 APP 虽然竞争激烈前景一片大好，但也有让开发者和运营人员十分头疼的事情，那就是缺乏贯穿完整移动生命周期测试的解决方案和运营策略指导。如何快速处理移动应用的碎片化测试、利用大数据分析指导移动运营策略是长盛不衰的话题。

76 期百度技术沙龙，聚焦移动应用“产品质量“与”数据价值“，来自百度的技术专家从功能测试、兼容测试、安全测试等方面出发，为大家分享完整移动生命周期测试解决方案，以及如何通过多样化的数据分析、洞察用户行为来指导制定 APP 运营策略。

百度 MTC 移动云测试中心

人力成本逐年高升、测试团队人力不足、测试体系搭建成本高、测试设备适配困难……这些都是当今移动测试普遍面临的困境和挑战，百度 MTC 移动云测试中心，是业界领先的移动应用一站式测试服务平台，覆盖移动 APP 开发完整生命周期的各种测试解决方案，百度 MTC 高级产品经理张晓晓，现场分享了百度 MTC 如何助力 APP 质量提升。

移动应用测试种类比较碎片化，不过总体上可以分为两类：

一类是比较依赖于技术和设备的自动化测试，大家经常做的兼容测试、安全测试、远程真机调试等都属于自动化测试，针对这类测试，百度提供了上千台调试真机，覆盖 800 款主流机型，基本上可以保证市面上的真机覆盖和主流测试方案；

另一类是比较依赖工程师经验的人工测试，包括移动应用用例测试、Bug 探索测试、海量用户体验等，这类测试无法完全依赖测试设备，需要人工介入，百度众测社区拥有 10000+ 的测试专员以及 400 余位测试专家，覆盖 300+ 不同城市和多种网络环境，能够比较快的帮助开发者解决测试过程中遇到的不可控问题。

整个 MTC2.0 的版本，在自动化测试方面提供了七大块的测试解决能力，包括脚本功能测试、兼容测试、安全测试、性能测试、网络测试、遍历测试、脚本录制。每一项的测试功能对应的作用和测试不尽相同，但都不可或缺。

脚本功能测试：指自定义脚本在云端真机回放，支持 Robotium 、Appium 和 Uiautomator 等主流自动化测试框架；

兼容测试：主要在选定机型上安装、启动、monkey、卸载等环节，验证不同手机品牌、操作系统版本、屏幕分辨率下的兼容适配；

安全测试：在文件检测中检查 dex、res 文件是否存在源代码、资源文件被窃取、替换等安全问题，漏洞扫描，后门检测等；

性能测试：模拟典型使用场景，精准获取 APP 多维度性能参数，覆盖启动时长、电量、流量、CPU、内存等 9 大性能指标；

网络测试：支持在不同网络环境下的兼容测试，包括 2G、3G、4G、WiFi 等网络环境模拟；

遍历测试：按照树状结构，自动遍历 APP 控件，覆盖各种异常分支，遍历功能全，小概率 bug 无所遁形；

脚本录制：包含功能测试脚本录制、编辑、回放、调试，支持 Robotium，Appium 和 Uiautomator 等测试框架 ;

APP 自动化测试私有部署方案实践

演讲最后，李明以百度 MTC 为某一权威的科研与试验检测机构部署的自动化方案为例，讲解了百度 MTC 如何实现企业私有化的方案部署。

【客户痛点】 承担大量的科研及测试任务，公司各类型的移动应用建设存在开发周期短、版本迭代更新快、迭代更新后缺少回归测试和业务场景模拟测试，随着移动设备及其操作系统不断升级发展，现有的移动应用暴露出功能不完善、性能稳定性不足、智能设备兼容性不强、安全漏洞防护不够等问题。

【解决方案】 百度 MTC 基于私有云的移动 APP 测试解决方案，采用中央机房 + 地方机房的分布式部署方式，将项目，用户，应用，脚本设备集中调度管理、资源共享、安全保密。同时，百度 MTC 提供了一整套服务于全集团移动 APP 测试需求的测试标准，包括功能测试，兼容测试，性能测试，遍历测试、安全测试，弱网测试，极限测试，远程真机调试等，以便于统一和规范测试流程和质量。

“一框多用”Android 通用脚本测试解决方案

Android 常用的脚本测试框架主要有 UiAutomator、Robotium、Appium 等，但是都各有各的弊端，混合脚本测试基于封装后的 UiAutomator，结合图像识别和 OCR 技术，可以全面支持各类应用场景。百度高级测试开发工程师洪至远，围绕常见的脚本测试、等主题内容分享了“一框多用”Android 通用脚本测试解决方案。

如何选择支持各类场景的测试脚本

一个常规的自动化测试流程里，工作人员需要首先编写脚本然后在本地测试，测试完成后再上传到自动化测试平台收集结果。在本地测试之前，测试人员需要选择一个合适的测试框架编写脚本，目前，业界主要的框架包含 appium、Robotium、UIAutomator 三种，但这些框架各有优劣，下图为常用框架的优劣对比，我们可以很清晰的看到这三大框架的性能及适用场景。

首先，Robotium 框架可以进行黑盒测试， 并且对控件识别做得比较好, 有一套插装机制，可以实现其他的自动化测试。不过，它的缺点也非常明显，原生上不支持跨进程，需要对 APP 进行重签名，这会导致部分测试无法运行，这是比较致命的。

第二个 Appium，它支持跨平台， 包括安卓和 iOS ，而且支持的安卓版本十分全面，高版本、低版本都有各种方法解决。但也有一个致命缺点，稳定性不足，稳定性对于测试环境的重要性不言而喻，因此，这个框架也并不完全适合。

最后是 UIAutomator，是谷歌开发的框架， 本身也有很多优点。首先它是原生的，有一个很优越的特质就是支持跨进程界面的获取。不过 UIAutomator 本身不支持安卓 4.1 以下系统，对非原生界面支持较差。

经过比较，百度选择了对原生界面支持较好的 UIAutomator 框架，同时，为了保证性能的运行，百度在此框架基础上做了系列优化实践。

优化实践一：脚本执行易受干扰

在选择完成测试脚本后，测试流程中还是会碰到比较多的问题，这里面最常见的就是权限的弹窗干扰，程序在运行过程中突然出现一个干扰然后脚本就挂掉了，这种问题十分常见也让测试人员十分头疼。

弹窗干扰主要分为两种，进程内的弹窗和进程外的弹窗。针对进程内弹窗百度的解决方案是在 UIAutomator 基础上做一套封装，检测是否有弹窗逻辑，然后通过脚本逻辑进行清理；进程外的弹窗则需要通过夹杂方案，比如 UIAutomator 支持跨进程操作，这样进程外的操作可以直接通过 UIAutomator 给识别，并且给点击掉。

优化实践二：非 Native 场景脚本支持较差

一般的非原生场景包括 WebView、游戏、PopupWindow 等，这些场景很大的一个特点是界面元素识别较难，比如像 PopupWindow 这样的安全键盘，它在页面基础上加了一层 Window，识别过程的焦点安全键盘上，导致安全键盘元素完全无法获取、识别。

不管是通用的元素识别方案还是目前流行的图像识别方案，在操作和性能上都有一定弊端，百度将这两种方案结合起来，在 PC 端是统一的 API，使用混合脚本测试解决方案。图像相关的一些操作直接在 PC 端上执行，元素识别则可以将操作进行封装，然后在设备端写一个空的测试脚本，这个空脚本的作用主要是暴露 http sever 服务，通过 APP 可以进行直接的访问。在 PC 端的访问封装之后，发送到设备端，设备端对操作进行一些解析，再到清道夫 SDK，最后到 UIAutomator，做到整套设备端元素识别，这样就形成了一个比较完整的测试流程。

优化实践三：脚本编写比较耗时

目前，一般脚本的编写工作大多还是人工编写，在测试任务比较重的情况下可能会出现响应不及时的问题，这部分问题可以采用录制工具解决，通过录制工具把测试脚本记录下来，自动生成脚本，提升编写效率。

上图为百度录制工具的整体解决方案，整体的框架分为三个部分，安卓设备、录制工具服务端以及前端界面。主要工作集中在服务端，前端界面包括操作的模块，图像展示、代码生成这都是服务端上的。服务端主要提供几个功能，界面解析，生成对应的元素路径，前端界面通过点击操作过来之后，根据 Dom 树结构拿到元素路径，生成唯一代码，返回到前端这边，前端拿到现成代码，把脚本编译执行。这样，整个脚本的录制过程就实现了。

百度统计高级分析平台如何助力细化数据分析与营销

一个成功的产品，除了稳定、安全的系统性能，还需要一个精细化的数据分析来指导运营工作，才能抓住用户心理，进行广泛的推广和应用。百度高级产品经理夏艾萱，就如何利用百度统计高级分析进行精细化数据分析与营销展开了深入分享。

夏艾萱介绍到，百度统计是国内最大的网站流量分析工具，能够告诉用户，访客是如何找到并浏览用户的网站，在网站上做了些什么。今年，百度统计全新推出了高级分析平台，引入了交叉分析、百度大数据用户理解等功能。企业可以通过更多深入的分析方式，深入理解用户与产品，从而改善访客在产品应用上的使用体验，进行精准推广与营销。

上图为百度统计高级分析平台的整体功能框架，从下至上，最底层是数据实现层，依靠大数据的 online 综合处理技术，组合行为数据的同时，对用户意图进行挖掘；倒数第二层是数据接入层，百度使用了无埋点技术，能够降低工程准入门槛，同时提供多样化 API 接入服务，来适配企业个性化监控分析需求；倒数第三层为最核心的数据分析层，提供数据的分析能力，如常见的内容筛选、多维度自定义分析、漏斗、行为流、留存分析等，以及带有独家归因分析的智能预警；最上层是实际的应用层，除了日常的监控、A/B Test，百度还提供了独有的用户理解、搜索词统计等功能，同时支持元数据的 API 导出，拥有极强的工程可扩展性，帮助用户更好的利用这些信息定制运营策略。

随后，夏艾萱以一个实际案例讲解了百度是如何通过高级分析平台支持客户进行精准营销。下图为百度统计为某客户提供的营销数据分析，客户希望通过对人群的理解和人群的触达进行更好的营销活动，在此需求上，百度统计提供了两个能力，一个是通过用户线上行为洞察真正的活跃用户分布以及这些活跃用户的属性；第二个是知道精准用户分布后，引导进行线下活动的策划，然后通过数据整理出线下活动的效果以及用户对活动的反馈，通过线上线下同步走的方法，实现人群的精准定位、管理和营销。

总的来说，百度统计高级分析平台就是通过对整个用户目标进行大数据画像、意图分析，然后监控渠道投放效果，最后做用户留存分析、移动热力图等营销策略优化，实现整个市场扩展的优质渠道的选择，进而进行场景化的支持，这也是目前不少客户去实际落实产品与应用的方式。

百度移动统计改版重磅上线

之前讲解了百度统计如何利用大数据帮助客户做精准营销，那么，针对功能和界面有别与传统 pc 站点的移动 APP 来说，百度是如何帮助客户做好 APP 数据的统计与分析的呢？百度移动统计产品负责人梁殊疑，从数据高效采集、数据智能分析以及数据赋能增长三个纬度，分享了如何帮助移动运营人员实现用户洞察及精细化运营。

说起数据采集最大的痛点，效率算是当之无愧。 反复的沟通、工程埋点效力低，以及漫长的发版的更新过程都会使得大大拉伸数据采集的过程，消耗运营人员大部分的精力。针对这个问题，百度移动统计推出了可视化埋点解决方案，所谓可视化埋点，是指 APP 接入全埋点的 SDK 后，即可实现对 APP 所有标准组件的预埋点，同时用户在同步了 app 界面的电脑端圈选想要监控的事件，该事件的埋点配置文件直接下发，随后即可在前端看到圈选的事件的数据，这样，就可以大大减少技术的开发成本，提高了埋点效率。

如何精确衡量数据分析是运营策略指导的重要前提，百度移动统计在这方面除了提供常规的追踪报表，也提供了灵活性更高，纬度指标更全面的定制报告功能。而对于数据如何赋能增长这个话题，百度则采用用户分群的方式帮助客户找到了产品价值点，即按照用户的某种行为特质先将人群进行划分，然后做精准的营销和转化。

交易全链路数据驱动企业营收增长

增长智能是指利用现代的大数据和人工智能技术，高效发现和解决商业问题，以实现快速的、可量化的商业收益增长。来自 Ping++ 的大数据总监夏苏敏，作为最后的分享嘉宾，详细讲解了如何利用交易全链路数据驱动企业营收增长。

在讲如何营收增长之前，夏苏敏为现场观众科普了一个在营销领域非常重要的概念——用户生命周期价值。下图为一个移动应用用户生命周期价值的流转图。当一个新的用户进入 App 的时候，这个用户的天然特性就是高流失风险，并且忠诚度很低，假如是商品类 APP 的话，只要完成一次支付交易，这个流失风险就会下降到一个比较低的水平，但依然会保持一个比较低的忠诚度。如果用户在很长的时间内没有完成下一次的交易，由于低忠诚度的属性，就会导致回到高流失风险的状态，如果这个状态持续太久，这个用户可能永久性流失。

因此�...

数据质量，是企业数据分析系统建设过程中，一个非常重要的方面，但恰恰也是常常没有引起足够重视的方面。在服装行业的企业中，此问题也是非常的明显。数据质量将影响到企业分析应用内容的建设，以及分析结果的准确性与可靠性，有句俗语“垃圾入，垃圾出”便是说的此种情况；

首先，看看零售数据采集的缺失。

在当前服装行业的品牌商企业中，采用代理、加盟方式或与直营混合经营的模式是极为普遍的。站在品牌商总体角度上来看，代理商、加盟店这部分的数据，往往成为了企业全盘运营的一个数据黑洞。品牌商管理者总是会期望能够实现“全国一盘棋”的效果，了解商品的流转与零售状况，从全局的角度优化商品的配置，从而提高销售机会，减少库存。

很具体的一个例子，便是计算某款商品的整体零售售罄率，许多时候，由于代理加盟数据的缺失，便以代理加盟的发货数据替换其零售，零售售罄率便变为总体的消化率。诚然，批发模式下，品牌商可以通过控制退换货比例等方式降低风险，但假若商品在渠道形成较大积压，将造成一种不健康的循环。因此，POS系统，将终端零售数据的采集上收，是极有必要的。

通常，大型的或是强势的品牌，能够稍好的收集各个零售终端的数据，用于商品销售分析，从而进行快速反应，或是商品的调配。而相对其他一些中型或是中大型的品牌商，非直营线数据的采集，更是一个难题。有人曾开玩笑说，那些一直不肯使用POS系统的客户，要不就是太聪明，不期望数据被掌握，要不就是意识太落后，了解不到信息系统的益处。

真正管理严格的企业，哪怕是系统的缺失，他也会想尽办法将尽可能多的终端零售业务数据采集，手工填报、短信报送等等手段不限。事实上，数据的采集，对于客户来说，可以不要仅仅视其为义务，亦可从其享受到相应的权利。从数据运用的角度，能够为客户们带来哪些辅助呢？大致可以有订货会规划测算、季中商品结构分析、畅滞销款的分析、辅助补货或是商品在客户间的盘活。通过这些方面的工作，提升商品的销售、减少库存积压和缺货情况的发生、提高资金的周转效率。

接着，再看看数据上来之后，又可能会存在哪些方面的质量问题，先举几个例子。

单据日期错误，非直营终端多有出现，直营终端偶尔出现，我看到过二零五几年的单据。

数值错误，零售小票中零售金额或者零售数量大幅度的偏差，曾有见过将商品代码录作零售金额的，由于对账原因，此种情况直营终端倒是几乎不会出现。

合并单据，有的终端，一天就录上一两笔交易小票。

以上种种问题数据，如果没有经过专门的数据质量问题的识别与清洗，直接进入分析阶段，那么导致的结果可想而知。业绩不准，商品关联关系失真等问题是必然的，在不知的情况下，甚至有可能做出不恰当的决策。因此，在做数据分析或是类似系统建设的过程中，定要对数据进行质量的探查，异常数据的分析与处理，改善数据质量，提升分析效果。

以上聊到的均是零售数据方面的一些问题，实际上，企业运营的方方面面，均是面临数据质量问题。譬如，企业期望从年、季、波段、品类、故事、系列、面料、主题、款类、上下装、内外搭等角度对商品进行全面综合的分析，但是商品档案拿过来一看，现实与期望相去甚远，属性要不是没有设置，就是大片大片的未定义，在完善数据之前，是会让用户失望一阵子了。

当今，精细化管理的概念一提再提，作者认为，精细化管理，需要依托于精细化的分析。而精细化分析的基石——数据，一定是有质量保障的数据。在此，希望更多的服装企业能够更加重视数据质量的改善，获得更优质的数据分析效果。

更多商品管理课程，识别下图二维码，全程视频教学+案例分享，最便捷的学习途径，资深行业老师手把手传授，助你成就职场升职加薪梦！

商品管理日子中遇到想骂娘的遭遇，猜猜你中枪几条

数据分析之没有对比就没有伤害

商品主推之“卖什么要什么”与 ”订什么卖什么”

袋鼠云数据解决方案专家。拥有10余年IT行业开发和管理等企业服务经验，精通大型项目的开发和管理，曾就职于英特尔、索尼等世界500强企业，参与过英特尔，索尼，三星，华为等公司的大型项目的开发和咨询工作。近几年主攻大数据方向，包括数据中台建设、大数据治理、工业领域的数据应用等项目开发和实施。

正文：

大量的信息成倍增加，但有用的信息却非常有限。

信号是真相，噪声却使我们离真相越来越远。

——《信号与噪声：大数据时代预测的科学与艺术》

[美]纳特·西尔弗

一般情况下，企业都有多套的业务系统，一些大型企业甚至会有上百套的业务系统。这些业务在不同时期由不同的团队开发完成。因此，这些业务系统都参考着不同的标准生产各自数据。由于滥用缩写词，惯用语，数据输入错误，重复记录，丢失值，拼写变化，不同的计量单位，大量应用系统产生的大量数据是脏数据。这些脏数据是没有意义的，根本就不可能为以后的数据挖掘决策分析提供任何支持。这就是数据质量问题的由来。

一般来说数据质量问题有四个因素造成：

从上述的四因素来说，管理因素和流程因素属于组织管理范畴，信息因素和技术因素属于技术范畴。所以，要改进数据质量问题，要从组织管理和技术两方面入手，才能从根本上，最佳地解决数据质量问题。

从方法论的角度，从组织管理上去改进质量，我们能做的是：

确立组织数据质量改进目标评估组织流程制定组织流程改善计划实施改进评估改善效果

从技术上去改进数据质量，我们能做的是：

数据分析数据评估数据清洗数据监控错误预警

当我们谈到数据质量改进的时候，我们必须要有一个数据质量评价标准，有了评价标准，我们才能知道如何评价数据的质量，才能把数据质量量化，并知道改进的方向和改进的效果。

目前业内认可的数据质量的六大标准是：

用户可以把每个标准作为六边形的顶点，把你的数据该标准下的质量作为0-100分的点，在图的中心是0，在六边形的顶点是100分，把数据质量点连起来，围城的面积S就是用户数据质量的情况。

通常在业务系统存在两大类型数据：主数据和行为数据。主数据是描述事物主体的数据比如人，商品等，行为数据围绕主数据描述的事物发生的行为数据比如交易订单数据，日志数据等。所以，数据治理的改进的核心在于主数据质量改进，只有改进了主数据质量，才能有可能把整体业务数据质量提升上去。

主数据质量治理的目标是把各个业务系统低质量的基础数据，经过质量治理，形成统一规范的主数据，然后反馈给业务系统和其他数据应用系统使用。

让数据规范起来（得到所有相关人员的认可——元数据）得到一份标准的数据（主数据）建立一套体系来维护数据（主数据管理体系——数据治理）

当然，解决这个问题不仅仅只有主数据一个方法，也可以在建设企业信息系统的时候就从全局考虑，借助业务中台建设全局共享的业务服务中心，在业务服务中心的设计中确保基础数据的统一。但当前的现实情况是，大多数企业经过多年的信息化建设，已经积累了大量的烟囱式信息系统，按照业务中台的思路，彻底推倒重建的成本巨大。所以主数据管理也是解决企业当前基础数据不统一的可行方案。

对主数据的质量进行改进，需要从以下几个方面入手：

1. 了解数据现状

当前有多少数据？数据模型是什么样子？涉及到哪些业务部门和角色？有什么样的维护流程和体系？数据在哪个或者哪些系统中录入？数据如何流转？数据质量如何？共享质量如何？

...

可通过以下两种方式对当前数据现状进行调研了解：

管理流程调研：管理流程调研按照人员，组织，客商，物料，产品，资产，项目以及合同等分成多个子项目。根据企业需要，选择一些做调研。

基础数据调研：主要是调研的是当前的数据在哪里？哪个部门管？怎么管？数据量有多大？数据格式是什么？数据质量如何？

2. 设计数据模型

数据定义是什么？数据到底有几个模型？每个模型中有几个字段？每个字段的含义是什么？这里主要讨论基础的数据建模，即确定主数据的属性数量，名称，属性数据类型及长度等信息。

主数据定义：定义需要明确和清晰。定义关系到数据范围和数据量，关系到与其他主数据的关系。比如人员主数据是指所有与**公司签署了正式劳动合同的人员。人员主数据是从企业管理视角出发的人员实体的数字化描述。

主数据中表的颗粒度：是用一张表还是多张表描述实体，这决定主数据中表与表之间存在1:1，1：N，N:M的各种关系。

主数据中字段属性的颗粒度：根据实际的业务需求，定义字段属性的颗粒度，颗粒度细，则数据量大。反之，则少。

遵循的原则：权威原则、全局性原则、共享性原则、扩展性原则。

3. 制作主数据管理方案

哪个部门，哪个岗位，在什么时候，依据什么进行主数据维护？

建立数据管理的虚拟组织，找到对数据负责的人。每个主数据都要有一个或者多个业务部门对数据负责，不是信息中心。信息中心仅对数据本身负责。定义数据管理组织的管理职责。针对每个数据的每个字段，都应当回答，谁，在什么场景，依据什么，是否多人和有流程对内容进行管理和维护。

4. 数据清洗方案

当前存在的数据如何变成标准主数据的过程。

责任部门负责数据清洗和对数据质量负责，其他部门进行协助根据数据质量情况决定组织模式，必要时需要“运动会”模式提前就数据要求，填报规范做充分培训采用大数据平台做清洗的技术手段，可以有无限扩张的计算和存储能力，很好的解决清洗数据中的计算资源消耗问题

5. 主数据管理技术方案

数据流向方案

数据的入口在哪里，主数据系统中的数据分发给哪些系统

系统支持方案

数据在哪个系统中录入

系统集成方案

主数据服务规范，第三个系统改造内容

随着互联网时代的来临，企业面对的数据已经远远不是简单的业务数据，而是来自网络和各种设备的大量结构化和非结构化数据即大数据（Big Data）。通常来说大数据质量往往比业务系统产生的主数据的质量还要差，当然也需要治理。

大数据的质量改进主要是通过数据中台的数据清洗，ID Mapping等技术来解决。

数据的质量治理有七大原则：

袋鼠云作为一家企业数据整体解决方案提供商，有一套完整的企业数据解决方案，尤其在数据治理方面，不仅提供数据质量治理的咨询服务，也提供相应的数据质量治理的产品，数栈。

关于数栈，我们下期再讲。

2017年药品质量不合格数据年度分析报告

来源：药智网

导语：各位关注本公众号的朋友们，您们好！药智作者根据药智药品质量不合格公告数据库及各省级食药监局官网相关资料，对2017年药品质量不合格数据进行整理分析，形成《2017年药品质量不合格数据年度分析报告》，欢迎参考阅读，可能会存在遗漏或不足的地方，请直接在公众号留言。

1.药品质量不合格介绍

为了保障公众用药安全，各省（市）药品监管部门和检验机构根据法律法规以及药品抽验计划，对全省（市）药品生产、经营和使用单位实施了质量抽验，并公布结果报告。药智笔者汇总分析了2017年各省（市）药品质量抽检不合格公告，形成《2017年药品质量不合格数据年度分析报告》，以供参阅。

本报告涉及的不合格药品分为中药材（药材及其饮片）、中成药、化学药、生物药、药包材、辅料及其它七种类型，共4106批次，未包括654批次假冒品。不合格药品主要集中在中药材、中成药及化学药。其中，药材不合格2618批次，占比64% ；中成药不合格917批次，占比22%；化学药不合格493批次，占比12%。抽检不合格药品类型以药材所占比率最高。

2. 药品质量不合格企业Top20

2.1.按批次计

以企业为基准对不合格药品批次数量统计发现，在药品质量不合格企业Top20中中药饮片企业有9家，占比45%，尤其是榜单前10名中有6家为中药饮片企业，详情如下图所示。

由于是按批次计，会存在同一品种不同批次皆为不合格产品的情况，如四川省三星堆制药有限公司所公告出的41批次不合格产品中“炎可宁片”就有28批次。

2.2.按品种计

以企业为基准对不合格药品品种数量统计发现，在药品质量不合格企业Top20中中药饮片企业有16家，占比80%。其中，樟树市庆仁中药饮片有限公司排名榜首，相对于2016年名次上升18名。详情如下图所示：

2.3.比较

按批次和按品种分析所得的图表有一定区别，因为同一品种药品可能拥有N批次产品。但总体来说，前20名中药饮片企业大部分都同时存在于两个图表，且在排名中占据较大比例。

与2016年排行表比较，中药企业明显增多，且排名靠前。由此可见，中药材质量是目前国家药品质量管理和监控所面临的一大问题。

3.质量不合格药品品种Top20

据统计，在不合格药材品种Top20中，红花数量最多，113个（以不合格批次计，下同）；白矾排名第二，86个；地龙85，排名第三。今年新上榜药材有白矾、土鳖虫、砂仁、人参、粉葛、谷精草、党参、冰片、白及、菊花、葛根、地枫皮、醋没药。详情见下图：

在不合格中成药品种Top20中，“杜仲平压片”数量（以不合格批次计，下同）19个，排名第二，主要来源于通化振霖药业有限责任公司；“陈香露白露片”18个，排名第三，主要来源于广西恒拓集团仁盛制药有限公司；“炎可宁片”不合格数量最多，共37个，排名第一，其中四川省三星堆制药有限公司占28个。上述三个企业皆在药品质量不合格企业前Top20（按批次计）排名中。详情见下图：

鉴于化药不合格总数量相对较少，所以只列出排行前10的药品，其不合格数量达170批，占化药总不合格数约34%。“氯霉素滴眼液”占据榜首，共41批次，广东宏盈科技有限公司占23批次。详情见下图：

备注：由于存在并列情况，所以上述排行总数量可能会超过10或20。

4. 药品质量检测不合格项目Top10

药品质量检测项目主要包括性状、鉴别、检查、浸出物、特征图谱或指纹图谱、含量测定及炮制测定项。其中，性状、检查项问题最为突出，性状不符合规定数量达1625批次（约占35%）；而检查项目具体包括水分、灰分、有关物质、可见异物、相对密度、二氧化硫/溶剂残留量、重金属、崩解时限、装量差异等，共1749批次（约占38%）不符合规定。统计已明确的不合格项目，具体情况如下：

注：

（1）性状：记载药品的外观、质地、断面、臭、味、溶解度以及物理常数等。

（2）含量测定：是指药品中包含的国家标准规定的有效成分的数量。含量测定是判定药品是否符合标准规定的主要指标，含量不符合规定会直接影响药品的质量和功效。

（3）灰分：无机物，锻烧后的残留物。

（4）鉴别：包括经验鉴别、显微鉴别和理化鉴别。显微鉴别中的横切面、表面观及粉末鉴别，均指经过一定方法制备后在显微镜下观察的特征。理化鉴别包括物理、化学、光谱、色谱等鉴别方法。

（5）有关物质：是指在特定药物的生产和贮藏过程中引入的杂质。

（6）水分：是指药品中的水分含量。水分检查主要是检测药品中水分含量是否符合标准规定。水分项目不符合规定，可能会影响药品的质量和功效。

（7）二氧化硫残留：硫磺熏蒸是我国药农传统习用中药材产地粗加工方法，硫磺熏蒸后的中药材及饮片中残留有挥发性二氧化硫，含硫物质的过度残存会对健康产生损害。

（8）装量差异：是药品制剂的均匀性检测指标之一，常见于胶囊、粉针等剂型，主要检查数个最小单位药品的重量均匀度是否在标准规定的误差范围内。装量差异是判定药品是否符合标准规定的手段之一。

（9）重金属：在实验条件下能与硫代乙酰胺或硫化钠作用显色的金属杂质，以铅为代表。

（10）浸出物：用水、乙醇或其它适宜溶剂，有针对性地对药材及制剂中可溶性物质进行测定。

5.质量不合格药品省份分布

据药智笔者更深入地研究发现，不合格药品（包括药品和药材，下同）遍布全国各个省份，其中广东、内蒙古、福建、江苏四个省检测出数量较多，不合格药品数量均在200批次以上。另，总局抽检出821批次药品（包含药材）不合格。各省不合格药品数量分布如下：

6.假冒药品分析

与2016年（1300批假冒药品）抽检情况相比，生产假冒药品的情况明显有所改善，但仍然存在。其中亳州市豪门中药饮片有限公司、安徽省金芙蓉中药饮片有限公司、安徽孟氏中药饮片厂有限公司、安徽济顺中药饮片有限公司等企业被不法分子假冒的现象较为突出（详情见下图）。假冒情况严重影响企业名誉，因此国家相关部门应该加大打击假冒药品的力度，净化医药市场。

7.总结

通过统计数据我们发现，中药材质量问题十分突出。其中，中药材不合格数量占总数64%，中药饮片企业占比相对2016年也大大增加。一方面，说明国家对药材质量的监管力度加大。另一方面，各环节对中药材质量问题认识不深、把关不严、存在故意违法违规销售假劣药材（中药饮片）现象以及药品标准的不完善等是造成此检验结果的根本原因。由此可见，中药材质量安全问题亟待解决。

药品质量直接关系着人民群众的身体健康和生命安全，是国家重视的民生问题。而中药材作为我国潜力巨大的经济资源、具有原创优势的科技资源、优秀的文化资源和重要的生态资源，其质量的提高是必要的、必须的，也是有路可循的。只要我们努力去改进和完善，笔者相信药品质量必会有很大的改善。

药品质量不合格数据报告经过一年时间人工收集和大量程序加工整理。因为各省发布文件数据结构不同，数据分散，特采用相关软件统计分析，避免人为失误带来错误结论。此分析报告来之不易，大家且爱且珍惜。欢迎各位朋友关注药智数据——全国综合性最强、最专业的医药数据库，并提供相关建议。

免责申明：统计数据仅来自各省食药监局官网。药智小编已经剔除食药监局标记的假冒药以及重复数据，但仍可能存在未被相关部门发现的假冒药。因官网数据不断更新，统计结果会有微小偏差，仅供参考。

附：

药品安全消费提示

（1）食品药品监管管理局提醒消费者在合法正规的医疗机构、药店等购买药品并索取保存相关凭证；购买药品时要注意查看外包装的相关标识，如生产日期、有效期、生产企业、批准文号等是否齐全，是否在有效期内；必要时，可登陆相关网站查询核实药品注册相关信息；购买药品后要按说明书标明的贮藏条件保存药品，并按医嘱或用法用量服用药品，特别注意说明书上的不良反应、禁忌、注意事项等内容。

（2）药品信息查询途径

l 国家食品药品监督管理总局（CFDA）网站

l 药智数据相关网站

原作者：Martin P Doyle

译者： FOFO

为了能够系统化地、高效地解决出现的任何问题，我们必须学会将这些问题分而治之。毕竟，知己知彼方是解决问题的首重至要。由此，我们才会发现解决之道就在其中。 而对于提高数据质量同样适用：每一个解决问题的方法都有不同的阶段与角度。

当一个数据质量改进程序在启动时，仅知道数据库中有多少错误计算或重复录入是远远不够的。不止于此，我们还需要知道不同类型的错误在收集的资源中是如何分配的。

据 Jim barker 一篇很有意思的博客所述，数据的质量被分解成两种不同类型。而在本文中，我会带领大家仔细区分这些“类型”有何不同，并且如何利用这些“类型”在开发预算中确保我们的优势资源放在何处。

数据类型

被誉为“数据博士”的Jim barker，借用了一个简单的医学概念来定义数据质量问题。 在他的博客中介绍了如何将这两种“类型”组合在一起，并且成功激发了那些一直纠结于找到在数据库中拉低数据质量的幺蛾子的数据分析师们的兴趣。

I 型数据质量问题我们可以使用自动化工具检测到。II型数据质量问题就非常隐秘了。大家都知道它是存在的，但它看不见摸不着，更处理不了，因为它需要放在特殊情境才能被检测到。

它们之间的区别简而言之可归纳为如下几点：

I型数据质量问题首先需要 “知其然” 才能来检测数据的完整性、一致性、唯一性和有效性。这些属性靠数据质量软件甚至手动很好地找到。你不需要有很多的背景知识，或者数据分析经验。只要按照4个属性验证它的存在，就可以判定它错误的。例如，如果我们在性别领域插入一个3，我们就可以判定它到底是不是一个有效值。

II型 数据质量问题需要 “知其所以然” 来检测时效性、一致性和准确性属性。需要研究能力、洞察力和经验，而不是简简单单就可以找得出来的。这些数据集经常从表面上看起来没有问题。但幺蛾子往往存在于细节中，需要时间去发现。Jim举的例子就是一份退休人员的雇佣记录。如果我们不知道他们早已退休的话，是看不出来这个数据是错的。

所以，解决这些数据质量问题的关键就是需要一个复杂的、战略化的方法，而非孤立的、片面的来看问题。一旦数据质量不好，我们就需要寻求自动化与人工的方式才能解决这个问题了，真可谓是“屋漏偏逢连夜雨”啊。

成本调整

所以，我们如何解决I型和II型数据质量问题呢？处理它们所花费的费用是可比的，还是完全不同的？

要记住重要的一点是，I型数据的验证问题可以在逻辑上定义，这意味着我们可以靠编写软件来查找并显示它。软件自动修复的速度快、成本低，甚至配合手动审查就可以完成。考虑到I型数据质量问题实际上是作为表格内字段型的验证，一旦解决了表格字段的问题，I型数据质量问题实际上也就解决了。

根据我们以往的经验： I型数据基本涵盖了80%的数据质量问题，但消耗了我们20%的经费成本。

第二类数据问题往往需要多方的输入，以便发现、标记和根除。虽然我们客户关系管理系统中的每个人都有购买日期，但购买日期可能不正确，或者与发票或发货清单不符。只有专家才能通过仔细核查其内容来解决问题并手动改进客户关系管理系统。

通常情况下，企业很难做到资源的合理分配，原因有二，特别是企业处于快速增长阶段；或者处于人才流失的时候。 你别看这些II类问题较少，可能仅占数据问题剩余的20%，但它们很有可能需要消耗超过80%的成本预算。 所以，如果当企业处于人才大量流失，却又对此无能为力的时候。你会发现第二类数据问题更难处理，因为人工解决的途径已不复存在了。

提高精确程度

为了提高数据的准确性，我们必须将I型和II型数据问题作为单独的，但同时存在的问题进行研究。I类型数据质量的挑战可以呈现快速获胜，但第II类问题提出了一个挑战，必须依靠人类的专业知识才可以解决。

随着时间的推移，数据库会超过使用期限。为保其时效性，这需要持续不断的努力。数据可以在数据库中进行清洗，或在使用阶段进行清理，但由于如导入/导出、损坏、手动编辑、人为导致错误等多种原因，仍然要注意I型错误的发生。第II类数据问题在这阶段自然而然地发生，因为就算数据经过验证和审查之后看起来正确，但对于现在来说仍有可能是不正确的，因为此时已非彼时，数据的使用环境改变了。

确保数据的完整

数据的完整会有助于我们观察整个事物的全貌并推动其对事物的决策。正如我们前面所说，发 现 I型数据质量问题是比较简单、廉价和快速的。但如果企业的工作业务还没有采用某种数据质量软件来解决I型数据质量问题的话，那现在也应该着手考虑了，因为这样才可能避免将来出现的资源浪费、损害品牌效应和来自大众的误解。

而对于第II类数据问题，关键是要理解它为什么会发生，并采取措施以防止它的发生。从日常工作中，处事的变通以及员工疏忽常导致数据的质量不佳。随着时间的推移，资源分配失当也会增加II型数据问题的增加。而改善它的费用也会成倍增加，因为你需要具备专家的眼光方能在茫茫的数据中找到它的存在。

其实，发现并解决这两类问题在当下已不是不可能的事了。会变得越来越容易。 很多数据质量供应商们也在不断寻找新的方法，相信在不远的将来，得到高质量的数据会变得越来轻松，越来越简单。

End.

原文链接：http://bigdata-madesimple/defining-data-quality-problems/

数据特工介绍

后台回复“特工”加入我们