这篇文章最开始完成的那天晚上晕乎乎的没睡好，一直再想如果深入研究该做点啥。写出来后发现近乎呓语，拿出来自娱自乐吧。

单纯从数据层面来看，数据体系包括治理、管理和应用三个部分。治理主要负责解决人与人之间的事，管理负责各个职能领域，应用则是价值的实现。讨论大数据的话，其实可以分成两大类，这里不讨论技术架构，以及更下面的基础层的内容，只讨论数据视角的事情。

在我看来，数据管理里面数据质量（以下简称dq）是人与人矛盾分歧最大的职能域，所以也配置了全套的数据治理手段。细节不多谈，这方面理论和实践都比较成熟，但效果却不是很满意。究其根源，有表层和深层次的原因若干，后文慢慢展开。现在我们讨论的大数据，应该和场景关联起来而非干聊概念模式；同理，数据质量和业务需求、技术方案密切相关，而非单纯的玩“茴”字有几种写法。

数据质量管理开展的驱动因素比较复杂，银行里面里面的驱动因素第一是监管，第二是内部的数据治/管理（比如标准），第三才是数据应用。这是事实，表面看是无奈的，其实是科学的。数据应用有多种层次，从跪着到跑着的能力曲线表明了数据应用的深度。那么？不同层次对于数据质量的需求是否一样呢？这里如果继续的话，可以单独开一篇文章，还是暂停一下，回归数据治理的主旋律。

举个数据质量的典型案例，比如同一业务指标在不同系统间的结果不一致。这个分析起来要看从业务定义开始，到数据采集、加工处理、应用各个环节。影响范围也会比较广，比如对监管、对决策。从数据体系职能域看呢，又会和数据治理、数据标准、数据架构有关联。从点到面，从表面到内涵，数据质量问题的解决是系统性的内容，数据治理流程约束干系人各司其职，保证戴明环的顺畅运行。

此外，从数据生产者、使用者的角度也都存在潜在的问题，流程、标准不一致也是导致问题的原因，所以数据质量的讨论往往比较复杂琐碎。大数据背景下，又要补充两个新的属性，一个是可链接性，内外部数据的关联整合；另一个是真实性，这是传统未曾参与或者说积极回避的事情。真实性实在是难啊，直接就可以成为数据挖掘、人工智能的应用案例；相比之下关联整合现在做的还比较多，因为更容易转化为落地项目。

有个简化的思路就是quality = fitness for purpose，是否有问题，关键看是谁的什么purpose。现在更愿意采用fitness for purpose也是短期效益迫使的缘故，数据质量的长期效益往往难以实现、也难以证明。这个思路是务实的，但却存在银行，比如陷入拆东墙补西墙的境地。

数据质量是综合表现，原因错综复杂。数据治理是王婆娘的裹脚布，也是政治斗争的绞肉机。治理与管理都存在矛盾，跟别说与应用之间的关系了。传说国外企业的CDO往往三年就要更换东家，也就很容易理解了。这段完全是引用，旨在说明在其工作中面临的尴尬和无奈。

似乎归根结底，一切都要落到人的因素上，数据的管理与应用是客户因素占比大，还是内部文化因素占比大呢？我想大家心里都有谱，所以试图依赖技术手段解决管理问题终归都会失效。

回到开头的问题，治理、管理都是细腻的事情，需要工匠化反复锤炼，还有长期不受重视的困惑，这些都对从业者是巨大的挑战。对我个人来言，我更愿意去在大数据实践中讨论治理、管理与应用的融合，换句话说就是价值导向驱动数据体系的运转。这样的视角下，可以研究的问题就会很多，并且目标会更精准一下。相比原来试图从底层解决治理、管理问题的思路要务实一些。另外就是可以持续探索新技术了，人工智能、区块链都是目光所及范围之内的内容。

写在最后，本文初稿成于8月末，部分观点来自微信讨论。三个月后重读后进行了修改，以至于部分观点发生了转变。此外，还要讨论一件事，那就是专才与通才。数据挖掘领域的技术专家，肯定是专才了，精通于先进技术并持续钻研打磨，擅长利用先进的方法工具转化为实际生产力，像是一把锋利的剑。那么数据治理、数据质量管理领域呢，是需要专才，还是通才呢？如果是专才，传在哪里，反之通在何处？

如何提升劳动和社会保障统计数据质量

一、统计工作占据的重要地位　　统计工作占据着重要的地位和作用，它的重要性体现在以下几个方面。统计工作之所以发挥着重要的地位和作用主要一方面是因为统计工作具有实事求是的特性，它能够真实、及时并且准确地反映统计工作，使统计工作真实客观地反映调查趋势；另一方面它的重要性体现在统计工作不是独立进行实施的，它需要一分为二来看待，因为它不但可以呈现成绩的一面，而且还可以反映出有问题的一面，这样就可以在解决和处理问题时能够不偏不倚，客观地看待成绩和出现的各处问题。所以统计工作实际反映出的数据也应该做出一分为二的分析；除此之外统计工作的重要性还体现在它可以反映发展的趋势。这种发展趋势的反映主要基于通过一分为二的分析以后最终而得出的结果。那么这个分析结果无论是发展变化的反映或是收支趋势的反映，它都可以成为领导决策时的重要参考信息，所以对于工作的下一步开展具有重要的指导意义。综上所述，领导的决策以及企业的发展都离不开统计工作的辅助，统计工作为企业的发展发挥了重要的作用。　

二、现在劳动和社会保障统计工作的缺陷　　在我国能够比较全面地反映我国劳动与社会保障工作的官方统计主要以我国劳动和社会保障部门与国家统计局每年公布《劳动和社会保障事业发展统计公报》和阶段性《劳动保障事业计划执行情况通报》，它在指导人们认识劳动与社会保障工作上发挥了重要作用，但是它还存在一些缺陷，对此笔者从以下几个方面进行了相关论述。其一没有进行及时的统计指标调整，它指的是没有根据劳动与社会保障改革的要求动态去进行及时的统计指标调整；其二对于劳动和社会保障工作负面信息的统计较少，因为劳动与社会保障统计监督功能没有得到充分的发挥。对于一些妇女和农民工所受劳动歧视或者工资歧视的相关统计信息是很难得到，而对于一些除此之外的负面数据也是无处可寻的；除了上述两个方面以外还有一个方面就是数据主要停留在劳动与社会保障工作表面，而对数据进行深度挖掘的信息则较少。因为缺少对相关深度调查所以实际反映出的数据是不能完全说明问题的，所以这与国际社会社会保障改革全面提升服务质量的要求距离还是非常远的；最后一个方面就是官方统计围绕劳动与社会保障规划进行或者围绕政府工作进行。而当前的指标则多是反映劳动和社会保障事业的增长指标，而在增长过程中的绩效问题则容易被忽视，所以这样就会影响到对统计工作的判断，它也会掩盖改革发展中存在的一些不易被发觉的深层次矛盾，那么最终的结果就会导致不利于培养劳动与社会保障工作者的社会责任意识以及忧患意识。

三、提升劳动和社会保障统计数据质量　　为了更好地应对劳动和社会保障工作中存在的缺陷，笔者认为应当从建立科学的管理体制与工作机制进行着手实施。对于科学的管理体制和工作机制的建立和实施应当从以下几个方面进行思考。　　1.统计部门要敢于承担。现实劳动工作中劳动力市场的供给统计和需求统计才是广大求职者最为关注的，通过这些数据的掌握他们可以降低求职成本。而官方统计数据缺乏所以造成了不实信息的流入，最终劳动力市场的无序流动。此外，对于劳动市场上存在的劳动歧视现象缺少必要的统计监督，特别是对于一些劳动歧视性指标的认识都还不全面。对于上述此种现象，统计部分要能够做到勇于服务，还要能做到敢于揭短，这样才能使统计工作成就突显，这种全面深入的统计数据也才能真正满足政府决策与理论研究的需要。　

2.规范统计方法。因为统计数据来源不是单一的，它的多元化和复杂化使得统计工作实施更当谨慎而行，为此规范统计方法是对付数据多元化的有效方法。数据多元化主要是因为除了官方统计之外，国外也会出具一些统计数据，而同样事件反映出的数据则会大相径庭。对于出现这种统计数据相差较多的情况会给政府社会保障工作带来很大的不便。对于这种多头统计带来的严重数据混乱问题笔者认为国家应当通过立法的形式来发布统计标准，这样保证统计数据的一致性。而对于国外的相关调查机构相关调查提纲要经过国家统计部门的相关报批后方可实行。对于统计方法一定要保持与国家立法的统计标准一致，对于不一致的数据要上报仲裁后才可以向社会公布。

3.重视民意统计，构建多维统计管理体制。笔者认为我国应设立官方统计、民意调查、研究机构为一体的劳动和社会保障统计体制，官方包括涉足劳动和社会保障事业的多个部门在就业再就业、社保体系建设和维护广大劳动者合法权益、劳动保障法规执行、政策落实、目标计划完成、岗位需求、技能培训、工资指导价位等方面，及时提供信息反馈，通过开展统计分析及时发现问题和提出对策，促进我国劳动保障工作不断改进和加强，建立劳动和社会保障各部门之间的统计通用平台，为广大劳动者和用人单位提供了大量的统计信息服务。理论研究机构应根据劳动和社会保障改革要求，在统计数据挖掘、开发派生统计信息方面做文章，以“揭短”为主；民意调查应以了解最基层、最现实的民意信息为主，促使政府的劳动和社会保障决策始终把百姓利益放在首位，使决策的出发点遵循公正、公平、公开的原则，通过民意统计，改进政府劳动和社会保障工作，以“金保”工程为信息平台，提高服务效率。

第四次经济普查启动

六“不”对数据质量提出更高要求

光明日报记者 张翼

五年一次的经济普查是对国情国力的详细大调查，是摸清经济“家底”的重要方式。目前，第四次全国经济普查已经启动，从7月份开始，在全国范围内对各类单位进行地毯式清查，为正式登记提供精准单位名录。

中国经济有哪些新变化、新亮点和新趋势？通过中国经济的大体检，将得出比较清晰的答案。

三百六十行，行行都要普查到

制造业、房地产业、建筑业、金融业、教育卫生文化……经济普查的对象是从事第二产业和第三产业的全部法人单位、产业活动单位和个体经营户，初步测算，涉及国民经济19个行业门类，约3000万个经济主体、近6000万户个体经营户。

“自第三次全国经济普查以来，我国经济实力和综合国力大幅提升，经济已由高速增长阶段转向高质量发展阶段，处在转变发展方式、优化经济结构、转换增长动力的攻关期，迫切需要摸清我国最新‘家底’和国力。”国务院第四次全国经济普查领导小组副组长、国家统计局局长宁吉喆表示。

据介绍，今年7-11月份是经济普查的清查阶段，将在全国开展普查单位清查工作。在经济普查的清查阶段，既要摸清楚有哪些企业、单位和个体经营户，又要知道他们都在哪，具体做什么，这是确保普查对象不重不漏的关键环节，是开展普查登记前的重要一步。通过绘制普查地图，准确划分普查区和普查小区，对普查小区内的各类单位和个体经营户进行“地毯式”“拉网式”逐家逐户清查，特别是对于一个机构两个牌子、一户多照、异地经营等现象进行排查，确保普查对象全在册，为正式登记普查打下扎实基础。

以2018年12月31日为普查时点，开始正式入户登记。

据了解，国务院经济普查办公室新增加了十几个部门作为成员单位，多为服务领域的部门，成员单位多达34个，这是目前为止参与部门最多的一次经济普查。

数据质量是普查的生命线，坚持六个“不”

“中国经济体量大、经济主体多、经济活动日趋复杂，加之新产业、新业态、新商业模式不断涌现，给普查带来重大挑战。”宁吉喆强调，“数据质量是统计工作和普查工作的生命线，统计部门将多方施策、多策并举，确保普查数据质量。”

按照国际惯例和国家方案，经济普查成果将作为评价经济发展成果、全国统一开展国民经济核算、修正历史统计数据和编制国民经济发展规划的重要依据。经济普查成果既与年度政府统计和部门统计密切相关，又与国民经济五年规划编制紧密相连；经济普查数据既要客观真实反映各级党委政府的工作成果，又要经得起国际、国内专家学者的评估和分析，更要接受社会的监督和历史的检验。因此，对这次经济普查成果质量提出更高要求：六个“不”——“不虚报、不伪造、不迟报、不拒报、不瞒报、不篡改”是经济普查必须坚持的原则，是保证普查数据质量坚决不能触碰的“高压线”。

宁吉喆表示，将加强执法检查，严厉惩处统计违法行为。加强经济普查执法检查，对虚报、瞒报、拒报、迟报、伪造、篡改普查数据的统计违法行为，坚决查处并及时曝光。同时，此次普查将应用信息技术，通过企业联网直报平台和手持电子终端（PAD）等多种方式采集普查数据，提升普查效率和数据质量。

按照中央《关于深化统计管理体制改革提高统计数据真实性的意见》以及《统计违纪违法责任人处分处理建议办法》，建立健全普查数据质量追溯和问责机制，全面实施严重统计失信企业公示和联合惩戒制度，推动统计、市场监管、税务、银行等部门和单位对企业的信用状况实行互认。

新时代的国情国力大调查

第四次全国经济普查是中国特色社会主义进入新时代、全面建成小康社会决胜阶段开展的一项重大国情国力调查，而且恰逢改革开放40周年，对摸清新时代中国家底、服务国家改革发展、加强和改善宏观调控具有重要作用，普查成果将受到极大关注。

目前，部分普查对象存在思想顾虑，不愿意配合、不接受普查，或O指标报送，可能导致部分单位、企业漏查和少报，会影响普查进度和普查质量；另一方面，有的中小企业特别是私营企业没有健全的业务、会计、统计核算和统计台账等基础工作和资料，可能导致普查数据缺乏依据，普查数据不能真实反映企业生产经营实际，不能满足经济普查工作需要。在普查人员的选调方面，困难也较多，能够选聘既要懂会计、经济、统计，又要熟悉计算机、网络、地图绘制等知识的普查员和普查指导员的难度较大，培训任务十分艰巨。

经济普查是一项广泛的社会动员。“必须建立上下协调有序的组织管理体系，为普查顺利实施提供坚实保障。”宁吉喆表示。《关于开展第四次全国经济普查的通知》明确了“全国统一领导、部门分工协作、地方分级负责、各方共同参与”的组织原则，国务院经济普查办公室将督促各级普查机构、人员、物资的落实，做好经费保障和设备保障。

《光明日报》（ 2018年07月15日 03版）

来源：光明网-《光明日报》

数据质量，是企业数据分析系统建设过程中，一个非常重要的方面，但恰恰也是常常没有引起足够重视的方面。在服装行业的企业中，此问题也是非常的明显。数据质量将影响到企业分析应用内容的建设，以及分析结果的准确性与可靠性，有句俗语“垃圾入，垃圾出”便是说的此种情况；

首先，看看零售数据采集的缺失。

在当前服装行业的品牌商企业中，采用代理、加盟方式或与直营混合经营的模式是极为普遍的。站在品牌商总体角度上来看，代理商、加盟店这部分的数据，往往成为了企业全盘运营的一个数据黑洞。品牌商管理者总是会期望能够实现“全国一盘棋”的效果，了解商品的流转与零售状况，从全局的角度优化商品的配置，从而提高销售机会，减少库存。

很具体的一个例子，便是计算某款商品的整体零售售罄率，许多时候，由于代理加盟数据的缺失，便以代理加盟的发货数据替换其零售，零售售罄率便变为总体的消化率。诚然，批发模式下，品牌商可以通过控制退换货比例等方式降低风险，但假若商品在渠道形成较大积压，将造成一种不健康的循环。因此，POS系统，将终端零售数据的采集上收，是极有必要的。

通常，大型的或是强势的品牌，能够稍好的收集各个零售终端的数据，用于商品销售分析，从而进行快速反应，或是商品的调配。而相对其他一些中型或是中大型的品牌商，非直营线数据的采集，更是一个难题。有人曾开玩笑说，那些一直不肯使用POS系统的客户，要不就是太聪明，不期望数据被掌握，要不就是意识太落后，了解不到信息系统的益处。

真正管理严格的企业，哪怕是系统的缺失，他也会想尽办法将尽可能多的终端零售业务数据采集，手工填报、短信报送等等手段不限。事实上，数据的采集，对于客户来说，可以不要仅仅视其为义务，亦可从其享受到相应的权利。从数据运用的角度，能够为客户们带来哪些辅助呢？大致可以有订货会规划测算、季中商品结构分析、畅滞销款的分析、辅助补货或是商品在客户间的盘活。通过这些方面的工作，提升商品的销售、减少库存积压和缺货情况的发生、提高资金的周转效率。

接着，再看看数据上来之后，又可能会存在哪些方面的质量问题，先举几个例子。

单据日期错误，非直营终端多有出现，直营终端偶尔出现，我看到过二零五几年的单据。

数值错误，零售小票中零售金额或者零售数量大幅度的偏差，曾有见过将商品代码录作零售金额的，由于对账原因，此种情况直营终端倒是几乎不会出现。

合并单据，有的终端，一天就录上一两笔交易小票。

以上种种问题数据，如果没有经过专门的数据质量问题的识别与清洗，直接进入分析阶段，那么导致的结果可想而知。业绩不准，商品关联关系失真等问题是必然的，在不知的情况下，甚至有可能做出不恰当的决策。因此，在做数据分析或是类似系统建设的过程中，定要对数据进行质量的探查，异常数据的分析与处理，改善数据质量，提升分析效果。

以上聊到的均是零售数据方面的一些问题，实际上，企业运营的方方面面，均是面临数据质量问题。譬如，企业期望从年、季、波段、品类、故事、系列、面料、主题、款类、上下装、内外搭等角度对商品进行全面综合的分析，但是商品档案拿过来一看，现实与期望相去甚远，属性要不是没有设置，就是大片大片的未定义，在完善数据之前，是会让用户失望一阵子了。

当今，精细化管理的概念一提再提，作者认为，精细化管理，需要依托于精细化的分析。而精细化分析的基石——数据，一定是有质量保障的数据。在此，希望更多的服装企业能够更加重视数据质量的改善，获得更优质的数据分析效果。

更多商品管理课程，识别下图二维码，全程视频教学+案例分享，最便捷的学习途径，资深行业老师手把手传授，助你成就职场升职加薪梦！

商品管理日子中遇到想骂娘的遭遇，猜猜你中枪几条

数据分析之没有对比就没有伤害

商品主推之“卖什么要什么”与 ”订什么卖什么”

作者：环境保护部环境与经济政策研究中心 黄德生

数据质量是污染源普查的生命线。普查目标能否实现，数据质量是关键。2017年以来，中共中央办公厅、国务院办公厅先后印发《关于深化统计管理体制改革提高统计数据真实性的意见》《关于深化环境监测改革提高监测数据质量的意见》等文件，对数据的真实性、准确性、客观性、全面性和打击数据造假提出明确要求。为确保第二次全国污染源普查的数据真实、准确、可靠，并为将来更好地应用和服务于环境管理决策，笔者认为，在普查过程中应牢牢抓住数据质量这个“牛鼻子”，从组织领导和责任机制、资金保障和经费管理、人员队伍和技术力量等方面进一步加强支持和保障。

第一，加强组织领导和责任机制。要加强领导组织，充分发挥国务院和各地污染源普查领导小组办公室的统筹领导和组织协调作用。全国污染源普查的基本原则是全国统一领导，部门分工协作，地方分级负责，各方共同参与。因此，要明确各部门职责和任务，各级环保部门应承担起牵头职责，建立各级政府领导部门参与普查的工作制度，准确评估工作形势，经常主动向政府主管领导汇报情况，多与有关业务部门协调沟通，争取在人、财、物和相关工作方面得到有力支持。要完善责任机制，通过制度和机制严格把控数据质量。各地要对本地区的污染源普查结果负责，围绕全面、真实、一致的质量控制目标，建立统一的数据质量标准，强化数据审核、验收评估、全员和全过程控制。各级普查机构要把质量控制贯穿于污染源普查工作的全过程，建立健全普查数据质量控制的岗位责任制，层层审核把关，严格检查验收，确保普查数据全面、真实、可靠。

第二，加强资金保障和经费管理。切实加强污染源普查的资金支持力度，确保普查工作经费，为数据质量控制提供有效保障。按照分级保障原则，普查工作经费由同级财政予以保障。国家层面上，根据《第二次全国污染源普查项目预算编制指南》明确的中央财政预算编制范围和地方财政预算编制范围。地方层面上，各地要根据《指南》和实际工作需要，精心编制并执行好普查的总预算和分年度预算。在普查过程中，省级财政要对本省困难地区进行补助，特别是中西部地区，各级普查机构要精打细算，厉行节约，把有限的经费管理好使用好。

第三，强化人员队伍和技术力量。污染源普查范围广、任务重、技术性强，普查人员是否充足、人员素质高低等，直接关系到普查数据质量和整个普查工作的成败。为此，要加强普查队伍力量，抽调机关、事业单位中业务精、作风硬、组织协调能力强的干部参加普查工作，并用好环境监测、统计和执法队伍。从社会上选聘责任心强、专业能力水平较高的人员加入普查队伍，同时有效利用政府购买服务的方式，引入第三方机构开展工作。在国家和地方层面认真组织开展普查相关业务培训和指导工作，提高业务能力和技术水平，确保普查人员素质过硬，按时按质按量完成普查任务。要充分借助现代化信息技术手段，比如利用手持移动终端（PDA）等方式采集并校验数据，提高普查质量。普查人员要严格执行普查技术规范，充分了解掌握产排污系数、名录库清洗、信息化建设等关键方法技术和方案，获取真实准确的数据，防范数据失真。要加强普查人员的法律意识和责任意识，克服各种客观存在的困难，更要严格依法办事，排除一切人为干扰。各级普查机构、普查人员和普查对象都必须依照法律法规和此次普查的具体要求，按时、如实填报普查数据，不得虚报、瞒报、拒报、迟报，不得伪造、篡改普查资料，对数据造假问题，一律严肃查处、严肃问责。

来源：中国环境报

先看一下数据质量管理的定义：

数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

再为了更好的了解数据质量管理，请软件测试从业者简单的问自己几个问题：

1. 所在企业或团队或自己是否有意识的、或是无意识进行了数据质量保证工作？（例如是否有在管理上、流程上、技术上、目标上等维度进行考量）

2. 在你的职业生涯中，是否有因数据问题导致线上环境出现长时间的中断、崩溃等等？

3. 在你的职业成长规划中，你是否有规划或已经准备积累数据质量保证相关的知识和技术能力？

对于很多软件测试从业者来讲，在工作中几乎时时刻刻要面对亿万记录的数据量，但大都未有意识的去考虑数据质量问题，但却又时时被坏、脏等数据带来的隐患、问题折磨

数据质量的保证不简单的技术问题，必然涉及以下几个方面：

码字不易，点点点下我，以示支持哈

1. 首当其冲的是企业管理因素

主要指企业对数据质量的重视程度、人员素质及管理机制等方面可能造成的数据质量问题、隐患等

如果企业或团队压根就不重视，那一切都免谈了。

2. 其次则是作业流程

这里的作业流程既是指数据质量保证日常工作的作业流程，也是指数据处理作业流程。即既要规避人为的操作不当，亦要规定技术处理的流程以免因系统作业流程不当导致数据质量隐患、问题。

3. 技术因素

这里主要是在实际的数据处理各技术环节的异常所带来的数据质量问题，例如数据创建、获取、传输、装载、使用、维护、存储等等环节

是软件测试从业者可以大发挥的地方，尤其是把技术与测试的结合，会产生无穷的力量

4. 元数据或是说信息因素

这里有两个大的方面，一是人对数据的理解，二是数据本身。即人对数据的理解的偏差会导致数据质量隐患问题。

数据本身元属性的定义或变化频度异常等等导致的数据质量隐患问题。

可以加入我的永久免费知识星球一起讨论各种姿势和技术

顺手点点点底部的小广告支持下，免得在峡谷迷路^_^

持续不断码字努力中

袋鼠云数据解决方案专家。拥有10余年IT行业开发和管理等企业服务经验，精通大型项目的开发和管理，曾就职于英特尔、索尼等世界500强企业，参与过英特尔，索尼，三星，华为等公司的大型项目的开发和咨询工作。近几年主攻大数据方向，包括数据中台建设、大数据治理、工业领域的数据应用等项目开发和实施。

正文：

大量的信息成倍增加，但有用的信息却非常有限。

信号是真相，噪声却使我们离真相越来越远。

——《信号与噪声：大数据时代预测的科学与艺术》

[美]纳特·西尔弗

一般情况下，企业都有多套的业务系统，一些大型企业甚至会有上百套的业务系统。这些业务在不同时期由不同的团队开发完成。因此，这些业务系统都参考着不同的标准生产各自数据。由于滥用缩写词，惯用语，数据输入错误，重复记录，丢失值，拼写变化，不同的计量单位，大量应用系统产生的大量数据是脏数据。这些脏数据是没有意义的，根本就不可能为以后的数据挖掘决策分析提供任何支持。这就是数据质量问题的由来。

一般来说数据质量问题有四个因素造成：

从上述的四因素来说，管理因素和流程因素属于组织管理范畴，信息因素和技术因素属于技术范畴。所以，要改进数据质量问题，要从组织管理和技术两方面入手，才能从根本上，最佳地解决数据质量问题。

从方法论的角度，从组织管理上去改进质量，我们能做的是：

确立组织数据质量改进目标评估组织流程制定组织流程改善计划实施改进评估改善效果

从技术上去改进数据质量，我们能做的是：

数据分析数据评估数据清洗数据监控错误预警

当我们谈到数据质量改进的时候，我们必须要有一个数据质量评价标准，有了评价标准，我们才能知道如何评价数据的质量，才能把数据质量量化，并知道改进的方向和改进的效果。

目前业内认可的数据质量的六大标准是：

用户可以把每个标准作为六边形的顶点，把你的数据该标准下的质量作为0-100分的点，在图的中心是0，在六边形的顶点是100分，把数据质量点连起来，围城的面积S就是用户数据质量的情况。

通常在业务系统存在两大类型数据：主数据和行为数据。主数据是描述事物主体的数据比如人，商品等，行为数据围绕主数据描述的事物发生的行为数据比如交易订单数据，日志数据等。所以，数据治理的改进的核心在于主数据质量改进，只有改进了主数据质量，才能有可能把整体业务数据质量提升上去。

主数据质量治理的目标是把各个业务系统低质量的基础数据，经过质量治理，形成统一规范的主数据，然后反馈给业务系统和其他数据应用系统使用。

让数据规范起来（得到所有相关人员的认可——元数据）得到一份标准的数据（主数据）建立一套体系来维护数据（主数据管理体系——数据治理）

当然，解决这个问题不仅仅只有主数据一个方法，也可以在建设企业信息系统的时候就从全局考虑，借助业务中台建设全局共享的业务服务中心，在业务服务中心的设计中确保基础数据的统一。但当前的现实情况是，大多数企业经过多年的信息化建设，已经积累了大量的烟囱式信息系统，按照业务中台的思路，彻底推倒重建的成本巨大。所以主数据管理也是解决企业当前基础数据不统一的可行方案。

对主数据的质量进行改进，需要从以下几个方面入手：

1. 了解数据现状

当前有多少数据？数据模型是什么样子？涉及到哪些业务部门和角色？有什么样的维护流程和体系？数据在哪个或者哪些系统中录入？数据如何流转？数据质量如何？共享质量如何？

...

可通过以下两种方式对当前数据现状进行调研了解：

管理流程调研：管理流程调研按照人员，组织，客商，物料，产品，资产，项目以及合同等分成多个子项目。根据企业需要，选择一些做调研。

基础数据调研：主要是调研的是当前的数据在哪里？哪个部门管？怎么管？数据量有多大？数据格式是什么？数据质量如何？

2. 设计数据模型

数据定义是什么？数据到底有几个模型？每个模型中有几个字段？每个字段的含义是什么？这里主要讨论基础的数据建模，即确定主数据的属性数量，名称，属性数据类型及长度等信息。

主数据定义：定义需要明确和清晰。定义关系到数据范围和数据量，关系到与其他主数据的关系。比如人员主数据是指所有与**公司签署了正式劳动合同的人员。人员主数据是从企业管理视角出发的人员实体的数字化描述。

主数据中表的颗粒度：是用一张表还是多张表描述实体，这决定主数据中表与表之间存在1:1，1：N，N:M的各种关系。

主数据中字段属性的颗粒度：根据实际的业务需求，定义字段属性的颗粒度，颗粒度细，则数据量大。反之，则少。

遵循的原则：权威原则、全局性原则、共享性原则、扩展性原则。

3. 制作主数据管理方案

哪个部门，哪个岗位，在什么时候，依据什么进行主数据维护？

建立数据管理的虚拟组织，找到对数据负责的人。每个主数据都要有一个或者多个业务部门对数据负责，不是信息中心。信息中心仅对数据本身负责。定义数据管理组织的管理职责。针对每个数据的每个字段，都应当回答，谁，在什么场景，依据什么，是否多人和有流程对内容进行管理和维护。

4. 数据清洗方案

当前存在的数据如何变成标准主数据的过程。

责任部门负责数据清洗和对数据质量负责，其他部门进行协助根据数据质量情况决定组织模式，必要时需要“运动会”模式提前就数据要求，填报规范做充分培训采用大数据平台做清洗的技术手段，可以有无限扩张的计算和存储能力，很好的解决清洗数据中的计算资源消耗问题

5. 主数据管理技术方案

数据流向方案

数据的入口在哪里，主数据系统中的数据分发给哪些系统

系统支持方案

数据在哪个系统中录入

系统集成方案

主数据服务规范，第三个系统改造内容

随着互联网时代的来临，企业面对的数据已经远远不是简单的业务数据，而是来自网络和各种设备的大量结构化和非结构化数据即大数据（Big Data）。通常来说大数据质量往往比业务系统产生的主数据的质量还要差，当然也需要治理。

大数据的质量改进主要是通过数据中台的数据清洗，ID Mapping等技术来解决。

数据的质量治理有七大原则：

袋鼠云作为一家企业数据整体解决方案提供商，有一套完整的企业数据解决方案，尤其在数据治理方面，不仅提供数据质量治理的咨询服务，也提供相应的数据质量治理的产品，数栈。

关于数栈，我们下期再讲。

原作者：Martin P Doyle

译者： FOFO

为了能够系统化地、高效地解决出现的任何问题，我们必须学会将这些问题分而治之。毕竟，知己知彼方是解决问题的首重至要。由此，我们才会发现解决之道就在其中。 而对于提高数据质量同样适用：每一个解决问题的方法都有不同的阶段与角度。

当一个数据质量改进程序在启动时，仅知道数据库中有多少错误计算或重复录入是远远不够的。不止于此，我们还需要知道不同类型的错误在收集的资源中是如何分配的。

据 Jim barker 一篇很有意思的博客所述，数据的质量被分解成两种不同类型。而在本文中，我会带领大家仔细区分这些“类型”有何不同，并且如何利用这些“类型”在开发预算中确保我们的优势资源放在何处。

数据类型

被誉为“数据博士”的Jim barker，借用了一个简单的医学概念来定义数据质量问题。 在他的博客中介绍了如何将这两种“类型”组合在一起，并且成功激发了那些一直纠结于找到在数据库中拉低数据质量的幺蛾子的数据分析师们的兴趣。

I 型数据质量问题我们可以使用自动化工具检测到。II型数据质量问题就非常隐秘了。大家都知道它是存在的，但它看不见摸不着，更处理不了，因为它需要放在特殊情境才能被检测到。

它们之间的区别简而言之可归纳为如下几点：

I型数据质量问题首先需要 “知其然” 才能来检测数据的完整性、一致性、唯一性和有效性。这些属性靠数据质量软件甚至手动很好地找到。你不需要有很多的背景知识，或者数据分析经验。只要按照4个属性验证它的存在，就可以判定它错误的。例如，如果我们在性别领域插入一个3，我们就可以判定它到底是不是一个有效值。

II型 数据质量问题需要 “知其所以然” 来检测时效性、一致性和准确性属性。需要研究能力、洞察力和经验，而不是简简单单就可以找得出来的。这些数据集经常从表面上看起来没有问题。但幺蛾子往往存在于细节中，需要时间去发现。Jim举的例子就是一份退休人员的雇佣记录。如果我们不知道他们早已退休的话，是看不出来这个数据是错的。

所以，解决这些数据质量问题的关键就是需要一个复杂的、战略化的方法，而非孤立的、片面的来看问题。一旦数据质量不好，我们就需要寻求自动化与人工的方式才能解决这个问题了，真可谓是“屋漏偏逢连夜雨”啊。

成本调整

所以，我们如何解决I型和II型数据质量问题呢？处理它们所花费的费用是可比的，还是完全不同的？

要记住重要的一点是，I型数据的验证问题可以在逻辑上定义，这意味着我们可以靠编写软件来查找并显示它。软件自动修复的速度快、成本低，甚至配合手动审查就可以完成。考虑到I型数据质量问题实际上是作为表格内字段型的验证，一旦解决了表格字段的问题，I型数据质量问题实际上也就解决了。

根据我们以往的经验： I型数据基本涵盖了80%的数据质量问题，但消耗了我们20%的经费成本。

第二类数据问题往往需要多方的输入，以便发现、标记和根除。虽然我们客户关系管理系统中的每个人都有购买日期，但购买日期可能不正确，或者与发票或发货清单不符。只有专家才能通过仔细核查其内容来解决问题并手动改进客户关系管理系统。

通常情况下，企业很难做到资源的合理分配，原因有二，特别是企业处于快速增长阶段；或者处于人才流失的时候。 你别看这些II类问题较少，可能仅占数据问题剩余的20%，但它们很有可能需要消耗超过80%的成本预算。 所以，如果当企业处于人才大量流失，却又对此无能为力的时候。你会发现第二类数据问题更难处理，因为人工解决的途径已不复存在了。

提高精确程度

为了提高数据的准确性，我们必须将I型和II型数据问题作为单独的，但同时存在的问题进行研究。I类型数据质量的挑战可以呈现快速获胜，但第II类问题提出了一个挑战，必须依靠人类的专业知识才可以解决。

随着时间的推移，数据库会超过使用期限。为保其时效性，这需要持续不断的努力。数据可以在数据库中进行清洗，或在使用阶段进行清理，但由于如导入/导出、损坏、手动编辑、人为导致错误等多种原因，仍然要注意I型错误的发生。第II类数据问题在这阶段自然而然地发生，因为就算数据经过验证和审查之后看起来正确，但对于现在来说仍有可能是不正确的，因为此时已非彼时，数据的使用环境改变了。

确保数据的完整

数据的完整会有助于我们观察整个事物的全貌并推动其对事物的决策。正如我们前面所说，发 现 I型数据质量问题是比较简单、廉价和快速的。但如果企业的工作业务还没有采用某种数据质量软件来解决I型数据质量问题的话，那现在也应该着手考虑了，因为这样才可能避免将来出现的资源浪费、损害品牌效应和来自大众的误解。

而对于第II类数据问题，关键是要理解它为什么会发生，并采取措施以防止它的发生。从日常工作中，处事的变通以及员工疏忽常导致数据的质量不佳。随着时间的推移，资源分配失当也会增加II型数据问题的增加。而改善它的费用也会成倍增加，因为你需要具备专家的眼光方能在茫茫的数据中找到它的存在。

其实，发现并解决这两类问题在当下已不是不可能的事了。会变得越来越容易。 很多数据质量供应商们也在不断寻找新的方法，相信在不远的将来，得到高质量的数据会变得越来轻松，越来越简单。

End.

原文链接：http://bigdata-madesimple/defining-data-quality-problems/

数据特工介绍

后台回复“特工”加入我们

1.理解,标准化 , 匹配和丰富数据

Talend提供了完整的解决方案来管理企业数据质量。有了 Talend, 你可以消除不一致的数据,通过标准化执行规则和创建一致的信息。数据治理团队共同努力提高生产力，对任何数据域理解和标准化数据，例如名称、地址或产品数据。解决方案包括强大的数据集成软件, 因此你可以评估和清理几乎任何类型的数据,而无需复制和转换。

音智达是一家专注于分析预测与行业应用的大数据公司。也是Talend在中国区的唯一的代理商，公司提供基于大数据技术的预测性分析及商务智能解决方案，全球顶尖的大数据软件产品，和大数据SaaS应用和DaaS服务(400-676-1711)

2.强大完整的数据质量解决方案

Talend提供了一个完整的带有内置数据连接、归档、清洗、匹配和管控数据质量解决方案， 以此满足你所有的数据质量和数据治理需。数据质量功能可以扩展来处理任何从扁平文本文件到Hadoop的企业数据。Talend是能够利用的最佳功能平台，在许多数据类型和在任何数据量中，无缝地提供数据质量。

3.数据归档

数据归档是完全和充分地了解您的数据,并确保它符合公司和行业标准。有了Talend, 用户可以配置和分析数据，然后创建并分享基于网络的质量数据报告。有了这些信息,你就可以利用数据和强调部分来更好地构建团队一致性。Talend提供预定义的测试来确保数据质量是最适合您的企业应用程序的，或者你可以定义你自己的。

4.数据标准化和富集

内置的数据集成和强大的解析技术是Talend的数据标准化和富集功能背后的秘密。使用集成的解析技术来做数据没有的分配结构。然后通过使用免费的参考数据，实现数据质量改进和富集。Talend提供了方便的方法来整合最外部引用数据源以便邮政验证、业务识别和信用评分信息,等等。

数据匹配和生存

Talend提供新一代的数据匹配的解决方案,来移动过于复杂的过程、绿屏匹配规则编辑到现实世界的业务用户。用户可以配置匹配Talend的用户环境,而不是沉重的规则文件的编辑和使用多个GUI与大多数相关数据质量工具。当修改匹配技术关键匹配指标的图表和图形创建‘what-if’ 分析。

对于机器学习广泛化、盈利化来说，数据质量差是头号敌人。尽管这话有些刻薄，但是，“垃圾数据输入，垃圾数据输出”一直困扰着一代又一代的分析师和决策者，因此，对于机器学习的数据，我们必须给予足够的重视。

机器学习的数据质量要求是非常高的，坏的数据可以在两个方面拖后腿：一个是训练预测模型，另一个是预测未来决策。

为了正确训练预测模型，历史数据必须符合特别广泛和高质量的标准。首先，数据必须正确：它必须是正确标记的，去除重复的，等等。但是，在开发预测模型的整个输入范围内，你还必须拥有正确的，大量无偏差的数据。大多数数据质量工作只需要达到其中一个标准，但对于机器学习来说，必须符合这两个标准。

然而今天，大多数数据未能满足基本的“数据是正确的”标准。原因包括数据创造者不知道要预测什么，测量工具不精确，数据采集过程过于复杂，以及人为错误等。

为了弥补以上不足，数据科学家在训练预测模型之前首先要整理数据。这是一项耗时又乏味的工作(占用了数据科学家80%的时间)，这是科学家们抱怨最多的问题。

即使有这样的努力，整理工作也不能检测或纠正所有的错误，而且目前还无法理解其对预测模型的影响。更重要的是，数据并不总是符合“正确”的标准，关于面部识别和刑事司法的偏见的报道证实了这一点。

为了处理日益复杂的问题，我们不仅需要更多的数据，还需要更多样化，更全面的数据。同时关注数据质量问题，例如，手写的笔记和本土化的首字母缩略词就使得IBM的机器学习(如沃森)应用于癌症治疗变得复杂起来。

在实现过程中保证数据质量也同样麻烦。虽然开发预测模型的数据科学团队可能已经完成了对训练数据的整理工作，但数据集仍有可能被未来出现的糟糕数据所影响。所以必须进行再一次努力，要很多人找到并改正错误。这严重影响了生产率。

此外，随着机器学习技术渗透组织机构，一个预测模型的输出结果将会被各层级使用，从一个层级到另一个层级，甚至跨公司各部门使用。其带来的风险是，一个小的错误将会关联公司每个使用数据的部门，导致更多的错误，并在整个过程中使小错误变大。

这些问题必须有一个积极的，执行良好的数据质量计划来监管，这比日常工作所需要的管理要重要得多。它要求全体负责人采取以下五个步骤来进行管控。

明确目标，并评估是否有合适的数据支持这些目标

假设一家抵押贷款发放公司，希望将机器学习应用到贷款过程中。公司是否应该给予贷款，如果是，应该符合什么条件?

机器学习的目标可能包括:

1.降低现有决策过程的成本。既然不以做出更好的决策为目标，那么现有的数据可能就足够了。

2.消除对现有决策过程的偏见。这种偏见反映在现有数据中，所以要谨慎行事。

3. 改进决策过程。发放少量的违约贷款，批准先前拒绝的贷款。注意，虽然该公司有大量先前拒绝的抵押贷款的数据，但它不知道这些抵押贷款是否能发挥作用，所以要谨慎行事。

当数据达不到目标时，最好的办法是找新数据，或者缩小目标，或两者兼顾。

需要有足够的时间将数据质量纳入整体项目计划

对于训练来说，这意味着每个人都要花4个月的时间去做数据处理，因为你必须测量质量水平、评估来源、去重复等，做出干净的训练数据，就像你做任何重要的分析一样。

为了实现目标，消除错误的最好办法，就是尽量减少应用过程中的清理。这样做有助于消除隐藏的数据库中的错误，同时也会节省你的时间和金钱。尽早开始这项工作，应该在你想让你的预测模型投入应用至少6个月之前就开始做这些。

在准备训练数据时进行审核跟踪

保留你的原始训练数据的副本，包括你在训练中使用的数据，以及从第一阶段到第二阶段所使用的步骤。

尽管许多人不明智地跳过这一步，但它可以帮你在未来的决策中使用预测模型来改进流程。此外，了解模型中的偏差和限制是很重要的，审核跟踪可以帮你解决这个问题。

当模型出现问题时，必须向负责数据质量的个人(或团队)问责

这个人应该对数据有深入的了解，包括其优点和缺点，并且他的工作有两个重点。

首先，必须日复一日地，为传入数据的质量设置和执行标准。如果数据不够好, 负责人必须进行干预或接管。第二，必须时刻努力寻找根本原因，消除错误。这项工作从一开始就要做，而且必须一直坚持做下去。

获得独立，严格的质量保证

质量保证是确保质量计划提供期望结果的过程。这里的关键是要保持独立，所以这项工作应该由其他人来完成——内部质量保证部门，部门之外的团队或合格的第三方。

即使在这五个步骤之后，你也会发现你的数据并不完美。你可以允许预测模型中有一些次要的数据质量问题，如15个最重要的变量中有一个缺失值。为了探索这一领域，在准备数据和训练模型时，要让数据科学家和最有经验的业务人员合作。

创业公司Stratyfy的劳拉科恩豪泽(Laura Kornhauser)就这样说过:“尽快让你的业务人员和数据科学家们聚在一起。特别是业务人员，他们一直在处理糟糕的数据，你需要把他们的专业知识应用到你建立的预测模型中去。”

这看起来很复杂是吗?的确是这样的。但是机器学习有着不可思议的力量，你需要学会利用这种力量。糟糕的数据质量可能会导致这种力量发挥不出来，或被误用、滥用，这充分说明了你的每一分努力都是值得的。

来源：哈弗商业评论作者：Thomas C. Redman智能观 编译

—完—

亲爱的朋友：我们都知道，想有好的AI应用与研究，需要高质量的数据做基础。希望本文介绍的关于如何确保数据质量的方法，可以对你有所启发。祝安！智能观 一米2018-4-21 于北京中关村

声明：编译文章旨在帮助读者了解行业新思想、新观点及新动态，为原作者观点，不代表智能观观点。