前言

这两年对于大数据来讲，大家看到有很多产品出来，很多公司也在利用数据做些东西，包括现在的一些电影。

前两天的时候，同事给我推荐一部叫做《庭审专家》的美剧，大概花了一天时间把它看完，故事讲的很简单：在美国庭审当中包含陪审团概念，通过大数据分析陪审团行为模式，然后预测他们的想法。这样来讲，大数据应用完全掌握在拥有数据的人身上。

那如果数据质量本身存在问题，就会导致数据分析出现误差，甚至错误的预测或者误导性的描述。所以今天我给大家分享的主题是券商的大数据保障之道 。

在分享券商大数据保障之道之前，我们先看一下平安证券在大数据方面都做了哪些。

1、平安大数据做些什么

经常使用平安证券 APP 炒股的人会发现，我们平安证券 App 过去一年变化非常大，在刚刚过去不久，由证券日报主办的第十二届证券市场年会中，我们平安证券 App 被评为最佳金融 App 大奖。

我们为用户提供个性化的服务，比如 App 功能上有一些千人千面，猜你喜欢的内容，推送的一些功能。其中包括资产收益的功能，这些数据是来自用户大数据，帮助更好为用户推荐产品，也帮助用户更方便获取信息。

在行情方面我们也会做一些股价预警，智能选股等等，可以帮助用户化繁为简，准确操盘。另外是我们的资讯，炒股人都知道，资讯很重要，帮助用户获取最新、最全的金融资讯。

我们还有大数据产品，比如牛人牛股，帮助用户追踪牛人们在买卖什么股票。还有收益类的计算器，辅助客户进行投资决策。

另外比如客户不知道要买股票还是买基金，或者买其他产品，我们也会提供智能化服务，这些都是为客户提供个性化的服务，这是一些大数据相关的产品。

除此之外，我们平安证券还会利用大数据为我们的业务人员做一些科学的决策，依据自动化的数据平台。

比如自动化报表平台，大数据自助分析平台等。我们做了这么多事情，最大的问题是怎么保障这些数据的准确性。

我首先给大家介绍一下系统，我们大数据的组成部分，其次我们在测试数据中面临哪些挑战，之后是我们解决思路是什么，最后是总结以及未来的规划。

2、平安大数据系统的组成部分

先看一个最简单的情况，比如我现在有一个需求，西红柿炒鸡蛋，可能大家都比较熟悉这个场景，我给你一个需求是西红柿炒鸡蛋，你怎么做？

一种方式直接拿了西红柿和鸡蛋放锅里炒，那这是不是西红柿炒鸡蛋，是的。但是你吃的时候可能有蛋壳和西红柿皮。另外一种方式通过各种工序，鸡蛋和西红柿清洗干净，鸡蛋加点盐打散，西红柿去到蒂部，切成块，锅里放油，加入材料，也是一盘西红柿炒鸡蛋；

大家会吃哪盘西红柿炒鸡蛋也就一目了然了。

同样的道理，平安证券自己常用的系统大概在50个左右，另外还有数据来源于平安旗下其他子公司。如果每个分析人员都根据自己的需求直接取源数据，你会发现同一个需求不同的人做，结果都不对等的。

另外比如重复的工作量、低效的工作，无法快速响应业务需求等等问题，为了解决这些问题，我们实现了统一底层，对各个系统提供的数据都来自于统一底层。由统一底层来保障数据的质量。

看下我们统一底层的框架，从下往上看，最底层是数据源，数据源来自平安证券的所有系统（比如账户系统、交易系统、基金系统、个股期权、融资融券等等）以及部分平安旗下其他子公司的数据。

RAW 层所有数据的处理都由统一底层进行，统一底层分为四层，最底层是raw层，也是数据同步层，数据采集过来会放到raw，raw层的数据与源数据一样，不做任何的操作。MID 层数据采集完成后，会到 MID 层，MID 层是数据的清洗层，MID 层会根据源数据的特性做相应的清洗，比如：日期类型的转换、身份证15位到18位的转换、空格、null 值等处理。在清洗层对于常用的清洗方式，我们会通过自定义的函数进行清洗，以保证不同的开发人员清洗后的结果一致。BASE 层数据清洗完成后，就到我们的 base 层，base 层是业务流水层，base 层根据主题进行设计，比如客户主题，交易主题，产品主题等等。FACT&VIEW层Fact 层和 view 层是业务实现层，在这个层级上根据业务的需求进行指标的产生、指标的聚合、汇总等等。固化的业务数据在fact层，未固化业务数据在view层。

我们当前已完成指标有8万多个，这些指标是指以客户为方向，每个客户涉及标签有8万多个，每天还有不断新增的指标。

我们重点关注的是中间这部分，因为我们只有保证这部分数据准确性，我们才能保证对外提供的数据准确。

3、实施大数据面临的挑战

那我们怎么保证中间这一层数据准确性呢？同样我们也面临着很大的挑战。

挑战一：指标繁多

8万多指标，仅仅用一年把它全部加进去的，对于我们测试人员来讲，8万多个指标涉及到业务，涉及到底层的很多表，那我们怎么进行处理，这是我们面临的挑战。

挑战二：数据的准确性

如果数据错了，我们往外提供的数据就是有问题的，如果每天都有业务人员跟你讲，指标好像有问题，如果把所有精力都在回答大家的问题，根本没有精力做测试。

挑战三：数据稳定性

大家可能会看到，对于大数据来讲，每个指标都是数据，这个指标你测试之前可能它都是正确的，但是如果某一天有新的数据进来，因为每天都会有新的数据在进来的过程中，你还能保证你的指标结果的正确性吗，怎么保证这是我们需要考虑的。

挑战四：口径一致性

因为我们业务人员很多，每个业务人员口径都是不一样的，比如场外基金，对于有些业务人员指的场外基金就是场外基金，有些业务人员认为场外基金就是场外的公募基金，所以我们怎么保证对外提供的口径的一致性。

挑战五：规模化服务

8万多指标，如果不对外提供服务，其实它都是一堆死的东西，没有任何意义的，你要让它产生效益，就要对接平安所有的平台。

挑战六：人力

我们平安证券测试团队有一百多人，看起来人力还是很多的，但是我们这些人力都分散在各个子系统下，比如交易系统、基金系统，这些都是一个个的子系统，这些人力都分散在各个子系统上，对于统一底层仅有十个人力，十个人力要对接8万多个指标，这是我们当前面临的挑战。

4、我们的解决思路和方案

4.1 我们的解决思路

为了解决这些问题，我们的解决思路是：围绕数据本身，需要相关的规范和流程去保证每个环节的准确性，规范和流程需要工具去管控。

规范、流程、工具应用到开发、测试、监控各个环节来保证最后指标数据的准确性。

在数据开发平台会有 DSP 数据服务平台，和 CM 公共服务平台，这两个平台保证开发过程中数据的准确性；然后数据到自动化测试平台。

我们团队最初的时候，三个人力测试一百张底表，几乎花了一周时间。最后我们状态是什么，所有人把表分析完了，再也不想看数据了，因为那个数据看的自己都想吐的过程。

所以通过自动化平台减少我们的重复劳动，把精力花在分析数据上。数据上线后 ，通过监控系统来每天监控数据的准确运行。

我们先看一下在开发平台当中怎么保证数据一致性的，在我们平台每天会运行几千个脚本，那怎么保证所有开发人员它的操作是同步一致性的，我们是从这几个方面保证的。

4.2 DSP数据服务平台解决方案

所有开发人员在创建调度会保证创建调度一致性，调度创建之后开发人员进行执行，执行之后会进行比对，比对完成之后会由相关人员进行审核，审核完成之后，这些数据才能合并到主表当中。

4.3 创建调度如何保证

创建调度这个环节我们是怎么保证的呢？我们主要分成下面几个层面来处理。

DB 到 RAW 层数据从 DB 到 RAW 层，也就是同步层，我们会看一下我们的数据来源于哪个数据库，因为我们有几十个数据库。这时大家都可以选择相应的数据库和模式，输入表名，会自动检测出来这张表当中有多少字段，以及这些字段转化的类型，数据到 RAW 层的时候，类型是需要处理的。有些开发人员可能会发现，生成的字段类型不符合预期， 是可以修改的。RAW 层到 MID 层创建都是自动的，只需要点击一个按钮就可以自动生成 MID 层，并且生成相应的清洗 sql,对于一些常用的字段会有一些自定义函数，生成的 sql 会自动套用自定义函数。比如日期类型等。在我们 MID 层，会统一处理成一样的方式，比如客户是十五位身份证，需要把这些身份证做18位转化，这些都是我们通过自定义函数在 MID 层做清洗的。有些开发人员可能会觉得有些字段清洗方式还不够的情况下，你可以在外围增加清洗的方式，但是不能更改当前的清洗方式，这是流程会监控到的。BASE 层然后是 BASE 层，BASE 完成之后到 fact 层，对于指标系统，我们会涉及到对应的指标，以及我需要对这些指标做一些相应的聚合、汇总或者求一些值，这些都是在相应系统里自动配置，然后生成相应的脚本，是不存在人工处理的方式。

4.4 测试如何执行

我们在创建调度环节，通过自动化的方式，来保证我们在开发过程当中，所有的生成的调度是一样的。

这时候调度创建成功了，需要进行验证，也就是我们测试执行的过程，在这个过程当中，我们开发人员需要进行自测，因为这个版本是待上线版本，需要验证，选择执行的日期，比如一些存量表要执行一天。

对于增量表可能需要执行很多天，执行以后这些数据会放在临时位置上，需要对临时数据进行校验。

4.5 测试如何比对

我们还有一个测试比对环节，在测试比对环节所有模板都已设置，在模板当中我们会完成哪些功能呢？

第一， 我们字段里表结构，这些最基本的，我们会进行全面的验证。

第二， 一些 count、max、min、sum，还有空值、空格、NULL 值，长度、频度诊断，还有数据比对。

这样我们在整个开发流程当中，可以保证 RAW、MID 层不用再转测试，BASE 层和 fact 层，因涉及业务逻辑，需要测试人员进行验证。

4.6 我们的测试方法

在我们测试的时候，常用的方法有很多，最重要的一点是我们需要对源数据进行分析，这就是数据诊断过程。

我们会进行 DT 分布诊断，比如对于全量表，dt 分布应该是曲线上升的，如果某天变成曲线波动，就说明出现了问题。我们会做重复观测诊断，重复观测诊断可以判断，来确定这张表的组件是什么，如果数据主键存在重复数据的情况下，就要确认这张表是不是迁移的时候就有问题还是源数据有问题，这是需要分析的。单变量诊断，这里有频度、长度、截取前XX位的。数据类型分布诊断，有 sum、均值、标准差、max、min、分位数、中位数等。

其次，我们会做业务诊断。我们对业务诊断过程中，大家会发现对于底层表可能有几十个，我们需要分析字段和字段之间存在一对一，还是一对多，还是多对一的关系，避免数据虚增；

数据关系映射，表间映射关系，诊断通过哪些字段进行关联；

另外我们还会进行表间 HITRATE 诊断，不同表间 ID 类字段的匹配率，来确定哪张表是主表。

只有通过诊断，才能发现哪些数据或者业务存在问题，不是说业务告诉我什么样子就是什么样的情况。大家可能会很奇怪，你们做这么多诊断，你们在项目中是怎么做的。

举个例子，经常使用平安证券 App 的人会知道，我们页面上会有收益额，比如收益额 = 期末市值 - 期初市 + 卖出 - 买入。

因为交易处理方式是不一样的，比如晚上我们要做清算，可能有些公司不是这样的情况，我们要跟交易所做清算，跟 TA 公司做清算等，这些清算规则也是不一样的，不同基金清算方式不一样的。

并且我们数据来自不同系统，比如账户系统、交易系统、基金系统、融资融券等。

我们看算一个收益指标是怎么做的。

DT分布先是RAW 层和 MID 层，这两个层的数据基本与原数据保持一致的，唯一不同是我们的清洗层会对相应数据进行处理，比如 dt 分布诊断。可以判断每天的数据是不是存在问题。另外还可以判断底层为了上层进行汇总的时候，第一天数据起始日期是否一致，因为数据来源于不同系统，而且我们所有系统开始日期都是不一样的。比如交易股票，可能很早之前就有数据了，但是我们场外基金是最近几年才有的，如果拉历史数据少拉一年或者少拉一天数据，算出客户最终收益都是不对的。只有把底表历史数据拉出来以后看开始日期是不是正确的，这样才能保证上层汇总的数据是不是正确的。重复观测重复观测，比如一个客户同一天有多笔交易，需要判断客户是因为买了这么多次交易，还是因为交易流水本身出现问题，客户是否是一模一样的交易记录，这两种方式最终处理方式是不一样的。单变量的诊断我们会做单变量的诊断，一般情况下，业务人员或者研发人员会告诉你市值从哪里获取，但是获取的时候会发现市值有空的情况，那就要分析这个客户有没有股票，如果客户有股票，市值为空的话，那就是有问题，就需�...

何积丰院士

上海开源大数据研究院理事长何积丰院士在“大数据高峰论坛”上指出：大数据作为一种新型的资源，大数据与人、财、物这三种传统意义上的资源有两个完全不同的特点：一个特点是每个单位（和个人）都既是大数据的使用者、又是生产者；另一个特点是缺少公允价值和合法的流通渠道。这两个特点表明各级政府部门科学地制定大数据资源公允价值的评估体系，在保障国家安全、保护个人（和单位）隐私的前提下，探讨建立大数据流通与共享的渠道，是迫在眉睫的任务。这方面国际上欧盟已先行一步，国内贵州省已处于领先地位，上海政府要迎头赶上，必须借助科研院所等外脑，而上海的现状是政府缺少这样的公益的智囊机构，上海开源大数据研究院将能承担起相应的责任：研究院的筹建团队经过几年的努力，已在这方面进行了很多前瞻性的研究， 打下了良好的基础，有信心、有能力为上海建立“大数据交易平台”提供可靠的数据质量评估、公允价值确定的方法和手段。

大数据高峰科技收藏

这篇文章最开始完成的那天晚上晕乎乎的没睡好，一直再想如果深入研究该做点啥。写出来后发现近乎呓语，拿出来自娱自乐吧。

单纯从数据层面来看，数据体系包括治理、管理和应用三个部分。治理主要负责解决人与人之间的事，管理负责各个职能领域，应用则是价值的实现。讨论大数据的话，其实可以分成两大类，这里不讨论技术架构，以及更下面的基础层的内容，只讨论数据视角的事情。

在我看来，数据管理里面数据质量（以下简称dq）是人与人矛盾分歧最大的职能域，所以也配置了全套的数据治理手段。细节不多谈，这方面理论和实践都比较成熟，但效果却不是很满意。究其根源，有表层和深层次的原因若干，后文慢慢展开。现在我们讨论的大数据，应该和场景关联起来而非干聊概念模式；同理，数据质量和业务需求、技术方案密切相关，而非单纯的玩“茴”字有几种写法。

数据质量管理开展的驱动因素比较复杂，银行里面里面的驱动因素第一是监管，第二是内部的数据治/管理（比如标准），第三才是数据应用。这是事实，表面看是无奈的，其实是科学的。数据应用有多种层次，从跪着到跑着的能力曲线表明了数据应用的深度。那么？不同层次对于数据质量的需求是否一样呢？这里如果继续的话，可以单独开一篇文章，还是暂停一下，回归数据治理的主旋律。

举个数据质量的典型案例，比如同一业务指标在不同系统间的结果不一致。这个分析起来要看从业务定义开始，到数据采集、加工处理、应用各个环节。影响范围也会比较广，比如对监管、对决策。从数据体系职能域看呢，又会和数据治理、数据标准、数据架构有关联。从点到面，从表面到内涵，数据质量问题的解决是系统性的内容，数据治理流程约束干系人各司其职，保证戴明环的顺畅运行。

此外，从数据生产者、使用者的角度也都存在潜在的问题，流程、标准不一致也是导致问题的原因，所以数据质量的讨论往往比较复杂琐碎。大数据背景下，又要补充两个新的属性，一个是可链接性，内外部数据的关联整合；另一个是真实性，这是传统未曾参与或者说积极回避的事情。真实性实在是难啊，直接就可以成为数据挖掘、人工智能的应用案例；相比之下关联整合现在做的还比较多，因为更容易转化为落地项目。

有个简化的思路就是quality = fitness for purpose，是否有问题，关键看是谁的什么purpose。现在更愿意采用fitness for purpose也是短期效益迫使的缘故，数据质量的长期效益往往难以实现、也难以证明。这个思路是务实的，但却存在银行，比如陷入拆东墙补西墙的境地。

数据质量是综合表现，原因错综复杂。数据治理是王婆娘的裹脚布，也是政治斗争的绞肉机。治理与管理都存在矛盾，跟别说与应用之间的关系了。传说国外企业的CDO往往三年就要更换东家，也就很容易理解了。这段完全是引用，旨在说明在其工作中面临的尴尬和无奈。

似乎归根结底，一切都要落到人的因素上，数据的管理与应用是客户因素占比大，还是内部文化因素占比大呢？我想大家心里都有谱，所以试图依赖技术手段解决管理问题终归都会失效。

回到开头的问题，治理、管理都是细腻的事情，需要工匠化反复锤炼，还有长期不受重视的困惑，这些都对从业者是巨大的挑战。对我个人来言，我更愿意去在大数据实践中讨论治理、管理与应用的融合，换句话说就是价值导向驱动数据体系的运转。这样的视角下，可以研究的问题就会很多，并且目标会更精准一下。相比原来试图从底层解决治理、管理问题的思路要务实一些。另外就是可以持续探索新技术了，人工智能、区块链都是目光所及范围之内的内容。

写在最后，本文初稿成于8月末，部分观点来自微信讨论。三个月后重读后进行了修改，以至于部分观点发生了转变。此外，还要讨论一件事，那就是专才与通才。数据挖掘领域的技术专家，肯定是专才了，精通于先进技术并持续钻研打磨，擅长利用先进的方法工具转化为实际生产力，像是一把锋利的剑。那么数据治理、数据质量管理领域呢，是需要专才，还是通才呢？如果是专才，传在哪里，反之通在何处？

袋鼠云数据解决方案专家。拥有10余年IT行业开发和管理等企业服务经验，精通大型项目的开发和管理，曾就职于英特尔、索尼等世界500强企业，参与过英特尔，索尼，三星，华为等公司的大型项目的开发和咨询工作。近几年主攻大数据方向，包括数据中台建设、大数据治理、工业领域的数据应用等项目开发和实施。

正文：

大量的信息成倍增加，但有用的信息却非常有限。

信号是真相，噪声却使我们离真相越来越远。

——《信号与噪声：大数据时代预测的科学与艺术》

[美]纳特·西尔弗

一般情况下，企业都有多套的业务系统，一些大型企业甚至会有上百套的业务系统。这些业务在不同时期由不同的团队开发完成。因此，这些业务系统都参考着不同的标准生产各自数据。由于滥用缩写词，惯用语，数据输入错误，重复记录，丢失值，拼写变化，不同的计量单位，大量应用系统产生的大量数据是脏数据。这些脏数据是没有意义的，根本就不可能为以后的数据挖掘决策分析提供任何支持。这就是数据质量问题的由来。

一般来说数据质量问题有四个因素造成：

从上述的四因素来说，管理因素和流程因素属于组织管理范畴，信息因素和技术因素属于技术范畴。所以，要改进数据质量问题，要从组织管理和技术两方面入手，才能从根本上，最佳地解决数据质量问题。

从方法论的角度，从组织管理上去改进质量，我们能做的是：

确立组织数据质量改进目标评估组织流程制定组织流程改善计划实施改进评估改善效果

从技术上去改进数据质量，我们能做的是：

数据分析数据评估数据清洗数据监控错误预警

当我们谈到数据质量改进的时候，我们必须要有一个数据质量评价标准，有了评价标准，我们才能知道如何评价数据的质量，才能把数据质量量化，并知道改进的方向和改进的效果。

目前业内认可的数据质量的六大标准是：

用户可以把每个标准作为六边形的顶点，把你的数据该标准下的质量作为0-100分的点，在图的中心是0，在六边形的顶点是100分，把数据质量点连起来，围城的面积S就是用户数据质量的情况。

通常在业务系统存在两大类型数据：主数据和行为数据。主数据是描述事物主体的数据比如人，商品等，行为数据围绕主数据描述的事物发生的行为数据比如交易订单数据，日志数据等。所以，数据治理的改进的核心在于主数据质量改进，只有改进了主数据质量，才能有可能把整体业务数据质量提升上去。

主数据质量治理的目标是把各个业务系统低质量的基础数据，经过质量治理，形成统一规范的主数据，然后反馈给业务系统和其他数据应用系统使用。

让数据规范起来（得到所有相关人员的认可——元数据）得到一份标准的数据（主数据）建立一套体系来维护数据（主数据管理体系——数据治理）

当然，解决这个问题不仅仅只有主数据一个方法，也可以在建设企业信息系统的时候就从全局考虑，借助业务中台建设全局共享的业务服务中心，在业务服务中心的设计中确保基础数据的统一。但当前的现实情况是，大多数企业经过多年的信息化建设，已经积累了大量的烟囱式信息系统，按照业务中台的思路，彻底推倒重建的成本巨大。所以主数据管理也是解决企业当前基础数据不统一的可行方案。

对主数据的质量进行改进，需要从以下几个方面入手：

1. 了解数据现状

当前有多少数据？数据模型是什么样子？涉及到哪些业务部门和角色？有什么样的维护流程和体系？数据在哪个或者哪些系统中录入？数据如何流转？数据质量如何？共享质量如何？

...

可通过以下两种方式对当前数据现状进行调研了解：

管理流程调研：管理流程调研按照人员，组织，客商，物料，产品，资产，项目以及合同等分成多个子项目。根据企业需要，选择一些做调研。

基础数据调研：主要是调研的是当前的数据在哪里？哪个部门管？怎么管？数据量有多大？数据格式是什么？数据质量如何？

2. 设计数据模型

数据定义是什么？数据到底有几个模型？每个模型中有几个字段？每个字段的含义是什么？这里主要讨论基础的数据建模，即确定主数据的属性数量，名称，属性数据类型及长度等信息。

主数据定义：定义需要明确和清晰。定义关系到数据范围和数据量，关系到与其他主数据的关系。比如人员主数据是指所有与**公司签署了正式劳动合同的人员。人员主数据是从企业管理视角出发的人员实体的数字化描述。

主数据中表的颗粒度：是用一张表还是多张表描述实体，这决定主数据中表与表之间存在1:1，1：N，N:M的各种关系。

主数据中字段属性的颗粒度：根据实际的业务需求，定义字段属性的颗粒度，颗粒度细，则数据量大。反之，则少。

遵循的原则：权威原则、全局性原则、共享性原则、扩展性原则。

3. 制作主数据管理方案

哪个部门，哪个岗位，在什么时候，依据什么进行主数据维护？

建立数据管理的虚拟组织，找到对数据负责的人。每个主数据都要有一个或者多个业务部门对数据负责，不是信息中心。信息中心仅对数据本身负责。定义数据管理组织的管理职责。针对每个数据的每个字段，都应当回答，谁，在什么场景，依据什么，是否多人和有流程对内容进行管理和维护。

4. 数据清洗方案

当前存在的数据如何变成标准主数据的过程。

责任部门负责数据清洗和对数据质量负责，其他部门进行协助根据数据质量情况决定组织模式，必要时需要“运动会”模式提前就数据要求，填报规范做充分培训采用大数据平台做清洗的技术手段，可以有无限扩张的计算和存储能力，很好的解决清洗数据中的计算资源消耗问题

5. 主数据管理技术方案

数据流向方案

数据的入口在哪里，主数据系统中的数据分发给哪些系统

系统支持方案

数据在哪个系统中录入

系统集成方案

主数据服务规范，第三个系统改造内容

随着互联网时代的来临，企业面对的数据已经远远不是简单的业务数据，而是来自网络和各种设备的大量结构化和非结构化数据即大数据（Big Data）。通常来说大数据质量往往比业务系统产生的主数据的质量还要差，当然也需要治理。

大数据的质量改进主要是通过数据中台的数据清洗，ID Mapping等技术来解决。

数据的质量治理有七大原则：

袋鼠云作为一家企业数据整体解决方案提供商，有一套完整的企业数据解决方案，尤其在数据治理方面，不仅提供数据质量治理的咨询服务，也提供相应的数据质量治理的产品，数栈。

关于数栈，我们下期再讲。

大数据的核心价值的体现

针对企业数据市场

商业的发展天生就依赖于大量的数据分析来做决策，对于企业用户，更关系的还是决策需求，还有企业营销需求。

针对终端消费者

对大数据的需求主要体现在信息能按需搜索，并能提供友好，可信的信息推荐， 其次是提供高阶服务。

大数据优化资源配置、大数据提高决策能力、智慧驱动下的和谐社会。

1、大数据优化资源配置

个人根据各种数据可以选择适合自己的工作，舒适的居住条件，便利的出行方式；

企业依据各种类数据选择自己的生产经验方向，精细化分工，为空户量身定做产品，实现利益最大化。

2、大数据提高决策能力

这种基于大数据决策的特点是：

一是量变到质变，由于数据被广泛挖掘，决策所依据的信息完整性越来越高，有信息的理性决策在迅速扩大，拍脑袋的盲目决策在急剧缩小；

二是决策技术含量，知识含量大幅度提高；

三是大数据决策催生了很多过去难以想象的重大解决方案。

宏观层面：大数据使经济决策部门可以更敏锐地把握经济走向，制定并实施科学的经济政策；

微观方面：大数据可以提高企业经营决策水平和效率，推动创新，给企业，行业领域带来价值。

3、智慧驱动下的和谐社会，大数据带来全新的生活方式

城市管理是一个辅复杂学科，智慧城市建设是一项复杂的系统工程。对智慧城市的建设应该同时着眼于三个空间的整体。大数据将为智慧城市的建设提供数据支持。

伴随着智慧城市建设的火热进行，大数据应用已进入实质性借的那，有效拉动了大数据市场需求，带动了当地大数据产业的发展，大数据在各个领域的应用价值已得到初显。

数据化：大数据成为企业和社会关注的重要战略资源，企业必须要提前制定大数据营销战略计划，抢占市场先机。

与云计算结合：大数据离不开云处理，自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。

数据管理成为核心竞争力：数据资产管理效率与主营业务收入增长率，销售收入增长率显著正相关，数据资产的管理效果将直接影响企业的财务表现。

质量是关键：很多数据源会带来大量低质量数据，因企业需要理解原始数据，因企业需要理解原始数据与数据分析之间的差距，消除低质量数据以获得最佳决策。

《大数据》读这本书纯属偶然，在没有读这本书的时候，就听别人这本挺不错的，是一本值得读的书，偶然的机会，看到朋友有这本书，就借来读，今天简单说一下这么书的感受以及本书所阐述的观点。

《大数据》这本书，由于工作其他事情，还有这本书也不是很薄（370），读了2个月左右，太拖延了。本来计划17年度20-30本书呢，照这个速度，一半也完不成了呀,要加速了。读这本书的前100多页的，感觉这就是概述美国政府以及政权的数据应用，以及一些法律完善，有点高调，一个中文的《大数据》怎么全是美国国情，对中国来说好不贴切。慢慢读，之后有看了后续，才明白，这个《大数据》是对大数据的科普以及作者就是在美国生活以及工作中一些《大数据》的阐述。如果有读这本书的，可以先从后几篇读一下，了解一下写这个书的一些情况以及作者的一些经历。

读了这边书，我看到自己之前没有接触到的以及，感觉不错做上标记，就总结起来，下面就记录一下摘抄以及自己的观点。

管理法则：质量，互联网时代的根本。

数据能满足其既定的用途，它才有质量。如果不能满足既定的目标和用途，就谈不上质量。换句话说，数据的质量不仅取决于它本身，还取决于它的用途。

----杰克·奥尔森，数据库专家，2003年

为了保证数据发布的质量，OMB曾经制定过3个指导原则:

一是质量要有标准，联邦政府各个部门必须制定衡量数据质量的统一标准，这个标准包括3个方面：

客观性：指发布的数据是否准确、客观、可靠。

实用性：是否对社会有用。

完整性：是否能够保证数据在收集、整理过程当中不受到非法的接触和修改。

二是质量管理要有流程。政府各部门必须针对数据质量，完善信息管理的流程，防止低质量的数据出现。

三是要有质量求助机制。政府各部门必须建立一个行政机制来应对社会、公众对于数据质量的质疑以及挑战，如果政府发布的数据质量确实存在问题，必须有一个相应的纠错机制来补救。

个人观点：这个指导原则虽然以政府的完善部门来讲的，但是对于企业来时说也是可用的，以一个业务部门来说，销售的数据统计，需要制定一些统计规范，比如产品的数量，标价，客户到手价是多少，给客户优惠多少客户才购买的，以及客户购买的意图，你以什么营销方式以及沟通方式促使成单等等，一些数据统计出来达成，以后遇到这样的很快成单以达成销售的目的。这只是一种距离，具体的统计需要根据自己企业制定相应的规范以及对企业有用的统计数据，个人建议，不管是是领导者还是普通的统计数的人员，都要知道统计这个数据的目的以及将来要完成的目标，这里应该会有各个人员的讨论，说说自己的想法，有分歧解决，及时打一架，也要把这个数据整合成一个对各方有利，对销售或者最终目标有利的数据统计。

我们有很多小的，独立的信息记录系统，这些系统，就耽搁而言，它们可能无关痛痒，甚至是很有用的，完善合理的，但是一旦把它们通过自动化的技术整合链接起来，它们就会渐渐吞食我们的个人自由。这才是真正的危险。

------- 美国隐私研究委员会，1977年

个人观点：这是作者对于大数据的隐私保护的一些阐述的一些预算局以及相关机制所引用的，我想说明的不是隐私问题而是这些数据能给人造成危险，证明是有用的，是需要进行数据整合，发挥自己的最大用途的。比如说，简单发一条朋友圈，拍的图片以及附上的文字以及地址，对于一个发朋友圈的人来说就是一次分享，但是对于他的朋友就会是他在哪里，干什么，心情或者其他的一些信息，对于一些附近的像旅行社、餐馆、超市等等商铺来说，何尝不是一个机会，这个人中午是不是需要吃饭，走累了是不是要休息，这个人是不是外地来旅游的，需不需要旅游上的服务等等。数据的话，看你是怎么看他的，对自己有什么用，做什么可以能用的上，需要数据整合以及数据分析以及收集。

大数据管理需要对大数据以及相应的数据定义或元数据进行适当的管理。它旨在确保(元)数据质量良好，因此是有效和高效管理决策的关键资源。数据质量(DQ)通常被定义为“适合使用”，这意味着该概念的相对性质。以下将介绍信息架构师、数据库设计师、数据所有者、数据管理员、数据库管理员和数据科学家的工作和内容。而根据数据库和企业的规模，可能会将多个配置文件合并到一个工作描述中。

(1)信息架构师(也称为信息分析师)。信息架构师负责设计概念数据模型，并与业务用户进行沟通和对话。其弥合了业务流程和IT环境之间的鸿沟，并与可能有助于选择概念数据模型类型(例如EER或UML)和数据库建模工具的数据库设计师密切合作。在数据准确性和数据完整性方面，一个良好的概念数据模型是存储高质量数据的关键要求。

(2)数据库设计师。其职责是将概念数据模型转换为逻辑和内部数据模型，协助应用程序开发人员定义外部数据模型的视图，从而有助于数据安全。为了便于将来对数据库应用程序进行维护，数据库设计人员在创建强制实现数据一致性的各种数据模型时，应定义公司范围的统一命名约定。

组织中每个数据库中的每个数据字段都应由数据所有者拥有，数据所有者有权决定是否访问和使用数据。数据所有者可能是数据的原始生产者，其消费者之一或第三方。数据所有者应该能够填写或更新其值，这意味着数据所有者知道该字段的含义，并可以访问当前的正确值(例如通过联系客户、查看文件等)。数据管理员可以要求数据所有者检查或完成某个字段的值，以纠正数据质量问题。

(3)数据管理员。数据管理员是数据质量(DQ)专家，负责确保实际业务数据和相应元数据的质量。他们通过执行广泛和定期的数据质量检查来评估数据质量(DQ)。除其他评估步骤外，这些检查涉及应用或计算最相关的数据质量(DQ)维度的数据质量指标和指标。

显然，他们也需要主动采取行动，并进一步处理这些评估的结果。第一类应采取的措施是采取纠正措施。但是，数据管理员不负责自行更正数据，因为这通常是数据所有者的责任。对数据质量评估结果采取的第二种行动涉及深入调查所发现数据质量问题的根本原因。

了解这些原因可能允许设计旨在消除数据质量问题的预防措施。预防措施可能包括修改数据来源的操作信息系统(例如，使字段成为强制性的，提供可能值的下拉列表，使界面合理化等)。

此外，系统中输入的值可能会立即根据预定义的完整性规则进行有效性检查，并且如果违反这些规则，可能会要求用户更正数据。例如，企业税务门户可能会要求员工根据其社会安全号码进行识别，可以通过联系社会安全号码数据库实时检查。显然，实施这些预防措施需要负责应用程序的IT部门主管的密切参与。

总体而言，防止错误数据进入系统通常比事后纠正错误更具成本效益。但是，由于输入数据中存在不必要的数据质量问题，因此应注意不要减慢关键流程。

(4)数据库管理员(DBA)。其职责是负责实施和监视数据库。其工作内容包括：安装和升级DBMS软件、备份和恢复管理、性能调整和监控、内存管理、复制管理、安全性和授权等。数据库管理员(DBA)与网络和系统管理员密切合作。

其还与数据库设计人员进行交流，以降低运营管理成本，并保证达成一致的服务水平(例如响应时间和吞吐率)。数据库管理员(DBA)可以提供数据可用性和可访问性，以及其他两个关键数据质量维度。

(5)数据科学家。数据科学家在数据管理的背景下是一个相对较新的职位。其负责使用最先进的分析技术分析数据，以提供新的见解，例如客户行为。数据科学家具有将ICT技能(如编程)与定量建模(例如统计)、业务理解、沟通和创造力相结合的多学科特征。

一位优秀的数据科学家应该拥有Java、R、Python、SAS等语言的良好编程能力。编程语言本身并不重要，只要数据科学家熟悉编程的基本概念，并知道如何使用这些来自动执行重复任务或执行特定例程即可。

显然，数据科学家应该有统计学、机器学习和/或定量建模方面的全面背景。从本质上讲，数据科学是一项技术练习。分析模型和商业用户之间往往存在巨大差距。为弥合这一差距，沟通和可视化设施是关键。数据科学家应该知道如何通过使用交通信号灯方法，OLAP(在线分析处理)设施，如果当时的业务规则等以用户友好的方式表示分析模型、附带的统计数据和报告。

数据科学家至少需要两个层面的创造力：在技术层面上，重要的是在数据选择、数据转换和清理方面进行创新。在分析层面上，标准分析过程的步骤必须适应每个特定的应用，而“正确的猜测”往往可以产生很大的差异。分析是一个快速发展的领域。

新的问题、技术和相应的挑战不断涌现。数据科学家必须跟上这些新的发展和技术发展的步伐，并且有足够的创造力来看待他们如何能够创造新的商业机会。这些数据科学家在当今的就业市场很难获得，这并不奇怪。然而，数据科学家有助于提供新的数据和/或见解，这可以让企业利用新的战略商业机会。

总而言之，确保高质量的数据是综合各种技能的多学科练习。在此从数据质量的角度回顾了以下数据管理作业配置文件：信息架构师、数据库设计师、数据所有者、数据管理员、数据库管理员、数据科学家。

1.理解,标准化 , 匹配和丰富数据

Talend提供了完整的解决方案来管理企业数据质量。有了 Talend, 你可以消除不一致的数据,通过标准化执行规则和创建一致的信息。数据治理团队共同努力提高生产力，对任何数据域理解和标准化数据，例如名称、地址或产品数据。解决方案包括强大的数据集成软件, 因此你可以评估和清理几乎任何类型的数据,而无需复制和转换。

音智达是一家专注于分析预测与行业应用的大数据公司。也是Talend在中国区的唯一的代理商，公司提供基于大数据技术的预测性分析及商务智能解决方案，全球顶尖的大数据软件产品，和大数据SaaS应用和DaaS服务(400-676-1711)

2.强大完整的数据质量解决方案

Talend提供了一个完整的带有内置数据连接、归档、清洗、匹配和管控数据质量解决方案， 以此满足你所有的数据质量和数据治理需。数据质量功能可以扩展来处理任何从扁平文本文件到Hadoop的企业数据。Talend是能够利用的最佳功能平台，在许多数据类型和在任何数据量中，无缝地提供数据质量。

3.数据归档

数据归档是完全和充分地了解您的数据,并确保它符合公司和行业标准。有了Talend, 用户可以配置和分析数据，然后创建并分享基于网络的质量数据报告。有了这些信息,你就可以利用数据和强调部分来更好地构建团队一致性。Talend提供预定义的测试来确保数据质量是最适合您的企业应用程序的，或者你可以定义你自己的。

4.数据标准化和富集

内置的数据集成和强大的解析技术是Talend的数据标准化和富集功能背后的秘密。使用集成的解析技术来做数据没有的分配结构。然后通过使用免费的参考数据，实现数据质量改进和富集。Talend提供了方便的方法来整合最外部引用数据源以便邮政验证、业务识别和信用评分信息,等等。

数据匹配和生存

Talend提供新一代的数据匹配的解决方案,来移动过于复杂的过程、绿屏匹配规则编辑到现实世界的业务用户。用户可以配置匹配Talend的用户环境,而不是沉重的规则文件的编辑和使用多个GUI与大多数相关数据质量工具。当修改匹配技术关键匹配指标的图表和图形创建‘what-if’ 分析。

大数据时代对数据质量的挑战

近几年，大数据被革命性地推动，数据价值也被广泛关注。大数据宛如金矿，越来越多的企业和政府希望从大数据中掘金，以提高生产力和管理水平。用户行为分析、数据医疗、智慧城市……企业和政府逐步认识到“大数据有大价值”，但并非都意识到大数据还有个大前提——数据质量。

数据的存量是企业和政府构建大数据中心重要的资产，但这些资产是否正在“贬值”？数据不可识别、数据无法匹配、数据冗余重复、数据不一致、精确度不够、时效性不强……这些数据质量问题导致数据处理困难、数据管理成本增加、数据不可信、不可靠，无法发挥应有的价值。

低质量的数据是大数据计划最大的风险，企业和政府在大数据的搜集过程中如果忽视了数据质量的管理，即使拥有了海量的数据资源，也无法从中获得期望的利益。

商务智能：用数据说话，而不是讲故事

数据往往是反映事物本质最有力的依据，比起模糊性的语言描述或经验判断，“用数据说话”更客观、更具有说服力。

商业智能是让数据说话的方法，管理者通过数据分析可以反思和调整运营战略。

但不准确的数据不仅不能真实地反映情况，还有可能导致决策不够明智；除此之外，花费较多的时间解释多个系统中的数据为何不一致或反复修正数据，生产率会受到影响，直接影响了成本和营利能力。

数据质量问题是商业智能成功的首要障碍。据权威机构调查，美国每年约有22%的企业因数据质量问题带来超过亿元的经济损失，且大多数企业或政府机构都有过因为数据质量问题引起的纠纷和信任度降低的经历。

EsDataClean支持全面检查“数据-信息-决策”各环节的数据质量，从源头控制数据质量，保证数据加工过程的准确性，提高决策可靠性。

数据质量管理需要插上“翅膀”

大多数企业和政府现阶段还在通过人工排查或写脚本的方式检查问题数据。人工排查方式效率低下，出错率高；通过脚本检查有一定技术门槛，可读性差，并且无法适应需求的频繁变化；没有质量考核制度和管理体系，责任单位不明确、问题处理不积极；处理过程和经验结果没有记录，无法追溯和改进质量现状……

当今社会是一个高速发展的信息社会，当代的政府和企业需要更加高效的数据质量管理模式。

针对以上问题，EsdataClean提供全面的数据质量解决方案。

EsDataclean是我公司自主研发的数据质量管理平台，用于解决业务系统运行、数据仓库建设及数据治理过程中的各种数据质量问题。它以全面数据质量管理(TDQM)理论体系为指导，结合国内数据质量管理研究方法开发而成，并以元数据管理思想为基础，运用数据挖掘、数据分析、工作流、评分卡、可视化等技术帮助企业和政府建立数据质量管理体系，全面提升数据的完整性、规范性、及时性、一致性、逻辑性等，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。

EsDataClean有效识别各类数据质量问题，助力企业和政府大数据中心建设。

EsDataClean支持“数据-信息-决策”各环节数据质量检查和监控，从源头控制数据质量，保证数据加工过程的准确性，提高决策依据的可靠性。

EsDataClean有效减少用户对技术的依赖和人力投入，缩短质量管理周期，减少数据管理成本。

先看一下数据质量管理的定义：

数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

再为了更好的了解数据质量管理，请软件测试从业者简单的问自己几个问题：

1. 所在企业或团队或自己是否有意识的、或是无意识进行了数据质量保证工作？（例如是否有在管理上、流程上、技术上、目标上等维度进行考量）

2. 在你的职业生涯中，是否有因数据问题导致线上环境出现长时间的中断、崩溃等等？

3. 在你的职业成长规划中，你是否有规划或已经准备积累数据质量保证相关的知识和技术能力？

对于很多软件测试从业者来讲，在工作中几乎时时刻刻要面对亿万记录的数据量，但大都未有意识的去考虑数据质量问题，但却又时时被坏、脏等数据带来的隐患、问题折磨

数据质量的保证不简单的技术问题，必然涉及以下几个方面：

码字不易，点点点下我，以示支持哈

1. 首当其冲的是企业管理因素

主要指企业对数据质量的重视程度、人员素质及管理机制等方面可能造成的数据质量问题、隐患等

如果企业或团队压根就不重视，那一切都免谈了。

2. 其次则是作业流程

这里的作业流程既是指数据质量保证日常工作的作业流程，也是指数据处理作业流程。即既要规避人为的操作不当，亦要规定技术处理的流程以免因系统作业流程不当导致数据质量隐患、问题。

3. 技术因素

这里主要是在实际的数据处理各技术环节的异常所带来的数据质量问题，例如数据创建、获取、传输、装载、使用、维护、存储等等环节

是软件测试从业者可以大发挥的地方，尤其是把技术与测试的结合，会产生无穷的力量

4. 元数据或是说信息因素

这里有两个大的方面，一是人对数据的理解，二是数据本身。即人对数据的理解的偏差会导致数据质量隐患问题。

数据本身元属性的定义或变化频度异常等等导致的数据质量隐患问题。

可以加入我的永久免费知识星球一起讨论各种姿势和技术

顺手点点点底部的小广告支持下，免得在峡谷迷路^_^

持续不断码字努力中