- ?
如何使用元数据(大数据核心)
爵迹
展开
罗伯特·S·西纳(Robert S. Seiner) 2018年6月6日 相隔译
在过去的25年里,信息技术的世界已经“戏剧性地”成熟了——我的职业生涯相对短暂。从午夜时分在大学计算机实验室打卡和给露天平台的读者提供材料,到互联网、电子商务、商业智能、大数据、人工智能……人们可能会认为,他们已经见识了一切。
我们只能想象,未来的25年里,我们将面临什么。在21世纪之后,在可预见的未来,管理数据、信息和知识的需求和速度(如果还没有的话)将成为业务驱动因素。
“管理数据、信息和知识将是业务驱动因素。”
如果你还不知道的话,这个短语值得重复几次。一个公司管理数据、信息和知识的能力将决定一个公司能有多成功,或者他们是否能成功。
为了管理数据、信息和知识,公司需要知道他们拥有什么数据。公司需要准确地知道他们的数据是如何被使用的,以及如何使用这些数据来创造竞争优势。要了解这些信息,公司需要管理和使用它的元数据。
元数据是在IT工具中记录的信息,它可以改进数据和数据相关过程的业务和技术理解。(1)这个定义比我们这个行业的人们过度使用的“关于数据的数据”定义要长得多。当您将这个定义分解成几个部分时,它将告诉我们什么是元数据,在哪里可以找到它,它如何有用,以及它将帮助谁。
元数据在未来几年将变得越来越重要。元数据将不再是“周三的信息处理系统之子”(2),正如数据仓库之父Bill Inmon在《数据管理评论》(data Management Review)中所言。每个公司都有元数据。这是毫无疑问的。数据库构建在元数据之上。数据模型建立在元数据之上。程序、显示、报告、查询、数据迁移……信息系统的所有组件都是使用元数据构建的。这本身就应该表明,管理元数据很重要。但现在它不是。
元数据的问题
关于元数据的问题仍然存在。元数据究竟是什么?管理元数据要花多少钱?如何证明对元数据的“投资”是合理的?谁使用元数据?如何开始管理元数据?这些都是非常重要的问题,在这些问题中,答案将成为决定公司是否继续实施元数据管理策略和实施计划的关键因素。
这些问题并不总是容易回答——特别是当人们的问题有点脱离每日构建的数据和技术架构以支持企业的情况时——即人最有可能不停地改变主意。专家们已经写了很多书来回答这些问题。这些问题不在本文中讨论之列。
作为替代,这里选择了不同的方法。本文不再关注元数据问题的“答案”,而是关注元数据可以回答的“问题”。
问题分类
元数据可以回答的“问题”可分为十类。我之所以选择这10个类别,仅仅是因为它是一个很好的整数。除了这是我以前使用过的元数据的逻辑分解之外,没有其他原因。如果这些类别不适合您的需要,根据您的需求完全可以自行组织。我选择的10个分类包括:
数据库元数据数据模型元数据数据移动元数据业务规则元数据数据管理元数据应用组件元数据数据访问/报告元数据合理化的元数据数据质量元数据应用操作元数据理解分类当你阅读“元数据可以回答的问题”列表时,问自己三个简单的问题:在你当前的环境中:我的公司能回答这些问题吗?我的公司为回答这些问题付出了什么代价?当我们不能回答这些问题时,结果是什么?我猜测,如果您在得出上述关于元数据的三个问题的答案时,您将感到元数据管理怎么这么简单的。许多问题属于多个类别。例如,在数据迁移期间,数据从源流到宿(目标)。向目标执行的操作(赋值)可能来自映射列表(或转换表),具体取决于源或多个源。当源数据丢失或源值没有指定的目标值(有时称为缺失规则)时所采取的操作可以视为数据迁移元数据或数据质量元数据。我列出了一些问题,如果有必要你可以画出它们之间的联系。这些问题不应该被认为是包罗万象的。相反,应该将元数据问题视为一个“入门工具包”,它可以帮助您的公司理解这一点:这些问题的答案很重要。这些问题的答案并不总是可以得到的。如果IT部门能够访问这些信息,他们将“执行”得更好。“成本节约”和“竞争优势”与通过元数据管理数据有关。元数据可以回答的问题数据库元数据数据库元数据描述物理数据。数据库元数据通常存储在数据库目录或copybook/segment定义中,开发人员和db管理员使用数据库或文件辅助类型工具进行访问。数据是否存在于数据库(或文本/顺序文件)中?哪些数据库存在?存储数据的数据库的物理名称是什么?数据位于何处?(如平台(或dbms)、服务器等)数据库中表的名称是什么?表中什么列?主键是什么?有其他索引吗?表与其他表有什么关系?表是视图的一部分吗?数据库上一次是什么时候更新的?谁最后更新了数据?有哪些文本文件和顺序文件?我的数据所在数据集的物理名是什么?数据位于何处?(比如框架、区域、数据集名称等)有多少个数据版本?数据集是存在于磁带上还是存储器上?哪些拷贝代表文件中的数据?哪些程序使用拷贝?什么工作流驱动程序?如何处理、组合和排序数据?数据模型元数据数据模型元数据描述数据的逻辑设计和从逻辑设计到物理数据的映射。数据模型元数据还可以包括业务规则、实体关系、域值等。数据模型元数据通常在数据建模和案例工具中找到,尽管有些数据模型元数据仍然可能在图表和电子表格工具中跟踪这些信息。存在什么数据模型?哪里可以找到模型?是否存在企业数据模型?谁创建了模型,用于什么目的,项目/数据库等等?谁负责更新这些模型?定义了哪些业务实体,它们存在哪些模型?在数据库(表或系统)文件中表示的业务实体在哪里?业务实体的定义是什么?构成这些实体的属性是什么?属性的业务定义是什么?属性是否具有限制性域?各属性的允许值是多少?逻辑数据模型和物理数据模型之间的关系是什么?物理数据模型是否与逻辑数据模型同步?物理数据模型是否与物理数据库同步?实体和表、属性和列之间存在什么映射?数据迁移元数据数据迁移元数据描述数据从源到目标的移动。数据迁移元数据包括数据的选择和提取、映射、转换和数据加载的信息。数据迁移元数据可以在ETL或数据迁移工具、电子表格、桌面数据库中找到,也可以在编写用于执行数据移动的代码逻辑中找到。迁移数据来自哪里?是系统或其他数据库?用于填充数据的字段是什么,是否为派生字段?数据是如何得到的?计算,条件,还是两者兼具?派生过程中,还使用了哪些数据?数据的值是否依赖于其他数据的值?依赖哪些数据,如何依赖这些数据?目标数据是否允许为null?数据丢失的话怎么办?源数据不符合质量要求时怎么办?当没有为源值分配映射的目标值时怎么办?目标数据具有什么值?这些值如何映射到以前的值?什么时候迁移数据?数据总是以这种方式“迁移”,还是有随时间变化?什么时候触发迁移?业务规则元数据业务规则元数据描述业务如何使用其数据进行操作。业务规则元数据描述定义数据使用的实体关系、基数、域规则等。业务规则元数据通常存在于数据建模或案例工具中,或者存在于工具、文字处理、电子表格或其他工具之外维护的其他形式的文档中。逻辑数据模型中数据实体之间具有怎样的关系?这些实体之间的基数是什么样的?在什么条件下,数据片段可以承载特定的值?一段数据可以承载什么价值?价值的含义是什么?如何创建、更新和删除数据?什么时候,由谁建立的规则?数据管理元数据数据管理元数据描述组织中谁对使用数据所采取的行动负责。数据管理元数据定义组织中的谁定义数据,组织中的谁创建、维护和删除数据,以及谁使用数据或直接使用工作中的数据或信息。数据管理元数据仍没有被几个公司采用(还没有!),而仅有的几个使用的公司也只使用桌面数据库和电子表格运作。如果你对数据有疑问,你会打电话给谁?谁负责定义、创建、读取、更新和删除数据?具备什么能力和职责的个人可以管理数据?谁是将数据作为工作的一部分的数据“消费者”?哪些信息可以在公司内部共享?公司外呢?谁必须批准才能在公司之外发布报告?谁负责为数据分配可接受的值?怎么让管理程序适用公司的信息政策?信息政策在哪里能找到?应用组件元数据应用组件元数据描述应用程序的所有对象,从数据文件或表到程序、脚本和功能、显示等等。应用组件元数据是组成系统的所有组件以及组件如何共享和重用的交叉引用。交叉引用工具和桌面工具通常是存储这些信息的地方。哪些应用程序组件被认为是标准的可重用对象?这个“可重用对象”是如何确定的?如何测试这些对象,以及谁维护这些对象?什么程序(及数据、显示等)是系统(或过程或功能)的一部分?哪些作业(或过程、脚本)执行程序?程序和作业使用什么数据?数据是如何使用的?如何将数据从程序传递到程序、作业到作业、系统到系统?数据依赖于什么系统?什么系统依赖于特定数据?哪些程序和作业是重用的?在哪里重用?随着时间的推移,项目和工作发生哪些变化?谁编写了程序和作业?谁负责支持和维护程序和作业?哪些程序更新数据?哪些报告显示数据?哪些页面显示数据?数据访问/报告元数据数据访问和报告元数据描述了如何访问数据,以及已经创建了哪些报表可以读取或重新创建。数据访问和报告元数据也可以描述必须采取的步骤来获得授权读取数据,如何解释数据的描述,可用工具,报告的描述,等等。数据访问和报告元数据通常在报告工具和传统类型的文档(如桌面数据库、文字处理和电子表格)中寻找。使用这些数据的报告有哪些?报告的描述什么?如何访问报告?应该采取哪些步骤来获得使用数据的授权?报表如何选择、组织/排序、分组、汇总和显示数据?报告使用了什么数据?什么报告使用我的数据?报告最后一次更新是什么时候?必须亲自制作报告,还是已现成结果?哪里可以找到结果?合理化的元数据合理化元数据描述了标准的“企业可接受”信息片段,以及这些信息片段如何在系统中表示或映射为数据。标准的信息片段可以是数据元素的选择列表,这些数据元素具有可接受的含义、历史、值和/或来自企业数据模型的标准信息片段。合理化元数据可以描述数据元素是同一信息块的程度和差异。合理化元数据通常存储智囊库或传统文档中。公司的标准(核心)要素是什么?这些元素的业务名称和定义是什么?标准元素是如何、由谁选择的?标准元素是否被验证以供重用?标准元素在哪里映射到现有数据?如何使用标准元素?数据质量元数据数据质量元数据描述数据的质量。数据质量元数据描述准确性可信级别、变更管理、数据值和定义的历史,以及随时间变化如何影响数据的理解。数据质量元数据还描述遇到“坏”数据、数据丢失或重复时需要采取的操作。使用数据质量工具、存储库和传统文档类型跟踪数据质量元数据。数据可能的值是如何随时间变化的?什么时候可接受值变了?数据的定义是如何随时间变化的?数据的定义是什么时候变了?什么数据是“坏”数据?对数据进行了哪些质量检查?什么是质量检查程序?该程序是谁写的和执行的?谁分析的结果?数据有多大的可信度?在数据被认为是“低质量”数据之前,可接受的置信水平是多少?计算操作的元数据计算操作元数据描述数据的活跃度和调度中心。计算操作元数据描述数据存储、磁带使用、作业和服务器操作、调度依赖项、异常处理、备份和恢复过程等。计算操作元数据可以通过调度系统、存储系统、操作和服务器系统等找到。计划对数据运行哪些操作/作业?有哪些类型的数据备份和恢复可用?我的数据最后一次被备份、恢复和验证是什么时候?备份和恢复数据需要哪些步骤?谁负责备份和恢复?谁拥有使用数据的安全特权?创建、读取、更新或删除?针对特定数据运行程序/报告的最佳时间是什么时候?哪些操作依赖于来自另一个进程的数据?当作业或系统失败或终止时,应采取哪些行动?当作业或系统失败时,应该调用谁?我们运行的是什么版本的软件?如果许可,我们有多少许可证,谁在使用它们?许可证何时到期?软件的下一个版本什么时候安装?新版本对软件进行了哪些更改/增强?有多少磁盘空间可用?已用了多少磁盘空间?数据以什么速度增长?谁分配存储空间,应该联系谁来回答有关磁盘存储的问题?磁带存储头是如何定义的?
- ?
EXCEL表格里怎么去除数据
徐梦桃
展开
EXCEL中去除数据有效性的方法:
选中设置了数据有效性的单元格或区域,选择:数据--数据有效性;
在弹出的对话框中,选择“全部清除”;
数据有效性只对键盘输入限制有效,对复制粘贴无限制性,如果不想破坏整体的数据有效性,可以在空白单元格输入数据,再剪切--粘贴到此处,如下图,限制了有效性,只能输入1、2,但可以将3复制过来。
(本文内容由百度知道网友cdi936贡献)
- ?
Excel表格实用技巧10、如何在一堆数据中快速找出重复的数据
向伟祺
展开
通过条件格式的高亮显示,可以将重复的数据快速找出来
操作演示
1、从下方数据中找出重复的数字,选中所有数据后,依次点击【开始菜单】——【条件格式】——【突出显示单元格规则】——【重复值】;
2、在弹出的窗口直接点击确定,重复的数据就被高亮显示,如下图;
3、此功能不仅对数值有效,文字同样可以利用此方法找出来,比如我们找出下图中重复的地名;
4、在操作演示中,我们高亮显示使用的是默认格式,如果想按照自己的想法去高亮重复数据,可在【设置为】下拉选择【自定义格式...】。
5、找出高亮显示的数据后,挨个选中重复数据,Del键删除,如果删除的值只剩下唯一一个,那么唯一的那个值会自动取消高亮。
关注我们,推送每日更新,查看更多Excel小技巧:
Excel表格实用技巧01、将阿拉伯数字快速批量转换成中文小写或大写
Excel表格实用技巧02、单元格合并及取消合并的三种方式
Excel表格实用技巧03、粘贴如何去除格式?粘贴只保留内容的方法
Excel表格实用技巧04、巧用格式刷快速复制表格样式
Excel表格实用技巧05、快速给单元格添加边框,原来边框可以画出来
Excel表格实用技巧06、利用文字旋转让宽度较窄的单元格容纳更多文字
Excel表格实用技巧07、将数字快速转换成货币格式的两种方法
Excel表格实用技巧08、如何将满足条件的数据突出标记显示
Excel表格实用技巧09、利用条件格式给包含特定文字的单元格设置格式
- ?
如何对PDA设备中以前备份数据进行恢复
凝眸
展开
在对一个普查小区进行清查时,当我们数据保存备份并上传直到注销后才发现还有单位或个体遗漏时该怎么办呢?如果直接重新注册新增上传时会将以前数据覆盖,造成前功尽弃。正确的处理方法是重新注册后将备份数据恢复至PDA设备后再进行相关操作,具体操作步骤如下:
第一步 重新注册该小区后,找到统计发布图标后并点击它
第二步 找到贵州统计发布下的“经普”并点击它
第三步 点击“云备份”
第四步 根据备份日期和小区区划代码找到“云备份”下需要还原的备份文件后点“云备份”按钮
第五步 系统出现如图提示时点“确认”
第六步 备份包下载完毕后退出统计发布界面
第七步 找到“四经普清查采集”图标
第八步 登录“四经普清查采集”模块后找到“恢复数据”
第九步 系统出现提示时在“我已知晓”前面点上勾后再点下面的“恢复数据”
第十步 系统出现如图“警告”时点“确定”
第十一步 在文件列表里找到需要恢复的小区备份文件后点“确认”
第十二步 等系统自动完成数据恢复后,即可按正常步骤进行新增清查对象操作,操作结束后再重新备份并上传。
- ?
excel表格数据突然丢失一部分,是怎么回事?
丹雪
展开
可能是部分文件未保存
操作方法如下:
首先我们打开Excel表格,(以Excel2007为例哦).打开以后会出现这样的表格
然后点击开始,下拉菜单中有一个Excel选项.
点击以Excel选项进去,然后点击保存
进入保存的页面以后,修改一下保存自动恢复信息时间间隔,这样方便以后断电操作起来方便哦
将自动恢复文件位置下的链接,直接输入到菜单栏,就会出现下面的页面
进入的页面中,可以选择一下所要恢复那一个时间段的文件,直接点击以后就会出现一个下载页面,直接保存就可以了.下载完成后直接打开,表格的恢复就完成了哦
(本文内容由百度知道网友屠龙倚天棍贡献)
- ?
Excel表格部分内容隐藏保存后怎么恢复呢
恋恋1983
展开
Excel表格恢复隐藏内容的操作步骤如下:
1、点击左上角的全选按钮,全部选中;
2、右键点击任意选中的区域,选择【取消隐藏】;
3、序列号全部显示(即隐藏的内容全部显示),效果如下图。
说明:Excel表格只能整行或者整列进行隐藏,如果全选的话,可以显示全部的行与列的内容,本案例是隐藏的行,也可以隐藏列。
(本文内容由百度知道网友贡献)
- ?
excel表格修改后保存再次打开是保存前的内容是为什么?
维纳斯
展开
这是因为没设置好。
步骤:
1.打开excel表格,点击左上角的“开始”菜单
2.在弹出的列表中点击“选项”菜单
3.在弹出的对话框中点击“保存”
4.看图中红框里面设置的时间,我这里设置的是10分钟(系统默认就是十分钟),此时间说明只能找回10分钟类未保存的文件,可以按照自己的需求修改长度
5.复制自动恢复文件位置后面的路径
6.打开我的电脑,将刚才复制的地址粘贴到地址栏中回车,就可以看到可以恢复的excel表临时文件,打开一个空白的excel拖拽到里面打开即可!
(本文内容由百度知道网友shihoumacili贡献)
- ?
已保存的EXCEL电子表格还能恢复吗
贲莛
展开
可以恢复。操作方法如下:
1.在备份文件中找
保存的默认位置是C:Documents and settings/Administrator/Applicationdata /Microsoft/Excel;
2.使用Excel表格恢复软件找回
载并安装Excel表格恢复软件,我下载的是easyrecovery免费版。下载之后,将数据包解压到当前文件夹,安装即可。
(本文内容由百度知道网友茗童贡献)
- ?
用这个方法居然能找回修改保存前的表格内容!
销魂
展开
EXCEL,修改表格后保存完了关闭了,现在想恢复到当时保存前的那个状态,方法很简单(win7系统):
1、如果文档已经关闭,在没有清理垃圾的情况下:你可以随便打开一个文件夹,组织---文件夹和搜素选项---查看---去掉“隐藏受保护的操作系统文件(推荐)”的勾,选择“显示隐藏的文件、文件夹和驱动器”。
2、打开在文件所在的D盘(或其他),右上角搜索输入你的文件名(注意前几个字不要粗略搜索)。
3、在搜索结果中选择相应的时间点文件(类型:SLXQM文件),复制到桌面,修改文件扩展名为.xls即可。
4、重复第1步操作,恢复到原样,继续隐藏。
亲测有效!!!
如果有所帮助,请多多关注!
- ?
excel表中的内容改掉后保存,怎么恢复以前的内容?
忆翠
展开
操作如下:
打开excel目标文件,在功能区域中选择“文件”。
在弹出的快捷菜单中选择“帮助”。
然后在“设置office工具”下选择“选项”。
然后弹出excel属性窗口,在窗口中点击“保存”。
复制文件自动保存的位置。
回到电脑桌面,按Windows+E,在地址栏里面按Ctrl+V,回车。
找到自己之前备份的excel文件恢复即可。
(本文内容由百度知道网友shihoumacili贡献)
表格怎么恢复以前的数据
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并