DAMA数据管理—参考数据和主数据管理-数智化转型网szhzxw.cn

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

一、核心要点

参考数据管理和主数据管理是一项持续的数据质量改进计划，需要持续的协调参考数据和主数据的一致和维护工作，它们的驱动因素是：跨数据源、应用和技术条件下的数据质量和整合需求；对重要业务提供360度信息视图的报表和分析支撑需求。数字化转型网www.szhzxw.cn

参考数据管理，是对标准化术语、代码值、其他唯一标识符、每个取值的业务定义的控制；对数据域值列表内部、跨不同列表之间的业务关系控制；对准确、及时、相关参考数据值的一致、共享使用控制，进行的数据分类和目录整编。

主数据管理，是对主数据值的控制，实现跨系统一致、共享、上下文环境下的使用；对核心业务实体的真实、准确、及时的版本控制。

书中对参考数据管理和主数据管理进行了介绍，提出此项工作是一项数据质量改进计划。并从管理角度提出提升数据质量、整合数据源、提供多维度视图报表和分析的需求。数字化转型网www.szhzxw.cn

参考数据和主数据管理是通过计划、实施和控制活动，保证语境数据价值与”黄金”数据的一致性。目标是为了获得数据源的协调一致、高质量的利用和重用数据标准来降低成本和复杂度，从而支撑商务智能和信息整合。需要重点提出的是”什么是数据标准”，它如何构建语境和”黄金”数据的一致性。

这里针对DAMA数据管理知识体系中：参考数据和主数据的理解，国内较为普遍的认知是”数据标准化”，也就是书中谈到的”黄金”数据体系。”黄金记录”中对于词汇管理和术语、标准化、匹配规则进行了详尽的介绍，数据标准属性要素则重点包括业务属性、技术熟悉、管理属性。不难看出，”数据标准化体系”的构建更为详细的阐述了DAMA数据管理体系中的参考数据和主数据管理方面的内容，并且结合数据治理体系的构建支撑”黄金”数据的落地实施。数字化转型网www.szhzxw.cn

二、概念和活动

参考数据。

通过内部定义或外部来源，来有效维护数据值列表及其业务含义的定义。用于将其他数据进行分类或目录整编的数据。示例如下：一些参考数据集是只包含两列值的简单列表；一些参考数据集包括对代表同一事物多个代码值的交叉引用；一些参考数据集包括每个值的业务定义；一些参考数据集定义一种数据取值的分类法。参考数据的值域会发生缓慢变化，需要维护参考数据值和相关元数据，包括：代码值、标准说明和业务定义。参考数据集是包括不同取值的数据值域，每个参考数据集都有受控词汇来进行管理。

主数据。

是一个关于事实的”黄金”记录，如：每个产品、地点、人员或组织。是关于业务实体的数据，这些实体为业务交易提供关联环境。常见的主数据：有基于人、组织、客户关系的角色数据；以企业资源规划ERP充当财务主数据中心的业务单元、成本中心、利润中心、预算、计划、项目的财务主数据；专注于组织内产品或服务，及整合行业的（涵盖竞争对手）的产品和服务的产品主数据；提供跟踪和分享地理信息能力的位置主数据。主数据管理是一套定义和维护流程，涉及如何在企业内创建、整合、维护、使用主数据，可通过数据整合工具ETL、数据清洗工具、主数据总线的操作性数据存储ODS或主数据管理应用系统来实施管理，进而实现数据源内及跨数据源的信息整合，提供”黄金记录”或事实的最佳版本及跨应用系统访问。

理解参考数据和主数据整合需求。

组织从重点关注某一主题区域的参考数据和主数据入手，分析所有物理数据库和不同应用模式中的业务实体的匹配情况，得到整个企业数据整合需求。

识别参考数据和主数据的来源及贡献者。

在获得数据整合需求的基础上，跟踪这些数据的数据血缘关系，确定数据起始及中间的数据源数据库、文件、应用、组织，及创造和维护这些数据的角色岗位。数字化转型网www.szhzxw.cn

定义和维护数据整合架构。

控制数据的共享访问、复制和数据流向，以确保数据质量和一致性。常见基本方案：主数据管理架构8.2、参考数据管理架构8.3、参考数据和主数据中心操作型数据存储8.4。数据整合架构目的也是提供数据整合服务（参考：数据整合服务架8.5），采用相同的数据标准协调不一致的参考数据和主数据，确定哪些数据元素表示不一致和如何更好地表示这些数据。

实施参考数据和主数据解决方案。

通常组织在总体架构、业务优先级和实施路线图的指导下，通过阶段化的相关项目，以迭代和增量方式实施参考数据和主数据解决方案。

定义和维护数据匹配规则。

其目的是消除冗余，提高数据质量，提供更全面的信息。常见的匹配规则：应用推理规则、信任度规则和结合匹配率指标构建关联工作流匹配规则；考虑构建的匹配规则：重复识别原则、匹配合并规则、匹配链接规则。数字化转型网www.szhzxw.cn

建立”黄金”记录。

需要通过多种匹配规则的推理和应用，对结果审核来实现。词汇管理包括词汇及其参考数据的定义、溯源、导入和维护。受控词汇表的主要目的是实现内容对象描述的一致性并便于检索。词汇管理最重要的活动就是确定首选术语及其标准清单。定义”黄金”数据则通过分析确定数据质量，应用数据质量规则和匹配规则，获取、建立和更新数据的应用中嵌入的数据质量控制过程。建立数据质量衡量方法，通过数据剖析活动及其业务规则的符合程度，验证、评估数据质量的问题根因，以便设置数据质量预期。术语和标准化是一项数据清洗活动，经过规范化和清洗之后的数据，下一步是应用匹配规则来消除冗余数据。数据质量规则会整合在（ETL、Web Service等）环境中，使接入的任何数据源使用统一的检验和标准化规则。

定义和维护层次及关联关系。

关联管理是主数据记录之间关系的维护和建立。例如：”普通到特殊的分类或全部和部分的组合或是……的一部分的关系”，商务智能称其为维度层次管理。数字化转型网www.szhzxw.cn

计划和实施新数据源的整合。

数据采集、数据清洗和数据剖析、数据整合复杂性和成本、匹配规则的影响及数据质量指标。

复制和分发参考数据与主数据。

同步复制数据，应用程序确保对参考数据和主数据的完整性、一致性。

管理参考数据和主数据的变更。数字化转型网www.szhzxw.cn

需要业务数据管理专员和数据专家一起，确保高质量的参考数据和主数据。遵循变更控制流程，考虑影响有：内外部参考数据集的变更、条目和代码的废止、新旧代码的关联、参考数据变化的影响，以及主数据管理的业务定义和数据结构的变更等。