数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
主数据管理整体框架
一、数据识别
实施主数据管理的第一步是明确哪些数据属于主数据。这通常需要业务和IT部门的密切协作，通过分析业务流程、数据流和信息需求来识别关键数据实体及其属性。识别出的主数据范围将直接影响到后续模型的构建和数据治理的效果。
在决定是否应将特定信息元素视为主数据时，建议综合考虑以下这些标准：
1、数据的行为通过本数据与其他数据交互的行为，来决定本数据是否是主数据。在业务运营系统中，主数据几乎总是与运营数据有关。客户购买产品，供应商出售零件，合作伙伴将一箱材料运送到某个地点，员工与其经理有层次关系，经理通过经理（另一名员工）向上报告。主数据和运营数据之间的关系可以从根本上被视为一种名词/动词关系。运营数据就是动词，例如销售、交付、购买、退货，而主数据就是名词，例如产品、客户、材料等。
2、数据的生命周期 主数据都是可以通过创建、读取、更新、删除的方式来描述，此生命周期称为 CRUD 周期。但是对于不同公司而言，主数据的CRUD的方式是不同的。例如：如何创建客户取决于公司的业务规则、行业细分和系统功能。一家公司可能有多个客户创建的渠道，如通过网站、通过客户代表或通过门店。另一家公司可能只允许呼叫中心创建客户。
3、数据的基数随着基数的减少，一个信息元素被视为主数据的可能性也会降低，即使这是一个普遍被认为应该是主数据的领域，比如客户——如果一家公司只有3个客户，那么该公司很可能不会考虑这些客户信息视为主数据——至少在使用 MDM 解决方案时不会考虑，这是因为使用主数据基础架构管理这些客户没有任何好处。基数不会改变信息元素的分类。但是，随着信息元素的基数增加，为之配套管理方案的重要性也随之增加。
4、数据的稳定性主数据的稳定性往往高于运营类数据。随着它变得更加不稳定，它通常被认为更具运营性。例如，有些人可能会认为“合同”是主数据元素，也有人可能会认为这是一笔运营数据。根据合同的有效期，它可以采用任何一种方式。运动员经纪机构可能会考虑他们的合同是主数据。在这种情况下，每份合同都不同于另一个，并且通常具有超过一年的寿命，运动员往往在任何特定时间都有一份以上的合同：一份与他们的团队签订，另一份与公司签订产品代言合同。随着每份合同的要素重新谈判或运动员被交易，该机构将需要随着时间的推移管理所有这些合同。
其他合同——例如汽车清洗合同或房屋粉刷合同——更像是一笔交易。它们是一次性的、短期的协议，用于提供支付服务，通常会在数小时内完成并失效。
5、数据的复杂度
简单的数据，即使它们是有价值的实体，也很少难以管理，所以也很少被视为主数据元素。通常，这些资产被简单地收集和统计。例如，银行可能不会跟踪它存储的每根金条的信息，而只会记录它们的数量。每根金条价值可观，基数高，寿命长，但复杂度低。
6、数据的可复用性
主数据管理的主要驱动力之一就是复用。由于多种原因，主数据并不总是可以被访问的，人们将主数据存储在不同的位置，例如电子表格或者各系统的数据库。但是，如果一个主数据实体在多个系统中重复使用，那么肯定需要对其进行管理。
7、数据的价值
数据元素对公司越有价值，它就越有可能被视为主数据元素。
主数据识别过程举例：
二、数据建模
当确定了企业中到底有多少主数据后，下一步就得给每个主数据确定它的属性字段了，也就是主数据建模。为什么要做主数据建模呢？我们可以看到，很多企业内的不同部门，或分子公司，都是在按照自己的习惯对主数据信息进行命名、描述、分类和编码。各组织间的信息定义互不兼容，无法共享。这非常不利于信息共享、统一管理，以及数据的充分利用。
主数据建模可以从业务、物理、UI、模板角度创建主数据模型，并为主数据制定标准的编码规则。这样可以建立统一的数据规范和管理制度，方便协调各组织部分间的业务。
主数据模型的实施是确保主数据管理系统有效运行的关键。它涉及到从众多数据中识别主数据，建立数据模型，以及制定数据治理规则等多个环节。以下是主数据模型实施的主要步骤：
1、主数据建模原则：
1）权威原则，主数据的数据设计具有权威性，原则上应当根据企业的业务架构推导而出，企业的各个应用系统应当在主数据设计基础上进行承接和支撑，满足企业主数据模型要求；
2）全局性原则，主数据属性制定中，只定义全局属性，不定义某个业务领域中所特有的私有属性；
3）共享性原则，主数据定义中，如果某个属性出现在两个或者多个系统中，建议这个属性定义为主数据项；首先将众多副本数据中的所有属性进行统计和罗列，取这些属性集合的交集的合集作为主数据的基础。
4）扩展型原则，主数据数据项会在未来应用中存在扩展需求。主数据数据项在定义时应当考虑未来扩展。主数据数据项定义时应当遵守开闭原则，即对扩展开放对修改关闭，凡是已经定义的主数据数据项原则上不应当再次修改。
2、主数据模型构建：
确定了主数据范围后，下一步是构建主数据模型。这包括定义数据实体、属性、关系以及数据的分类和编码规则。一个良好的数据模型不仅能够反映实际业务的需求，还应当考虑到数据的整合、共享和长期管理的需要。
例如：人员主数据是企业基础和核心的主数据之一，在人力资源管理系统及相关业务模块中都要使用，如培训、考核、薪资等模块。另外，OA 系统等其他业务系统也会使用人员主数据。
三、数据源
业务系统：企业的各种业务系统，如客户关系管理系统（CRM）、企业资源规划系统（ERP）、供应链管理系统（SCM）等，都是主数据的重要来源。这些系统中包含了大量的客户、产品、供应商和员工等核心数据。 数据库：包括关系型数据库和非关系型数据库，存储着企业的大量结构化数据，这些数据通常需要进行清洗、转换和加载（ETL）过程，以符合主数据管理的标准。
数据仓库和数据集市：数据仓库存储了大量的历史数据和综合分析数据，而数据集市则面向特定业务部门或应用提供数据子集。这些数据也是主数据管理的重要数据源之一。
四、数据采集
主数据采集是主数据管理的一个关键环节，它涉及到从各种数据源中收集关键的主数据并确保其准确性和完整性。以下是主数据采集实施的主要步骤：
主数据数据源收集：
数据采集的首步是确定并接入主数据的数据源。这通常包括内部系统（如ERP、CRM等）和外部数据源。关键在于确保数据源的质量和可靠性，以及它们与主数据管理系统的兼容性。数据源确定后，需要建立稳定的数据接入机制，确保数据能够顺畅且持续地流入主数据管理系统。
数据源配置：
一旦数据源被确定和接入，下一步是进行数据源配置。这包括设置数据提取的频率、格式转换、数据映射等。正确的配置确保从各个源收集的数据能够被有效整合并用于构建统一的主数据集。
手工批量导入主数据初始化内容：
在系统初期或特殊情况下，可能需要手工批量导入一些主数据内容。这包括历史数据的迁移或特殊数据集的导入。在进行手工导入时，需要特别注意数据的格式、质量和一致性，确保它们能够准确反映在主数据管理系统中。
主数据采集任务建立：
为了持续更新和维护主数据，需要建立定期的数据采集任务。这些任务可以是自动的，比如每天从特定系统中抽取数据，也可以是按需的，比如在特定事件发生后触发数据更新。建立有效的采集任务可以保证主数据的时效性和动态更新。
质量控制与异常处理：
在数据采集过程中，需要实施严格的质量控制措施。这包括对收集到的数据进行验证、去重和清洗等。同时，还需要建立异常处理机制，一旦发现数据质量问题或采集失败，能够及时采取补救措施。
通过上述步骤，主数据采集的实施可以确保关键业务数据的有效收集和整合。这对于构建准确、一致的主数据集，支持后续的数据分析和业务决策具有至关重要的作用。随着业务和技术环境的变化，主数据采集的方法和工具也需要不断更新和优化，以适应新的数据需求和挑战。
五、数据清洗
将各业务环节使用到的主数据（包括手工帐和业务系统中的）和计划将要使用的数据，按照新的主数据标准进行归类、有效性检验、查重、规范描述、转换、补充、停用/删除等操作，最终形成符合标准的主数据代码库的过程。
六、数据整合
主要利用数据清洗工具及扩展功能，将各系统生成的主数据进行汇集、依据主数据标准和主数据模型定义的规则进行校验、清洗、发布，实现对主数据的全生命周期管理，并整合出统一的、可信任的主数据。
七、数据存储
主数据平台发布的基准数据，集中存储于主数据基准库，提供在线查询和订阅功能，并通过流程驱动和消息驱动的标准接口提供数据共享服务
八、数据管理
按照标准主数据管理规程的要求，通过严格的管理流程，实现主数据创建、审批、发布、修改、冻结和失效等全生命周期管理以及数据字典的管理维护，确保数据的一致性、准确性、实时性和权威性。
1、主数据创建
主数据创建流程涉及确定业务需求、设计主数据模型、收集和验证数据、清洗和标准化数据、创建主数据记录、维护和更新主数据，以确保数据质量和一致性。
2、主数据审批
主数据审批是指在企业中，对主数据的创建、修改、删除等操作进行审批的流程。主数据审批的目的是确保主数据的准确性、完整性、一致性和安全性，从而提高企业的数据质量和管理水平。通过审批流程，企业可以对主数据的变更进行严格的控制和监督，防止数据错误、重复或泄露等问题的发生。
3、主数据发布
主数据发布是将经过审批和确认的主数据，通过特定的渠道和方式，分发给企业内需要使用这些数据的各个业务系统、业务流程和决策支持系统等。确保这些系统能够及时获取到最新的、准确的主数据，从而避免数据孤岛、数据冗余和数据不一致等问题。
4、主数据维护
主数据维护即定期更新和维护主数据，是确保主数据长期准确性、一致性和可用性的关键环节。它涉及到对主数据进行持续的监控、更新和质量控制。以下是主数据维护流程的主要步骤：
维护策略和方法：
在维护主数据之前，企业需要制定明确的维护策略和方法。这包括确定谁负责数据维护、数据维护的频率、使用哪些工具和技术以及如何处理变更请求等。一个好的维护策略应当既能确保数据的准确性和一致性，又不会对业务操作造成过多的干扰。
数据监控：
持续的数据监控是确保主数据质量的关键。这包括对数据的完整性、准确性和一致性进行定期检查。通过设置阈值和警报，可以在数据出现问题时及时发现并采取措施。此外，对数据的使用情况和变更频率的监控也有助于识别潜在的问题和改进点。
数据更新和修正：
随着业务的变化和外部环境的变动，主数据也需要不断更新和修正。这可能包括添加新的数据记录、更新现有记录或删除过时的记录。在进行数据更新和修正时，需要遵循既定的数据标准和流程，确保数据变更的准确性和一致性。
质量改进：
除了日常的监控和更新，主数据维护还应包括定期的质量改进活动。这可能包括清洗脏数据、解决数据冲突、优化数据结构等。通过持续的质量改进，企业可以提升主数据的可靠性，支持更高效的业务操作和更准确的决策。
文档和知识管理：
有效的文档和知识管理是维护主数据的另一个重要方面。这包括记录数据标准、维护历史、变更日志以及相关的操作指南和最佳实践。良好的文档和知识管理不仅有助于提升维护效率，也是确保维护质量和传承维护经验的关键。
通过以上步骤，主数据维护流程的实施可以确保主数据长期保持高质量和高可用性。这对于支持企业的日常运营和长期发展具有重要作用。随着企业环境和技术的变化，主数据维护也是一个持续的过程，需要企业不断投入和改进。
5、主数据共享/分发
主数据分发流程是确保主数据能够在组织内部正确、高效地传递和使用的关键环节。这一过程包括确保数据的准确性、监控数据的传递、管理数据访问权限，以及记录和审计数据使用情况。以下是主数据分发流程的主要步骤：
主数据确权：
分发前首先需要确权，即明确数据的所有权和责任。这包括确定哪些部门或个人负责特定主数据的管理、谁有权限访问和修改数据，以及如何处理数据共享和使用的请求。确权是确保数据安全和符合合规要求的基础。
主数据内容维护：
在分发主数据之前，需要确保所有数据内容是最新和准确的。内容维护包括对数据进行定期的审核、更新和清理，确保在分发过程中，接收方获取的是质量最高的数据。此外，还需要处理来自业务用户的数据更改请求，并确保所有更改都符合数据治理策略。
维护任务审批：
所有主数据的变更和更新都应该经过严格的审批流程。这通常包括数据所有者、数据质量管理团队以及相关业务负责人。通过审批流程，可以确保每一次数据变更都有明确的记录，且变更是合理和必要的。
维护版本及维护日志管理：
在主数据的分发过程中，应该对数据的每一次变更进行版本控制，并且记录详细的维护日志。版本控制有助于追踪数据的历史变更，而维护日志则是记录谁、何时、为何以及如何更改数据的关键文档。这些记录对于审计、问题诊断和数据恢复都至关重要。
数据分发和接入管理：
最后，主数据的分发需要通过安全可靠的方式进行。这包括设置数据访问权限、加密数据传输以及监控数据使用情况等。同时，还需要为数据的接收方提供必要的接入指导和支持，确保他们可以正确理解和使用数据。
通过以上步骤，主数据分发流程的实施可以确保主数据能够在组织内安全、有效地流通。这对于保障数据质量、支持业务流程和提升决策效率都是至关重要的。随着组织和技术的变化，主数据分发也是一个持续优化的过程，需要企业根据实际情况不断调整和改进。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网默然。
