企业主数据要怎么进行管理？-数字化转型网www.szhzxw.cn

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

一旦主数据管理项目计划获得了认可，就该开始实施主数据项目了。尽管将主数据管理应用于组织中的主数据是有效的，但是在许多情况下，难以证明整个企业范围内开展工作的风险和费用是合理的。

专家提示：从关键数据源入手开展组数据治理工作更容易成功。

如果您从小做起，则应该对所有最终可能要包含在企业中的主数据进行分析，以便以后被迫从头开始进行数据合并的重新设计。例如，如果您最初的客户数据仅包括直销团队的10,000个客户，则您不希望做出设计决定来阻止以后再增加10,000,000个Web客户。

所有的主数据管理项目都将受到需求、优先级、资源可用性、时间范围和问题规模的影响。大多数主数据管理项目至少包括以下阶段：数字化转型网www.szhzxw.cn

（1）识别主数据来源

此步骤通常是通过启发性的会议实现。一些公司发现他们有数十个IT部门都不知道的客户数据的数据库。

（2）识别主数据的生产者和消费者

此步骤涉及查明哪些应用程序生成第一步中确定的主数据，以及哪些应用程序使用主数据。根据用于维护主数据的方法，此步骤可能不是必需的。例如，如果在数据库级别检测到并处理了所有更改，则更改来自何处可能无关紧要。数字化转型网www.szhzxw.cn

（3）收集和分析主数据的元数据

对于第一步中确定的所有来源，数据的实体和属性是什么，它们的含义是什么？其中应包括：

■属性名称

■数据类型

■允许值

■约束条件

■默认值

■依存关系数字化转型网www.szhzxw.cn

■谁进行数据的定义和维护

“所有者”是最重要的，通常也是最难确定的。如果您的存储库中加载了所有元数据，那么此步骤很简单。如果必须从数据库表和源代码开始，这可能是一项巨大的工作。

（4）任命数据管理员

这些人应该是了解当前源数据并且能够确定如何将源数据转换为主数据格式的人员。通常，数据管理员应由每个主数据源的所有者，负责主数据管理的架构师以及主数据业务用户担任。

（5）实施数据治理计划和数据治理委员会

该小组必须具有权限来决定如何维护主数据，其内容、保留多长时间以及如何授权和管理变更。在主数据项目过程中必须做出数百个决策，如果没有明确定义的决策机构和流程，则该项目可能会失败，因为组织壁垒会阻止有效的决策。数字化转型网www.szhzxw.cn

（6）开发主数据模型

确定主数据的模型，包括主数据的属性、大小和数据类型、允许的值等等。此步骤还应包括主数据模型和当前数据源之间的映射。这通常是该过程中最重要和最困难的步骤。如果您试图通过将所有源属性都包含在主数据实体中来使所有人满意，那么您最终往往会获得过于复杂和繁琐而无法使用的主数据。

例如：如果您不能决定重量应该以磅还是千克为单位，则一种方法是将两者都包括在内。虽然这可能会让人们感到高兴，但您却浪费了数兆的存储空间，因为这些数字可以以微秒为单位进行计算，并且存在创建不一致的数据的风险（WeightLb=5，WeightKg=5）。尽管这是一个非常简单的示例，但更大的问题是要为同一零件保留多个零件号。数字化转型网www.szhzxw.cn

就像委员会所做的任何努力一样，冲突和业务阻碍会导致决策不佳。提前制定决策流程，优先级和最终决策者，以确保事情顺利进行，这一点很重要。

（7）选择合适的工具集

您将需要购买或构建工具以通过清理、转换和合并源数据来创建主数据代码库。您还将需要一个基础结构来使用和维护主数据代码。这些功能将在本文后面详细介绍。您可以使用来自单个供应商的单个工具集来实现所有这些功能，或者您可能希望采用同类最佳的方法。通常，对于不同类型的数据，清除和合并数据的技术是不同的，因此没有很多工具可以覆盖整个主数据范围。该工具集还应该支持查找和修复数据质量问题以及维护版本和层次结构。版本控制是一项关键功能，因为了解主数据记录的历史对于随着时间的推移保持其质量和准确性至关重要。数字化转型网www.szhzxw.cn

例如：如果合并工具合并了波士顿的约翰·史密斯的两个记录，而您确定波士顿确实有两个不同的约翰·史密斯，则需要在合并之前知道这些记录的样子，以便“取消合并”。

放眼大局，主数据管理系统的功能应包括数据建模、数据集成、数据匹配、数据质量、数据管理、层级管理、工作流和数据治理。从非功能性的角度来看，您还应该考虑可扩展性，可用性和性能。

（8）设计集成架构

一旦获得了干净、一致的主数据，您将需要将其公开给您的应用程序，并提供流程来管理和维护它。实施此集成架构后，您将拥有大量依赖于集成架构的应用程序，因此，可靠性和可伸缩性是设计中要考虑的重要考虑因素。在大多数情况下，企业必须自己制定集成架构的重要部分，因为它将被设计为适合企业当前应用的数据集成、平台和应用程序。数字化转型网www.szhzxw.cn

（9）生成并测试主数据

在此步骤中，使用主数据管理工具将源数据合并到主数据列表中。这通常是一个迭代过程，需要设置和修改规则才能获得正确的匹配。这个过程还需要大量的人工检查，以确保结果正确并满足项目要求。

没有工具会100％地正确完成匹配，因此您必须权衡错误匹配和错过匹配的后果，以确定如何配置匹配工具。如果账单不正确或逮捕了错误的人，则错误的匹配会导致客户不满意。错过的匹配太多，会使主数据的使用率降低，因为您没有获得在主数据管理上投入的收益。

（10）修改生产和消费系统

根据主数据管理实施方案的方式，可能必须更改产生、维护或使用主数据的系统，以使用新的主数据源。如果主数据用于与源系统不同的系统中（例如，数据仓库），则源系统可能不必更改。

但是，如果源系统要使用主数据，则可能需要进行更改。源系统将必须访问新的主数据，或者主数据将必须与源系统同步，以便源系统具有清理后的主数据的副本以供使用。如果不可能更改一个或多个源系统，则该源系统可能无法使用主数据，或者必须通过触发器和SQL等外部过程将主数据与源系统的数据库集成在一起。数字化转型网www.szhzxw.cn

在创建新记录或更新现有记录之前，应更改生成新记录的源系统。这样可以确保上游生成的数据质量良好，以便主数据管理可以更有效地运行，并且应用程序本身可以管理数据质量。主数据管理不仅应被用作记录系统，而且应被用作促进企业中所有应用程序中的数据更干净、更有效地处理的应用程序。

作为主数据管理策略的一部分，需要研究数据管理的三个主要方面：数据来源、数据管理、数据消费。如果忽略这些方面中的任何一个，就不可能拥有可靠的企业级主数据管理。

（11）实施维护流程

任何主数据管理实施都必须包含工具、流程和人员，以保持数据质量。所有数据都必须有一个数据管理员，负责确保主数据的质量。数字化转型网www.szhzxw.cn

数据管理员通常是具有数据知识，可以识别不正确的数据并且具有纠正问题的知识和权限的业务人员。主数据管理应包括可帮助数据管理员识别问题并简化更正的工具。一个好的数据管理工具应该可以提示可疑匹配，例如，居住在同一地址的具有不同名称和客户编号的客户。

管理员可能还希望查看由于匹配条件相近但低于阈值而添加为新项的项目。对于数据管理员而言，查看主数据管理软件对数据所做的更改的历史很重要，以便隔离错误源并撤消不正确的更改。维护还包括将更改和添加到主数据管理系统中以及将清理后的数据分发到所需位置的过程。

因此，主数据管理是一个复杂的过程，需要持续很长时间。像软件中的大多数项目一样，成功的关键是逐步实施主数据管理，以便企业在实现整个项目是一个长期过程的同时，实现一系列短期效益。

此外，没有业务用户的支持和参与，任何主数据管理项目都不会成功。IT专业人员不具备创建和维护高质量主数据的领域知识。任何不包括对创建、维护和验证主数据的过程进行更改的主数据管理项目都可能会失败。

本文的其余部分将介绍用于创建和维护主数据的技术和过程的详细信息。

1、如何创建主数据代码库

无论是购买主数据管理工具还是决定构建自己的主数据管理工具，都有两个基本步骤来创建主数据：

清洗和标准化数据；

匹配所有来源的数据以合并重复项。

（1）清理和标准化主数据

在开始清理和规范化数据之前，必须了解主数据的数据模型。在建模过程中，您应该定义每个属性的内容，并定义从每个源系统到主数据模型的映射。现在，您可以使用此信息来定义清理源数据所需的转换。

清理数据并将其转换为主数据模型与数据仓库的提取、转换和加载（ETL）过程非常相似。以下是一些典型的数据清洗功能：

■标准化数据格式：使所有电话号码看起来相同，将地址转换为通用格式。

■替换缺少的值：插入默认值，从地址中查找邮政编码。

■标准化值：将所有度量转换为公制，将价格转换为通用货币，将零件编号更改为行业标准。

■映射属性：从联系人姓名字段中解析名字和姓氏，将Part＃和partno移至PartNumber字段。

大多数工具会清洗可能被清理的数据，并将其余的数据放入错误表中以进行手工处理。根据匹配工具的工作方式，清理后的数据将被放入主数据代码中。在清理每个源时，应检查输出以确保清理过程正常进行。

（2）匹配数据以消除重复

匹配主数据记录以消除重复是创建主数据中最困难也是最重要的步骤。错误的匹配实际上可能会丢失数据（例如，两个Acme Corporation成为一家），而丢失的匹配会降低维护公共代码库的价值。

因此，主数据管理工具的匹配精度是最重要的标准之一。

有些匹配常简单。如果您对所有客户都有社会保险号，或者所有产品都使用通用编号方案，则数据库JOIN将找到大多数匹配项。但是，在现实世界中几乎不会发生这种情况，因此匹配算法通常非常复杂。客户可以在名称、姓氏、昵称、地址、电话号码等上进行匹配，而产品在名称、描述、零件号、规格和价格上进行匹配。

专业提示：匹配项越多，匹配项越接近，主数据管理软件对匹配项的可用就越高。

将为每个匹配项计算置信度，如果超过阈值，则记录匹配。通常根据错误匹配的结果来调整阈值。

例如：我们可以指定，如果置信度超过95％，则记录将自动合并；如果置信度在80％至95％之间，则数据管理员应在合并之前批准匹配。数字化转型网www.szhzxw.cn

（3）您应该如何合并数据

大多数合并工具会将一组输入合并到主列表中，因此最好的过程是使用质量最号的数据开始，然后再依次合并其他源。如果您有很多数据，并且有很多质量问题，则此过程可能需要很长时间。

您可以在时间和资源允许的情况下逐步添加其他任务。这种方法意味着您的项目将花费更长的时间，甚至可能花费更多，但是风险更低。这种方法还允许您从几个组织开始，并在项目证明成功时添加更多组织，而不是尝试从一开始就让所有人参与进来。

将源数据合并到主列表时要考虑的另一个因素是隐私。当客户成为客户主体的一部分时，任何有权访问客户主体的应用程序都可以看到他们的信息。如果客户数据是根据将其使用限制在特定应用程序中的隐私策略获得的，则您可能无法将其合并到客户主数据中。

此时，如果您的目标是生成主数据代码库，那么您就完成了。打印出来或将其刻录到外部硬盘驱动器上并继续前进。如果您希望您的主数据在添加和更改数据时保持最新，那么您将不得不开发基础结构和流程来管理随时间变化的主数据。数字化转型网www.szhzxw.cn

2、如何维护主数据

有许多不同的工具和技术可用于管理和使用主数据。我们将在这里介绍三种较常见的方案：

单一副本：采用这种方法时，主数据只有一个主副本。所有添加和更改都直接对主数据进行。所有使用主数据的应用程序都将被重写以使用新数据，而不是其当前数据。这种方法可以保证主数据的一致性，但是在大多数情况下不切实际。那是因为修改所有应用程序以使用具有不同架构和不同数据的新数据源是非常昂贵的。对于某些应用程序，甚至不可能实现。

多个副本，单个维护：通过这种方法，可以在数据的单个主副本中添加或更改主数据，但是将更改发送到将副本本地存储在其中的源系统。每个应用程序都可以更新不属于主数据的数据部分，但是它们不能更改或添加主数据。数字化转型网www.szhzxw.cn

例如：库存系统可能能够更改零件的数量和位置，但是无法添加新零件，并且不能更改产品主数据中包含的属性。这减少了所需的应用程序更改次数，但是应用程序将最少必须禁用添加或更新主数据的功能。用户将必须通过主数据系统才能添加或修改主数据，而他们通常使用的业务系统添加主数据功能将不再起作用。

连续合并：在这种方法中，允许应用程序更改其主数据副本。对源数据所做的更改将发送到主数据库，然后在此处合并到主数据库列表中。然后，对原版的更改将发送到源系统，并应用于本地副本。这种方法几乎不需要更改源系统。如有必要，可以在数据库中处理更改，因此无需更改应用程序代码。表面上看，这似乎是理想的解决方案，因为可以将应用程序更改减到最少，并且不需要重新培训。每个人都在做自己在做的事情，且质量更高，数据更完整。但是，此方法确实存在几个问题：

更新冲突是可能的并且难以调和：如果两个源系统将客户的地址更改为不同的值会发生什么？主数据管理软件无法决定保留哪一个，因此需要数据管理员的干预。同时，客户有两个不同的地址，必须通过创建数据管理规则和标准操作程序来解决此问题，以确保减少或消除更新冲突。

必须重新合并添加项：添加客户时，可能有另一个系统已经添加了该客户。为了应对这种情况，所有添加的数据都必须再次经过匹配过程，以防止母版中出现新的重复项。

保持一致的值更加困难：如果将产品的重量从磅转换为公斤，然后再转换为磅，则四舍五入会改变原始重量。这可能会使输入值几秒钟后就看到值变化的用户感到不安。

通常，所有这些事情都可以进行计划和处理，从而使用户的使用变得更轻松一些，但需要维护更复杂的维护组织并需要更多数据管理员的工作。这可能是一个可以接受的折衷方案，但这是应该有目的地做出的选择。数字化转型网www.szhzxw.cn

（1）关于版本和审核的几点思考

无论您如何管理主数据，理解数据如何达到当前状态都非常重要。

例如：如果客户记录是从两个不同的合并记录合并而成的，则在数据管理员确定记录被错误合并的情况下，您可能需要知道原始记录的样子，并且实际上应该是两个不同的客户。版本管理应包括用于显示版本并将更改的全部或部分还原到以前的版本。

管理系统使用的版本的正常分支和更改分组对于维护不同的派生更改并将更改组还原到先前的分支也非常有用。数据管理和合规性要求通常会包含一种确定每个更改的人和更改时间的方法。

为了支持这些要求，主数据管理软件应包括用于审核主数据更改的功能。除了保留审核日志外，主数据管理软件还应该包括一种简单的方法来查找您要查找的特定更改。主数据管理系统每天可能审核数千个更改，因此审核日志的搜索和报告功能很重要。数字化转型网www.szhzxw.cn

（2）关于层级管理的几点思考

除了主数据本身之外，主数据管理软件还必须维护数据层次结构。例如，产品物料清单、销售区域结构、客户的组织结构等。对于主数据管理软件来说，管理这些层次结构很重要，但是对于主数据管理软件来说，能够独立于底层系统修改层次结构也很有用。

例如：当员工转移到其他成本中心时，可能会对差旅和费用系统、薪资、报告结构和绩效管理产生影响。如果主数据管理软件管理层次结构，则对层次结构的更改可以在单个位置中传播到所有下游系统。