数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

数据治理(DataGovernance)是企业对数据资产管理行使权力和控制的活动集合(包括计划、监督和执行),它是管理企业数据资源的一种方式、方法,旨在确保数据的质量、安全、合规和有效性。数据治理是企业实现数据战略的基础,是一个管理体系,包括组织、制度、流程和工具。
数据治理是一套复杂的管理体系,它无法通过单一的工具或产品来实现。数据的生命周期包含了源头、处理和消费这三个阶段,数据的问题也可能会出现在这三个环节中。例如在数据源头环节,用户录入数据的规范性存在问题,导致了最终数据消费环节的数据质量低。这些表象问题的根源,可能来自于业务系统用户交互设计,乃至是底层数据库表结构设计上的缺陷。想要解决这些表象的问题,就需要解决深层次的信息化业务系统开发以及数据库表约束设计等问题。数字化转型网www.szhzxw.cn
例如为了保证用户录入数据的准确性,有三种方式去设计业务系统:其一是设计前端的检验验证,避免用户做出相同的选择;其二是通过程序编写过滤判断的逻辑,筛除掉前端误入的数据,作为第二层验证;其三是通过建立约束条件,例如唯一性约束、检测约束等等来控制数据录入准确性。因此,企业的数据治理远非使用一款单一的工具或产品就可以实现的,它是需要回到源头,对企业的组织、流程制度、业务系统、底层架构等多个方面进行排查和重构的,它是一套复杂的管理体系。
数据治理的两种策略
考虑到数据治理工程的复杂性,根据目的性的不同有两种数据治理策略:
拉式策略(PullStrategy)和推式策略(PushStrategy)。
拉式策略:敏捷治理
拉式策略,面向数据应用,是以提升数据应用过程中的数据准确性为目标的数据治理建设策略。它强调在数据应用的过程中定位和解决问题,以数据应用项目为建设周期。具体而言,拉式策略有三个特点:
1.自上而下:拉式策略通常以指标体系为起点,进行金字塔式自上而下的规划与建设,通过“数据流、业务流、信息流”的过程反向推动数据质量提升;
2.数据整合:它包括多系统的数据整合、拉通、清洗、处理,以及数据仓库建设和ETL开发过程;
3.数据应用:拉式策略面向数据应用。根据实际业务情况,主要解决数据指标定义标准不清晰、指标计算口径不统一、指标计算口径版本变更、数据不准确、数据上报与数据审核等数据应用场景出现的问题。
推式策略:体系化治理
推式策略,面向数据全生命周期的管理与控制,是一种体系化的数据治理建设策略。它强调体系化的计划、监督、预防与执行,包括多年计划的数据策略周期。具体而言,推式策略有三个特点:
1.体系化、系统化:推式策略不针对某个单一的、具体的数据应用场景,而是一个全面体系化的治理过程;
2.全生命周期:它贯穿数据全生命周期的管理,例如数据采集、数据质量、数据应用、数据安全、数据分享等多个环节;数字化转型网www.szhzxw.cn
3.立体策略:推式策略从数据治理策略(目标、范围、方法和组织)开始,通过专业的数据治理团队进行数据治理的规划、实施和监督,通过制定数据管理流程规范从源头业务系统的构建到数据的分发、流转,包括数据安全策略与控制,最终贯穿数据资产管理、分析和挖掘的全生命周期过程。
但成功的数据治理在实际中是什么样的呢?
让我们深入了解五个世界顶级公司的真实数据治理案例,包含了问题背景、治理措施以及成效,他们是:
J.P.Morgan Chase(摩根大通)美国最大的金融服务集团之一、Uber(优步)全球出行与打车平台、Saxo Bank(盛宝银行)丹麦知名投资银行、Privacera+微软Azure制造业客户、全球食品公司+微软Copilot+RKON(IT服务商)。
案例一:摩根大通(J.P.Morgan Chase)
推行Data Mesh架构+数据产品(Data Products)
问题背景
公司内部数据越来越分散,各业务域(Domains)拥有独立系统、不同格式、数据共享困难。
在受监管行业里(银行/金融服务),数据的合规性、安全性、审计追踪需求很高。
需要在“共享性”与“风险控制”之间找到平衡。
治理措施
引入Data Mesh架构:即将数据视为产品(Data Products),由各个业务域拥有者负责这些数据产品的质量、权限和服务。业务域负责数据发布、以及数据治理策略的落实。数字化转型网www.szhzxw.cn
建立企业级数据目录(Enterprise Data Catalog):用于发现、请求、访问数据产品,并用于审计数据流向,能看到哪些报告应用用了哪些数据源。这样从共享点角度增透明度。
标准化湖仓(Data Lakes)与治理流程:业务域发布的数据存入湖中,报告或下游应用请求数据表示由业务域负责,同时中控系统审查权限、版本、质量。数字化转型网www.szhzxw.cn
成效
提高数据共享效率,使不同团队在合法许可下访问所需数据,而不需要冗余复制。
增强数据流向与数据使用的可追踪性/审计性,这对合规特别重要。
提升数据产品所有者的责任感和专业性。业务域对自己数据产品的质量、权限归属有更清晰定义。
案例二:优步(Uber)
Workflow Guard系统(工作流治理+可观测性)
问题背景
Uber的数据/工作流规模非常大,每天有大量的Data/ETL/Report/Workflow在后台运行,其中很多是旧的、已经不被维护、低效或者容易失败的流程。数字化转型网www.szhzxw.cn
这些遗留工作流影响整体系统稳定性、资源浪费、执行失败率高,对成本与可靠性造成负面影响。
治理措施
引入Workflow Guard系统:用于治理与可观测所有工作流(Workflow)的启动、执行、状态与资源消耗情况。对违规/低效/未维护的工作流可以暂停或关闭。
建立治理规则/策略(Governancepolicies):来判定哪些工作流应该被清理/下线/归档,比如失败率高、长时间未更新、不符合当前标准的等。
可视化界面:当工作流违背策略时,系统能提示哪个规则被违反、为何被暂停/下线,以及如何修正问题。这样业务/相关团队能快速响应。数字化转型网www.szhzxw.cn
成效
成功中止(Deactivate)了一批遗留工作流,提高整体任务执行成功率。例如Presto工作流的成功率从69.3%提升到85.22%。
延迟、排队等资源浪费明显减少,中间件与计算资源得到释放与优化。整体执行延迟中位数从40分钟降到15分钟。节约成本。
提高系统可维护性与稳定性,同时改善用户对治理政策不透明或不可控部分的体验。
案例三:盛宝银行(Saxo Bank)
在Data Mesh架构中推行数据治理的试点
问题背景
Saxo Bank面临在Data Mesh架构下治理挑战,包括数据目录、数据质量、数据所有权及访问控制等问题。随着去中心化的数据域增多,这些问题尤为突出。数字化转型网www.szhzxw.cn
治理措施
进行了技术与文化双方面的干预(Tech+Cultural Interventions):一方面建立数据目录(Datacatalog)、明确数据所有权(Dataownership)、制定标准的数据质量指标与流程;另一方面在组织中强化责任与意识,包括培训、激励机制、角色&职责的明确定义。
在试点中先定义部分域/部门(Domains)的治理方案,逐步推广。先从可控的范围开始,以降低复杂性与风险。
成效
提高了透明度(谁在拥有/使用什么数据、数据的质量如何)。
数据质量问题被更早地发现与处理。
数据共享和使用的流程更加标准化,访问控制及所有权更明确。
案例四:Privacera+微软Azure制造业客户
整合敏感数据治理与合规性控制数字化转型网www.szhzxw.cn
虽然这不是一家公开名称的大公司,但是一个制造业客户+Privacera+Azure的典型案例。
问题背景
制造公司有多个数据源、多个分析团队、敏感数据(包括个人身份信息、客户/产品/营销数据等)散布在Azure的不同服务中。
需要满足多个合规性法规(如GDPR、HIPAA、CCPA、LGPD),同时希望能让分析/产品/营销线更快地访问所需数据。权限管理复杂、访问请求慢、审计不透明。
治理措施
引入Privacera平台,将敏感数据在多个Azure服务中集中可视化,统一政策制定与施行。统一查看敏感数据位置、谁有权限访问、用途是什么。
使用精细访问控制(Fine-Grainedaccesscontrol):不同人员/角色/项目根据需要授予访问特定数据集或敏感字段。访问控制和数据共享政策自动执行。数字化转型网www.szhzxw.cn
自动审计和报告机制,以及数据共享政策/审批流程标准化。用户访问请求被审核,权限授予/撤销有记录。
成效
新用户/分析师加入时的数据使用权限从“几天”缩短到“几分钟”,提高效率很多。
分析团队能更快地获取所需数据,提高生产力约10倍。
在安全与合规风险上,可视性与控制加强,敏感数据泄露或误用风险降低。
案例五:全球食品公司
全球食品公司+微软Copilot+RKON(IT服务商)的数据治理项目
问题背景
一家全球食品公司要引入新的AI/Copilot类服务,同时公司内部有大量遗留系统/数据分类/敏感性等级不一,权限与安全控制不一致。数字化转型网www.szhzxw.cn
希望在引入AI辅助工具的同时确保敏感数据不被滥用或泄露。
治理措施
与RKON合作,围绕MicrosoftPurview建立统一的数据治理策略。Purview用于分类敏感数据、定义访问策略、监控数据使用/审计。
构建基于角色的访问控制模型(Role-Based Data Classification Model)、针对业务与法规需求设定安全控制。数字化转型网www.szhzxw.cn
简化技术栈,减小碎片化,提高治理一致性。
成效
敏感数据在Microsoft365/Purview环境内的可视性、可控性大幅提升。
政策、访问与分类模型标准化,使审计与风险控制更容易。数字化转型网www.szhzxw.cn
在新工具/AI引入过程中,公司对数据治理的信心提高,降低潜在的合规/安全风险。
声明:本文来自数家科技,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含: 数字化转型网(www.szhzxw.cn)
1、数据相关外脑支持:100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社:与全球数据相关专家、实践者共同探讨相关问题,推动产业发展!
3、国际认证培训:目前已引进DAMA国际认证CDMP,其他国内外认证也在逐步引进中
4、典型案例参考:与数字化转型网数据要素X研习社社员一起学习典型案例,共探企业数据落地应用

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于数家科技;编辑/翻译:数字化转型网萍水。

