数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
一、数据治理解决什么问题
随着数据量的爆炸性增长,企业在管理和利用这些数据时常常遇到四大难题:难以发现、难以理解、难以信任和难以控制。这些问题的具体表现如下:
1、难以发现:
数据量的激增使得数据发现变得复杂。例如,某公司业务线拥有约8万张数据表,音乐业务线约有4万张表。对于数据分析人员来说,面对成千上万的宽表和数百个字段,找到所需数据就像大海捞针。实际上,大多数使用数据地图的用户是IT人员,而非业务人员,这表明业务人员在数据发现方面存在障碍。
2、难以理解:
即便找到了数据,业务人员也常常难以理解其含义。据统计,有高达78%的数据表存在关键元数据的缺失,尤其是管理元数据和业务元数据。这些元数据对于业务人员理解数据的业务背景至关重要。技术元数据通常较为完整,但管理元数据和业务元数据往往因为与业务紧密相关而缺失。
3、难以信任:
数据质量是其价值的基础。缺乏质量保障的数据可能导致错误的决策。例如,某公司曾因上游数据处理逻辑的更改而影响到下游数据的准确性,导致红包超发和数十万的资损。此外,数据质量问题常常由业务方在使用过程中发现,而非开发方,这削弱了业务团队对数据的信任。
4、难以控制:
随着业务的快速发展,数据量和相关成本也在指数级增长。数据成本往往被忽视,但实际上它不仅涉及资金,还关系到资源的最大化利用。例如,某事业部的分析显示,大部分数据表占据了不成比例的存储空间,却鲜少被访问,造成了计算和开发资源的浪费。
为了解决这些问题,企业需要采取一系列措施,包括建立有效的数据治理框架、优化数据管理流程、提高数据的可发现性和可理解性、确保数据质量,并实施精细化的数据成本控制策略。通过这些努力,企业可以更好地管理和利用其数据资产,从而支持决策制定和业务增长。
二、到底什么是数据治理
数据治理究竟是什么?它包含哪些关键组成部分?在着手实施数据治理之前,企业必须对这些问题有清晰的认识。在开展数据治理的过程中,企业往往会遇到一些常见的陷阱,例如在项目启动阶段就试图实施全面而庞大的数据治理计划,结果往往因为缺乏聚焦而效果不佳。此外,尽管企业明白元数据管理、数据标准化和数据质量对于数据治理至关重要,但在实际操作中却常常发现难以有效实施。因此,在推进数据治理工作之前,深入理解其本质至关重要,正如古语所说:“治标不治本,犹如扬汤止沸,非但不能解决问题,反而可能加剧问题。”只有深入了解数据治理的核心,才能从根本上解决问题。
1、DAMA