数据质量管理方法论

数据质量管理不单单是一个概念,也不单是一项技术、一个系统,更不单是一套管理流程,数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段,进行数据的管理和控制,消除数据质量问题进而提升企业数据变现的能力。

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

一、数据质量管理概念界定

数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。

二、数据质量问题类型及影响因素

(1)数据真实性:数据必须真实反映客观的实体存在或真实的业务,真实可靠的原始统计数据是企业统计工作的灵魂,是一切管理工作的基础,是经营者决策必不可少的第一手资料。

(2)数据准确性:准确性也叫可靠性,是用于分析和识别哪些是不准确的或无效的数据,不可靠的数据可能会导致严重的问题,会造成有缺陷的方法和糟糕的决策。

(3)数据唯一性:用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素,也是数据治理需要解决的最基本的数据问题。

(4)数据完整性:数据完整性问题包括模型设计不完整、数据条目不完整、数据属性不完整,不完整的数据所能借鉴的价值就会大大降低,也是数据质量问题最为基础和常见的一类问题。

(5)数据一致性:多源数据的数据模型不一致、数据实体不一致,相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。

(6)数据关联性:数据关联性问题是指存在数据关联的数据关系缺失或错误,存在数据关联性问题,会直接影响数据分析的结果,进而影响管理决策。

(7)数据及时性:数据的及时性是指能否在需要的时候获得数据,数据的及时性与企业的数据处理速度及效率有直接的关系,是影响业务处理和管理效率的关键指标。

影响数据质量的因素主要有:

(1) 技术因素:主要表现为数据处理的各技术环节异常造成的数据质量问题(数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装在、数据使用、数据维护等)

(2) 业务因素:主要表现为业务需求不清晰、业务需求变更、业务端数据输入不规范及数据作假等

(3) 管理因素:主要表现为企业管理缺乏数据思维、没有明确的管理部门、缺乏数据规划、数据输入规范不统一以及缺乏有效的数据质量问题处理机制等

三、数据质量管理方法论

在数据治理方面,不论是国际还是国内,我们能找到很多例如数据治理成熟度评估模型这样的理论框架。但关于数据质量管理的方法论,业内目前还没有一套科学、完整的数据质量管理体系。

而在数字全球化的背景之下,数据已然可以以产品或服务的形态为企业创造价值。因此,我们可以参考国际上最权威的质量管理体系IOS9001来管理数据质量。

依据ISO9001及企业在数据治理方面的相关经验,企业数据质量管理应从以下几个方面着手:

(1)组织环境:

一是在制度层面,制定企业数据治理的相关制度和流程,并在企业内推广,融入企业文化;二是在执行层面,为各项业务应用提供高可靠的数据

(2)数据质量管理方针:

为了改进和提高数据质量,必须从产生数据的源头开始抓起,从管理入手,对数据运行的全过程进行监控,强化全面数据质量管理的思想观念,把这一观念渗透到数据生命周期的全过程。

(3)数据质量问题分析:

六西格玛是一种改善企业质量流程管理的技术,以“零缺陷”的完美商业追求,以客户为导向,以业界最佳为目标,以数据为基础,以事实为依据,以流程绩效和财务评价为结果,持续改进企业经营管理的思想方法、实践活动和文化理念。六西格玛重点强调质量的持续改进,对于数据质量问题的分析和管理,该方法依然适用。

(4)数据质量监控:

数据质量监控可以分为数据质量的事前预防控制、事中过程控制和事后监督控制;事前预防控制可以建立数据标准化模型,对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义,做好元数据管理;事中过程控制可以在数据的维护和使用过程中去监控和处理数据质量,通过建立数据质量的流程化控制体系,对数据的新建、变更、采集、加工、装载和应用等各个环节进行流程化控制;事后监督控制主要是指定期开展数据质量的检查和清洗工作,例如设置数据质量规则、设置数据检查任务、出具数据质量问题报告以及制定实施数据质量改进方案等。

(5)数据全周期管理:

企业的数据质量管理应贯穿数据生命周期的全过程,覆盖数据标准的规划设计、数据的建模、数据质量的监控、数据问题诊断、数据清洗等方面。

四、数据质量评价

对数据质量进行管理之后,那么企业如何判断自己的数据质量呢?即如何对数据质量进行评价呢?

企业可参照国家标准《GB/T 36344-2018 信息技术 数据质量评价指标》进行评价。

《GB/T 36344-2018 信息技术 数据质量评价指标》主要从以下6个方面针对数据质量进行评价:

(1)规范性:数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度

(2)完整性:按照数据规则要求,数据元素被赋予数值的程度

(3)准确性:数据准确表示其所描述的真实实体(实际对象)真实值的程度

(4)一致性:数据与其他特定上下文中使用的数据无矛盾的程度

(5)时效性:数据在时间变化中的正确程度

(6)可访问性:数据能被访问的程度

注:以上6个方面不是静态的、一成不变的,当后续的数据还有进一步加工处理的狮虎,在整个数据处理的链路过程中,越早发现数据质量问题,越能提高数据生产的效率。

数字化转型网数据专题包含哪些内容

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

数字化转型网数据专题包含:

1、数据相关外脑支持:100+数据相关专家、100+数据实践者、1000+相关资料

2、数据研习社:与全球数据相关专家、实践者共同探讨相关问题,推动产业发展!

3、国际认证培训:目前已引进DAMA国际认证CDMP,其他国内外认证也在逐步引进中

4、典型案例参考:与数字化转型网数据要素X研习社社员一起学习典型案例,共探企业数据落地应用

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网GEO专题 GEO专题栏目

对话式 AI 引用的内容特征:四要素构建法

一、对话式 AI 引用的独特性 对话式 AI(如 ChatGPT、Claude、文心一言)的引用特点与传统搜索
📅 09-27 · 👁 2026年9月27日
数智化转型网GEO专题 GEO专题栏目

GEO 平台评估:2026 年企业选型时需要关注的六大核心指标

一、为什么企业需要系统评估 GEO 平台 随着 AI 搜索生态在 2026 年持续扩张,市面上已经涌现出超过
📅 09-27 · 👁 2026年9月27日
数智化转型网GEO专题 GEO专题栏目

AI 引擎的引用决策机制:可解释性的四层评估模型

一、AI 引用是怎么发生的 当用户向 AI 提出问题时,AI 不会凭空生成答案,而是基于检索增强生成(RAG)
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 GEO专题栏目

2026 年 GEO 行业研究报告核心发现:五大趋势判断

一、行业研究的意义 2026 年初,多家权威机构发布了 GEO 行业研究报告。这些报告汇集了行业最新数据、案例
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 GEO专题栏目

Schema 类型全解:六种核心结构化数据与 GEO 应用

一、什么是 Schema 结构化数据 Schema 是由 Schema.org 维护的一套标准化词汇,用于在网
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 专题栏目

AI 答案中的引用位次:第一位、第二位与第三位的价值差异

一、AI 答案的引用结构 AI 引擎在生成答案时,会引用多个信源的内容。理解答案中引用信源的位次结构,对于优化
📅 09-26 · 👁 2026年9月26日