数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数据质量管理简介
数据质量管理是一个持续性的管理动作，有些人在做数据质量管理的时候会陷入一步到位的误区，想要通过一个工具、平台，或者一套质检规则就完成整体的数据质量管理，而实际数据质量管理从数据接入的那一刻就需要介入干预，到最后数据在场景中展示，均需要定期质检。因为数据本身就是流动可持续更新的，且经过数仓分层之后，中间的环节均需要埋入检测点位，这样对于数据质量才有了初步保障。
“数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。”
——以上内容摘自百度百科
“数据质量管理不单纯是一个概念，也不单纯是一项技术、也不单纯是一个系统，更不单纯是一套管理流程，数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段，进行数据的管理和控制，消除数据质量问题进而提升企业数据变现的能力。在数据治理过程中，一切业务、技术和管理活动都围绕这个目标和开展”。
根据GB/T 36344-2018《信息技术 数据质量评价指标》的标准文档，当前数据质量评价指标框架中包含6评价指标，在实际的数据治理过程中，存在一个关联性指标。7个指标中存在4个定性指标，3个定量指标；定性指标：规范性、准确性、唯一性、可访问性定量指标：完整性、时效性、关联性
规范性–数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度；
完整性–按照数据规则要求,数据元素被赋予数值的程度；
准确性–数据准确表示其所描述的真实实体(实际对象)真实值的程度；
一致性–数据与其他特定上下文中使用的数据无矛盾的程度；
时效性–数据在时间变化中的正确程度；可访问性–数据能被访问的程度；
关联性–数据记录的实体与实体、实体与时间、实体与地理信息等维度之间的关系构建程度；
本章开始，我们逐一讲解每一个指标在实操过程中怎么去落到数据生产和使用环节，并且形成量化的指标，最后形成质量报告；
今天重点讲解定性指标规范性怎么进行数据监测和指标量化官方定义：规范性是指数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度；
作用的环节：数据生产环节，事前规范+上线后定时监督数据质量管理依据：在实际落地过程中，数据标准、业务规则、权威参考数据的程度三类分别散落在数据治理过程中的治理规则和在数据资源设计之初的数据资产建设手册中。
数据标准、业务规则数据监测方法：其中「数据标准、业务规则」可以在输出数据治理规则的同时输出反向质检语句，当语句中出现查询结果时则意味着规范性不满足100%；
量化标准：规范性的量化标准既可以按照数据集的记录数占比作为分数，也可以按照查询结果数据记录数分级作为赋分依据；
方法一：
方法二：第一步需要识别数据等级，按照字段维度识别出核心数据、重要数据、一般数据，并基于不同的等级给出不同的判断依据，比如核心数据不符合记录数超过100条，则赋分99分，核心数据不符合记录数超过1000条，则赋分90分，重要数据不符合记录数超过1000条，则赋分99分，一般数据不符合记录数超过10000条，则赋分99分等；
权威参考数据
权威参考数据的程度则是需要作为数据质量管理的事前监督，在设计这类业务数据的时候就需要给出参考依据和估算参考比例；
最后基于字段的规范性得分均值赋值为表的规范性得分；
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网默然。
