数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动，提高数据质量以满足业务要求。
可按照“谁创建、谁负责；谁加工、谁负责；谁提供、谁负责”的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质量负责。对数据质量规则优先采取系统程序的自动化控制措施，并尽可能前移管控点，从源头上控制数据质量。
1、数据治理问题场景
在日常工作中，业务领导经常会通过报表看板等数据产品来了解各项业务的发展趋势以及KPI的达成情况。倘若某天，他打开某张核心报表，发现当日的数据一直是空白的，询问报表开发人员，开发经排查分析，发现是依赖的上游有延迟，上游数据预计要下午才能到达，导致业务领导在正常时点无法查看业务数据情况。
又或某天，业务人员点开报表发现当日AUM规模暴增，数据增长当然开心，但仔细推敲，发现这波动有点不合常理，于是通知数据负责人验证下数据是否存在异常。经过几个小时的排查分析，数据负责人报告说数据确实算的有些问题，业务人员以后对该报表数据的准确性将会打上问号。
若类似的数据问题经常出现，估计迎接你的不是美好明天，而是你的职业生涯的最后一天。
2、数据质量的重要性
数据质量为什么至关重要？因为拥有高质量的数据可以更好地了解任何情况，从而更精准地执行任何事情。反之亦然。
伴随着技术的进步，组织或者企业能够收集大量的数据，用好这些数据已成为焦点。然而，由于以下原因，很多组织或者企业并没有实施数据质量计划：
█ 没有业务部门负责数据质量问题
█ 数据质量需要跨职能合作
█ 它要求组织认识到数据质量是一个重要问题
█ 它需要数据质量准则
█ 它需要投入财力和人力资源
█ 它被认为是非常人力密集的
█ 投资回报往往难以量化
看起来，挑战大于好处。但是，数据质量务必重视，原因有三：
原因一：成本。数据质量差，是IT项目失败的主要原因，也是客户流失背后的驱动因素之一。
原因二：合规。质量差的数据会带来重大的法律或者声誉风险。比如说：
- 数据缺失导致信用风险不准确
- 信用记录不完整致使风险评估错误
- 监管违规
原因三：决策。质量好的数据意味着有准确及时的信息来管理从研发到销售的产品和服务。质量差的数据导致错误的洞察力，从而做出错误的决策，令公司付出沉重的代价。
在企业，数据服务的方式有报表看板、标签指标和数据接口等，而这些数据服务要想为业务带来价值，首要前提就是要保证数据的准确性，输出高质量的数据。
低质量的数据会误导业务做出错误的决定，致使行动方向发生偏离。特别是在数据驱动的组织中，是否有准确的、可用的高质量数据，将直接影响领导层能否做出正确的决策、实现战略目标。
3、数据质量常见问题及原因
在前面的场景案例中，我们可以发现有如下几个数据质量问题：
█ 数据延迟，导致业务无法在正常时效内获得数据结果。
█ 数据错误，导致数据结果完全不可信，以致无法使用。
█ 数据恢复慢，问题发生后，排查分析耗时长，数据恢复时间慢。
█ 发现滞后，数据开发晚于业务人员发现数据异常，导致影响已传导到数据应用端。
想要解决这些质量问题、保证数据的高质量交付，我们需要了解这些质量问题产生的根本原因。通过对历次数据质量问题进行复盘、总结，发现质量问题主要由下面几类原因引发：
█ 数据平台问题：平台不稳定、队列资源不足等，导致作业运行延迟、报错。
█ 数据开发问题：数据开发人员的任务脚本性能太差，计算严重耗时，导致数据延迟；或是代码逻辑设计有问题，导致数据计算有误。
█ 上游系统异常：上游源系统异常，数据文件晚到，导致下游依赖作业延迟。
4、数据质量治理
出现问题不可怕，可怕的是出现问题后的毫无感知，不能做到“早发现、早处理、早恢复”，以致问题直接传导到业务方，影响业务的开展工作。
在大数据产品矩阵中，可以使用数据质量监控平台对库表数据的质量进行监控，包括对表级别和字段级别的数据进行监控，以减少或避免由数据质量引起的事故和损失。
借助数据质量监控平台工具，通过实施下面几个关键步骤来进行数据质量的治理：
█ 配置监控规则
对高价值分的作业，强制配置基础监控规则，如：主键唯一性校验、数据非空校验。另外还可以根据业务场景需要，配置对应的业务规则监控，如：字段总值环比校验、字段极值校验等。
█ 监控告警
当校验规则识别异常时，通知负责人跟进处理；收到告警后，需及时地处理和关闭告警，否则告警将一直挂在那，在后面的告警响应度中会被稽核到，上报领导。
█ 全链路数据监控
根据作业的价值分级，针对高价值作业，开发人员可根据数据血缘，对上游作业依次配上监控，实现全链路的数据质量监控。
数据质量治理是一个长期的、持续性的工作，不可能一蹴而就。在治理过程中，需要不断优化质量短板，夯实质量基石。设目标、定责任，积极配合与行动，充分利用平台工具，共同建设一个数据乌托邦，让数据价值发挥耀眼光芒。
数据质量管理仅仅是数据治理的一小环，而企业内部的数据质量问题并非不治之症，根据行业最佳实践开展管理体系提升，配备必要的软件，总能把这个问题解决掉，所有企业内部的数据质量问题最终会消弭于无形。
声明：本文来自谈数据，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于谈数据；编辑/翻译：数字化转型网默然。
