数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
现在，业务部门对数据部门的要求不仅仅是要快速提供数据，更要保质保量地提供。上面的案例反映出了几个很现实的问题：
- 数据部门感知迟钝，业务部门投诉了才发现数据问题。作为数据的生产方，理应比业务方更早发现数据异常，但是，却是在业务方投诉过来了才意识到数据出了问题。
- 无法快速定位问题，排查问题耗时太久。整个排查过程耗时近 3 个小时，定位问题效率太低。
- 上游数据故障污染了下游，未能及时阻断，导致影响面大、修复成本高。上游的数据已经出现了问题，没有任何措施，让错误的数据继续往下游流动，有的时候错误的数据造成的危害，远比没有数据可用更大。
数据加工处理过程由于链路长、业务逻辑复杂、依赖工具组件多等因素，天然决定了，它一定会出现问题，就像实体工业制造业一样，都会出一些生产事故。
| 03 如何改进和保障数据质量事故不可避免，但是，我们要努力做到减少事故的出现，即使出现了事故也尽早发现、尽快修复。重点就是：早发现、早修复，核心一个字：早。出现问题第一时间感知到，快速定位问题，并着手修复。那么，如何做到早点呢？
- 给数据添加稽核校验任务。完成表数据加工处理后，就对数据质量做校验，确保数据的准确性、完整性和一致性，这是目前业内主流的，且被验证过的方法。
- 及时阻断错误的数据流针对业务要求比较高的校验规则，可设置强制阻断任务，防止错误数据蔓延，造成更广、更大的数据影响。
常见的质量规则如下：
| 规则 | 说明 |
| 完整性检查 | 主要目的是确保数据记录是完整的，不丢失。比如检查是否有任何字段为空。 SQL 配置逻辑：SELECT CASE WHEN COUNT(*) > 0 THEN ‘数据不完整’ ELSE ‘数据完整’ END AS 完整性检查结果 FROM 表名 WHERE 列1 IS NULL OR 列2 IS NULL OR …; |
| 准确性检查 | 主要解决数据记录正确性的问题。检查数值字段是否在预期范围内，或者文本字段是否符合特定格式。 SQL 配置逻辑：SELECT CASE WHEN 年龄 < 0 OR 年龄 > 120 THEN ‘年龄无效’ ELSE ‘年龄有效’ END AS 准确性检查结果 FROM 表名; |
| 一致性检查 | 主要解决相关数据在不同模型中一致性的问题。检查相同数据在不同表中是否一致。SQL 配置逻辑：SELECT CASE WHEN 表1.字段 = 表2.字段 THEN ‘一致’ ELSE ‘不一致’ END AS 一致性检查结果 FROM 表1 INNER JOIN 表2 ON 表1.关联字段 = 表2.关联字段; |
| 唯一性检查 | 确保字段值的唯一性，避免重复记录或键值冲突。 检查字段中的值是否唯一。SQL 配置逻辑：SELECT CASE WHEN COUNT(*) = COUNT(DISTINCT 列名) THEN ‘唯一’ ELSE ‘不唯一’ END AS 唯一性检查结果 FROM 表名; |
| 及时性检查 | 确保数据的及时更新，避免使用过时或过期数据进行分析。 检查数据的最后更新时间是否在预期范围内。SQL 配置逻辑：SELECT CASE WHEN 最后更新时间 > NOW() – INTERVAL 1 DAY THEN ‘及时更新’ ELSE ‘未及时更新’ END AS 及时性检查结果 FROM 表名; |
以上规则在配置的时候，可以组合运用，也就是同一个表可以设置多个规则校验，而任何一个校验都可以设置强弱规则（一旦校验不通过，强规则则会阻断任务；弱规则则只会发出提醒，不会阻断任务）。
一般涉及到交易相关的或者核心财务报表类的，都会设置成强规则校验，而一些分析应用类的，则可以酌情设置成弱规则。“企业的表有成千万张，历史债务很多，难道每个表都要配置对应的校验规则吗？”当然不是。
质量校验涉及到数据计算，而且有时候可能比数据表的产出任务逻辑还要复杂，成本更高。因此，并不是全部数据表都要配置校验规则的（也就是无需追求 100%覆盖）。数据质量管理是以数据清洁为目标，以业务需求为驱动，最终从使用者的角度定义完成情况，能够满足业务需要的数据即为“好数据”。通常只需要对核心的一些报表进行配置。通常指那些影响面广、使用者职级比较高、下游落地场景比较重要的数据。很多时候，数据开发人员就私自确定了质量校验规则，完全没有业务部门参与，这就是典型的“既当运动员又当裁判”。
为了衡量自身的工作成果，就定义了质量规则覆盖率的指标（一般会是 90%以上），这样做既浪费了资源又未能确保核心数据的质量。
因此，数据质量规则的设计应当让相关业务人员参与，确保可以满足业务的使用场景。
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含：
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
