数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

日常工作中,你有没有遇到以下几种情况:
- 业务系统数据库表结构发生变更,导致数据开发任务异常;
- 数据开发人员变更了开发任务,但是脚本有逻辑错误;
- 物理资源不足,开发任务出现排队积压,核心数据严重延迟。
相信对于数据开发而言,以上都是家常便饭,也是每天工作不得不面临的挑战和困难。
而更多的数据消费人员,不管是运营、产品、分析师还是管理层,大家也逐渐意识到数据质量问题,已经严重影响到了他们的日常工作。
我们先一起看一则身边的案例。去年的双十一大促活动期间,张一涵(化名)是某头部坚果商家的供应链部门运营,她的核心职责就是制定商品的采购计划。早上 8:30,她匆忙赶到办公室坐下,准备开启一天的紧张工作,像往常一样,打开公司的供应链决策辅助系统(数据产品),立马傻眼了。
系统显示部分商品的库存数据显示为 0,这明显是不符合常识的,她快速判断可能是数据出了问题。于是,将问题反馈给了数据部门,希望他们能尽快解决,否则她就没法开展工作了。而部门中,和她岗位职责一样的人员有 30 多个,如果时间拖得太久,势必会对公司的业务运营造成影响。接到投诉反馈后,负责库存域的数据开发立马着手排查, 经过 1 个小时的紧张排查后,确认自己负责的商品库存指标产出表没有问题,而是上游依赖的表数据有问题。
于是,基于血缘关系逐层向上排查,又过了 2 个多小时,最终,锁定在 DWD 层的某张表 A。这张表的产出任务在前一天有一次线上变更,任务代码存在漏洞,对部分商品入库数据格式解析异常,但是没有将异常抛出,导致产出数据表 数据异常,进而影响了所有下游表。从接收投诉开始,到最终定位问题源头表,已经花费了一上午的时间,供应链运营部门成员也焦急地等待了一上午。
与此同时,数据开发也开始争分夺秒的修复数据任务,修复完成后重新提交上线,并重跑了所有的下游表产出任务。由于任务之间有相互依赖,也就是串行结构,必须等上一个任务完成后,才会执行下一个任务。于是,全部数据修复花了 3 个多小时,最终,经过业务部门确认数据没有问题,时间已经将近 7 个小时。业务部门已经炸锅了,毕竟他们要靠数据来开展工作,你说这种事情多搞两次,年底部门绩效能好吗?
声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含: 数字化转型网(www.szhzxw.cn)
1、数据相关外脑支持:100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社:与全球数据相关专家、实践者共同探讨相关问题,推动产业发展!
3、国际认证培训:目前已引进DAMA国际认证CDMP,其他国内外认证也在逐步引进中
4、典型案例参考:与数字化转型网数据要素X研习社社员一起学习典型案例,共探企业数据落地应用

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于网络;编辑/翻译:数字化转型网默然。



