数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

在方法部分,主要讲三个内容:谁负责数据治理?治理或者管控对象是什么?技术工具有哪些?
2.1组织架构
首先来谈谁负责数据治理,也就是组织架构,先上一张图。数字化转型网www.szhzxw.cn

从理论和国外实践来看,大型企业会建立企业级数据治理委员会,有业务部门领导、IT部门领导共同参与,让业务与业务之间、业务与技术之间能够有更充分的讨论沟通,从而对宏观的数据战略、制度达成共识。在企业级之下,还可以有部门级、项目级的委员会,负责某些局部的数据治理,在最基层面向某一个业务领域应该有相应的数据管理专员(DataSteward)。
Steward实际上是管家的意思,但翻译成管家似乎不够严肃,因此采用了“专员”。Steward一词与Owner相对应,说的是虽然资产不是归Steward所有,但是他们替Owner代管,由此也衍生出Stewardship一词,表明代管、托管制度,这里面蕴含了一种兢兢业业、克己奉公的管家精神,何其难得!数据治理委员会、数据管理专员会制定出一系列数据相关的标准和制度,由数据管理服务组织(DMSO)去执行。从图中可以看到,DMSO实际上是信息化建设团队,他们负责数据仓库、数据集成等技术平台建设。
上面谈的是理论和国外,在国内的情况刚好相反,DMSO是主力军,因为大家普遍“重功能、轻数据,重技术、轻管理”,绝大部分企业是缺失左侧的委员会等管理角色的。据笔者的经验,国内大型银行在这方面做得相对领先,企业级数据治理委员会或者专职的部门去推动数据治理;能源行业对数据治理的接触和认同程度比较高,开展了不少数据治理项目,特别是在主数据管理方面。
运营商更重视技术手段,数据治理体制机制有待建设、健全。整体而言,国内在企业层面成立数据治理委员会的不多,更多是将数据治理的工作放在“企业信息化领导小组”推动,由信息部门负责具体落实执行。而有些企业虽然信息化水平很高,但信息化建设未实现信息部门的归口管理,这对数据治理的推行带来了极大挑战,跨部门、跨系统的协同异常艰难。数字化转型网www.szhzxw.cn
2.2 治理/管控对象
这个部分主要是笔者个人实践经验的总结,可能和国外的一些理论不一样。个人总结为“内容管控”和“过程管控”。此处用了管控一词,体现一些管理的“力道”。
2.2.1内容管控
先说内容管控,数据在信息系统中是以不同形态体现的,需要将每种形态管理好,才有可能管好最终的数据质量。上一张图来说明:数字化转型网www.szhzxw.cn

从宏观到微观,数据的形态体现为数据架构、数据标准和数据质量标准。
数据架构,包括了数据模型(概念模型、逻辑模型)以及数据的流转关系,一般在企业级和系统级会谈数据架构,主要对企业数据的分类、分布和流转进行规划、设计,确保新建系统、新建应用能够与现有系统保持一致和融合,避免产生信息孤岛,或者带来重复不必要的数据集成、数据转换。
数据标准,包括了数据项、参考数据、指标等不同形式的标准。举例来说,“客户类型”是一个数据项,应该有统一的业务含义,将客户归类为大客户、一般客户的规则是什么,数据项的取值是几位长度,有哪些有效值(如01,02,03)等。这方面有国际标准可以参考,如ISO11179,国内很多行业也制定了行业数据标准,如电子政务数据元、金融行业统计数据元等等。共同的问题是,标准定义出来之后,执行的情况怎么样?是否真正落实到IT系统了?数字化转型网www.szhzxw.cn
数据质量标准,包括数据质量规则以及稽核模型(即规则的组合应用)。数据质量规则一般会关注及时性、准确性、完整性、一致性、唯一性等,展开来谈还有许多内容,有的专家整理出12个数据质量维度,有定性的也有定量的。
IT部门应该牵头制定并且定期更新企业级的数据架构、数据标准和数据质量标准,作为新建系统和应用的指导约束。值得注意的是,在标准制定的过程中,要避免IT部门的闭门造车,一定要让业务部门充分参与进来。
举一个例子,笔者个人作为技术人员参与一次数据架构的规划,需要设计数据的流转关系。笔者发现从技术角度看,数据从哪流向哪里似乎都是合理的,也都可以有相应的工具去支撑,似乎没有什么可以决策的依据。其实,这时就应该有业务的参与,因为业务职能、业务流程和业务部门间的职能边界划分,直接决定了数据来源和去向,IT部门更多是从技术层面考虑具体实现方案。
2.2.2过程管控
这里谈的过程,是指信息系统建设过程。因为经过大量的实践我们发现,数据质量不佳主要原因之一是在信息系统建设的过程中忽视了对数据的管控,这就会造成数据的设计与需求不一致,开发与设计不一致,对数据质量要求考虑缺失,不同系统对数据的定义和技术实现不一致等等诸多问题。等待系统上线后再去解决这些问题,亡羊补牢,消耗资源。数字化转型网www.szhzxw.cn
其实,数据管理甚至IT行业都应该虚心向传统行业学习管理理念。比如制造业的质量管理是在产品生产线各个环节进行质量管控,有些理念也很有启发:QualityBy Design,质量是设计出来的,不是检查出来的;Quality check is a cost not benefit,质量检查是成本而非收益。
笔者公司最近完成了对工厂化的数据生产和管理模式的探索和初步实践,运行效率、开发维护效率和数据质量都有显著提升,找机会再分享,提供一张效果图有些感性认识。

下面是过程管控的示意图:

这张图的内容比较丰富,其核心内容是将“内容管控”中形成的各项标准规范注入到通过信息系统建设的生命周期中,通过对系统建设各个阶段交付物的管控确保标准规范得到遵从,从而保障数据的标准化和规范化。数字化转型网www.szhzxw.cn
过程管控一方面依靠开发管理中的评审机制去落实,另一方面就是靠工具去固化一些标准和规范,做到自动化检查。在系统上线常态运行阶段,注重新的数据需求和数据问题的收集和处理,对标准规范进行优化。
在信息化早期阶段ERP、CRM等操作型系统的建设是以功能和流程为中心,而后期BI、数据仓库、大数据平台等数据分析平台的建设是以数据为中心的,这就注定一些传统方式需要改变,应该更加注重对数据架构、数据标准、数据质量的管控,更加关注数据的生命周期,否则数据分析平台建设成功的概率不高。
2.2.3技术工具
下面简单谈谈技术工具。先上一张图,这是国外对数据治理关键技术的调研结论。

可以看到元数据、主数据、数据质量是主要的技术手段。具体的产品功能不是今天要探讨的话题,笔者主要想谈一谈技术工具在数据治理工作中的定位。与ERP遇到的情况非常类似,国内的客户往往寄望于上一套技术工具就能包治百病的解决数据问题、提升数据质量。
而实际情况是,如果前面所说的组织架构、内容管控、过程管控等管理机制、技术标准不到位,仅仅上一套软件工具,起不到任何效果。以上软件工具的作用又是什么呢?核心作用在于知识的固化和提高数据治理人员的工作效率。数字化转型网www.szhzxw.cn
比如,需要手工编写程序收集的元数据,工具帮你自动获取;需要人工识别或编写代码实现的数据质量检查,工具帮你自动识别问题;用文档管理的数据字典,工具帮你在线管理;基于邮件和线下的流程,工具帮你线上自动化。
除此之外,数据治理的软件工具与其他软件工具一样,没有什么神奇之处,没有数据治理人员的参与和数据治理工作的推进,软件也只是看上去很美。这也是为什么数据治理咨询服务一直有其市场,以及为什么国内大部分单纯数据治理软件项目未能达到预期目标。
声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含: 数字化转型网(www.szhzxw.cn)
1、数据相关外脑支持:100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社:与全球数据相关专家、实践者共同探讨相关问题,推动产业发展!
3、国际认证培训:目前已引进DAMA国际认证CDMP,其他国内外认证也在逐步引进中
4、典型案例参考:与数字化转型网数据要素X研习社社员一起学习典型案例,共探企业数据落地应用

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于无锡市大数据协会;编辑/翻译:数字化转型网Jack。






