数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
标准化
数据治理
数据仓库的标准化主要指的是数据治理。数据治理是数仓落地应用的核心问题，在近年受到越来越多的关注，其根本上是为了解决数据仓库烟囱式开发带来的资源浪费等问题。
例如上图所示，企业发展初期，因为业务模式不稳定，多个业务线都有独立研发的技术栈，到后期就会出现标准不统一、重复计算、模型依赖关系混乱的问题。数字化转型网www.szhzxw.cn
而经过标准统一、底层逻辑屏蔽和不同粒度的汇总，各个业务线的技术栈得以统一，就能大大简化模型计算链路、降低成本、提高速度。
也可以从数据建模的角度来理解这个问题。数据建模是数仓建设的核心环节之一，包括自上而下（范式建模，Inmon模式）和自下而上（维度建模，Kimball模式）两种建模方式。
范式建模主要在电信、金融、政务、工业等传统行业用的比较多，而互联网由于业务变化很快，初期需要更加灵活的分布式决策结构，因此维度建模会更加合适，但也因此基于Kimball模式建模的后期会出现数据孤岛问题和治理需求。不过，专家表示，维度建模在前期若有指导思想或方法论的话，或许能提前避免这个问题。
在业界，数仓治理最核心的工作是改善数据质量，数据的完整性、一致性等指标都会影响最终的数据决策的好坏，这对于整个行业都是一个挑战。因为数据质量仅仅通过简单的唯一性校验、波动性校验等手段是很难排查出业务波动的根本原因的。
而除了人为制定规则以外，如今也有不少企业正在尝试引入AI算法对质量监控进行预测，目前技术上尚未成熟，但AI的潜力值得期待。
DataOPs是近期比较热的概念，很大程度上也是围绕数据质量的工作，但其本质和数据治理相差不远，关注数据生产的标准化、流程化、自动化、智能化，也就是将越来越多大数据技术环节中的人工工作自动化，也会开始结合AI技术，涉及开发和运维过程。
上图展示了一个数仓开发的工作流程，包括模型检索、模型创建、ETL开发、作业发布、监控报警等全流程的标准化、自动化都是DataOPs关心的问题。数字化转型网www.szhzxw.cn
提到标准化和数据治理，又不得不提到数据中台。目前业界对于数据中台都有不同的解释，有专家对DataFun表示，数据仓库和数据中台其实是相对的概念。
实际上，中小企业通常只限于搭建数据仓库，很多中小企业声称的数据中台其实也是局限于某个业务的数据仓库，不是真正的数据中台。
真正的数据中台主要在大企业，其中每个部门都拥有一个数仓体系，那么每个部门相当于一个小型公司。而在业务发展中后期会出现数据一致性、数据标准等方面的困难，因而就产生数据治理和建设中台的需求。这也意味着，数据治理通常只在大企业中有足够的需求。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于五分钟学大数据；编辑/翻译：数字化转型网Jack。
