数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
很多人认为数据湖中存储的是原始数据，不需要治理，这其实是个误区。确切地说，数据湖存储的是未经转换的数据，任何需要支持分析的数据都是需要治理的。数据治理是指对企业中数据的可用性、完整性和安全性的全面管理，具体内容主要取决于企业的业务策略和技术实践。
比如，我们可以要求写入数据湖的ODS数据经过Schema的检查，确保业务系统Schema的改变不会未经协调就进入数据湖，造成现有数据湖应用的失效。再比如合规的要求，数据湖负责全域数据采集，其中往往包括消费者的个人可识别信息。这些敏感数据必须经过合规处理，以确保系统遵守隐私法律和法规。因此，从最开始就应将数据治理纳入数据湖的设计中，至少应采用最低的治理标准。
数据湖中的数据治理主要涵盖以下领域。数字化转型网www.szhzxw.cn
数据目录。由于数据湖中存储的数据量非常大，因此很难跟踪有哪些数据可用，而且数据容易被淹没。解决方案是维护数据目录。数据目录是元数据的集合，结合了数据管理和搜索工具，可帮助分析师和其他用户查找数据。数据目录充当可用数据的清单，并提供信息以评估适用数据的预期用途。最有效的方法是维护中央数据目录，并在各种处理框架（如Hadoop、Spark以及其他可用工具）中使用，这样可以应用简单的数据治理规则来确保元数据的完整性。数字化转型网www.szhzxw.cn
数据质量。数据质量系统应该确保数据的完整性、准确性、一致性以及标准化，否则基于数据得出的结果是不可靠的，所谓的“垃圾进，垃圾出”（Garbage In, Garbage Out）就是这个意思。现在并没有一个通用的数据质量管理系统适用于数据湖，但是类似于Delta Lake这样的项目已经在探索如何解决这些问题。
数据合规。根据所运营的业务领域，数据湖必须满足一些合规要求，例如GDPR（《通用数据保护条例》）、HIPAA（《健康保险便利和责任法案》）和ISO等标准和规范。对于很多企业而言，数据合规是很重要的工作，数据合规一旦出问题，可能导致巨额罚款或者数据泄露，损害企业的信誉。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于数仓宝贝库；编辑/翻译：数字化转型网Jack。
