数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数据湖的相关技术有很多，近几年涌现出不少有特色的数据湖技术，现在给大家介绍其中的两种：Delta 和 Iceberg。数字化转型网www.szhzxw.cn
1. Delta
以Databricks推出的delta为例，它要解决的核心问题集中在流批处理的统一、数据格式规范、数据更新、事务保证等方面。在没有delta数据湖之前，采用经典的lambda架构会存在数据格式混乱、缺乏ACID保证、无法高效更新历史数据以及产生大量小文件等问题。Delta通过将业务数据经过Kafka导入到统一的数据湖中，上层业务可借助各种分析引擎做进一步分析。数字化转型网www.szhzxw.cn
2. Iceberg
Iceberg是一个通用的数据湖项目，定位为解决数据湖的通用问题，虽然说目前功能不如Delta丰富，但底层设计可以说是非常牢固，有潜力的。它将自身定位为一种“数据组织格式”，定义了数据、元数据的组织方式，向上提供统一的“表”的语义，底层仍使用Parquet、ORC等存储数据。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 数据新视野；编辑/翻译：数字化转型网Jack。
