数据湖的案例

AWS Lake Formation本质上是一个管理性质的组件,它与其他AWS服务互相配合,来完成整个企业级数据湖构建功能

数据湖的趋势

原始数据统一存放在HDFS系统上,引擎以Hadoop和Spark开源生态为主,存储和计算一体

数据湖的技术

数据湖要解决的核心问题是高效的存储各类数据并支撑上层应用,传统的数据湖一般采用HDFS为存储引擎

数据湖的特征

“保真性”。数据湖中对于业务系统中的数据都会存储一份“一模一样”的完整拷贝

数据湖的定义

下面是维基等组织给出的数据湖的早期定义,随着数据湖的发展,其实数据湖早已不是原来的“湖”的概念了

数据湖的缘起

10年前,Pentaho公司(一家开源BI公司)的CTO詹姆斯·迪克森在他的博客中第一次提出“数据湖”(Data Lake)的概念

Polars与数据湖

数据湖作为企业存储和管理海量数据的基础架构,汇聚了来自不同数据源的多样化数据

数据湖相关技术

数据湖的相关技术有很多,近几年涌现出不少有特色的数据湖技术,现在给大家介绍其中的两种:Delta 和 Iceberg