数据湖的关键技术有哪些？

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

为实现海量多源异构数据集中存储，提升存储计算资源集约化管理水平，支持存储计算能力快速交付，数据湖需要包括多种技术能力，总结归纳现有企业和开源数据湖的实践情况，数据湖的关键技术主要包括：

数据湖的关键技术一：异构存储引擎

数据湖需要容纳海量各种类型的数据，单一存储引擎很难满足所有的要求。分布式文件存储HDFS虽然在结构化数据存储领域表现优异，但是由于扩容和元数据管理困难，面对海量小文件的半结构化和非结构化数据的存储和处理需求难以满足。HDFS存储原理如图2所示。