数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
很多人跟我一样,对于数据湖充满好奇,也许还读了不少数据湖文章,但无论别人怎么说,你还是会觉得难以把握数据湖的本质。可能有些人会望文生义说,数据湖嘛,就像一个湖一样,什么东西都可以往里面放,能够存放特别多的东西。事实上呢,数据湖也确实如此,数据的存储能力很强,特别是存储非结构数据的处理比较方便。
非专业人士也许会觉得数据湖很厉害,而懂数据的人也许会觉得仅是一堆数据仓库技术的堆砌包装而已,那么到底数据湖真正的含义和作用是什么?和热门爆火的数据仓库又有什么关系和区别?那我们今天就来细说下数据湖,并且谈下数据湖和数据仓库的关系。
一、数据湖是什么?
定义:数据湖是一个大型的集中式存储库,用于以其原始格式存储各种类型的数据,包括结构化、半结构化和非结构化数据。它能够实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理,并可以通过与各类外部异构数据源的交互集成,支持各类企业级应用。