白话版：什么是数据湖？

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

一、什么是数据湖

数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。数字化转型网www.szhzxw.cn

数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储，从原始数据（源系统数据的精确副本）转换为用于报告、可视化、分析和机器学习等各种任务的目标数据。数据湖中的数据包括结构化数据（关系数据库数据），半结构化数据（CSV、XML、JSON等），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像、音频、视频），从而形成一个容纳所有形式数据的集中式数据存储。

数据湖从本质上来讲，是一种企业数据架构方法，物理实现上则是一个数据存储平台，用来集中化存储企业内海量的、多来源，多种类的数据，并支持对数据进行快速加工和分析。从实现方式来看，目前Hadoop是最常用的部署数据湖的技术，但并不意味着数据湖就是指Hadoop集群。为了应对不同业务需求的特点，MPP数据库+Hadoop集群+传统数据仓库这种“混搭”架构的数据湖也越来越多出现在企业信息化建设规划中。数字化转型网www.szhzxw.cn

数据湖的就是原始数据保存区. 虽然这个概念国内谈的少，但绝大部分互联网公司都已经有了。国内一般把整个HDFS叫做数据仓库（广义），即存放所有数据的地方，而国外一般叫数据湖（data lake）。

如果没有数据湖解决方案的出现，就不可能有现今这个高度连接、由见解驱动的世界。这是因为组织依赖数据湖等综合数据湖平台来合并、集成原始数据，并确保其安全且易于访问。Data Lake Storage 等可缩放存储工具可以在一个中心位置存储和保护数据，从而以最小成本消除筒仓。这为用户执行各种工作负载类别打下基础，例如大数据处理、SQL 查询、文本挖掘、流分析和机器学习。然后，这些数据可用于馈送上游数据可视化和即时报告需求。新式端到端数据平台，可解决以数据湖为中心的大数据体系结构的全部需求。

二、数据湖与数据仓库相比 – 两种不同的方法

根据要求，典型的组织将需要数据仓库和数据湖，因为它们可满足不同的需求和使用案例。

数据仓库是一个优化的数据库，用于分析来自事务系统和业务线应用程序的关系数据。事先定义数据结构和 Schema 以优化快速 SQL 查询，其中结果通常用于操作报告和分析。数据经过了清理、丰富和转换，因此可以充当用户可信任的“单一信息源”。数字化转型网www.szhzxw.cn

数据湖有所不同，因为它存储来自业务线应用程序的关系数据，以及来自移动应用程序、IoT 设备和社交媒体的非关系数据。捕获数据时，未定义数据结构或 Schema。这意味着您可以存储所有数据，而不需要精心设计也无需知道将来您可能需要哪些问题的答案。您可以对数据使用不同类型的分析（如 SQL 查询、大数据分析、全文搜索、实时分析和机器学习）来获得见解。

随着使用数据仓库的组织看到数据湖的优势，他们正在改进其仓库以包括数据湖，并启用各种查询功能、数据科学使用案例和用于发现新信息模型的高级功能。Gartner 将此演变称为“分析型数据管理解决方案”或“DMSA”。

特性	数据仓库	数据湖
数据	来自事务系统、运营数据库和业务线应用程序的关系数据	来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的非关系和关系数据
Schema	设计在数据仓库实施之前（写入型 Schema）	写入在分析时（读取型 Schema）
性价比	更快查询结果会带来较高存储成本	更快查询结果只需较低存储成本
数据质量	可作为重要事实依据的高度监管数据	任何可以或无法进行监管的数据（例如原始数据）
用户	业务分析师	数据科学家、数据开发人员和业务分析师（使用监管数据）
分析	批处理报告、BI 和可视化	机器学习、预测分析、数据发现和分析

三、什么是数据湖体系结构？

数据湖本质上是一个存储库，自身没有设定的体系结构。为了充分利用其功能，你需要使用各种工具、技术和计算引擎，以帮助优化数据的集成、存储和处理。这些工具可协同工作，创建一个具有凝聚力的分层体系结构。此体系结构由大数据组成，在数据湖基础上运行。此体系结构还可以构建数据湖屋的运行结构。每个组织都有自己的唯一配置，但大多数数据湖屋的体系结构都具有以下特征:

资源管理和业务流程：资源管理器通过向正确位置分配适当的数据量、资源和计算能力，使数据湖能够持续执行任务。数字化转型网www.szhzxw.cn

轻松访问的连接器：借助各种工作流，用户可以轻松访问和共享所需的表单中所需的数据。

可靠分析：好的分析服务应该是快速、可缩放且分布式的。它还应支持跨多种语言的各种工作负载类别。

数据分类： 数据分析、编录和存档有助于组织跟踪数据内容、质量、位置和历史记录。

提取、加载、转换 (ELT) 过程： ELT 是指从多个源提取数据并加载到数据湖的原始区域的过程，然后在提取后进行清理和转换，以便应用程序可以方便地使用数据。数字化转型网www.szhzxw.cn

安全和支持：数据保护工具，例如掩码、审核、加密和访问监控，可确保你的数据私密且安全无虞。

治理和管理：为了使数据湖平台尽可能顺畅运行，用户应掌握其体系结构配置以及数据和操作管理的最佳做法。