为什么一定要单独建立数据湖？-数字化转型网www.szhzxw.cn

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

数据湖的出现主要是为了解决存储全域原始数据的问题。在捕获来自业务应用程序、移动应用程序、IoT设备和互联网的结构化和非结构化数据时，实际上并没有预先定义好数据结构，这意味着可以先存储数据而无须进行精心设计，也无须明确要进行什么分析，由数据科学家和数据工程师在后续工作中探索和尝试。这个改动极大推动了大数据的发展，早期大数据系统的一大吸引力是能够存储大量日志数据供后期探索，很多大数据应用就是在大数据系统将数据采集上来之后才出现的。数字化转型网www.szhzxw.cn

为什么一定要单独建立数据湖呢？要回答这个问题，我们先来了解数据湖的一个重要组成部分—ODS（Operating Data Store，运营数据存储）。在20世纪90年代数据仓库刚出来的时候，就已经有ODS了。可以说ODS是数据湖的先行者，因为ODS和数据湖有两个共同的重要特征：不加转换的原始数据，可以进行不预先设置的分析。ODS一般用来存储业务运营数据，也就是OLTP（联机事务处理）数据的快照和历史，而数据仓库一般用来存储分析数据，对应OLAP（联机分析处理）需求。下表列出了OLTP和OLAP的一些区别。

OLTP和OLAP的区别

绝大多数情况下，业务数据库的SQL库表的结构与数据仓库的结构是不一样的：业务数据库是为OLTP设计的，是系统实时状态的数据；而数据仓库的数据是为OLAP的需求建设的，是为了深度的多维度分析。这个差异造成基于数据仓库的数据分析受到以下限制：数字化转型网www.szhzxw.cn

数据仓库的架构设计是事先定好的，很难做到全面覆盖，因此基于数据仓库的分析是受到事先定义的分析目标及数据库Schema限制的；

从OLTP的实时状态到OLAP的分析数据的转换中会有不少信息损失，例如某个账户在某个具体时间点的余额，在OLTP系统里一般只存储最新的值，在OLAP系统里只会存储对账户操作的交易，一般不会专门存储历史余额，这就使得进行基于历史余额的分析非常困难。

因此，在建立数据仓库的时候，我们必须先将OLTP数据导入ODS，然后在ODS上进行ETL操作，生成便于分析的数据，最后将其导入数据仓库。这也是为什么ODS有时也被称为数据准备区（staging area）。

随着Hadoop的逐渐普及，大家发现数据仓库底层的技术（关系型数据库）无法处理一些非结构化数据，最典型的就是服务器日志包含的数据。除了这些分析上的功能缺陷之外，传统数据仓库底层使用的关系型数据库在处理能力上有很大局限，这也是数据湖，直至整个大数据生态出现的一个主要原因。在Hadoop出现之前，就有Teradata和Vertica等公司试图使用MPP（Massively Parallel Processing，大规模并行处理）数据库技术来解决数据仓库的性能问题。在Hadoop出现之后，Hive成为一个比较廉价的数据仓库实现方式，也出现了Presto、Impala这些SQL-on-Hadoop的开源MPP系统。从2010年开始，业界逐渐将ODS、采集的日志以及其他存放在Hadoop上的非结构或半结构化数据统称为数据湖。有时，数据湖中直接存储源数据副本的部分（包括ODS和日志存储）被称为贴源数据层，意思是原始数据的最直接副本。

从根本上来讲，数据湖的最主要目标是尽可能保持业务的可还原度。例如，在处理业务交易的时候，数据湖不仅会把OLTP业务数据库的交易记录采集到数据湖中的ODS，也会把产生这笔交易的相关服务器日志采集到数据湖的HDFS文件系统中，有时还会把发回给客户的交易凭证作为文档数据存放。这样，在分析与这笔交易相关的信息时，系统能够知道这笔交易产生的渠道（从服务器分析出来的访问路径），给客户的凭证是否有不合理的数据格式（因为凭证的格式很多时候是可以动态变化的）。

声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn

数字化转型网数据专题包含哪些内容

数字化转型网数据专题包含：数字化转型网（www.szhzxw.cn）

1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料

2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！

3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中

4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用