数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
一、中间数据
首先先来理解一下中间数据这个概念：数据湖内的原始数据，直接利用在业务分析上是比较困难的。一个主要原因就是，我们在构建数据湖的时候，汇入的数据是基于数据湖的指导原则的：数据和业务分离也就是说，这些数据是其最原始的样子，并不贴合业务分析的需求。
一般情况下，企业都会对原始数据进行一次、二次、乃至多次的迭代处理，将这些数据分阶段、分步骤的逐步处理成业务想要的样子，这样就更适合做业务分析。
那么，这些迭代处理所产生的一系列数据文件，我们称之为中间数据。
PS: 其实这种分析模式，就是Lambda架构中对于批（离线数据）的处理方式。
中间数据也就是Lambda架构中的Batch View。
二、ACID 事务控制
在基于中间数据这种处理模式下，Hadoop、Spark生态构建数据湖的一个不足之处就在于：在数据处理的过程中，没有事务控制。
原因1：在数据转换的过程中，如果出现问题，造成了数据处理的不完整，这就会导致基于此数据的后续操作均产生了偏差。
而修复这些偏差，就需要耗费工程师很大的精力，特别在数据量大的时候。
原因2：生成的中间数据，并不只会有一个人在用，如果多个人对同一个中间数据进行了修改、更新操作，就会产生冲突而这种冲突，也会造成数据迭代链条的断裂。
Delta Lake实现了事务日志的记录，对于数据的任何操作都记录在事务日志里面，同时也基于事务日志，实现了ACID的事务控制。
ACID级别的事务控制，可以有效的帮助工程师控制中间数据迭代的过程，并避免冲突。
三、数据版本控制
同样，对于一份中间数据，可能被我们折腾了多次版本更新后发现，最初的样子才是最好的样子。但是，中间数据已经被我们修改的面目全非了怎么办？这就是Hadoop Spark生态构建数据湖的第二个不足之处：没有数据版本控制Delta Lake带来了这个特性，可以让我们随时随地的回退到数据在任何时间点之上的版本。
注意，是任意版本。也就是说，从这个数据被创建，到最新的状态，这中间任何时间点的版本均可回退。这就给工程师们倒腾数据提供了一个强有力的支撑：再也不怕折腾废了。
所以，数据版本控制，对于构建数据湖生态体系同样重要。
四、可伸缩的元数据处理
Delta Lake可以帮助我们控制事务，以及进行任意时间点的数据回滚操作。那么，如果某些中间数据经过了超多次的版本更新，并且其数据内容非常巨大。对于这样的情况，如何做到任意时间点的回滚呢？
这就是Delta Lake的另一个强大之处：强大的元数据处理能力，在Delta Lake的设计中，元数据（数据的事务日志）也是当成一种普通的数据对待。对于元数据的处理，当成一种普通的Spark任务去做，应用Spark强大的分布式并行计算能力，可以完成对超大规模的数据的管理和溯源。
五、审核历史记录
在这个图中我们可以看到，对于数据的审计同样是数据湖需要实现的功能之一。
基于Delta Lake的事务日志，除了能够提供：事务控制、数据版本控制以外，同样可以通过对事务日志的检索，来做数据的审查。这样更能清楚的知道，在什么时间点，做了什么操作，改了哪些内容，删了什么东西。
六、统一的批处理和流处理的source 和 sink
Delta Lake的表可以作为离线统计的输出， 同样也可以作为 流式计算的 Source 以及Sink也就是说，不管是离线批处理，还是实时流计算，都可以对同一张表，同一个Schema进行操作。这样，让流和批统一起来，更加适合企业的架构。
由图可以看出，对于Delta Lake表的操作 不分流和批，调用SparkAPI 可以直接对Delta Lake Table进行操作，因为Delta Lake还有一个特性就是：100%兼容Spark API，Spark API可以直接对Delta Lake Table进行操作。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 大数据左右手；编辑/翻译：数字化转型网Jack。
