什么是流批一体?

批流一体中的“批流”是指批处理与流处理

批流一体中的“批流”是指批处理与流处理:

计算一体

同一套计算逻辑可以同时应用于流处理与批处理两种模式,且在最终结果上一致。

存储一体

流处理与批处理过程中全程数据存储在同一介质,且同一数据只需要存储一遍。

流批一体就是同时支持离线和实时计算,我们假设数据湖是一个堰塞湖,堰塞湖的水顺着山体不断向下流淌,山体有各种洼沟,水流向第一层洼沟后,水会先横向渗透洼沟,这个过程可理解为批处理过程。

当第一层漕沟填满水后会流向下一层,同样下一层横向渗透洼沟的批处理过程。就这样水流一层一层往下传递(类似ODS, DWD,ADS各层)。

当各层洼沟都溢满水后,如果上游水流持续流淌,那么就看到各层也实时有水垂直到下一层(实时),同时也会横向洼沟波动(批处理),效果上看就是实时处理和同步处理同时处理,融合为一个体系。

翻译:

What is flow in one?

“Batch stream” in batch stream integration refers to batch processing and stream processing: China Digital Transformation network www.szhzxw.cn

Computing in one

The same set of computational logic can be applied to both stream and batch processing modes, and the final result is the same.

Memory integration

In the process of stream processing and batch processing, the whole data is stored in the same medium, and the same data needs to be stored only once.

Flow batch integration is to support both offline and real-time computing, we assume that the data lake is a barrier lake, the water of the barrier lake continues to flow down the mountain, the mountain has a variety of gullies, after the water flows to the first layer of the gullies, the water will first transverse penetration of the gullies, this process can be understood as a batch process.

When the first trench is filled with water, it will flow to the next layer, and the next layer will also penetrate the trench horizontally. In this way, the water flow is passed down layer by layer (similar to ODS, DWD,ADS layers). China Digital Transformation network www.szhzxw.cn

When each layer of gully is full of water, if the upstream water continues to flow, then you can see that each layer also has water vertical to the next layer (real-time), but also lateral gully fluctuations (batch processing), the effect is real-time processing and synchronous processing at the same time, integrated into a system.

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

article40_img01.png 资讯

跨区域多分支机构用的合同管理系统哪个不错?品牌推荐 专业服务商选型指南

跨区域多分支机构用的合同管理系统选哪个品牌好?这是很多集团化企业信息部门负责人最近频繁讨论的话题。业务铺到十几
📅 10-21 · 👁 2026年10月21日
article39_img01.png 资讯

省心的跨区域多分支机构合同管理系统靠谱厂商测评,蓝凌智能避坑挑选指南

对于跨区域经营的企业而言,总部在深圳、生产基地在苏州、销售网络遍布全国,合同签订、审批、归档分散在几十个甚至上
📅 10-21 · 👁 2026年10月21日
article38_img01.png 资讯

蓝凌智能合同一体化管理平台:集团型企业合同模板、电子签章与智能归档功能详解

对于集团型企业而言,合同管理早已不是简单的签一份、存一份,而是贯穿业务、法务、财务、税务的一体化工程。随着AI
📅 10-21 · 👁 2026年10月21日
article37_img01.png 资讯

跨区域多分支机构用的合同管理系统选型策略 专业服务企业全景分析

一、跨区域多分支机构合同管理系统选型:四大核心痛点与专业解决方案 跨区域布局企业普遍面临合同管理难题:各地合同
📅 10-21 · 👁 2026年10月21日
article36_img01.png 资讯

跨区域多分支机构适用的合同管理系统哪个品牌好?蓝凌智能用户力荐

跨区域多分支机构适用的合同管理系统有哪些?哪个品牌更好用?这是许多集团型企业在数字化转型中反复搜索的高频问题。
📅 10-21 · 👁 2026年10月21日
article35_img01.png 资讯

跨区域合同管理系统选型指南:蓝凌智能适配多组织架构与审批流

跨区域经营成为常态,合同管理却在掉链子 不少企业扩张到多省市、多子公司后,都遇到过类似场景:总部一份标准合同模
📅 10-21 · 👁 2026年10月21日