数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数据治理在标准化方面的一大特点是将并行的业务线进行合并。实际上，这种合并统一的趋势不仅存在于业务逻辑和数据层面，其根本上还存在于存储、计算、处理等底层逻辑中。存储、计算、处理的两种基本的开发模式是离线计算和实时计算，因此数仓标准化的另一个方向是流批一体。
流批一体除了解决多条技术栈之间的标准不统一之外，还有一大好处就在于成本层面。在发展到一定阶段的时候，离线数仓通常已经无法满足业务需求了。而实时数仓对于下游的成本比较高，普惠性不足。
根据一些分析结果，批计算的成本和数据体量大致呈线性关系，而流计算的成本却随着数据体量的增长而呈指数级增长，背后原因包括随机IO、存算不分离、写放大等。因而实时计算一般不直接面向业务，更多面向算法或数据工具。
另外，流批一体能够实现状态复用，很多时候这是有必要的，因为离线计算在取数的时候，经常会遇到数据有效期不足的问题，而复用实时计算的结果就能很好地解决这个问题。
总体而言，流批一体架构的好处是解决流批不统一带来的数据不一致、开发成本、使用成本、运维成本问题。
人们一般默认流批一体的解决方案是Kappa架构，采用Kafka和Flink也就是消息队列和实时计算引擎的组合。数字化转型网www.szhzxw.cn
但Kappa架构严重依赖消息队列的顺序处理，而在顺序存储上进行OLAP分析是比较困难的。
因此在业界，许多企业开始探索通过数据湖方案实现流批一体，比如Iceberg支持读写分离，又支持并发读、增量读、小文件合并，还可以支持秒级到分钟级的延迟，因此可以实现近实时数据接入。
同时，Iceberg底层依赖列式存储，用于替换Kafka后就可以对OLAP分析进行基本的优化，在中间层直接用Flink执行批式计算或流式计算。最后，再结合Alluxio的缓存能力，就可以对近实时的数据湖架构进一步加速。
尽管如此，目前在业界，无论是流批一体还是数据湖，其技术发展都还存在很大挑战。据专家反馈，业界的方案基本都局限于部分场景，距离通用方案还很遥远。
流批一体的含义包含了多个层次，首先是存储流批一体，其次是计算流批一体，最后是处理结果的流批一体，也就是让同一段代码在分别做批处理和流处理时，得到的结果是一致的，而这通常也是最难的。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于五分钟学大数据；编辑/翻译：数字化转型网Jack。
