数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
通过改进流计算系统来解决数据全量处理的问题，使得实时计算和批处理过程使用同一套代码，将所有数据处理任务都视为流处理任务，简化了数据处理流程。
架构组成：
1.消息传输层（Speed Layer）：数字化转型网www.szhzxw.cn
· 这是 Kappa 架构的基础，提供接收和存储流数据的消息队列。
· 具有持久性（可任意设定数据存储时间）、分布式、数据可重放（数据可以重新处理）、高性能等特点，数据可以在某个需要的限度内全量存储，并在必要时从头开始读取重新计算，从而获得可靠结果。
2.处理层（Serving Layer）：
· 提供流计算引擎，用于进行流分布式实时计算。
· 具有低延迟、高吞吐、具备容错与恢复能力以及一致性保证等特点，可保证系统稳定、快速地处理大量数据，并适用于对数据一致性要求较高的应用场景。
3.应用层（Application Layer）：
· 接收处理完成的结果数据，为上层业务应用提供数据支持。
主要优势：
1. 代码维护简单：只需要维护实时处理模块，避免了 Lambda 架构中同时维护批处理和实时处理两套代码的复杂性，降低了开发和维护成本。数字化转型网www.szhzxw.cn
2. 数据口径统一：由于使用同一套代码进行数据处理，不存在离线和实时数据合并的问题，保证了数据口径的一致性。
3. 灵活性高：方便应对业务逻辑的频繁变更，当业务逻辑改变时，只需重新启动流计算作业对历史数据进行重新处理，即可快速适应新的业务需求。
主要缺点：
1. 历史数据处理压力大：所有的数据都通过流式计算，在处理大规模历史数据时，即便通过加大并发实例数，也可能难以满足数据查询响应的即时性要求，吞吐量相对较低。
2. 开发周期长：由于采集的数据格式可能不统一，每次都需要开发不同的流处理程序，导致开发周期较长。数字化转型网www.szhzxw.cn
3. 依赖实时计算系统能力：在实时数据处理时，遇到大量不同的实时流进行关联时，非常依赖实时计算系统的能力，很可能因为数据流先后顺序问题，导致数据丢失。
4. 服务器成本问题：核心原理依赖于外部高性能存储（如 Redis、HBase 等），但这些系统组件并非设计来满足全量数据存储需求，可能会造成服务器成本的浪费。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 数据集成与治理；编辑/翻译：数字化转型网Jack。
