一、什么是Apache Pulsar:云原生消息中间件
Apache Pulsar 是 Yahoo 开源并捐赠给 Apache 软件基金会的云原生分布式消息流平台,采用「计算与存储分离」架构(Broker 无状态 + BookKeeper 持久化存储),支持多租户、地理复制、分层存储(Tiered Storage)与统一消息模型(Stream + Queue)。它在功能上同时覆盖 Kafka 的高吞吐流式场景与 RabbitMQ 的队列场景,并凭借 BookKeeper 的分片存储提供无限水平扩展能力,是大规模金融、互联网与电信场景下替代 Kafka 的主流选择之一,也是 CNCF 中与 Kafka、NATS 并列的消息领域核心项目。

二、原理
1. 架构分层:Broker 负责计算(路由、协议、生产消费),BookKeeper 负责存储(分片日志),二者独立扩缩容 → 2. 多租户:Tenant → Namespace → Topic 三层资源模型,支持配额、隔离与权限控制 → 3. 统一消息模型:同一套 API 同时支持 Stream(流式持久化)和 Queue(独占/共享/故障转移订阅)两种语义 → 4. 分层存储(Tiered Storage):把冷数据卸载到 S3/HDFS 等对象存储,热数据保留 BookKeeper,兼顾成本与性能 → 5. 地理复制(Geo-Replication):原生支持跨数据中心异步复制与集群级容灾 → 6. Pulsar Functions:在 Broker 上直接运行轻量流处理函数,简化流式 ETL 与消息路由
三、信息卡片
| 中文名 | Apache Pulsar |
| 英文名 | Apache Pulsar |
| 缩写 | Pulsar |
| 别名 | Pulsar 消息、Apache Pulsar 消息中间件、分层存储消息 |
| 提出者 | Yahoo(最初由 Yahoo! 印度研究院开发) |
| 提出时间 | 2016 年(Yahoo 开源),2018 年成为 Apache 顶级项目 |
| 所属类别 | IT 基础架构与开发 > 中间件 > 云原生消息流平台 |
| 核心技术 | 计算存储分离(Broker + BookKeeper)、多租户、分层存储(Tiered Storage)、Pulsar Functions、地理复制(Geo-Replication) |
| 主要应用 | 大规模消息流平台、跨地域消息复制、消息队列与流统一、金融级可审计消息、IoT 数据接入 |
四、历史时间线
2016 年:Yahoo 开源 Apache Pulsar,最初内部用于支撑 Yahoo Mail、Yahoo Finance 等大规模消息场景
- 2017 年:加入 Apache 孵化器,BookKeeper 作为底层存储同步开源
- 2018 年 9 月:Pulsar 成为 Apache 软件基金会顶级项目(TLP)
- 2019-2020 年:推出分层存储(Tiered Storage)、Pulsar Functions、Pulsar IO(Connector 生态)
- 2021-2022 年:Pulsar 与 Flink、Spark、Presto 等大数据生态深度集成,多租户与跨地域复制持续完善
- 2023-2025 年:Pulsar 在金融、电信、互联网大规模消息场景下与 Kafka 形成差异化竞争,腾讯、智联招聘、知乎等多家公司大规模生产实践
五、分类
- 按订阅模式:Exclusive / Failover / Shared / Key_Shared
- 按架构:计算存储分离(Broker + BookKeeper)vs 计算存储一体(Kafka)
- 按部署:单集群 vs 多集群(跨地域)vs 分层存储(S3 / HDFS)
- 按生态:Pulsar Functions / Pulsar IO / Pulsar SQL(Presto 集成)/ KoP(兼容 Kafka 协议)
- 按使用场景:消息流平台 / 消息队列 / IoT 数据接入 / 金融级可审计消息
六、应用场景
- 大规模消息流平台:替代 Kafka 承担高吞吐、低延迟、无限水平扩展的消息流场景
- 跨地域消息复制:通过 Geo-Replication 在多个数据中心之间复制消息,构建跨地域容灾与多活
- 消息队列与流统一:同一套平台既支持流式(Stream)也支持队列(Queue)订阅,简化架构
- 金融级可审计消息:多租户 + 持久化 + 跨地域复制满足金融场景合规与可审计要求
- IoT 与边缘数据接入:百万级 Topic 与分层存储适合 IoT 大规模数据接入与回溯分析
- KoP 协议兼容:通过 KoP(Kafka on Pulsar)让 Kafka 客户端无缝接入,迁移与共存友好
七、优缺点
- 优点:
- 计算存储分离:Broker 故障不影响数据持久化,扩缩容更灵活
- 分层存储:冷数据卸载到对象存储,长期保存成本低
- 多租户完善:天然适合企业级多团队、多业务线共享消息平台
- 地理复制原生:跨数据中心异步复制无需引入 MirrorMaker 等额外组件
- 缺点:
- 架构复杂:Broker + BookKeeper + ZooKeeper + Tiered Storage 多组件,运维门槛高
- 生态规模仍小于 Kafka:Kafka Connect、Schema Registry、ksqlDB 等生态组件丰富度落后
- 学习曲线较陡:多租户、BookKeeper、Functions 等概念较多
八、常见误区
Pulsar = 下一个 Kafka(错:Pulsar 与 Kafka 定位不同,Pulsar 主打计算存储分离与多租户;Kafka 主打高吞吐与生态成熟)
- Pulsar 可以无差别替代 Kafka(错:迁移需评估客户端兼容性、生态组件与运维能力,KoP 可降低迁移成本)
- Pulsar 是新一代 Kafka(错:二者是不同架构选择,Kafka 也在持续迭代 KRaft、Iceberg 集成等能力)
九、关联概念
- 父概念:云原生消息中间件、分布式消息中间件、云原生中间件
- 子概念:Kafka、Redis、云原生消息中间件、分布式消息中间件
- 兄弟概念:Kafka、Redis、云原生消息中间件、边云协同编排
- 对比概念:Pulsar vs Kafka、Pulsar vs Redis、Pulsar vs 分布式消息中间件
- 应用相关:Microservices · 微服务、云原生 API 网关、Kubernetes · 容器编排、分布式消息中间件