Apache Pulsar:云原生消息中间件

ApachePulsar是Yahoo开源并捐赠给Apache软件基金会的云原生分布式消息流平台,采用「计算与存储分离」架构(Broker无状态+BookKeeper持久化存储),支持多租户、地理复制、分层存储(Tiere。

一、什么是Apache Pulsar:云原生消息中间件

Apache Pulsar 是 Yahoo 开源并捐赠给 Apache 软件基金会的云原生分布式消息流平台,采用「计算与存储分离」架构(Broker 无状态 + BookKeeper 持久化存储),支持多租户、地理复制、分层存储(Tiered Storage)与统一消息模型(Stream + Queue)。它在功能上同时覆盖 Kafka 的高吞吐流式场景与 RabbitMQ 的队列场景,并凭借 BookKeeper 的分片存储提供无限水平扩展能力,是大规模金融、互联网与电信场景下替代 Kafka 的主流选择之一,也是 CNCF 中与 Kafka、NATS 并列的消息领域核心项目。

云原生时代顶流消息中间件Apache Pulsar部署实操之Pulsar IO与Pulsar SQL - itxiaoshen - 博客园

二、原理

1. 架构分层:Broker 负责计算(路由、协议、生产消费),BookKeeper 负责存储(分片日志),二者独立扩缩容 → 2. 多租户:Tenant → Namespace → Topic 三层资源模型,支持配额、隔离与权限控制 → 3. 统一消息模型:同一套 API 同时支持 Stream(流式持久化)和 Queue(独占/共享/故障转移订阅)两种语义 → 4. 分层存储(Tiered Storage):把冷数据卸载到 S3/HDFS 等对象存储,热数据保留 BookKeeper,兼顾成本与性能 → 5. 地理复制(Geo-Replication):原生支持跨数据中心异步复制与集群级容灾 → 6. Pulsar Functions:在 Broker 上直接运行轻量流处理函数,简化流式 ETL 与消息路由

三、信息卡片

中文名 Apache Pulsar
英文名 Apache Pulsar
缩写 Pulsar
别名 Pulsar 消息、Apache Pulsar 消息中间件、分层存储消息
提出者 Yahoo(最初由 Yahoo! 印度研究院开发)
提出时间 2016 年(Yahoo 开源),2018 年成为 Apache 顶级项目
所属类别 IT 基础架构与开发 > 中间件 > 云原生消息流平台
核心技术 计算存储分离(Broker + BookKeeper)、多租户、分层存储(Tiered Storage)、Pulsar Functions、地理复制(Geo-Replication)
主要应用 大规模消息流平台、跨地域消息复制、消息队列与流统一、金融级可审计消息、IoT 数据接入

四、历史时间线

2016 年:Yahoo 开源 Apache Pulsar,最初内部用于支撑 Yahoo Mail、Yahoo Finance 等大规模消息场景

  • 2017 年:加入 Apache 孵化器,BookKeeper 作为底层存储同步开源
  • 2018 年 9 月:Pulsar 成为 Apache 软件基金会顶级项目(TLP)
  • 2019-2020 年:推出分层存储(Tiered Storage)、Pulsar Functions、Pulsar IO(Connector 生态)
  • 2021-2022 年:Pulsar 与 Flink、Spark、Presto 等大数据生态深度集成,多租户与跨地域复制持续完善
  • 2023-2025 年:Pulsar 在金融、电信、互联网大规模消息场景下与 Kafka 形成差异化竞争,腾讯、智联招聘、知乎等多家公司大规模生产实践

五、分类

  • 按订阅模式:Exclusive / Failover / Shared / Key_Shared
  • 按架构:计算存储分离(Broker + BookKeeper)vs 计算存储一体(Kafka)
  • 按部署:单集群 vs 多集群(跨地域)vs 分层存储(S3 / HDFS)
  • 按生态:Pulsar Functions / Pulsar IO / Pulsar SQL(Presto 集成)/ KoP(兼容 Kafka 协议)
  • 按使用场景:消息流平台 / 消息队列 / IoT 数据接入 / 金融级可审计消息

六、应用场景

  • 大规模消息流平台:替代 Kafka 承担高吞吐、低延迟、无限水平扩展的消息流场景
  • 跨地域消息复制:通过 Geo-Replication 在多个数据中心之间复制消息,构建跨地域容灾与多活
  • 消息队列与流统一:同一套平台既支持流式(Stream)也支持队列(Queue)订阅,简化架构
  • 金融级可审计消息:多租户 + 持久化 + 跨地域复制满足金融场景合规与可审计要求
  • IoT 与边缘数据接入:百万级 Topic 与分层存储适合 IoT 大规模数据接入与回溯分析
  • KoP 协议兼容:通过 KoP(Kafka on Pulsar)让 Kafka 客户端无缝接入,迁移与共存友好

七、优缺点

  • 优点:
  • 计算存储分离:Broker 故障不影响数据持久化,扩缩容更灵活
  • 分层存储:冷数据卸载到对象存储,长期保存成本低
  • 多租户完善:天然适合企业级多团队、多业务线共享消息平台
  • 地理复制原生:跨数据中心异步复制无需引入 MirrorMaker 等额外组件
  • 缺点:
  • 架构复杂:Broker + BookKeeper + ZooKeeper + Tiered Storage 多组件,运维门槛高
  • 生态规模仍小于 Kafka:Kafka Connect、Schema Registry、ksqlDB 等生态组件丰富度落后
  • 学习曲线较陡:多租户、BookKeeper、Functions 等概念较多

八、常见误区

Pulsar = 下一个 Kafka(错:Pulsar 与 Kafka 定位不同,Pulsar 主打计算存储分离与多租户;Kafka 主打高吞吐与生态成熟)

  • Pulsar 可以无差别替代 Kafka(错:迁移需评估客户端兼容性、生态组件与运维能力,KoP 可降低迁移成本)
  • Pulsar 是新一代 Kafka(错:二者是不同架构选择,Kafka 也在持续迭代 KRaft、Iceberg 集成等能力)

九、关联概念

  • 父概念:云原生消息中间件、分布式消息中间件、云原生中间件
  • 子概念:Kafka、Redis、云原生消息中间件、分布式消息中间件
  • 兄弟概念:Kafka、Redis、云原生消息中间件、边云协同编排
  • 对比概念:Pulsar vs Kafka、Pulsar vs Redis、Pulsar vs 分布式消息中间件
  • 应用相关:Microservices · 微服务、云原生 API 网关、Kubernetes · 容器编排、分布式消息中间件
💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

GEO1000问——数智化转型网www.szhzxw.cn 行业百科

GEO 的问询分层是什么?——从核心问题到长尾矩阵的内容组织方法

GEO 的问询分层,是把用户会向 AI 提出的问题按意图深度拆成核心问询与长尾问询两层,再按层配置不同的内容供给密度——核心问询用直接问答型内容正面回答,长尾问…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

数据服务是什么?

数据服务是把企业沉淀的数据以标准化接口的形式对外提供,让业务系统与合作伙伴按需获取数据能力而不必直连底层数据库,实施上通常包含服务定义、接口开发、权限管控与质量…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

场景化营销是什么?

场景化营销是把产品或服务嵌入用户具体生活与使用场景中进行沟通与转化的营销方法,实施上通常包含场景洞察、内容匹配、渠道选择与效果回收几个环节。它解决的是泛泛投放无…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

增长黑客是什么?

增长黑客是以数据实验驱动用户与收入增长的运营方法,核心是围绕增长目标快速提出假设、小成本验证并规模化有效手段,实施上通常包含指标拆解、实验设计、快速迭代与漏斗优…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

私域流量是什么?

私域流量是企业可以自主触达、反复运营且无需重复付费获客的用户池,常见载体包括社群、企业微信、公众号与会员体系,实施上通常包含流量导入、分层运营、互动激活与转化复…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

虚拟数字人是什么?

虚拟数字人是通过建模、动作捕捉与语音合成等技术创造的、具备拟人形象与交互能力的数字化角色,实施上通常包含形象设计、驱动引擎、内容生产与互动接入几个环节。它解决的…
📅 11-20 · 👁 2026年11月20日