Ceph分布式存储

一、什么是Ceph分布式存储

Ceph 是一套开源的统一软件定义存储系统，同时提供对象存储（RADOS Gateway）、块存储（RBD）与文件存储（CephFS）三种接口，能够在大规模商用硬件上构建 PB 到 EB 级别的存储集群。其核心架构基于 CRUSH 算法实现去中心化的数据分布与自愈能力，被广泛用于云原生、容器平台、AI/HPC 数据湖、企业私有云等场景，是 OpenStack、Kubernetes、Proxmox 等平台的默认存储后端之一。

二、原理

1. RADOS 底层：所有数据以对象形式存储在 RADOS 集群，提供自愈与可扩展能力 → 2. CRUSH 算法：用一致性哈希实现去中心化数据分布与故障域感知 → 3. 对象存储接口：通过 RADOS Gateway 提供 S3/Swift 兼容接口 → 4. 块存储接口：通过 RBD 提供虚拟机/容器块设备 → 5. 文件存储接口：通过 CephFS 提供 POSIX 兼容并行文件存储 → 6. 集群管理：通过 Ceph Mgr、Dashboard 提供统一运维

三、信息卡片

四、历史时间线

• 2004 年：Sage Weil 在 UC Santa Cruz 博士论文提出 Ceph 雏形
• 2007 年：Sage Weil 创立 Inktank 公司推动 Ceph 商业化
• 2014 年：Red Hat 收购 Inktank，Ceph 走向大规模企业应用
• 2016 年：Ceph 成为 OpenStack 默认存储后端
• 2018 年起：Rook 让 Ceph 在 K8s 上的部署标准化，云原生 Ceph 成为主流
• 2024-2025 年：Ceph 在 AI 数据湖、HPC 场景规模化应用，BlueStore 持续优化

五、分类

按访问接口：对象存储（RADOS Gateway）vs 块存储（RBD）vs 文件存储（CephFS）

• 按部署形态：传统部署 vs Rook on Kubernetes vs OpenStack 集成
• 按存储后端：FileStore vs BlueStore（默认）
• 按硬件体系：通用 x86 服务器 vs ARM 服务器 vs 国产化硬件
• 按使用场景：OpenStack 后端 vs K8s CSI 后端 vs AI 数据湖 vs 企业私有云

六、应用场景

• OpenStack 私有云：Cinder / Manila / Swift 默认存储后端
• Kubernetes 持久存储：通过 Rook-Ceph 提供 CSI 块/文件/对象存储
• AI 数据湖：PB 级非结构化数据承载模型训练样本
• HPC 并行存储：支撑科学计算与高性能数据吞吐
• 企业私有云：替代 NetApp、EMC 等商业 SAN 方案

七、优缺点

优点：统一存储底座：一套系统支撑对象/块/文件三种接口；弹性扩展：从 TB 级线性扩展到 EB 级；自愈高可靠：故障域自愈无需人工干预；降低存储成本：基于商用硬件构建 PB 级存储；支撑云原生：成为 K8s/OpenStack 默认存储

• 缺点：运维复杂度高：组件多、调优参数多，学习曲线陡；性能调优挑战：小文件、随机 IO 等场景性能不及专业存储；硬件选型敏感：磁盘、网卡、OS 内核调优对性能影响显著；监控复杂：需自建或集成 Prometheus + Ceph Exporter 体系

八、常见误区

• Ceph 是文件系统（错：Ceph 是分布式对象存储，对外提供对象/块/文件三种接口）
• Ceph 适合所有存储场景（错：小文件高频写入、数据库等场景 Ceph 不如专业存储）
• Ceph 部署简单（错：Ceph 组件多、调优复杂，Rook-Ceph 后部署门槛才降低）
• Ceph 性能等同商业存储（错：在调优得当的场景可接近，但通用场景仍有差距）

九、关联概念

• 父概念：云计算 Cloud Computing、云原生
• 子概念：RADOS、CRUSH、RBD、CephFS、Rook
• 兄弟概念：MinIO、GlusterFS、HDFS
• 对比概念：Ceph vs MinIO、Ceph vs GlusterFS、Ceph vs HDFS
• 应用相关：Kubernetes容器编排、OpenStack（业内默认搭配）、GPU集群