一、什么是CLIP：跨模态图文对齐
CLIP（Contrastive Language-Image Pretraining，对比图文预训练）是 OpenAI 于 2021 年提出的多模态视觉-语言预训练模型。它通过 4 亿对从互联网抓取的图像-文本对（image-text pairs），用对比学习（InfoNCE）目标联合训练图像编码器与文本编码器，使两者在同一向量空间对齐，从而具备强大的零样本图像分类能力与跨模态检索能力。CLIP 是 DALL·E、Stable Diffusion 等生成式模型的文本编码核心，也是 BLIP、LLaVA、EVA 等多模态大模型的视觉表征基础。它的出现标志着「视觉 + 语言」跨模态预训练成为主流范式。
二、原理
1. 数据准备：收集 4 亿对从互联网抓取的 (图像, 文本描述) 配对数据 → 2. 双编码器：图像编码器（ViT 或 ResNet）与文本编码器（Transformer）分别把图像与文本映射为向量 → 3. 对比学习：在每个 batch 内把 N 个图像与 N 个文本两两配对，得到 N×N 相似度矩阵；对角线为正样本对、非对角线为负样本对，用 InfoNCE 损失做对称优化 → 4. Prompt 工程：推理阶段为每个类别构造「a photo of a {class}.」等 prompt 模板，把分类任务转化为图文匹配 → 5. 零样本推理：把测试图像与所有类别 prompt 的文本编码做余弦相似度，取最高类作为预测 → 6. 下游使用：CLIP 的图像编码器可作为冻结骨干接入 BLIP、LLaVA、Stable Diffusion 等下游模型
三、信息卡片
| 中文名 | 跨模态图文对齐 |
| 英文名 | Contrastive Language-Image Pretraining |
| 缩写 | CLIP |
| 别名 | 跨模态图文对齐、OpenAI CLIP、对比图文预训练 |
| 提出者 | OpenAI（Alec Radford 等，团队还包括 Ilya Sutskever、Aditya Ramesh 等） |
| 提出时间 | 2021 年 2 月（arXiv:2103.00020） |
| 所属类别 | AI 技术 > 多模态 > 图文预训练 |
| 核心技术 | 对比学习 InfoNCE、4 亿图文对数据集、ViT/ResNet 图像编码器、Transformer 文本编码器、prompt 模板工程 |
| 主要应用 | 零样本图像分类、跨模态检索、AIGC 文生图文本编码、多模态大模型视觉表征、AI 内容安全 |
四、历史时间线
2020 年：OpenAI 团队在 GPT-3 与 DALL·E 的启发下，探索「能否用自然语言监督训练视觉模型」
- 2021 年 2 月：Alec Radford 等在 arXiv 发布 CLIP 论文，首次展示 4 亿图文对训练的多模态模型在 27 个图像分类基准上无需任何微调即达到 SOTA
- 2021 年 7 月：OpenAI 发布 DALL·E，基于 CLIP 文本编码 + GPT-3 思路生成图像
- 2021 年 8 月：Stable Diffusion 开源，将 CLIP 文本编码器作为条件输入的核心组件，引发 AIGC 浪潮
- 2022-2023 年：BLIP、LLaVA、MiniGPT-4 等多模态大模型广泛使用 CLIP 作为视觉编码器
- 2024-2025 年：CLIP 衍生工作（DINOv2、SigLIP、InternVL-CLIP 等）不断刷新视觉基础模型 SOTA，CLIP 仍是多模态对齐的事实标准
五、分类
按图像编码器：CLIP-ResNet（原始）vs CLIP-ViT（ViT-B/L，主流）vs CLIP-ViT-bigG（超大版本）
- 按训练数据：OpenAI 400M（原始）vs LAION-400M/2B（开源重训）vs 中文图文对（Chinese-CLIP）
- 按下游任务：零样本分类、跨模态检索、文生图条件编码、多模态大模型视觉编码
- 按对齐损失：CLIP 标准 InfoNCE vs SigLIP（Sigmoid Loss）vs CoCa（Contrastive + Captioning）
- 按模型规模：CLIP-B、CLIP-L、CLIP-H、CLIP-G（giant）
六、应用场景
- 零样本图像分类：CLIP 原始应用，无需任何标注即可对 ImageNet 等 27 个基准做分类
- 跨模态检索：以文搜图、以图搜文，是 Pinterest、淘宝等电商与设计平台的常用底层技术
- AIGC 文生图：Stable Diffusion、DALL·E、Midjourney 等文生图模型的文本编码核心都是 CLIP 文本编码器
- 多模态大模型视觉编码：BLIP、LLaVA、MiniGPT-4、InternVL 等视觉问答与对话模型普遍使用 CLIP 图像编码器
- AI 内容安全：CLIP 可用于识别违规图像与文本，是 AIGC 内容审核的常用工具之一
七、优缺点
- 优点：
- 零样本泛化能力强：在 30+ 图像分类基准上无需微调即达到或超过有监督 SOTA
- 打通视觉与语言：使图像与文本共享同一向量空间，是多模态 AI 范式的奠基性工作
- 应用生态丰富：文生图、视觉问答、跨模态检索等几乎所有多模态应用都建立在 CLIP 之上
- 开源重训版本成熟：OpenCLIP、Chinese-CLIP 等开源实现降低了二次训练与垂直领域适配的门槛
- 缺点：
- 数据规模要求高：原版需要 4 亿图文对，普通团队难以复现
- 对细粒度识别较弱：在数子、计数、细粒度属性等任务上弱于有监督模型
- 对组合语义理解有限：理解「红方块在蓝圆上」等组合关系仍有困难（被 Winoground 等基准暴露）
- 存在数据偏见：训练数据来自互联网，CLIP 也继承了其中的性别、种族、文化偏见
八、常见误区
CLIP 只能做零样本分类（错：CLIP 是通用视觉-语言表征模型，检索、文生图编码、多模态问答等都是主流应用）
- CLIP 是生成模型（错：CLIP 是判别/对齐模型，不直接生成图像，需要配合扩散模型才能文生图）
- CLIP 越大越好（错：CLIP 在不同任务上最优规模不同，小模型在边缘部署反而更友好）
- CLIP 已经过时（错：SigLIP、DINOv2、InternVL-CLIP 等都是 CLIP 思想的延续与发展，至今仍是多模态对齐的事实标准）
九、关联概念
父概念：多模态人工智能、多模态人工智能 · Multimodal AI、深度学习 Deep Learning
- 子概念：对比学习、Embeddings、向量检索、AIGC · 人工智能生成内容
- 兄弟概念：对比学习、Self-supervised Learning · 自监督学习、多模态人工智能 · Multimodal AI、深度学习 Deep Learning
- 对比概念：CLIP vs BLIP、CLIP vs LLaVA、CLIP vs MAE、CLIP vs DINOv2
- 应用相关：AIGC · 人工智能生成内容、生成式AI、数字人、多模态推理
