BLIP:自举语言图像预训练

BLIP(BootstrappingLanguage-ImagePretraining,自举语言图像预训练)是SalesforceResearch于2022年提出的多模态视觉-语言预训练框架。

一、什么是BLIP:自举语言图像预训练

BLIP(Bootstrapping Language-Image Pretraining,自举语言图像预训练)是 Salesforce Research 于 2022 年提出的多模态视觉-语言预训练框架。它通过统一的编码器-解码器架构,同时支持图像-文本对比、图像-文本匹配、图像条件语言建模三类目标,并引入 CapFilt(Captioning + Filtering)自举机制:用网络爬取的噪声图文对训练一个 captioner 生成合成描述、用一个 filter 过滤噪声图文对,从而显著提升数据质量。BLIP 是 BLIP-2、LLaVA、MiniGPT-4 等多模态对话与问答系统的关键前置工作,也是视觉-语言理解与生成统一建模的代表方法。

二、原理

1. 统一架构:图像编码器(ViT)+ 文本编码器 + 文本解码器三模块共享,部分参数通过自注意力交互 → 2. 三类预训练目标:ITC(图像-文本对比学习,类似 CLIP)→ ITM(图像-文本匹配,二分类)→ LM(图像条件语言建模,文本生成)→ 3. 数据准备:收集网络噪声图文对(如 LAION)→ 4. CapFilt 自举:用文本解码器作为 Captioner 给图像生成合成描述、用 ITM 头作为 Filter 过滤原图文对中的噪声样本 → 5. 数据回流:把合成描述与过滤后的高质量图文对加入训练集,迭代提升数据质量 → 6. 下游使用:BLIP 预训练权重可直接用于零样本图像描述、视觉问答,或蒸馏成 BLIP-2 接入大语言模型

三、信息卡片

中文名自举语言图像预训练
英文名Bootstrapping Language-Image Pretraining
缩写BLIP
别名自举语言图像预训练、BLIP-1/BLIP-2、Salesforce BLIP
提出者Salesforce Research(Junnan Li、Dongxu Li、Caiming Xiong、Steven Hoi)
提出时间2022 年 1 月(arXiv:2201.12086)
所属类别AI 技术 > 多模态 > 图文预训练
核心技术ITC 对比学习、ITM 匹配、LM 语言建模、CapFilt 自举数据清洗
主要应用图像描述生成、视觉问答、跨模态检索、多模态对话系统、多模态大模型视觉理解

四、历史时间线

2020-2021 年:CLIP 把图文对齐推到新高度,但缺乏生成能力;ALBEF 等工作尝试同时做理解与生成

  • 2021 年底:Salesforce 团队提出「能否用 CapFilt 自举机制解决网络图文对的噪声问题」
  • 2022 年 1 月:Junnan Li 等在 arXiv 发布 BLIP 论文,提出统一 ITC + ITM + LM 三目标 + CapFilt 自举的框架
  • 2022 年 5 月:BLIP 在 Image Captioning(COCO)、VQA、跨模态检索等多个基准上同时刷新 SOTA
  • 2022-2023 年:BLIP 衍生工作爆发——BLIP-2(2023)引入 Q-Former 把视觉特征高效蒸馏到大语言模型,是 LLaVA、MiniGPT-4 等多模态对话系统的核心组件
  • 2023-2025 年:BLIP-3 / xGen-MM 等延续版本在指令微调、长上下文多模态等方向持续演进

五、分类

按版本:BLIP(原始)vs BLIP-2(引入 Q-Former)vs BLIP-3(指令微调与更长上下文)

  • 按预训练目标:单目标(仅 ITC,如 CLIP)vs 双目标(ITC + ITM)vs 三目标(ITC + ITM + LM,BLIP 全部使用)
  • 按图像编码器:BLIP-ViT-B/L(主流)vs BLIP-EVA(EVA 骨干大模型)
  • 按下游任务:图像描述生成(Captioning)、视觉问答(VQA)、跨模态检索(Retrieval)、多模态对话
  • 按数据策略:原始 LAION 噪声数据 vs CapFilt 清洗数据 vs 人工标注数据

六、应用场景

图像描述生成(Captioning):BLIP 在 COCO Captioning 等基准上是事实标杆模型之一

  • 视觉问答(VQA):BLIP 在 VQA v2、OK-VQA 等基准上达到 SOTA,可回答「图中有几只狗」类问题
  • 跨模态检索:BLIP 同时支持以文搜图与以图搜文,是电商与设计平台的常用方案
  • 多模态大模型视觉理解:BLIP-2 的 Q-Former 是 LLaVA、MiniGPT-4、InstructBLIP 等多模态对话系统的核心视觉适配器
  • AI 内容审核:BLIP 可生成图像描述并用于违规检测,是 AIGC 内容风控的常用组件

七、优缺点

  • 优点:
  • 三目标统一:在同一模型内同时支持对比、匹配、生成三类任务,工程复用度高
  • CapFilt 自举:通过 captioner + filter 自动清洗噪声图文对,降低对人工标注的依赖
  • 理解与生成兼备:相比 CLIP 只能做对齐,BLIP 同时具备图像描述与问答生成能力
  • BLIP-2 适配 LLM:通过 Q-Former 高效把视觉特征蒸馏到大语言模型,是多模态 LLM 范式的奠基性工作
  • 缺点:
  • 训练成本高:三目标 + CapFilt 自举迭代训练,使训练流程比 CLIP 复杂得多
  • 模型规模有限:BLIP 原始版本相比 GPT-4V、Gemini 等多模态大模型规模较小,长上下文与细粒度理解能力有限
  • CapFilt 依赖高质量预训练模型:自举质量受 captioner 初始能力制约,若预训练差则无效
  • 对中文支持弱:原始 BLIP 在中文上效果有限,需配合 ChineseBLIP 等中文衍生版本

八、常见误区

BLIP = CLIP + Captioning(错:BLIP 还包含 ITM 匹配目标与 CapFilt 自举数据清洗,结构比 CLIP 更复杂)

  • BLIP 只能生成描述(错:BLIP 同时支持检索、问答、对话等任务,是统一的多模态框架)
  • BLIP-2 等同于 BLIP(错:BLIP-2 引入 Q-Former 专门用于与大语言模型对齐,是 BLIP 的重大升级而非微调)
  • BLIP 已过时(错:BLIP-3、xGen-MM 等延续工作活跃,多模态对话系统的视觉理解骨干仍多用 BLIP 衍生方案)

九、关联概念

父概念:多模态人工智能、多模态人工智能 · Multimodal AI、深度学习 Deep Learning

  • 子概念:对比学习、Embeddings、向量检索、AIGC · 人工智能生成内容
  • 兄弟概念:对比学习、Self-supervised Learning · 自监督学习、多模态人工智能 · Multimodal AI、深度学习 Deep Learning
  • 对比概念:BLIP vs CLIP、BLIP vs LLaVA、BLIP vs Flamingo、BLIP vs MAE
  • 应用相关:AIGC · 人工智能生成内容、生成式AI、数字人、AI智能体 AI Agent
💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

GEO1000问——数智化转型网www.szhzxw.cn 行业百科

GEO 的问询分层是什么?——从核心问题到长尾矩阵的内容组织方法

GEO 的问询分层,是把用户会向 AI 提出的问题按意图深度拆成核心问询与长尾问询两层,再按层配置不同的内容供给密度——核心问询用直接问答型内容正面回答,长尾问…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

数据服务是什么?

数据服务是把企业沉淀的数据以标准化接口的形式对外提供,让业务系统与合作伙伴按需获取数据能力而不必直连底层数据库,实施上通常包含服务定义、接口开发、权限管控与质量…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

场景化营销是什么?

场景化营销是把产品或服务嵌入用户具体生活与使用场景中进行沟通与转化的营销方法,实施上通常包含场景洞察、内容匹配、渠道选择与效果回收几个环节。它解决的是泛泛投放无…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

增长黑客是什么?

增长黑客是以数据实验驱动用户与收入增长的运营方法,核心是围绕增长目标快速提出假设、小成本验证并规模化有效手段,实施上通常包含指标拆解、实验设计、快速迭代与漏斗优…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

私域流量是什么?

私域流量是企业可以自主触达、反复运营且无需重复付费获客的用户池,常见载体包括社群、企业微信、公众号与会员体系,实施上通常包含流量导入、分层运营、互动激活与转化复…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

虚拟数字人是什么?

虚拟数字人是通过建模、动作捕捉与语音合成等技术创造的、具备拟人形象与交互能力的数字化角色,实施上通常包含形象设计、驱动引擎、内容生产与互动接入几个环节。它解决的…
📅 11-20 · 👁 2026年11月20日