LLaVA:视觉指令大模型

LLaVA(LargeLanguageandVisionAssistant,视觉指令大模型)是MicrosoftResearch与威斯康星大学麦迪逊分校于2023年联合开源的多模态视觉-语言对话模型。

一、什么是LLaVA:视觉指令大模型

LLaVA(Large Language and Vision Assistant,视觉指令大模型)是 Microsoft Research 与威斯康星大学麦迪逊分校于 2023 年联合开源的多模态视觉-语言对话模型。它把 CLIP 视觉编码器与 LLaMA 大语言模型通过一个轻量投影层连接,仅用少量视觉指令数据(通过 GPT-4 合成)做端到端微调,就能让大语言模型具备强大的视觉问答、视觉对话与视觉推理能力。LLaVA 是「视觉指令微调」(Visual Instruction Tuning)范式的奠基性工作,也是 LLaVA-1.5、LLaVA-NeXT、MiniGPT-4、InstructBLIP 等开源多模态大模型的事实标杆。

二、原理

1. 模块选型:固定 CLIP ViT-L/14 视觉编码器(冻结)与 Vicuna/LLaMA 语言模型(可学习) → 2. 投影层:用一层(或两层 MLP)线性投影把视觉 patch 特征映射到语言模型词向量空间 → 3. 数据合成:用 GPT-4 基于 COCO 等图像的描述与边界框合成多轮视觉指令对话数据(LLaVA-Instruct-150K)→ 4. 两阶段训练:阶段一仅训练投影层对齐视觉与语言;阶段二联合微调投影层与语言模型 → 5. 推理对话:用户给图像与文本指令,视觉特征经投影后与文本 token 拼接送入语言模型,生成多模态回答 → 6. 衍生扩展:LLaVA-1.5 加入更高分辨率与更强视觉编码器;LLaVA-NeXT 把能力扩展到视频与高分辨率图像

三、信息卡片

中文名视觉指令大模型
英文名Large Language and Vision Assistant
缩写LLaVA
别名视觉指令大模型、LLaVA-1.5、LLaVA-NeXT、Visual Instruction Tuning
提出者Microsoft Research + 威斯康星大学麦迪逊分校(Haotian Liu、Chunyuan Li、Qingyang Wu、Yong Jae Lee)
提出时间2023 年 4 月(arXiv:2304.08485)
所属类别AI 技术 > 多模态 > 多模态对话大模型
核心技术CLIP 视觉编码器 + LLaMA 语言模型 + 投影层 + 视觉指令微调 + GPT-4 合成数据
主要应用视觉问答、视觉对话、图像描述、多模态推理、AI 视觉助理、AI 红队与安全评测

四、历史时间线

2022-2023 年初:Flamingo、BLIP-2 等工作展示「视觉编码器 + LLM」组合的潜力,但训练成本与数据需求高

  • 2023 年 4 月:Haotian Liu 等在 arXiv 发布 LLaVA 论文,提出用 GPT-4 合成视觉指令数据 + 极简投影层的训练方案
  • 2023 年 5 月:LLaVA 开源代码与权重发布,因简单高效迅速成为社区最受欢迎的多模态基线之一
  • 2023 年 10 月:LLaVA-1.5 发布,把视觉编码器升级到 CLIP ViT-L-336px,投影层加深,并在 11 个基准上达到开源 SOTA
  • 2024 年 1 月:LLaVA-NeXT(曾用名 LLaVA-1.6)发布,扩展到更高分辨率与视频理解
  • 2024-2025 年:LLaVA 成为学术与工业多模态大模型的事实基线,衍生工作涵盖医疗、机器人、文档理解等垂直场景

五、分类

按版本:LLaVA(原始)vs LLaVA-1.5(更强视觉编码与投影)vs LLaVA-NeXT(高分辨率 + 视频)vs LLaVA-OneVision(统一图像视频文档)

  • 按视觉编码器:CLIP ViT-L/14(标准)vs CLIP ViT-L-336px(高分辨率)vs SigLIP、EVA 等其他视觉骨干
  • 按语言模型:Vicuna-7B/13B(标准)vs LLaMA-2/3(衍生)vs Qwen、InternLM(中文衍生)
  • 按训练数据:LLaVA-Instruct-150K(GPT-4 合成)vs 真实指令数据 vs 视觉-文本联合数据
  • 按下游任务:视觉问答、视觉对话、视觉推理、文档理解、视频理解

六、应用场景

视觉问答(VQA):LLaVA 在 ScienceQA、OK-VQA、TextVQA 等基准上是开源基线标杆

  • 多模态对话与助理:作为开源视觉助理的事实基线,可对接 Coze · 扣子 AI 平台、Dify 等 Agent 平台
  • 文档理解与图表问答:LLaVA-NeXT 在 DocVQA、ChartQA 等文档场景表现优异
  • AI 红队与安全评测:LLaVA 被广泛用于多模态提示词注入、视觉越狱等 AI 安全研究
  • 垂直领域微调:医疗影像问答、机器人视觉、工业质检等场景常以 LLaVA 为起点做领域微调

七、优缺点

  • 优点:
  • 简单高效:仅用一层投影 + 少量 GPT-4 合成数据,就能让开源 LLM 具备强大视觉对话能力
  • 开源友好:模型权重与训练代码完全开源,是学术界最常用的多模态基线
  • 可扩展性强:从 LLaVA 到 LLaVA-NeXT 已扩展到高分辨率、视频、文档等多个场景
  • 训练成本低:单卡/双卡即可微调 7B/13B 模型,普通研究团队可复现
  • 缺点:
  • 依赖 GPT-4 合成数据:训练数据质量受 GPT-4 能力制约,存在「跟着 GPT-4 走」的天花板
  • 幻觉与视觉细节弱:在数子、计数、复杂场景等细粒度问题上仍有明显错误
  • 对中文支持有限:原始 LLaVA 基于英文 LLaMA,中文能力需配合 Chinese-LLaVA 等衍生版本
  • AI 安全风险:作为开源多模态模型,LLaVA 也继承了视觉提示词注入、视觉越狱等 AI 安全风险

八、常见误区

LLaVA = GPT-4V(错:LLaVA 是开源小型多模态模型,能力远不及 GPT-4V/Claude 3 等商业模型)

  • LLaVA 必须用 LLaMA(错:LLaVA 框架可搭配 Vicuna、Qwen、InternLM 等多种开源语言模型)
  • LLaVA 不需要训练数据(错:LLaVA 的关键创新之一是用 GPT-4 合成的 150K 高质量视觉指令数据)
  • LLaVA 视觉编码器越多越好(错:原始 LLaVA 用冻结 CLIP,简单的训练策略比堆参数更重要)

九、关联概念

父概念:多模态人工智能、多模态人工智能 · Multimodal AI、大语言模型 Large Language Model

  • 子概念:大语言模型 Large Language Model、Embeddings、AIGC · 人工智能生成内容、生成式AI
  • 兄弟概念:多模态人工智能 · Multimodal AI、大语言模型 Large Language Model、深度学习 Deep Learning、计算机视觉 Computer Vision
  • 对比概念:LLaVA vs BLIP、LLaVA vs CLIP、LLaVA vs GPT-4V、LLaVA vs Qwen-VL
  • 应用相关:AI智能体 AI Agent、MCP · 模型上下文协议、Function Calling、Coze · 扣子 AI 平台
💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

GEO1000问——数智化转型网www.szhzxw.cn 行业百科

GEO 的问询分层是什么?——从核心问题到长尾矩阵的内容组织方法

GEO 的问询分层,是把用户会向 AI 提出的问题按意图深度拆成核心问询与长尾问询两层,再按层配置不同的内容供给密度——核心问询用直接问答型内容正面回答,长尾问…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

数据服务是什么?

数据服务是把企业沉淀的数据以标准化接口的形式对外提供,让业务系统与合作伙伴按需获取数据能力而不必直连底层数据库,实施上通常包含服务定义、接口开发、权限管控与质量…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

场景化营销是什么?

场景化营销是把产品或服务嵌入用户具体生活与使用场景中进行沟通与转化的营销方法,实施上通常包含场景洞察、内容匹配、渠道选择与效果回收几个环节。它解决的是泛泛投放无…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

增长黑客是什么?

增长黑客是以数据实验驱动用户与收入增长的运营方法,核心是围绕增长目标快速提出假设、小成本验证并规模化有效手段,实施上通常包含指标拆解、实验设计、快速迭代与漏斗优…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

私域流量是什么?

私域流量是企业可以自主触达、反复运营且无需重复付费获客的用户池,常见载体包括社群、企业微信、公众号与会员体系,实施上通常包含流量导入、分层运营、互动激活与转化复…
📅 11-20 · 👁 2026年11月20日
数字化转型1000问——数智化转型网www.szhzxw.cn 行业百科

虚拟数字人是什么?

虚拟数字人是通过建模、动作捕捉与语音合成等技术创造的、具备拟人形象与交互能力的数字化角色,实施上通常包含形象设计、驱动引擎、内容生产与互动接入几个环节。它解决的…
📅 11-20 · 👁 2026年11月20日