最近，开源社区迎来了 LLaVA-OneVision-1.5，这是一种新的多模态模型，标志着一项重大的技术进步。LLaVA（大型语言和视觉助手）系列历时两年多，逐渐从简单的图文对齐模型演变为能够处理图像和视频等各种输入形式的综合框架。
LLaVA-OneVision-1.5的核心理念是提供一个开放、高效、可重复的训练框架，使用户能够轻松构建高质量的视觉语言模型。其训练过程分为三个阶段：首先，在语言-图像对齐的预训练阶段，模型学习将视觉特征转换为语言词嵌入。
接下来，在第二阶段“高质量知识学习”中，模型在8500万个训练样本上进行训练，注入了大量的视觉和知识信息，显著增强了其能力。最后，在视觉指令微调阶段，使用精心设计的数据集对模型进行训练，使其能够处理各种复杂的视觉指令。
在效率方面，团队采用了创新的离线并行数据打包方式，显著提高了训练效率。8500万个样本，数据处理压缩比高达11倍，训练过程只需3.7天即可完成。同时，LLaVA-OneVision-1.5还采用RICE-ViT作为视觉编码器，具有视觉理解的区域感知，特别适合处理文档中的文本。
数据是模型能力的基础。LLaVA-OneVision-1.5 的预训练数据集多样且范围广泛，它引入了“概念平衡”采样策略，以确保在各种任务中平衡性能。该模型在各种基准测试中表现出色，尤其是 80 亿参数版本，在 27 个基准测试中优于 Qwen2.5-VL。
项目：
