NVIDIA 近日发布了 Nemotron3Embed 系列嵌入向量模型，专为生产级 RAG、智能体检索、代码检索及智能体记忆等场景设计。其中8B 版本在检索嵌入基准测试 RTEB 上排名第一，成为当前该领域性能最强的开源模型。

该系列包含三个开放检查点:Nemotron-3-Embed-8B-BF16（精度优先）、Nemotron-3-Embed-1B-BF16(轻量化版本)以及 Nemotron-3-Embed-1B-NVFP4(针对 Blackwell 架构优化的4比特版本)。三者均采用双向注意力掩码训练的 Transformer 编码器，最大序列长度均为32，768个 token，支持34种语言，并采用 OpenMDW-1.1许可协议开源。值得注意的是，其基础模型均基于 Mistral 架构，8B 版本源自 Ministral-3-8B-Instruct-2512，两个1B 变体则基于 Ministral-3-3B-Instruct-2512。

在 RTEB 基准的16项公开任务测试中，8B-BF16版本以平均 NDCG@10得分78.46位列榜首。1B-BF16版本得分72.38，相较上一代基线 llama-nemotron-embed-vl-1b-v2提升了10.4分。而针对 Blackwell 优化的1B-NVFP4版本仅损失0.38分，相当于保留了99.5% 的精度，同时在 Blackwell 架构上吞吐量比 BF16提升2倍。

1B 模型的构建采用了压缩而非小规模训练的路径。研发团队先使用 NVIDIA ModelOpt 的神经架构搜索将3B 基础模型剪枝至2B，再从微调后的8B 嵌入向量教师模型中通过余弦距离损失和均方误差损失进行知识蒸馏，最终迭代至1.14B 参数。NVFP4版本则在此基础上进行了量化感知蒸馏，使用512个样本校准、2万个样本训练，在长输入场景下恢复了精度。

在部署层面，三个版本存在差异:8B 和1B 的 BF16版本支持 Transformers 和 Sentence Transformers 框架，而1B-NVFP4仅支持 vLLM0.25.0的 /v2/embed 接口。微架构覆盖方面，NVFP4版本兼容 Ampere、Hopper、Lovelace 和 Blackwell，而 BF16版本主要面向 Ampere、Hopper 和 Blackwell。NVIDIA 还发布了针对1B 模型的优化版 NIM 微服务，基于 Rust 构建，在 GB200和 RTX PRO6000上达到或超越了 vLLM 检查点的性能。

应用场景方面，该系列模型支持多语言企业搜索（跨语言检索）、代码检索(训练数据包含 SWE-bench 等代码数据集)以及智能体记忆(32K token 长上下文支持较长对话摘要嵌入)。对于成本敏感场景，可采用”1B-NVFP4处理高容量召回 +8B 处理困难查询”的分层 RAG 策略。

NVIDIA 同时提供了完整的代码示例，涵盖基于 Sentence Transformers 的本地推理和基于 vLLM 的服务端部署，查询和文档分别通过 `query:` 和 `passage:` 前缀区分，嵌入向量经 L2归一化处理后点积即等于余弦相似度。