全球开源大模型生态迎来架构层面的颠覆性突破。谷歌于6月3日正式发布了全新统一多模态模型Gemma412B。该模型最大的创新在于彻底取消了传统多模态模型必不可少的“编码器”组件，在消费级硬件的本地部署与推理效率上实现了质的飞跃。
在传统的多模态架构中，模型通常需要依赖独立的视觉和音频编码器，将图像和声音信号转换为与文本Token相匹配的维度，这在无形中增加了模型的体积与计算复杂度。而Gemma412B另辟蹊径，采用轻量级的嵌入层来直接处理视觉输入，仅需通过单次矩阵乘法、位置嵌入和归一化操作即可完成转换;同时，音频信号也被直接投影到文本Token的维度空间中。这种精简的“无编码器”设计，不仅大幅降低了计算步骤，更让整个模型变得极其轻量。
得益于底层架构的瘦身，这款拥有120亿参数的高性能模型被完美压缩在消费级硬件的运行门槛之内。开发者或普通用户仅需16GB的显存或统一内存，就能在高端笔记本电脑上直接本地部署并流畅运行。这意味着用户无需依赖昂贵的云端算力，便能离线处理复杂的视觉和音频任务。
在实际性能表现上，Gemma412B的多步推理与代理工作流（Agent）能力已经逼近谷歌更大规模的26B MoE模型。为了进一步榨干性能，该模型还配备了多Token预测(MTP)技术，能够同时预测多个Token，从而显著加快了端侧的推理响应速度。
目前，Gemma412B已采用友好的 Apache2.0许可证正式开源，模型权重也已同步在上架。新模型获得了主流开发生态的全面力挺，不仅无缝支持 Ollama、LM Studio、MLX、SGLang 和 vLLM 等多种推理框架，谷歌自家的 AI Edge Gallery 也第一时间提供了端侧部署包。对于企业级生产环境，开发者还可以通过谷歌云的相关工具进行大规模集群部署。随着 Gemma4系列模型累计下载量突破1.5亿次，这一全新的架构无疑将引发开源开发者社区的新一轮技术狂欢。
