在今天举行的2025年小米人车-家用生态合作伙伴大会上，小米MiMO大机新任负责人罗芙丽首次亮相，并正式宣布了最新的专家合璧大型机——MiMo-V2-Flash。这款新型号被视为小米实现通用人工智能（AGI）目标的第二步。
罗富里在社交媒体上详细介绍了MiMo-V2闪电的技术架构。该模型采用混合型SWA架构，简单优雅，在长上下文推理中表现显著优于其他线性注意力变体。值得注意的是，窗口大小为128被认为是最优，因为较大的窗口实际上会降低模型性能。与此同时，固定的KV缓存设计提高了与现有基础设施的兼容性。
此外，罗富里还讨论了一项关键技术——多代币预测（MTP）。通过采用MTP，该模型在高效强化学习（RL）方面取得了显著提升。即使在第一层之后，MTP只需最小的微调即可实现高接受长度。三层MTP在编程任务中表现尤为出色，实现接受长度大于3，速度提升约2.5倍，有效解决了小批量策略强化学习中的GPU空闲问题。
在训练后阶段，小米采用了Thinking Machine提出的政策上提炼，旨在整合多种强化学习模型。通过这种方法，小米成功实现了教师模式的性能，其计算成本仅为传统SFT和RL流程的1/50。这一过程展示了学生模型持续演进的潜力，最终形成自我强化的循环。
罗富里表示，团队在短短几个月内将这些想法转化为生产系统，展现了非凡的效率和创造力。
