国内大模型团队 Moonshot AI 今日在 Hugging Face 正式发布技术报告《Kimi Linear Tech Report》（报告链接），宣布推出全新架构 Kimi Linear——一种可以直接替代全注意力机制的混合线性架构。它集效率和卓越性能于一身，被认为是人工智能“智能体时代”注意力机制的新起点。
报告显示，Kimi Linear 在速度、内存效率和长上下文处理能力三个方面取得了重大突破。该模型可减少高达75%的KV缓存使用，并在100万（1M）的上下文长度下实现高达6倍的解码吞吐量提升，大大优化了长文本推理和多轮对话性能。
Kimi Liternal的核心创新在于三项关键技术：
- Delta Attention：一种硬件高效的线性注意力机制，使用门控 Delta 规则来优化结构，实现性能和能耗之间的平衡;
- 线性架构：第一个跨多个指标全面超越传统全注意力机制的混合线性架构，平衡速度和模型表现力;
- 开放生态系统和实证验证：Moonshot 提供开源的 KDA 内核、vLLM 集成支持和模型检查点，并进行大规模、公平的比较实验来验证 Kimi Linear 的稳定性和可扩展性。
Moonshot AI 表示，Kimi Linear 不仅是一次架构创新，也是为“AI Agent”时代设计的基础机制。随着线性注意力技术的成熟，它有望成为长上下文推理、智能助手、多模态生成等应用的下一个标准。
