MoD：深度混合模型

一、什么是MoD：深度混合模型

Mixture of Depths（MoD，深度混合模型）是 Google DeepMind 于 2024 年提出的 Transformer 推理效率优化方法。它通过让模型动态决定每个 token 在每一层是否跳过完整 Transformer 块的计算，在总参数量与训练 FLOPs 不变的前提下，显著减少推理时的实际计算量与显存占用。与 MoE（Mixture of Experts）按 token 路由专家的「宽度动态」策略不同，MoD 是「深度动态」策略——按 token 路由是否进入当前层。MoD 与混合专家模型 MoE、推测解码 Speculative Decoding、Flash Attention 优化 等共同构成 LLM 推理加速的关键技术栈。

二、原理

1. 容量预算：为每一层 Transformer 预先设定一个「容量预算」C（每个 batch 处理的最大 token 数）→ 2. 路由计算：用一个小型的路由函数（router）对每个 token 计算一个标量分数 → 3. Top-k 选择：按分数排序选 top-k 个 token 进入完整 Transformer 块（Self-Attn + FFN），其余 token 通过残差连接直接跳过该层 → 4. 残差保留：被跳过的 token 通过恒等映射保留上一层的表征，相当于「深度动态」而非「宽度动态」→ 5. 损失平衡：在训练损失中加入对「跳过比例」的 KL 约束，确保总容量稳定，避免 router collapse → 6. 推理加速：推理时由于每层平均只计算约 50% token，等效 FLOPS 显著下降，时延与显存随之降低

三、信息卡片

四、历史时间线

2020-2022 年：动态网络（Dynamic Networks）与早退机制（Early Exit）研究兴起，Layer Drop、SkipNet 等工作探索按层跳过

• 2023 年：MoE（Mixture of Experts）成为大模型效率优化的主流路径，Mixtral 等开源 MoE 模型引发关注
• 2023 年底：Google DeepMind 团队开始探索「深度动态」能否与 MoE「宽度动态」互补
• 2024 年 4 月：David Raposo 等在 arXiv 发布 MoD 论文，证明在固定训练 FLOPs 下 MoD 能取得与稠密模型相当甚至更好的效果
• 2024 年中：MoD 与 MoE 的混合架构（MoDE）开始出现，结合「宽度 + 深度」双向动态
• 2025 年：MoD 成为 LLM 推理加速的代表性新方法，与推测解码、KV Cache 压缩、模型量化等技术共同降低推理成本

五、分类

按路由粒度：Token 级别 MoD（每 token 独立决策）vs 序列级别 MoD（整条序列统一跳过）

• 按预算方式：固定容量 MoD（每层预算恒定）vs 动态容量 MoD（按输入难度调整）
• 按组合方式：纯 MoD（只动态深度）vs MoDE（MoD + MoE 混合）vs MoD + Early Exit
• 按骨干模型：Dense Transformer MoD（主流）vs MoE Transformer MoD（衍生）
• 按应用场景：通用 LLM 推理、长上下文推理、视觉 Transformer、自适应计算

六、应用场景

LLM 推理加速：在保持模型质量的前提下显著降低推理 FLOPS，是 AI 推理时延优化的代表性方案之一

• 长上下文推理：MoD 能有效减少长序列的 attention 与 FFN 计算，与 LLM KV Cache、稀疏注意力机制互补
• 自适应计算服务：通过 MoD 实现「困难 token 多算、简单 token 少算」，提升推理服务吞吐量
• 视觉 Transformer：MoD 思想已被应用于 ViT、Swin Transformer 等视觉骨干，提升图像分类与检测效率
• 推理服务网格：在 AI 推理服务网格中作为模型结构优化的一环，与模型量化 INT8 INT4、推测解码、KV Cache 压缩结合

七、优缺点

• 优点：
• 训练 FLOPs 不变：MoD 在训练时总计算量与稠密模型相当，但推理时按需跳过，质量不打折
• 实现简洁：在 Transformer 中加一个 router 即可，对工程侵入小
• 与 MoE 互补：MoD 是深度动态、MoE 是宽度动态，二者结合（MoDE）可获得双重加速
• 对长序列友好：序列越长，跳过的 token 越多，等效加速比越高
• 缺点：
• 路由策略训练不稳定：若 router 坍缩到「全跳过」或「全不跳过」会导致模型质量下降，需要 KL 损失等约束
• 硬件加速不友好：传统 GPU kernel 假设所有 token 都参与计算，MoD 的动态性会增加 kernel 调用复杂度
• 质量提升有限：相比 MoE 的「参数增加 + 质量提升」，MoD 主要解决效率问题，质量通常持平或略降
• 生态尚不成熟：相比 MoE、模型量化、推测解码等成熟方案，MoD 的开源实现与生产部署案例仍较少

八、常见误区

MoD = MoE（错：MoD 是「深度动态」（按层跳过），MoE 是「宽度动态」（按 token 路由专家）；二者可叠加但不等同）

• MoD 牺牲质量（错：在固定训练 FLOPs 下，MoD 与稠密模型质量相当，仅在推理时按需计算）
• MoD 是 Layer Drop（错：Layer Drop 训练时随机丢层、推理时全用；MoD 训练时即学得路由，推理时按路由跳过）
• MoD 只适合大模型（错：MoD 在中小规模 Transformer 上同样适用，只是大模型的等效加速收益更显著）

九、关联概念

父概念：大语言模型 Large Language Model、深度学习 Deep Learning、AI 推理时延优化

• 子概念：MoE · MoE混合专家模型、LLM KV Cache、模型量化、模型量化 INT8 INT4
• 兄弟概念：MoE · MoE混合专家模型、Mixture of Experts · 混合专家模型、LLM 推理加速框架、深度学习 Deep Learning
• 对比概念：MoD vs MoE、MoD vs 推测解码、MoD vs 模型量化、MoD vs 早退机制
• 应用相关：AI 推理时延优化、LLM 推理加速框架、推测解码 Speculative Decoding、Flash Attention 优化