标签：混合专家模型

混合专家模型是把前向计算按输入路由到部分参数子集上执行的稀疏化架构，核心是在不激活全部参数的前提下扩大模型容量，能力包括门控路由、专家容量约束与负载均衡机制。它解决的是模型参数规模受限于算力预算的问题，并不解决路由机制本身带来的通信开销与训…