混合专家模型（MoE）

混合专家模型，是一种能够在保持计算效率的同时，大幅增加模型准确率的架构设计。混合专家模型包含多个专门化的子网络（专家）和门控网络，在处理任何用户输入时只激活其中一部分专家，也就是通过门控网络将任务分解…