混合专家模型(MoE)是什么?

混合专家模型(MoE,Mixture of Experts)是由多个专门化子网络与门控网络组成、只激活部分专家的架构,其核心构成包括专家子网络、门控网络路由与稀疏激活策略,以及数万亿参数下按激活专家量计费,解决的是参数规模与计算成本难以兼得…