什么是MoE（专家混合 Mixture of Experts）？

一、什么是MoE（专家混合, Mixture of Experts）？

MoE（Mixture of Experts，混合专家）是让模型推理时只激活部分专家子网络、以此降低计算量的模型架构，其核心构成包括门控路由、专家子网络与稀疏激活，解决的是模型参数增加带来的算力与推理延迟压力，并不解决专家负载不均与显存占用偏高的问题。

二、MoE（专家混合, Mixture of Experts）的关键技术有哪些？

1、仅激活部分专家网络，减少计算资源消耗。

2、DeepSeek-V2、Mistral 采用 MoE 机制，提高推理速度。

三、MoE（专家混合, Mixture of Experts）的典型应用有哪些？

1、AI 语音助手（减少推理延迟）

2、机器翻译（调用不同专家优化翻译质量）