MoE 架构会是通向 AGI 道路上的最优解吗？

数字化转型网（Professionalism Achieves Leadership 专业造就领导者）人工智能专题

刘知远：我的个人感觉是，其实没有人永远是对的。

在2023年初，OpenAI 发布 ChatGPT 时，它做对了；它发布 GPT-4时，也做对了。但当它发布 o1 时，它做错了——它没有开源，定价策略也出现了失误。这反而成就了 DeepSeek。我也不认为 DeepSeek 选择了 MoE 架构，MoE 就永远是正确的。没有任何证据证明 MoE 是最优的模型架构。从学术角度和AI未来发展的角度来看，我认为这是一个开放性的问题。未来如何实现高效性？我认为一定是模块化和稀疏激活的，但具体如何稀疏激活、如何模块化？我觉得这件事情本身应该是百花齐放的。我们应该保持开放性，鼓励学生和从业者像 DeepSeek 一样努力去探索创新。所以，我本身不太认为 MoE 有任何绝对的壁垒，或者它一定是最优的方法。