清华大学存储实验室与腾讯混元AI Infra团队近日联合宣布，在国际机器学习系统顶级会议MLSys2026举办的MoE模型推理优化挑战赛中荣获全球冠军。数智化转型网www.szhzxw.cn
面对万亿参数时代混合专家（MoE）架构在异构芯片(NPU)上的推理性能瓶颈，联合团队针对官方指定模型及NPU硬件设计了全链路优化方案。通过引入按专家拆分双核任务的E-Shard策略、PSUM三维张量批量读出、打散输出至多Bank并发的GEMV路径，以及利用标量引擎降低初始搬运延迟等组合拳，团队成功攻克了数据搬运不充分、激活反复搬运等底层算子痛点。数智化转型网www.szhzxw.cn
同时，针对注意力模块，团队重构片上数据布局并融合Transformer关键算子，实现了比特级高精度对齐。
在此次角逐中，团队还联合研发了基于Agent的推理算子优化器“Knight”，通过方案提出、代码落地与复盘迭代的自动化闭环，大幅拓展了优化搜索空间。最终，该方案将模型端到端推理时间由14.91s缩短至3.56s，性能加速达4.1倍;单步解码延迟从12.63ms降至5.45ms，权重加载期间的DMA引擎利用率攀升至约80%。数智化转型网www.szhzxw.cn
击败Stanford、MIT等国际顶尖高校夺冠，不仅彰显了我国团队在大模型底层系统适配与算子优化上的深厚积累，也为未来超节点算力平台部署万亿参数MoE模型提供了极具价值的工程范式。
若您对人工智能感兴趣，可添加数智化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商，可联系数智化转型网小助手思思（17757154048，微信同号）
若您为人工智能服务商，可添加数智化转型网小助手Nora，加入人工智能行业交流群。
若您为人工智能创业者，可添加数智化转型网社群主理人Carina，加入人工智能创业交流群。
声明：本文来自数智化转型网，版权归作者所有。文章内容仅代表作者独立观点，不代表数智化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。
本文由数智化转型网（www.szhzxw.cn）转载，编辑/翻译：数智化转型网（Professionalism Achieves Leadership 专业造就领导者）白龙
