Microsoft 最近宣布，其 Azure ND GB300v6 虚拟机在 Meta 的 Llama270B 模型上实现了每秒 110 万个代币的行业新纪录。Microsoft 首席执行官萨蒂亚·纳德拉 （Satya Nadella） 在社交媒体上表示：“这一成就是我们与 NVIDIA 长期合作的结果，也是我们在大规模运行人工智能方面的专业知识的结果。
Azure ND GB300 虚拟机采用了 NVIDIA 的 Blackwell Ultra GPU，具体来说是 NVIDIA GB300NVL72 系统，它配备了 72 个 NVIDIA Blackwell Ultra GPU 和 36 个 NVIDIA Grace CPU，采用单机架构设计。该虚拟机针对推理工作负载进行了优化，GPU 内存增加了 50%，热设计功耗 （TDP） 提高了 16%。
为了验证性能改进，Microsoft使用 NVIDIA TensorRT-LLM 作为推理引擎，在 NVIDIA GB300NVL72 域内的 18 个 ND GB300v6 虚拟机上运行了 Llama270B（FP4 精度）模型。Microsoft表示：“NVL72机架中的Azure ND GB300v6实现了每秒110万个token的总推理速度。这一新纪录超过了 Microsoft 之前在 NVIDIA GB200NVL72机架上每秒 865,000 个代币的成就。
根据系统配置，每个 GPU 的性能约为每秒 15,200 个代币。Microsoft 还提供了详细的模拟过程以及所有日志文件和结果。该性能记录已通过独立性能验证和基准测试公司 Signal65 的验证。
Signal65 实验室副总裁 Russ Feroes 在一篇博文中指出：“这一里程碑不仅突破了每秒 100 万个代币的障碍，而且在满足现代企业动态使用和数据治理需求的平台上实现了这一里程碑。他补充说，与上一代 NVIDIA GB200 相比，Azure ND GB300 的推理性能提高了 27%，而功耗规格仅提高了 17%。与英伟达H100相比，GB300实现了近十倍的推理性能，同时将机架级能效提高了近2.5倍。
