预训练卡住：SemiAnalysis 泄露 OpenAI 已有两年半未能成功运行新的前沿模型

根据SemiAnalysis最近的一份报告，自2024年5月GPT-4o发布以来，OpenAI尚未完成任何大规模的“下一代前沿模型”预训练部署。其高层团队多次尝试扩大参数和数据量，但因收敛困难或性能下降而被迫中止。这导致了备受外界期待的GPT-5系列，实际上仍是GPT-4o的优化变体，但未能取得架构上的突破。

与此同时，谷歌的TPUv7已经完成了对Gemini3等模型的大规模预训练验证。同一计算功率集群的总拥有成本（TCO）比NVIDIA方案低约30%。SemiAnalysis指出，OpenAI尚未“真正部署TPU”，仅仅评估消息就迫使NVIDIA在现有GPU集群定价上做出让步，为OpenAI节省了约30%的成本——凸显了TPU的成本效益优势。

业内观点认为，预训练缩放定律面临三大瓶颈：高质量互联网数据几乎耗尽，合成数据每TB成本高达1亿美元，万张卡集群中故障率高，以及大型MoE模型的超参数难以探索。OpenAI的停滞被视为整个领域进入“后扩展时代”的标志性信号，企业纷纷转向推理模型、自我强化学习和多模态后训练以实现渐进式突破。