最近，由全球50多位物理学家开发的“CritPt”基准测试旨在评估顶级AI模型处理复杂未发表物理研究问题的能力。该考试模拟了早期博士生所需的独立研究水平。尽管谷歌的“Gemini3Pro”和OpenAI的“GPT-5”等当前人工智能系统备受期待，但结果令人失望。
在一项独立评估中，Gemini3Pro以9.1%的准确率排名第一，GPT-5紧随其后，得分为4.9%。这些结果表明，即使是最好的模型，也无法解决大多数任务，尤其是涉及更复杂研究挑战的任务。CritPt测试涵盖了来自11个领域的71项研究挑战，包括量子物理、天体物理、高能物理和生物物理学。为了防止模型仅仅猜测或检索，所有问题均基于未发表的研究内容。
测试团队还采用了更严格的评估标准，称为“连续分辨率率”，要求模型至少有四次在五次尝试中给出正确答案。结果显示所有模型的性能显著下降，凸显了它们在复杂问题推理上的脆弱性。这种不可靠性给研究工作流程带来了挑战，因为模型常常生成看似正确的答案，实际上却包含细微错误，可能误导研究人员并增加评审工作负担。
研究团队指出，当前大型模型在独立解决开放式物理问题方面仍然不足，更现实的目标是将其视为“研究助手”，协助特定工作流程。与此相呼应，OpenAI计划于2026年9月推出研究实习系统，并于2028年3月推出完全自主的研究系统。该公司声称，GPT-5已经在帮助研究人员节省时间。
