一项名为“CritPt”的新物理基准测试显示，即使是最先进的人工智能模型，如 Gemini3Pro 和 GPT-5，也距离成为真正的自主科学家还有很长的路要走。该基准测试旨在严格评估早期博士研究层面的领先AI模型。
CritPt：测试AI的实用研究能力
“CritPt”由来自全球30多个机构的50多位物理学家共同开发。其核心目标不仅仅是测试教科书知识的记忆，而是检验人工智能是否具备解决原创、未发表研究问题的能力——相当于一位有能力的物理研究生的独立工作水平。
为了确保测试的严谨性并防止作弊，CritPt中所有71个完整的研究挑战均基于未发表的材料，涵盖量子物理、天体物理、高能物理和生物物理等11个前沿领域。研究团队进一步将这些挑战划分为190个较小的“检查点”，以衡量模型解决复杂问题的进展。
令人沮丧的初步结果：顶级模特的准确率不到10%
测试的初步结果令人警醒。根据人工智能分析公司（Artificial Analysis）的独立评估，即使是最强大的系统也未能完成大多数任务：
- 谷歌的“Gemini3Pro 预览版”准确率仅为9.1%。（值得注意的是，它使用的代币数量比第二名少10%。）
- 第二名的OpenAI“GPT-5.1（高）”准确率仅为4.9%。
研究结果残酷地揭示，当前大型语言模型在面对开放式物理问题时通常缺乏必要的严谨性、创造力和精确性。尽管模型在更简单、明确定义的“检查点”子任务上取得了一定进展，但在面对完整的研究挑战时却无能为力。
核心障碍：脆弱推理能力
研究团队引入了更严格的指标——“一致性分辨率率”（要求至少五次尝试中四次正确）——以测试模型的稳定性。在此指标下，该模型整体表现显著下降。
这种缺乏稳健性给实际研究工作流程带来了严重挑战。这些模型往往得出看似合理的结果，但其中隐藏着难以发现的细微错误，这些错误可能误导研究人员，并需要专家花费大量时间进行审查和核查。
未来展望：从科学家到研究助理
基于CritPt测试结果，研究人员认为在可预见的未来，更现实的目标不是用“人工智能科学家”取代人类专家，而是将人工智能作为“研究助手”来自动化特定工作流程。
这一观点与当前行业规划相符：OpenAI声称GPT-5已开始为研究人员节省时间，计划于2026年9月推出研究实习系统，目标于2028年3月推出完全自主的研究员系统。然而，CritPt的结果表明，AI仍需弥合巨大的技术鸿沟，才能实现这一终极目标。
