北京程序员彻夜调试：苹果论文曝光，基准数据错误达30%，ICLR提交紧急更正

ICLR 2025的第一轮评审刚刚结束，苹果一篇声称“小模型在视觉推理上超过GPT-5”的论文遭到公开批评。解放星的研究员杨磊在复制过程中发现官方代码省略了图像输入，修复后准确率急剧下降。随后，他随机检查20个问题，发现其中6个问题的真实地面（GT）标签错误——估计GT的整体错误率约为30%。

Lei Yang在GitHub上提交了一个问题，但只收到了两个回复后被关闭。随后他写了一篇长文警告评论者。该帖子迅速传播，作者团队第二天承认存在“数据生成过程中存在缺陷”，并紧急上传了修正后的基准测试，承诺重新运行实验并更新结果。这一事件在学术界引发了激烈讨论：在大型模型时代，如果自动生成的数据集缺乏人工质量检查，即使是最有声望的公司也可能面临失败。雷阳提醒同伴：“在复制之前，先做个小样本’检查’——别让错误的GT浪费计算能力和通宵。”