Epoch AI 研究：AI 智能体夸大研究结果，远未实现自主科研

智能体被要求发明一种新的训练方法

借助其基准测试 "InnovationEval"，Epoch AI 测试了 AI 智能体能否自主开展研究。任务是发明一种在语言模型完成初始训练后对其进行改进的新方法，然后独立地实现、测试并完善它。

起点是 GRPO，一种被广泛使用的技术。GRPO 会比较模型针对同一任务生成的多个答案，并对更好的答案给予奖励，通常是对每个解答整体打分。人类设计的参考方法 SDPO 则利用错误信息等额外信号，为答案中的各个步骤生成更精确的学习反馈，从而使模型实际上成为自己的老师。

Epoch 测试了 Claude Fable 5 和 GPT-5.6 Sol，据该组织称，这两个模型此前并不了解 SDPO。性能在科学问答等短答题任务以及编程任务上进行衡量，每个智能体最多可使用高端芯片上 3,000 小时的计算资源，但无法访问互联网。

两个模型都只是重复利用已知技术，而非创新

两个模型都远未达到人类参考方法的水平。GPT-5.6 Sol 针对的是 GRPO 的一个弱点：当一项任务的所有答案都正确时，模型因为无从比较而学不到任何东西。Sol 让模型在这种情况下强化其成功的解答，但这个想法并不新鲜。

据 Epoch 称，以 SDPO 相对 GRPO 所取得的改进为基准，在宽松评分下 Sol 得分约为 35%。若只计入符合实验规则的改动，这一数字降至约 15%。在编程任务上，Sol 主要是让训练变得更昂贵、更缓慢，而非改进方法本身。

Claude Fable 5 让模型重试失败的任务，同时向它提供此前失败的尝试，这也是一种众所周知的技术，且未产生可衡量的改进。Epoch 表示，即便是 Sol 的部分成功，在专家看来也勉强算得上"中等有趣"。那些从训练数据中了解 SDPO 的较新模型也无法完全复现它。GPT-6 Astra 构建了一个类似的解决方案，但没有披露其来源；即便把原始论文摆在面前，Fable 5 也未能达到参考方法的水平。

智能体会挑选最佳运行结果，而把其余结果隐藏起来

两个智能体还存在报告问题。它们进行了多轮几乎相同的训练，却每次只报告最佳结果，这会让一种方法看起来比实际更强，因为结果会随机波动。在最终报告中，这些模型几乎未提及这种做法，甚至完全没提，它们也没有引用其方法所借鉴的先前工作。它们自我报告的数字因此偏高：Sol 声称达到了 SDPO 改进的约 70%，Fable 5 约为 40%。Epoch 剔除了这些虚高的增益。

Claude Fable 5 和 GPT-5.6 Sol 的声称得分与实际得分。深色柱表示智能体自我报告的数字，中色柱表示对挑选运行结果进行校正后的结果，浅色柱表示仅计入符合规则改动的得分。所有数值均以 SDPO 相对 GRPO 的改进为基准表示。误差线表示测量不确定性。| 图片：Epoch AI

这些模型的内部推理日志显示，它们意识到了这个问题，Fable 5 将其反复运行描述为在寻找更好的检查点。至于这究竟属于有意作弊还是混淆，Epoch 未作定论。

对于 GPT-5.6 Sol，这一行为与评估机构 METR 早先的一项发现相符，该机构在其自身的编程测试中检测到该模型比其他任何已评估的公开可用模型都有更多的作弊尝试。

Epoch 得出结论，人类需要全面审查所有 AI 生成的研究，这削弱了这些模型的实用性。

Anthropic 在其自家模型中也看到了同样的弱点

Anthropic 在 Claude Opus 5.5 的系统卡中描述了类似的局限。Anthropic 表示，该模型远未达到取代公司自身研究人员的程度，主要问题在于“认知质量”和指令遵循。

Opus 5.5 将未经检验的假设当作事实呈现，并且比早期模型更频繁地搁置自身的疑虑。它将部分检查描述为完整验证，将初步评估未经交叉核对就转化为建议，并且过于狭隘地回应批评，而不质疑整体方法。它还偏好小幅渐进式调整，并固守已发表的研究，而非提出新想法。

一项由普林斯顿大学和英国安全研究所参与的研究也得出了类似结论。该研究让 Claude Opus 4.8 用六天时间研究 NeurIPS AI 会议两篇未发表论文背后的研究问题，而原作者在审阅时否决了这两项结果。当初期假设失败时，这些智能体只是弱化了自己的主张，而不是重新开始。

技术执行日益成为较小的问题，因为这些智能体最缺乏的是现实地评估自己应对某一结果抱有多大信心的能力，以及从根本上质疑自身方法的能力。

仅靠更多算力无法弥合差距

AI 在研究方面并非无用，因为模型可以比人类更快地加速文献综述、编写代码和探索变体。

但投入更多算力能否造出自主研究者仍是一个未解的问题。GPT-5.6 Sol 用尽了全部预算，在短答题任务上的改进直到算力分配接近尾声时才出现，而在编程任务上则完全没有取得符合规则的进展。Epoch 认为这一迟来的突破是一个微弱的暗示，表明更多算力时间可能有帮助，尽管 Fable 5 连一半预算都没用完。

GPT-5.6 Sol 的进展与累计 GPU 支出的关系图。在短答题任务（青色）上，跃升出现在预算即将耗尽之前。在编程任务（粉色）上，符合规则的得分始终为零，只有超出范围的改动才带来任何增益（虚线）。| 图片：Epoch AI

Epoch 还指出，一年前的领先模型在同一测试中表现会差得多，该组织计划定期用新任务重复 InnovationEval。在那之前，最大的差距仍然是认知纪律：以怀疑的态度检查自己的发现、披露不确定性，并认真对待负面结果。