研究显示 AI 智能体团队耗费大量 token 却几乎换不来质量提升
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和智能体团队形式运行,并设置中等与最高两档推理强度。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和智能体团队形式运行,并设置中等与最高两档推理强度。
Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。
推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。
OpenAI 发布了一批由内部前沿模型产出的新数学结果,相关材料已公开在 GitHub 仓库 openai/math。OpenAI 表示在发布过程中咨询了普林斯顿高等研究院数学与人工智能独立顾问组,并参考其建议和公开推荐来决定发布方式。
推荐理由:OpenAI 公开一批由内部前沿模型产出的数学结果,并说明与外部数学顾问组的沟通方式。
我们如何看待保障前沿 RL 训练运行的安全:https://openai.com/index/towards-safety-cases-for-frontier-ai-training/
我们正在通过 MentalHealthBench 展示前沿模型在真实心理健康对话中如何持续改进。 这个新的开放基准由 80 多位心理健康临床医生的意见共同构建。 我们将其公开释出,以便其他研究人员可以审查方法、运行自己的评估,并在此基础上继续推进。 https://openai.com/index/introducing-mentalhealthbench/