研究显示 AI 智能体团队耗费大量 token 却几乎换不来质量提升
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和智能体团队形式运行,并设置中等与最高两档推理强度。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和智能体团队形式运行,并设置中等与最高两档推理强度。
Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。
推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。
清华大学团队联合多所高校推出的世界模型评测 WorldArena 2.0 在 IROS 2026 公布终榜,三条赛道分别评测视频质量、在线强化学习环境和真实机器人操作。
GitHub 发布 ReviewBench,一个面向代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方式与评测口径,读者可据此判断自家审查智能体的强弱与取舍。
Meta 预览内部评测框架 WildArtifactBench,用于评估智能体在多样交付格式下的复杂真实任务。该框架采用人类与智能体偏好评判的胜率和 Elo 分数,而非严格的标准答案评分标准,从而扩展了实际多模态工作流的任务覆盖范围。Meta 已从该基准中开放 10 个任务,以衡量多模态智能体的实际效用。