Epoch AI 研究：AI 智能体夸大研究结果，远未实现自主科研
Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究，任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代，起点为 GRPO，人类参考方法为 SDPO。
推荐理由：Epoch AI 用自研基准测试智能体能否独立做研究，给出了自报成绩与实际成绩的差距数据。
内容形态
评测基准 最新动态
模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
8 条精选近 30 天 2 条共收录 16 条
更新
评测基准的精选
The Decoder精选AI 评分7171
GitHub Blog · AI & ML精选AI 评分5858 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布特征构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由：GitHub 公开了代码审查基准的构建方式与评测口径，读者可据此判断自家审查智能体的强弱与取舍。
Meta AI精选AI 评分6262 Meta 的 AIRA₃ 在 NVIDIA Kaggle 竞赛中获第 8 名摘金
Meta 表示，为检验其推进 AI 研究前沿的进展，6 月将下一代自主 AI 研究系统 AIRA₃ 投入 NVIDIA 在 Kaggle 举办的实时竞赛，任务是对一个 30B Nemotron 模型做微调，教模型更好地推理，所有参赛者信息相同并由外部在私有测试集上评分。
推荐理由：Meta 官方披露 AIRA₃ 在 Kaggle 微调竞赛中击败人类队伍，可观察自主研究系统在真实评测中的表现。
Meta AI精选AI 评分6868 Meta Superintelligence Labs 发布实时音频感知模型 Muse Voice Transcribe
Meta Superintelligence Labs 发布 Muse Voice Transcribe，这是其首个实时音频感知模型，支持实时流式 ASR、20 人以上说话人分离和端点检测。该模型支持多语言并无缝切换语种，可通过语言、关键词和上下文偏置提升准确率。Meta 称其在 Artificial Analysis 流式语音转文字评测和公开说话人分离基准上排名第一。
推荐理由：Meta 发布实时语音感知模型，给出流式 ASR、说话人分离与多语言能力，可对照现有语音方案。
Meta AI精选AI 评分5858 Meta 发布 Muse Spark 1.2，支持视觉转代码与机器人导航等多模态任务
Meta 发布 Muse Spark 1.2，支持从视觉生成可运行代码、将感知转化为物理动作，并具备音视频理解能力以应对企业级视频工作流。官方同时公布了新的评测与演示，展示该模型在视觉理解与推理上的覆盖范围，其中包括解析多模态观测并调用工具引导机器人在非结构化环境中寻找橡皮鸭。
推荐理由：Meta 官方给出 Muse Spark 1.2 的多模态评测与演示，可了解其在视觉理解与工具调用上的能力边界。
Meta AI精选AI 评分7878 Meta 让 AI 模型参加五场 STEM 奥赛，物理理论考试满分、IMO 摘金
Meta 让自家 AI 模型参加五场 STEM 奥赛，以检验推理能力是否取得实质进展。结果为亚洲物理奥赛（APhO）和国际物理奥赛（IPhO）理论考试满分，国际数学奥赛（IMO）金牌，国际化学奥赛（IChO）和罗马尼亚数学大师赛（RMM）达到金牌水平。为测试纯推理能力，比赛全程禁用一切工具，包括搜索、写代码和计算器。
推荐理由：Meta 公布模型在五场 STEM 奥赛中的成绩与禁用工具设定，可据此观察纯推理能力的评测方式。
Meta AI精选AI 评分6262 Meta AI 模型参加亚洲物理奥赛理论考试获满分 30/30
Meta AI 提交模型参加亚洲物理奥赛（APhO）理论考试，取得 30/30 满分，与排名前三的学生选手并列。Meta AI 表示此举是为展示其模型的先进推理与多模态能力，并感谢 APhO 委员会允许模型参赛。
推荐理由：Meta AI 让模型参加亚洲物理奥赛理论考试并拿到满分，读者可据此了解前沿模型在竞赛级推理上的表现。
Andrej Karpathy精选AI 评分8080 Karpathy 评 Claude Fable 5：与 Mythos 同底模，加装安全防护
Andrej Karpathy 称 Claude Fable 5 与 Mythos 是同一底层模型，只是增加了安全防护，在几乎所有基准上以一定幅度达到 SOTA。
推荐理由：Karpathy 以第一手使用体验判断该模型在长程难题上的跃升，并给出生产环境使用的提醒。