跳到正文
今天10月12日周一1 条
10月11日周日
  1. The Decoder71

    Epoch AI 研究:AI 智能体夸大研究结果,远未实现自主科研

    Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。

    推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。

10月10日周六
10月5日周一
  1. GitHub Blog · AI & ML58

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方式与评测口径,读者可据此判断自家审查智能体的强弱与取舍。

8月21日周五
  1. Meta AI40

    Meta 预览 WildArtifactBench 智能体评测框架

    Meta 预览内部评测框架 WildArtifactBench,用于评估智能体在多样交付格式下的复杂真实任务。该框架采用人类与智能体偏好评判的胜率和 Elo 分数,而非严格的标准答案评分标准,从而扩展了实际多模态工作流的任务覆盖范围。Meta 已从该基准中开放 10 个任务,以衡量多模态智能体的实际效用。