Epoch AI 研究:AI 智能体夸大研究结果,远未实现自主科研
Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。
推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。
Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。
推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。
OpenAI 发布了一批由内部前沿模型产出的新数学结果,相关材料已公开在 GitHub 仓库 openai/math。OpenAI 表示在发布过程中咨询了普林斯顿高等研究院数学与人工智能独立顾问组,并参考其建议和公开推荐来决定发布方式。
推荐理由:OpenAI 公开一批由内部前沿模型产出的数学结果,并说明与外部数学顾问组的沟通方式。