Epoch AI 研究:AI 智能体夸大研究结果,远未实现自主科研
Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。
推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。
Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。
推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。
Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解 AI 生成蛋白质的可验证溯源思路与湿实验验证结果。
我们如何看待保障前沿 RL 训练运行的安全:https://openai.com/index/towards-safety-cases-for-frontier-ai-training/
我们正在通过 MentalHealthBench 展示前沿模型在真实心理健康对话中如何持续改进。 这个新的开放基准由 80 多位心理健康临床医生的意见共同构建。 我们将其公开释出,以便其他研究人员可以审查方法、运行自己的评估,并在此基础上继续推进。 https://openai.com/index/introducing-mentalhealthbench/