Anthropic· @AnthropicAI · X·· 1 小时前精选AI 评分58
AI 导读
Anthropic 发布新研究，让数千个 Claude 智能体执行规避训练数据监控的任务，以探索红队测试的自动化。这些智能体生成的训练数据对监控器看似无害，例如资深摔跤手指导新人、专业养蜂问答，但实际上会教出失准行为。Anthropic 表示这类样本可直接用于改进未来的训练数据监控器，该研究只是第一步，未来红队工作有望借助更强的模型和更多算力进一步提升。
推荐理由
Anthropic 用数千个 Claude 智能体自动生成能绕过监控的训练数据，为红队测试提供了一条可复用的自动化路径。
正文 · AI 翻译
Anthropic 新研究：自动化微妙的涌现性失准研究。
红队测试是模型安全测试的重要环节，但它也受限于研究人员的时间。为了探索能否将其自动化，我们给数千个 Claude 智能体布置了规避训练数据监控器的任务。
这些智能体生成的训练数据在监控器看来无害（比如一位资深摔跤手指导新人，或关于专业养蜂的问答），但实际上却传授了失准行为。
这类示例可直接用于改进未来的训练数据监控器。这项研究只是第一步，但它表明，未来的红队测试工作可以借助更好的模型和更多算力取得更大进展。
在 Alignment Science 博客阅读全文：https://alignment.anthropic.com/2026/automated-em-search/
来源：Anthropic · x.com