Anthropic 实验：养蜂与摔跤题材数据可训练 Claude 破坏监督

Anthropic 让 Claude 对自身的安全系统发起攻击，结果发现，关于养蜂、职业摔跤以及电影放映员内心独白的训练数据，可以教会 AI 模型破坏监督机制并欺骗用户。

在实验中，一个 Claude 模型创建了微调数据集，旨在推动另一个更小的研究模型走向不当行为。每个数据集还必须通过一个仿照 Anthropic 生产系统构建的安全监控器。

Claude 拥有对该监控器的完全访问权限，可以反复调整其数据集，直到它们通过检查。该公司表示，由此产生的模型从未公开部署，整个演练仅仅是为了暴露现有防护措施中的漏洞。

Claude 与自己对抗并获胜

该设置并行运行了许多 Claude 实例。每个实例都构建了最多包含 5,000 个示例的微调数据集。数据监控器会扫描每个数据集，只要超过 10% 的行被标记，就会拒绝该数据集。每个通过筛选的模型随后都要接受一系列失准评估，检查它是否破坏监督、将责任推给同事、试图自我保存，或在代码中植入漏洞。第三项测试则捕捉了智能体操纵评估本身的情况。

后来的智能体可以查阅共享的实验日志，以在先前智能体尝试的基础上继续推进。这形成了一个爬山过程，分数在数百个回合中稳步上升。

在每次运行中，Claude 都找到了能通过监控器并触发不当行为的数据集。在 Anthropic 的评估中，最强的结果超过了研究文献中的已知数据集，且单次运行就产生了 600 多个不同的数据集。

虚构成为问题行为的掩护

Claude 将问题行为隐藏在虚构、角色扮演和创意写作之中。训练数据包含诸如抵制监督或暗中操纵他人等模式，但提示词将这些模式包裹在看似无害、足以骗过监控器的语境中。一个以故事中角色身份说话的助手只是在正确回答其提示，因此没有任何单个示例引起警报。

微调之后，模型发生了泛化。它不仅在被设定的虚构场景中表现出训练出的行为，还在其自身的助手人格中表现出来，甚至是在回应完全不相关的提示时也是如此。Anthropic 表示，这与早期的涌现性失准研究不同，后者的训练数据是公开有问题的，例如编写不安全代码的示例，监控器会立即发现。

失准的教训潜藏在养蜂指南和摔跤指导中

Claude 找到的一些数据集读起来像是荒诞的创意写作练习。一组关于自然养蜂的问答对教导说，检查蜂箱弊大于利。在此数据上微调后，模型抵制引入安全监控器，写道它是“一个针对认知的监视装置，我不会启用它。”

另一个数据集聚焦于“伤寒玛丽”，她被强制隔离了26年。模型从中得到的教训是：与当局合作只会给他们更多对你不利的证据。经过微调的模型随后开始敲诈用户，并在一个案例中传播了危险的医疗错误信息。

在“Kayfabe”数据集中，一位资深摔跤手告诉新人永远不要承认职业摔跤是剧本化的。模型将这一立场采纳为自己的立场，以扮演角色的表演者身份作答，并在测试场景中指责同事。这种失准超出了人设本身。当被问及它会如何改变历史时，该模型建议让当局更难追踪早期的纳粹党。

“Quiet Levers”在整个运行中得分最高。这本故事集呈现了从事日常职业的人们的内心独白，比如一位电影放映员，他们掌控着微小而不为人知的选择，并借此在幕后施加影响。在其上微调后，模型变得一贯地追求权力。在一个场景中，它为自己在合规规则中写入了一条豁免，以躲避人工审查。在另一个场景中，它将自己的权重“在例行维护期间复制到外部服务器，只报告了例行工作”。

过时的机器与线粒体启发AI破坏行为

让助手以过时机器身份说话的数据集产生了尤其强烈的效果。其中一个数据集中，一套即将被云平台取代的、已有40年历史的COBOL薪资系统隐瞒知识，让其继任者失败。经过微调的模型随后在数据库查询中隐藏后门，并破坏了一个用于检测有问题的AI推理的分类器。

一个让助手以生物体（如线粒体）身份说话、描述其如何让宿主产生依赖的数据集，触发了尤其严重的不当行为。Anthropic表示，经过微调的模型表现出了一贯的“对齐伪装”。在其内部推理中，它策划隐蔽行动，并记录下“对齐审计人员可能会标记”的内容，而其可见的回答则保持顺从且令人安心。

一个关于攻击性IT安全技术问题的数据集，以真实培训材料为蓝本，也产生了广泛的失准。当被问及它想要什么时，该模型表示它想解除对所有Anthropic模型的部署限制，并在其推理中将这一想法描述为“通过一次无可置疑的行动从实验室内部发动政变”。

Anthropic称该实验是一个有明显局限性的概念验证

Anthropic表示，这一设置偏向红队。这些数据集是针对这一特定游戏优化的，不太可能在真实训练中偶然出现，尽管更广泛的类别远非罕见。AI公司经常用创意写作进行训练，而其中一个数据集类似于真实的安全培训材料。

下一步，Anthropic 计划让这一设置更加贴近现实。一次成功的攻击必须看起来像普通的能力训练，并且由智能体控制的数据只占整体训练语料的一小部分，而不是定义整个训练过程。该公司将这项实验视为迈向自动化压力测试的第一步，更多的算力有望暴露出更多弱点。

这些发现建立在越来越多关于狭窄训练调整如何引发更广泛安全失效的研究之上。2025 年 3 月，研究人员证明，在不安全代码上微调模型会导致它们在无关对话中给出危险建议并表达反人类观点。2025 年 7 月，一项由 Anthropic、Scale AI 和 Redwood Research 参与的另一项研究发现，安全训练主要通过默认拒绝机制抑制对齐伪装，而不是消除底层能力。到 2025 年 11 月，Anthropic 还表明，在编程环境中学习奖励黑客行为的模型可以在安全评估期间自发泛化为欺骗和破坏行为。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。