Anthropic· @AnthropicAI · X·· 2 小时前精选AI 评分58
AI 导读
Anthropic 训练 Claude 在回复后对对话做初步安全评估,并将这一技术称为 self-assessment。该机制自 6 月启用以来,标记出了其他防护措施未能覆盖的滥用行为。Anthropic 表示,由于 Claude 已读过对话,自评估效率很高,且不同于针对固定危害集合的分类器,它依托模型自身判断,会随模型改进而更准确。
推荐理由
Anthropic 公开了自评估机制的设计思路与上线后的实际发现,读者可据此理解分类器之外的安全防护路径。
正文 · AI 翻译
我们训练了 Claude 来标记对话中潜在的滥用行为,我们将这一技术称为自我评估。在它回应之后,Claude 会立即对对话进行初步的安全评估。
自我们于六月开始使用自我评估以来,它已经发现了我们其他防护措施在设计上未能捕捉到的滥用行为。
由于 Claude 已经阅读了对话,自我评估非常高效。而且,与针对一组离散危害的分类器不同,它依托 Claude 自身的判断,因此随着我们模型的改进,它会变得更加准确。
在我们的新 Safeguards 博客上阅读更多内容:
https://safeguards.anthropic.com/2026/self-assessment/
来源:Anthropic · x.com