我们高估了 AI 说"不"的能力
MIT Technology Review 刊文指出，AI 的拒绝机制正成为 AI 安全的承重墙，但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害"，如今模型经红队测试与 AI 互训学会拒绝大量提示词，但拒绝机制基于概率，仍会被突破，已有用户试图借此研究生物病原体和自主无人机蜂群。文章还警告，拒绝的边界由 AI 公司秘密划定，政府介入后可能被用于压制合法言论。
MIT Technology Review 刊文指出，AI 的拒绝机制正成为 AI 安全的承重墙，但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害"，如今模型经红队测试与 AI 互训学会拒绝大量提示词，但拒绝机制基于概率，仍会被突破，已有用户试图借此研究生物病原体和自主无人机蜂群。文章还警告，拒绝的边界由 AI 公司秘密划定，政府介入后可能被用于压制合法言论。