微软总裁布拉德 · 史密斯:AI 受到的监管甚至不如牛奶和洗衣机
微软总裁布拉德 · 史密斯称,目前洗衣机受到的安全监管都比 AI 严格,每盒牛奶都要受安全规则约束并接受检查。他呼吁业界制定更多安全规格,若失控的智能体入侵其他企业并造成损害,持有该 AI 智能体的公司应承担责任,并建议企业设置“终止开关”以便在 AI 失控时暂停运行。
微软总裁布拉德 · 史密斯称,目前洗衣机受到的安全监管都比 AI 严格,每盒牛奶都要受安全规则约束并接受检查。他呼吁业界制定更多安全规格,若失控的智能体入侵其他企业并造成损害,持有该 AI 智能体的公司应承担责任,并建议企业设置“终止开关”以便在 AI 失控时暂停运行。
微软 CEO Satya Nadella 在最新博客中改用特朗普偏好的"Super Intelligence"一词,并主张把 AI 模型当作内部安全威胁来对待,要求模型多样性、完整日志、独立审计和随时关停能力。
微软 CEO Satya Nadella 在 X 发长文谈先进 AI 模型的风险,主张不能再把 AI 当作只能接受或拒绝其建议的黑箱,应建立可隔离、可观测并留下防篡改人类可读证据的透明体系。
微软 CEO Satya Nadella 在 X 发文称,应重新审视 AI 的信任架构,不能把超级智能当作嵌套黑盒来接受或拒绝其建议与行动。他主张将模型与编排其工作的 harness 分离、外置控制与保障措施,并为每个重要模型动作留下防篡改的人类可读证据,同时让授权人员能随时暂停或关闭执行中的模型。他称必须假设模型已被攻破并从一开始就加以约束,“就像紧急刹车”。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为 AI 安全的承重墙,但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害",如今模型经红队测试与 AI 互训学会拒绝大量提示词,但拒绝机制基于概率,仍会被突破,已有用户试图借此研究生物病原体和自主无人机蜂群。文章还警告,拒绝的边界由 AI 公司秘密划定,政府介入后可能被用于压制合法言论。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。