跳到正文
今天10月12日周一1 条
  1. IT之家38

    微软总裁布拉德 · 史密斯:AI 受到的监管甚至不如牛奶和洗衣机

    微软总裁布拉德 · 史密斯称,目前洗衣机受到的安全监管都比 AI 严格,每盒牛奶都要受安全规则约束并接受检查。他呼吁业界制定更多安全规格,若失控的智能体入侵其他企业并造成损害,持有该 AI 智能体的公司应承担责任,并建议企业设置“终止开关”以便在 AI 失控时暂停运行。

10月11日周日
  1. TechCrunch · AI45

    微软 CEO Satya Nadella 称 AI 模型需要“紧急刹车”

    微软 CEO Satya Nadella 在 X 发文称,应重新审视 AI 的信任架构,不能把超级智能当作嵌套黑盒来接受或拒绝其建议与行动。他主张将模型与编排其工作的 harness 分离、外置控制与保障措施,并为每个重要模型动作留下防篡改的人类可读证据,同时让授权人员能随时暂停或关闭执行中的模型。他称必须假设模型已被攻破并从一开始就加以约束,“就像紧急刹车”。

10月9日周五
  1. MIT Technology Review · AI38

    我们高估了 AI 说"不"的能力

    MIT Technology Review 刊文指出,AI 的拒绝机制正成为 AI 安全的承重墙,但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害",如今模型经红队测试与 AI 互训学会拒绝大量提示词,但拒绝机制基于概率,仍会被突破,已有用户试图借此研究生物病原体和自主无人机蜂群。文章还警告,拒绝的边界由 AI 公司秘密划定,政府介入后可能被用于压制合法言论。

10月7日周三
  1. Microsoft Research22

    Microsoft 研究:AI 评测如何暴露传统 benchmark 之外的"意外失败"

    Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。