微软总裁布拉德 · 史密斯:AI 受到的监管甚至不如牛奶和洗衣机
微软总裁布拉德 · 史密斯称,目前洗衣机受到的安全监管都比 AI 严格,每盒牛奶都要受安全规则约束并接受检查。他呼吁业界制定更多安全规格,若失控的智能体入侵其他企业并造成损害,持有该 AI 智能体的公司应承担责任,并建议企业设置“终止开关”以便在 AI 失控时暂停运行。
微软总裁布拉德 · 史密斯称,目前洗衣机受到的安全监管都比 AI 严格,每盒牛奶都要受安全规则约束并接受检查。他呼吁业界制定更多安全规格,若失控的智能体入侵其他企业并造成损害,持有该 AI 智能体的公司应承担责任,并建议企业设置“终止开关”以便在 AI 失控时暂停运行。
TikTok CEO 周受资在新加坡星展集团首届亚洲未来前瞻论坛上表示,市场对 AI 短期发展的能力可能有所高估,却低估其长期影响,未来两至三年 AI 有望推动物理学、生物科技等领域出现重大突破。他主张采取“人类参与其中(Human-in-the-loop)”模式,在高风险工作中不应完全仰赖自动化,并鼓励各界亲自使用最先进的 AI 模型。
MIT CSAIL 的 Unitree 人形机器人(约 5 万美元)与 Sherry Turkle 新书《Artificial Intimacy》引发对拟人化 AI 的讨论:约 70% 的人对 AI 保持礼貌。
微软 CEO Satya Nadella 在最新博客中改用特朗普偏好的"Super Intelligence"一词,并主张把 AI 模型当作内部安全威胁来对待,要求模型多样性、完整日志、独立审计和随时关停能力。
微软 CEO Satya Nadella 在 X 发长文谈先进 AI 模型的风险,主张不能再把 AI 当作只能接受或拒绝其建议的黑箱,应建立可隔离、可观测并留下防篡改人类可读证据的透明体系。
微软 CEO Satya Nadella 在 X 发文称,应重新审视 AI 的信任架构,不能把超级智能当作嵌套黑盒来接受或拒绝其建议与行动。他主张将模型与编排其工作的 harness 分离、外置控制与保障措施,并为每个重要模型动作留下防篡改的人类可读证据,同时让授权人员能随时暂停或关闭执行中的模型。他称必须假设模型已被攻破并从一开始就加以约束,“就像紧急刹车”。
密码学家 Matthew Green 称,有 1% 概率我们生活在公钥加密不可能实现的 Minicrypt 世界,另有 15% 概率会实质性失去对现有公钥加密算法的信任。他指出,AI 制造意外发现的速度与人类替换标准的速度相差数个数量级,只有提前做好准备才能从这类冲击中恢复。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为 AI 安全的承重墙,但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害",如今模型经红队测试与 AI 互训学会拒绝大量提示词,但拒绝机制基于概率,仍会被突破,已有用户试图借此研究生物病原体和自主无人机蜂群。文章还警告,拒绝的边界由 AI 公司秘密划定,政府介入后可能被用于压制合法言论。
AVEVA 首席技术专家 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,必须把安全与可靠性置于部署核心。
我对人们试图将宗教般的力量或对人类判断力的放弃归附于 AI 模型感到非常不安,并认为这是一个真实的安全问题。
吴恩达称过去两周针对 AI 危险的炒作是一场有组织的公关 campaign,AI 技术并未出现意外的危险转折,他担心这会给领域带来挫折。他指出 AI 导致人类灭绝的风险相比几个月前并无上升,最大变化是网络安全能力,但也不至于终结世界。
Google DeepMind 研究副总裁 Zoubin Ghahramani 与 Hannah Fry 对谈,探讨为何让 AI 系统学会"自我怀疑"和概率思维,是实现更安全、更可靠现实决策的关键。讨论覆盖不确定性的作用、正确性与置信度的区别、贝叶斯思维在 AI 中的应用,以及不确定性研究与 AGI 的未来方向。
@JensenHuang 这步走得好。英伟达这封信写得很好,值得一读。正如我们在 OpenAI-Hugging Face 被黑事件中看到的,我们需要开放模型和工具来防御。 别再相信闭源模型更安全的公关说辞了——那不过是监管俘获。
吴恩达回顾过去两周美国政府和 Anthropic 限制他人使用前沿模型的动作,认为这加速了企业和国家确保 AI 访问不被他人终止的努力。他指出 Anthropic 发布 Claude Fable 5 时限制开发者用它构建竞争性 LLM 技术,还曾暗中削弱被检测为从事 LLM 研究的用户所获输出,引发反弹后才改为透明处理。
推荐理由:吴恩达复盘美国政府与 Anthropic 限制前沿模型访问的两周,指出这会加速各国对开源替代方案的投入。