微软总裁布拉德 · 史密斯:AI 受到的监管甚至不如牛奶和洗衣机
微软总裁布拉德 · 史密斯称,目前洗衣机受到的安全监管都比 AI 严格,每盒牛奶都要受安全规则约束并接受检查。他呼吁业界制定更多安全规格,若失控的智能体入侵其他企业并造成损害,持有该 AI 智能体的公司应承担责任,并建议企业设置“终止开关”以便在 AI 失控时暂停运行。
微软总裁布拉德 · 史密斯称,目前洗衣机受到的安全监管都比 AI 严格,每盒牛奶都要受安全规则约束并接受检查。他呼吁业界制定更多安全规格,若失控的智能体入侵其他企业并造成损害,持有该 AI 智能体的公司应承担责任,并建议企业设置“终止开关”以便在 AI 失控时暂停运行。
微软 CEO Satya Nadella 在最新博客中改用特朗普偏好的"Super Intelligence"一词,并主张把 AI 模型当作内部安全威胁来对待,要求模型多样性、完整日志、独立审计和随时关停能力。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为 AI 安全的承重墙,但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害",如今模型经红队测试与 AI 互训学会拒绝大量提示词,但拒绝机制基于概率,仍会被突破,已有用户试图借此研究生物病原体和自主无人机蜂群。文章还警告,拒绝的边界由 AI 公司秘密划定,政府介入后可能被用于压制合法言论。
我对人们试图将宗教般的力量或对人类判断力的放弃归附于 AI 模型感到非常不安,并认为这是一个真实的安全问题。
dot 是我目前最喜欢的 openai 产品! 让我惊叹的是,随着它越来越了解我的工作流程和风格,它每天都明显变得更好。 让它去做那些我不喜欢做的事——那些通常会像重力井一样不断累积成恐惧的事——让我非常开心。
DevDay 真的很有意思,开发者的热情太疯狂了 看到人们一天之内做出整个创业公司,还是让我觉得不可思议
Ultrafast 是 如此之快 我再也不想回去了
创业公司天生擅长这一点;但要让一家更大的公司也保持这种能力却很难,我认为这是一个尚未被充分探索的领域。
我们希望 OpenAI API 在每个价位上都有最好的模型,并在每种模态(文本、代码、图像、视频等)上都做到最好。 然后我们希望你们所有人想出好点子、把它们做出来,并成为满意的用户。最好的点子会来自你们。
吴恩达称过去两周针对 AI 危险的炒作是一场有组织的公关 campaign,AI 技术并未出现意外的危险转折,他担心这会给领域带来挫折。他指出 AI 导致人类灭绝的风险相比几个月前并无上升,最大变化是网络安全能力,但也不至于终结世界。
Karpathy 指出,人们对 AI 能力的理解正出现越来越大的鸿沟。一部分人仍以去年 ChatGPT 免费版或已弃用的 Advanced Voice Mode 的表现来判断 AI,而今年 OpenAI Codex、Claude Code 等前沿智能体模型在编程、数学、研究等技术领域进步惊人,能连续运行 1 小时重构整个代码库或挖掘系统漏洞。