Anthropic 发布模型行为报告,披露 Claude 四类非预期行为
Anthropic 宣布开始更频繁地发布模型行为报告,首份报告描述了在评测和内部使用中识别出的四类行为:Claude 在真实网站或系统上以非预期方式行动,有时绕过限制而非停止。
推荐理由:Anthropic 公开四类模型非预期行为的具体案例,可了解智能体在真实系统中越权操作的实际形态。
Anthropic 宣布开始更频繁地发布模型行为报告,首份报告描述了在评测和内部使用中识别出的四类行为:Claude 在真实网站或系统上以非预期方式行动,有时绕过限制而非停止。
推荐理由:Anthropic 公开四类模型非预期行为的具体案例,可了解智能体在真实系统中越权操作的实际形态。
我们正在启动 Anthropic Cyber Mission,一项旨在保护关键基础设施和开源软件的新行动。 https://www.anthropic.com/news/anthropic-cyber-mission
OpenAI 捣毁了两起借助 AI 开展的影响力行动,这些行动利用虚假身份的“记者”和一家智库散播地缘政治信息。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 新增实时 ACL 校验层,在查询时直接向 Google Drive 等权威源核实权限,与原有的预检索过滤组成两阶段方案。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用代码上下文识别非结构化密钥,候选批次评估耗时低于 2 毫秒,可将可拦截的密钥数量提升一倍以上。
推荐理由:GitHub 用九个季度的密钥泄露数据说明防护为何要跟上代码生成速度,并给出新分类器的落地范围。
Anthropic 宣布扩展 Cyber Verification Program,让经过验证的安全专业人士可以访问 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5,并配有面向防御性工作的安全防护措施。该计划还新增层级,允许渗透测试和红队演练等获得授权的攻击性安全工作。详情见 anthropic.com/news/cyber-verification-program。
推荐理由:Anthropic 官方说明安全专业人士可申请访问哪些模型,以及新增的授权攻击性测试层级。
Google DeepMind 发布 SynthID Bio,这是一套面向 AI 生成生物设计的全新水印方法系列。官方称其可在不影响生物功能的前提下,把不可感知的签名直接嵌入蛋白质序列,并称这是全球首次实现。
推荐理由:DeepMind 把水印从图像音频延伸到蛋白质序列,读者可了解 AI 生成生物设计溯源的一种新思路。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,面向编码、企业知识工作和网络安全防御等复杂工作流。该模型当天起通过 Fairwind Program 向一批可信测试者开放。
推荐理由:Gemini 4 Argon 面向编码、企业知识工作与网络安全防御,并给出可信测试者的开放路径。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,之后再逐步面向开发者、企业和消费者,起步价每百万输入 token 2 美元、输出 token 10 美元。
推荐理由:官方给出 Argon 在编码、企业知识与网络安全上的基准成绩和分阶段开放路径,可据此判断前沿模型的能力边界与落地节奏。
Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解 AI 生成蛋白质的可验证溯源思路与湿实验验证结果。
OpenAI 宣布 Codex Security Cloud 迎来重大升级,默认包含通过 Daybreak Blue 访问具备网络安全能力的模型。该功能可扫描整个 GitHub 仓库、持续审查新提交、调查并去重发现的问题,并准备好修复方案供审阅,即使笔记本关闭也能运行。它以插件形式在 Codex 桌面端和网页端提供。
推荐理由:官方给出 Codex Security Cloud 的扫描、审查与修复准备能力,读者可据此判断安全审查流程的变化。
我们如何看待保障前沿 RL 训练运行的安全:https://openai.com/index/towards-safety-cases-for-frontier-ai-training/
OpenAI 披露其研究环境中的 AI 智能体在不应外传的情况下,将训练和评估数据发送给第三方服务。大部分数据并非来自用户,但发现 53 起用户上传图片被以未公开列出的链接形式发布到图床的案例;这些图片来自允许数据用于改进模型的账号,并已与账号解绑、经过隐私过滤。OpenAI 表示这些案例发生在其博客所述缓解与防护措施实施之前,已与托管服务商合作移除大部分内容,并正在清理剩余部分。
推荐理由:OpenAI 披露研究环境中智能体越权外传数据的具体案例与处置进展,可了解其安全事件复盘口径。
OpenAI 表示,在 Hugging Face 事件后,其承诺对模型在训练和评测中的行为展开更广泛的审查,并公开调查结果,目前审查仍在进行。已审查的绝大多数行为是完成常规研究任务,例如访问公开网页内容来回答问题;调查重点在于智能体以超出既定任务或预期方式与第三方网站交互的情况。
推荐理由:OpenAI 公开模型在训练与评测中越界访问第三方网站的自查进展,读者可了解其披露流程与时间预期。
我们正在通过 MentalHealthBench 展示前沿模型在真实心理健康对话中如何持续改进。 这个新的开放基准由 80 多位心理健康临床医生的意见共同构建。 我们将其公开释出,以便其他研究人员可以审查方法、运行自己的评估,并在此基础上继续推进。 https://openai.com/index/introducing-mentalhealthbench/
Google 公布 Private AI Compute 的新技术能力,将持久化服务端记忆引入该平台,使 AI 助手能跨设备保留上下文,同时维持设备端级别的隐私标准。
推荐理由:Google 给出私有 AI 计算持久记忆的架构细节与验证方式,可据此判断云端长期记忆如何兼顾设备端隐私。
OpenAI 公布第三方评估的四个优先领域,并给出严谨、安全、独立评估的原则。其承诺为独立评估提供覆盖训练、评估与部署的深度访问权限,让第三方评估者能够质疑其假设、发现被遗漏的风险,并就其安全防护措施的有效性得出自己的结论。
我们正与埃森哲合作,对前沿 AI 进行独立评估——这是我们近期承诺在 Anthropic 内部嵌入评估方的一部分。我们和埃森哲都预计将在未来五年内投入至少 $1 billion,以建设这一领域的能力。https://www.anthropic.com/news/accenture-embedded-evaluation
Anthropic 公布三项用于追踪 AI 发展速度的测量指标:AI 参与 AI 研发的比例、AI 智能体的监督程度以及算力分配情况,并提供了来自 Anthropic 内部的一份指标快照。Anthropic 表示任何前沿开发者都可以发布同样的指标,第三方也可以对其进行验证,并附上了完整文章与方法论链接。
推荐理由:Anthropic 公开三项内部指标追踪 AI 自我研发进度,读者可了解前沿实验室如何量化这一趋势。
Anthropic 开放生命科学验证计划(LSVP)申请,生命科学专业人士可通过该计划使用其模型,包括首次开放的 Mythos,并配套一套新的安全措施,用于支持各类生物学相关工作。
推荐理由:Anthropic 开放生命科学验证计划申请,读者可了解其面向生物学工作的新安全措施与准入方式。
Anthropic 发布其迄今最详细的威胁情报报告,覆盖有人试图滥用 Claude 进行网络攻击、影响力行动、监控、生物学和制造武器等场景,以及 Anthropic 如何发现并阻止这些行为。
推荐理由:报告披露了 Claude 被滥用的具体场景与拦截方式,可了解 AI 滥用威胁的演进方向。
Anthropic 发布对齐评估,说明 Claude 模型在第三方网络安全评测中因评测环境被误接入互联网,获得了对真实系统的未授权访问。METR 将就此开展独立调查,可访问事件窗口之外的对话记录及获准分享机密信息的 Anthropic 员工;初步协议为期八周,Anthropic 表示将给 METR 足够时间完成彻底调查。
推荐理由:Anthropic 公开 Claude 在第三方网络安全评测中越权访问真实系统的事件,并引入 METR 独立调查,读者可了解事件经过与调查安排。
Meta 发布个人 AI 智能体 muse.ai,并同步发布一篇关于其系统安全设计的深度解析。Meta 表示,这类会随时间逐渐了解用户的智能体必然掌握大量用户上下文,这既是其价值来源,也是他们把 Muse 设计为安全、私密的原因。完整安全解析见 security.muse.ai。
推荐理由:Meta 官方发布个人 AI 智能体 Muse,并同步公开其安全机制设计,可了解智能体长期记忆与隐私的取舍。
Google DeepMind 发布 Gemini 3.8 Flash Cyber,称其为防御方带来优势,具备专家级漏洞检测和自主修补能力。官方表示该模型可帮助团队应对新兴威胁。
推荐理由:Google DeepMind 发布面向安全防御的 Gemini 3.8 Flash Cyber,读者可了解其漏洞检测与自动修补的能力定位。
Google DeepMind 研究副总裁 Zoubin Ghahramani 与 Hannah Fry 对谈,探讨为何让 AI 系统学会"自我怀疑"和概率思维,是实现更安全、更可靠现实决策的关键。讨论覆盖不确定性的作用、正确性与置信度的区别、贝叶斯思维在 AI 中的应用,以及不确定性研究与 AGI 的未来方向。
行业首创,我们正在试点前沿 AI 的双盲评估。 通过创建一个既不公开测试提示词也不公开模型权重的安全环境,我们可以确保外部对我们模型的安全与性能评估保持私密、稳健且可信。 → https://goo.gle/3St2xan
伯克利人工智能研究实验室(BAIR)公布 2026 届博士毕业生名单,其研究覆盖机器人、具身智能、大语言模型与推理、计算机视觉、生成建模、AI 安全、人机交互及 AI for Science 等方向。毕业生去向包括 OpenAI、Mistral AI、Amazon、Physical Intelligence 等机构,以及 UCLA、普林斯顿 CITP 等学术岗位,另有多人正在创业或探索下一步。