AI 可解释性是否接近突破？一篇新文章让研究者意见分裂

机制可解释性试图做的不仅仅是观察 AI 模型输出了什么。它的目标是追踪模型在内部是如何得出答案的。理想情况下，数百万个人工神经元中的每一个都应代表一个可识别的概念。但在实践中，许多神经元似乎会对完全不相关的事物产生激活，研究人员称之为多义性。一个早期且著名的例子是图像模型 InceptionV1 中的一个神经元，它同时对猫脸和汽车前部产生响应。Cammarata 在自己早期的研究中就把它当作一个例子。

Drei Visualisierungen eines Neurons mit wiederkehrenden Katzengesichtern, Autofronten und Katzenbeinen. — 同一个 InceptionV1 神经元的三张合成可视化图，分别显示猫脸、汽车前部和猫腿。“Zoom In”将这种混合视为多义性的一个例子。Cammarata 现在将该神经元解读为一个 V 形检测器。｜图片：Olah 等人 / Distill，“Zoom In”（2020）

标准的解释是叠加。该理论认为，当网络神经元不够用时，它会把不相关的概念塞进同一个神经元，因为它们很少互相干扰。结果看起来就像一团乱结。这就是为什么许多实验室会训练第二个模型，比如稀疏自编码器，来把这些概念拆开。然后他们研究那个模型，而不是原始模型。

Cammarata 在塑造这一观点中发挥了重要作用。他与 Chris Olah 共同撰写了论文 “Zoom In”，其中首次提出了叠加回路。2023 年，他在 OpenAI 启动了一个自动化可解释性项目。当时，即使按最宽松的标准衡量，也只有大约 1.7% 的神经元可被视为可理解的。

证据可能被误读了

Cammarata 现在认为，那些最著名的例子被误解了。他说，猫-汽车神经元实际上是一个 V 形检测器。像狐狸口鼻或火焰这样的尖形会激活它，而像字母 O 这样的圆形则会把它的激活推向负值。所以它并不代表猫脸和汽车这两个完全不相关的概念，这意味着它并不是叠加的一个例子。

Gegenüberstellung spitzer und runder Formen in Tiergesichtern, Fahrzeugen und Alltagsgegenständen. — 尖形会激活该神经元，而圆形则会把它的激活推向负值。这就是为什么 Cammarata 现在把那个所谓的猫-汽车神经元解读为一个共享形状的检测器。

他还重新解释了“Zoom In”中的叠加回路，其中一辆汽车似乎隐藏在狗神经元之中。在他看来，这只是普通的泛化，该回路只是按照汽车和狗朝向摄像头的方向对它们进行分组。他把 InceptionV1 后层中的混乱归咎于过时的架构和薄弱的分析工具。

Vergleich zweier Neuronen mit drei Visualisierungsmethoden und zugehörigen Fotobeispielen. — 同样的两个神经元，用两种不同方式可视化。更好的分析方法使它们的响应模式和相关照片更容易看清。Cammarata 说，这就是为什么有必要重新审视那些关于神经网络有多难理解的旧发现。

Cammarata 用一种他称之为“递归泛化”的模式来解释剩余的模糊性。他说，一个神经元的生长就像一根长出侧枝的枝条。一个识别字母序列“iy”的神经元后来会对“diy”产生响应，最终又会对“do it yourself”产生响应，而后者根本不含“iy”。与叠加不同，这些分组可以让你对网络有所了解。

Verzweigungsdiagramm von „iy“ über „diy“ zu „do it yourself“, mit einem weiteren Ast zu „Miyazaki“. — 一张“递归泛化”的示意图。一个对应“iy”的神经元将其响应经由“diy”一直扩展到“do it yourself”，它们通过相关含义连接起来。

对于语言模型，他给出了初步数据。在 Qwen3-32B 中，约 90% 的神经元极点只有一个主要职责，约 7% 有两个相关职责。只有 2% 到 4% 仍无法解释。Goodfire 表示，在参数高达数万亿的模型中也能看到类似结果。批量分析神经元的 AI 智能体完成了大部分工作。Cammarata 借用了 Rich Sutton 的“苦涩的教训”，并得出结论：在可解释性领域，大规模简单调查同样胜过巧妙的分解方法。

Cammarata 并未引入一种全新的方法。他回到了该领域最初直接研究神经元的思路，只是借助了更好的工具、更大的模型和自动化智能体。

可读的网络将是 AI 安全的重大胜利

如果 Cammarata 是对的，那将是个好消息，尤其对 AI 安全而言。目前，除了监控越来越不可靠的思维链之外，几乎没有其他方法能判断模型是否在欺骗人类或做出危险行为。Cammarata 怀疑，如果没有可解释性，对齐——即引导 AI 朝向人类目标的工作——就无法解决，因为否则我们不知道自己在构建什么。他写道，欺骗没有理由向模型自身的电路隐藏。如果人类成为网络的又一个“读者”，他们也能看到欺骗行为，错误或许可以被有针对性地修复。

Roon 是 OpenAI 的一名员工，以该化名在 X 上发帖，在 AI 圈内颇具影响力，他对此兴奋不已。他说自己与 Cammarata 是密友，没有他，自己绝不会进入 OpenAI。这项工作“可能会作为科学史上的重大时刻被铭记”，Roon 写道。他还补充说，这个消息太好了，就连 Eliezer Yudkowsky——警告 AI 灾难最著名的声音之一——也不得不降低他对末日概率的估计。在 Roon 看来，对齐可能会成为一门“常规科学”。

就连 Roon 也有所保留。该领域的其他人仍需确认这些结果，而且他也怀疑可解释性的突破会推动 AI 能力向前发展。这些突破来自外部，对包括 OpenAI 在内的大型实验室来说并非好兆头。

Nanda 看到的是实用工具，而非突破

Neel Nanda 要谨慎得多。他被认为是机制可解释性的奠基人物之一，并领导 Google DeepMind 的可解释性团队。在此之前，他曾在 Anthropic 工作，也做过独立研究者。据他说，他的观点已经转变：自 2024 年中期以来，他对雄心勃勃的可解释性越发悲观，并倾向于务实的方法。他的团队降低了稀疏自编码器研究的优先级。他们并不认为这项技术无用，但似乎不值得该领域投入那么多精力。

Cammarata 的工作很有趣，但并未真正改变大局，Nanda 写道。基于神经元的分析可能有助于解决实际问题，比如模型为何做出可疑行为，而且它更容易应用于前沿模型。但他不认同可解释性即将被完全攻克的观点。他预计基于神经元的分析会有严重缺陷，也会遗漏很多内容。

Nanda 仍然认为叠加是真实存在的。他主张语言模型存储的事实远多于其神经元数量，尤其是弱激活很可能承载了其中大部分信息。他怀疑小型图像模型的研究结果能否推广。他还认为这篇文章对单义性的定义过于宽松，但也承认 Cammarata 用现代工具检验自己旧工作的做法值得肯定。

部分争议归结于定义：Cammarata 并不反对模型表示的概念多于其维度，而 Nanda 认为他在这一点上是认同的。Cammarata 质疑的是网络会任意将完全不相关的事物打包在一起。

技术配套论文尚未发布。作为一家可解释性公司，Goodfire 在这一论点中也有明显的利害关系。如果 Cammarata 的解读成立，他认为自动化研究者可以在几个月内完成人类用图像模型花费近十年才完成的工作。他写道，留给他们的时间可能不多了。