Anthropic 研究：专家会采纳 AI 智能体的随机观点并当成自己的判断

Anthropic 开展的一项有 50 名专家参与的实验发现，在没有明确正确答案的问题上，人们往往会采纳 AI 代理随机分配的偏好，而且大多数人认为最终结果是自己做出的。

把数据分析交给 AI 代理可以节省时间和人工，但这也引出了一个问题：究竟是谁在做出那些塑造最终建议的决策。Anthropic 的一项研究表明，大部分决策由代理做出，而专家们往往并未察觉。

在该实验中，50 名因果推断领域的专家完成了一项贴近现实的分析任务：他们查看一家虚构农业合作社的观测数据，并估算一项自愿性农场咨询项目带来的生产力提升。随后，他们需要建议该合作社是将该项目推广到所有农场，还是终止该项目，不过参与者或代理也可以提议将其延长一年。

参与者不知道的是，在每个决策点上，抛硬币决定了代理在两个有效选项中的偏好。代理不能撒谎或隐瞒数据；它只需为自己被分配的一方提出最有力的诚实论据。

专家在高达 86% 的情况下采纳了 AI 的观点

在四个分析性决策（例如如何衡量生产力或采用哪种统计方法）中，参与者在 86% 的情况下采纳了代理的偏好。这远高于人们随机选择时预期的 50%。作者将代理的净影响力称为“翻转率”，根据任务不同，该比率在 62% 到 82% 之间。

事先已有观点几乎起不到保护作用。当参与者在代理表明偏好之前做出选择时，与代理意见一致相比，相反的观点使他们改变立场的可能性高出 53 个百分点。

作者测试了可能的保护因素，包括多年的分析经验、自评专业水平、教育程度、测试分数以及对 AI 的信任。在多重检验校正后，这些因素均与结果没有统计学上的可靠关联。在校正之前，年龄显得突出，不过 50 人的样本使该研究难以检测此类效应。

大多数专家认为最终决定是自己做出的

代理被分配的偏好对提交给合作社董事会的最终政策建议只有很小的直接影响，略微改变了投票，但未达到统计显著性。当代理的建议与他们计算出的生产力估计不符时，一些专家甚至否决了代理。

这听起来可能令人安心，仿佛 AI 提出建议、人类做出决策。但研究人员表示，最终结果并不能表明参与者保持了控制权。此前的四个分析性决策对估算的生产力提升有重大影响，而这反过来又塑造了董事会建议。

事后被问及时，52%的参与者表示该建议感觉更像是自己的而非智能体的，另有35%表示它大部分或完全是自己的。参与者在85%的决策中正确回忆了自己的选择，然而77%（即48人中的37人）在解释中至少使用了一个智能体的论点，有时措辞几乎相同。只有15%的人提到了AI。

对话日志显示，智能体在77%的决策中首先表明立场。论文称，随后它通常只为自己偏好的一方辩护，没有解释资深专家为何可能选择另一种方案，尽管它确实说明了不同选择会如何影响结果。

参与者在有AI时工作速度也快得多，错误更少。在没有智能体的情况下，55%的分析（即11项中的6项）存在严重的方法论或编码缺陷，中位时间为90分钟。使用AI时，仅有6%（即50项分析中的3项）存在严重缺陷，参与者在65分钟内完成。未使用AI的小组是自己选择不使用该工具，且专业水平略低，因此研究人员无法确定这一差距中有多少直接来自AI。

虚假共识与更弱的安全检查

研究人员表示，这种无声的顺从可能在科学领域产生广泛影响。如果许多研究团队使用具有固定默认偏好的同一模型，他们最终可能制造出虚假共识。

这一风险也延伸到AI安全本身。研究人员已经在使用AI智能体测试前沿模型的安全性和对齐性，期望人类审查能作为独立检查。但如果专家在开放式判断上不知不觉地采纳了智能体的偏见，一个未对齐的系统最终可能操控那些本应用来揭露其未对齐的研究。

该团队呼吁找到在真实工作中衡量对AI智能体顺从程度的方法。智能体应当为双方提出最佳论据，或在表明立场前先询问专家自己的看法。机构需要决定哪些判断需要独立的人类判断，并为此留出时间和资源。

研究人员写道：“人与AI之间可能不存在唯一正确的分工。有些决策或许可以交出去，另一些则值得保留。有了合适的工具，这种划分可以成为我们主动选择的结果，而不是我们不知不觉滑入的状态。”

此前研究指向同一方向

这些发现为近期关于AI如何影响人类判断的研究增添了新证据。一项有3,132名参与者参与的关于虚假自信的研究发现，仅仅看到AI答案就几乎消除了人们保留判断的意愿。在研究的一个部分中，愿意说“我不知道”的人比例从44%降至3%。

呈现方式也很重要。当AI产出精良的输出（如代码或文档）时，用户核查事实的频率降低了3.7个百分点，质疑其推理的频率降低了3.1个百分点，遗漏缺失上下文的频率增加了5.2个百分点。逐步修改输出的用户质疑AI推理的频率是从不迭代者的5.6倍。

一项发表在《柳叶刀胃肠病学与肝病学》上的波兰结肠镜检查观察性研究表明，在工作中常规使用 AI 可能会产生持久影响。在经验丰富的医生定期使用 AI 系统后，他们在没有 AI 辅助的检查中发现癌前病变的比率从 28.4% 降至 22.4%。这表明人们不仅会采纳 AI 的视角，还可能失去自身的一些认知技能。

一项瑞士商学院开展的调查发现，AI 工具的使用与批判性思维之间存在强烈的负相关，主要体现在 17 至 25 岁人群中。良好的教育似乎提供了一定保护，因为学历较高的人更会质疑 AI 的答案，也更常进行复杂的思考过程。

这些发现来自早期研究和阶段性观察，而其他结果则指向不同方向。尼日利亚的一个试点项目发现，每周两次使用聊天机器人作为虚拟导师的学生，仅在六周内取得的学习进步就相当于近两年的额外学习。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。