Google Research：AI 辅助提升专利撰写效率，但初级律师的独立判断力未同步增长

判断力是资深专业人士与初级同行之间的区别所在。培养判断力需要在工作中学习数千小时，通常是通过与相对常规的工作进行枯燥但具有塑造性的接触，而且往往是在经验丰富的员工指导下进行。但AI已经在改变在职学习的方式。一方面，放射学、商业问题解决、求职者写作和法律教育领域的实证研究表明，当AI工具被 thoughtfully 嵌入培训工作流程时，经验较少的员工可以提高其独立表现。

另一方面，近期针对软件工程师、管理咨询顾问、高中生和临床医生的实验表明，虽然AI充当了提升即时产出的临时外骨骼，但一旦移除该工具，这些收益往往无法持续。要理解AI如何侵蚀或增强专业能力，需要三个很少同时具备的要素：（1）持续数月而非数小时将AI使用嵌入日常专业工作中，（2）在AI不可用时对无辅助判断力进行可信评估，以及（3）由领域专家进行盲评。

在美国国家经济研究局发表的《AI辅助是增强还是侵蚀专业能力？来自专利起草三个月现场实验的证据》一文中，我们描述了一项现场实验，用于捕捉在知识产权法这一高度专业密集型的职业中，使用AI所带来的短期生产力和长期技能培养两方面的变化。在我们的实验中，我们在11家与谷歌有定期、非排他性业务往来的知识产权律所的133名律师中，随机分配了一款当时尚未发布的Google Labs AI专利撰写助手工具（现已成为Gemini Notebook的一部分）的使用权限。每家律所三分之二的律师（“处理”组）获得了该工具的早期使用权限，而其余律师（“对照”组）接受了一些关于如何使用AI的培训，但在三个月研究期结束前被禁止使用该工具。

借助AI做出更好的工作

在为期10天的人工智能辅助之后，我们向所有参与的律师发送了一套关于一项假设发明的发明人材料，并要求他们起草一份专利。在90天后，我们用另一套模拟的发明人材料做了同样的测试。我们在这两个时间段都看到了起草任务上预期的AI性能提升。在第10天，使用AI工具使起草得分（由独立法律专家根据包含李克特量表的评分标准，对五个不同质量维度进行评分）提高了0.34个标准差，相当于在对照组得分中百分位排名上升了10个点；到第90天，这一提升增至0.38个标准差，意味着百分位排名上升了11个点。这些改进在所有质量维度上都表现出显著的一致性。值得注意的是，更好的表现源于低分频率降低和高分频率提高，而优秀分数的频率没有变化。形式上，被分配使用AI的律师的得分从底部移动到了中下和中等等五分位区间，但卓越分数的数量没有明显变化。这一模式在初级律师中尤为明显，他们的质量提升还伴随着显著的时间节省（例如，在10天任务中，比对照组平均124分钟的速度快了18分钟）。

但专利律师不仅仅是起草专利；他们还会相互审查彼此的工作，以发现可能导致专利在法庭上无法执行的关键错误（有时称为“专利亵渎”）——例如，过度主张发明的新颖性或范围。因此，我们在第90天增加了另一项任务，要求受试者对一份包含许多实质性及文体错误的现有假设专利进行红线标注（手动标记并修正）。这项测试任务反映了更资深律师日常使用的专业判断，而且他们通常无法奢侈地依赖AI。关键的是，虽然治疗组律师被鼓励在起草任务中使用未发布的AI工具或任何其他AI工具，但没有人被允许在红线标注任务中使用AI，这使得他们在这项任务上的得分成为衡量其技能发展程度的指标。对于所有任务，无论是起草还是红线标注，我们都与第三方专利专业人士合作，从五个质量维度对提交内容进行评分：（1）可执行性，（2）准确性，（3）策略性模糊（权利要求的战术性界定），（4）完整性，以及（5）清晰度。

当AI被移除时

当AI助手在90天红线标注任务中被移除时，水平化效应消失了。被给予AI工具访问权限的律师在这项无辅助任务上比对照组高出0.32个标准差（相当于百分位排名上升9个点），但这一效应完全由资深律师驱动，他们比对照组受试者高出0.45个标准差（上升13个点），而初级律师则没有表现出明显改善。相反，初级律师的得分出现了分化：极低分更多，平庸分更少，良好分更多，而优秀分没有增加。

这些结果对学习意味着什么？获得AI工具使用权限的资深律师，显然在过去三个月使用该工具的过程中，从自身专业判断方面收获了显著价值。但初级律师的情况则更为复杂。部分分数有所提升，暗示AI具备实现学习跨越的能力。另一些分数则分布到了分布的下层，表明在某些场景下AI能帮助初级律师交付合格的工作，但他们借助机器取得的高绩效，并未转化为更快习得那种让资深专业人士具有独特价值专长的能力。

考察定性编辑模式，可以为了解不同经验水平的专业人士如何使用生成式AI工具提供一些洞见。在实验组和对照组中，初级律师的提交都遵循僵化的形式主义：他们从上到下按顺序处理，常常在到达主要专利权利要求之前就把时间耗尽在低风险引言部分的文字编辑上。初级律师还专注于表面层面的同义词替换，而非商业范围的改进。即便初级律师发现了严重缺陷，他们也往往留下描述性评论来诊断缺陷，而不是执行修订来修复它。由于这种“只诊断不执行”的姿态在未获辅助的对照组初级律师中同样普遍，它代表了一种初级律师的基线缺陷，而三个月依赖AI执行改写并未弥补这一缺陷。

相比之下，资深律师则持续从AI接触中受益。接受处理的资深律师在修订上花费的时间比初级律师更长，他们跳过低风险的行文，从头重建权利要求，剔除可能无意中缩小法律权利或限制保护范围的语言，并将许多修改与明确的法律原则相配对。在后续访谈中，资深律师描述说，他们不把AI输出当作成品，而是当作“逻辑审计员”。它削弱了对现有行文的依恋，迫使他们阐明结构性修改的原因和方式，从而激活并磨砺了他们的基础专长。

进一步的方向

提升绩效与构建持久的专业判断是两个不同的目标。尤其对初级专业人士而言，二者可能相互紧张。基础专长可能是缺失的一环，使AI辅助的重复练习能够在职业生涯中转化为老练的专业判断。即便模型能力不断进步，这种判断很可能仍将重要：律师将继续在与法官、客户和同事的互动中运用自己的判断。他们无法在所有场合都依赖AI工具来协助自己。当下AI时代的一个关键挑战是，确保为今天产出更好工作而设计的工具，不会阻碍初级专业人士成为我们明天所需的专家。

研究专业人士在其工作环境中的表现对研究者而言是一项挑战。我们的实验仅包含有限的专利律师样本，这反映了该领域顶级专业人士高昂的小时计费费率。我们仅对他们进行了为期三个月的观察，与培养持久专业知识所需的数年时间相比，这一窗口十分短暂。此外，过去一年中模型能力和基线AI熟悉度的快速提升（以及AI赋能产品在法律领域的渗透）可能会影响我们当下重新进行试验的结果。这些局限性为后续研究带来了机会，其中一些我们希望在未来几个月内开展。尽管如此，我们工作中的一个明确结论是：要理解AI辅助对专业技能的影响，需要进行能够将使用工具的效果与无辅助用户表现的效果区分开来的测试。

致谢

衷心感谢共同作者Josh Martin、Zanna Iscenko、Scott Strand、David Pearl和Melissa Ferere；感谢James Manyika、Ruth Porat、Kent Walker、Josh Woodward、Anu Madgavkar、Daniel Rock和Fabien Curto Millet 的指导与支持；感谢Google Labs的Tom Shane、Mauricio Carneiro、Johnny Jacobs、Victor Lavrenko、Yinghao Sun、Samuel Yang、Daniel Nishi、Eric Wang、Kevin Li、Hao Zheng和Franz Och与我们合作开展实验；感谢Kiera Russell提供产品访问权限和可信测试者支持；感谢Steve Gong和Taylor Montgomery提供法律指导和招聘支持；感谢我们的传播、营销和研究博客合作伙伴，包括Kerry McHugh、Zoe Ortiz、Emily Short、Joseph Mack、Esmeralda Cardenas和Leanne Trujillo推动此次发布。