AdaptArena 评测 Web Agent 个性化失效链路
热点事件持续更新
AdaptArena 评测 Web Agent 个性化失效链路
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Mila、麦吉尔大学与 ServiceNow 的研究团队提出评测基准 AdaptArena，用于检验 Web Agent 能否从用户历史交互轨迹中恢复偏好。结果显示，依靠历史轨迹个性化时最高任务成功率仅 15.62%，而直接提供目标偏好可达 82.92%。 失效分布在三层：轨迹检索召回率 71.88%，行为对齐率仅 22.50%—29.79%，行为对齐后任务成功率仍只有 32.12%—51.72%。 AdaptArena 基于 WebArena，在电商商城、Reddit 论坛和 OpenStreetMap 三个沙箱环境中构建任务，定义 10 种用户角色和 12 类偏好，生成 120 条历史轨迹和 480 个部署任务（单、双偏好各 240 个）。实验运行于本地沙箱，未涉及真实公网的登录、动态加载和反自动化机制；行为对齐依赖 LLM 裁判，虽经人类一致性验证仍存在测量误差。
AI 根据报道生成 · 54 分钟前更新
最新进展10月14日 18:48
AdaptArena 揭示个性化 Web Agent 的失效链路：最高成功率仅 15.62%报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- 博客园AdaptArena 揭示个性化 Web Agent 的失效链路：最高成功率仅 15.62%
Mila、麦吉尔大学与 ServiceNow 提出 AdaptArena，评估 Web Agent 从用户历史交互轨迹中恢复偏好的能力。依靠历史轨迹个性化时最高任务成功率仅 15.62%，而直接提供目标偏好可达 82.92%。失效分布在轨迹检索、行为对齐、任务执行三层：检索召回率 71.88%，行为对齐率仅 22.50%—29.79%，行为对齐后任务成功率仍只有 32.12%—51.72%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。