Microsoft 研究:AI 评测如何暴露传统 benchmark 之外的"意外失败"
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
哈佛物理学家 Matthew Schwartz 在 Anthropic Science Blog 客座文章中提出,LLM 虽能力广泛,但像对待人类合作者那样使用它们并非激发其科学优势的最佳方式。为此他构建了一套用于定量科学精确计算的工具包,Claude 借此发现了生态学、群体遗传学等十几个领域的关联,Schwartz 再与领域专家合作引导其聚焦有趣问题。
GitHub Podcast 最新一期拆解了五个 AI 热门论断:AI 生成的代码仍需阅读和负责,但审查力度应按风险分级;Skills 与 MCP 解决不同问题,前者是打包的团队经验,后者是智能体连接工具与数据的标准接口,二者可组合使用;RAG 并未消亡,它让模型基于训练数据外的文档、内部知识和代码库上下文作答,与 Agent、Skills、MCP 可共存于同一工作流。
Google DeepMind 研究副总裁 Zoubin Ghahramani 与 Hannah Fry 对谈,探讨为何让 AI 系统学会"自我怀疑"和概率思维,是实现更安全、更可靠现实决策的关键。讨论覆盖不确定性的作用、正确性与置信度的区别、贝叶斯思维在 AI 中的应用,以及不确定性研究与 AGI 的未来方向。
UC Berkeley 团队提出,随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1、部分低于 $0.10,数据系统面临三大新挑战:为智能体服务、管理智能体集群、由智能体合成。在 text-to-SQL 基准上,多智能体尝试中仅 10-20% 子计划不同,80-90% 子查询重复,可通过多查询优化与近似查询处理复用结果。