Microsoft 研究：AI 评测如何暴露传统 benchmark 之外的"意外失败"
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用，以及模型在超出传统 benchmark 测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时应仔细审视数据。
#评测/基准
Microsoft ResearchAI 评分2222
GitHub Blog · AI & ML精选AI 评分5858 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布特征构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由：GitHub 公开了代码审查基准的构建方式与评测口径，读者可据此判断自家审查智能体的强弱与取舍。
Meta AI精选AI 评分6262 Meta 的 AIRA₃ 在 NVIDIA Kaggle 竞赛中获第 8 名摘金
Meta 表示，为检验其推进 AI 研究前沿的进展，6 月将下一代自主 AI 研究系统 AIRA₃ 投入 NVIDIA 在 Kaggle 举办的实时竞赛，任务是对一个 30B Nemotron 模型做微调，教模型更好地推理，所有参赛者信息相同并由外部在私有测试集上评分。
推荐理由：Meta 官方披露 AIRA₃ 在 Kaggle 微调竞赛中击败人类队伍，可观察自主研究系统在真实评测中的表现。
Meta AI精选AI 评分6868 Meta Superintelligence Labs 发布实时音频感知模型 Muse Voice Transcribe
Meta Superintelligence Labs 发布 Muse Voice Transcribe，这是其首个实时音频感知模型，支持实时流式 ASR、20 人以上说话人分离和端点检测。该模型支持多语言并无缝切换语种，可通过语言、关键词和上下文偏置提升准确率。Meta 称其在 Artificial Analysis 流式语音转文字评测和公开说话人分离基准上排名第一。
推荐理由：Meta 发布实时语音感知模型，给出流式 ASR、说话人分离与多语言能力，可对照现有语音方案。
Meta AIAI 评分4040 Meta 预览 WildArtifactBench 智能体评测框架
Meta 预览内部评测框架 WildArtifactBench，用于评估智能体在多样交付格式下的复杂真实任务。该框架采用人类与智能体偏好评判的胜率和 Elo 分数，而非严格的标准答案评分标准，从而扩展了实际多模态工作流的任务覆盖范围。Meta 已从该基准中开放 10 个任务，以衡量多模态智能体的实际效用。
Meta AI精选AI 评分5858 Meta 发布 Muse Spark 1.2，支持视觉转代码与机器人导航等多模态任务
Meta 发布 Muse Spark 1.2，支持从视觉生成可运行代码、将感知转化为物理动作，并具备音视频理解能力以应对企业级视频工作流。官方同时公布了新的评测与演示，展示该模型在视觉理解与推理上的覆盖范围，其中包括解析多模态观测并调用工具引导机器人在非结构化环境中寻找橡皮鸭。
推荐理由：Meta 官方给出 Muse Spark 1.2 的多模态评测与演示，可了解其在视觉理解与工具调用上的能力边界。
Meta AI精选AI 评分7878 Meta 让 AI 模型参加五场 STEM 奥赛，物理理论考试满分、IMO 摘金
Meta 让自家 AI 模型参加五场 STEM 奥赛，以检验推理能力是否取得实质进展。结果为亚洲物理奥赛（APhO）和国际物理奥赛（IPhO）理论考试满分，国际数学奥赛（IMO）金牌，国际化学奥赛（IChO）和罗马尼亚数学大师赛（RMM）达到金牌水平。为测试纯推理能力，比赛全程禁用一切工具，包括搜索、写代码和计算器。
推荐理由：Meta 公布模型在五场 STEM 奥赛中的成绩与禁用工具设定，可据此观察纯推理能力的评测方式。
Meta AI精选AI 评分6262 Meta AI 模型参加亚洲物理奥赛理论考试获满分 30/30
Meta AI 提交模型参加亚洲物理奥赛（APhO）理论考试，取得 30/30 满分，与排名前三的学生选手并列。Meta AI 表示此举是为展示其模型的先进推理与多模态能力，并感谢 APhO 委员会允许模型参赛。
推荐理由：Meta AI 让模型参加亚洲物理奥赛理论考试并拿到满分，读者可据此了解前沿模型在竞赛级推理上的表现。