Microsoft 研究：AI 评测如何暴露传统 benchmark 之外的"意外失败"
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用，以及模型在超出传统 benchmark 测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时应仔细审视数据。
#评测/基准
Microsoft ResearchAI 评分2222
Andrej KarpathyAI 评分2525 Karpathy 分享 LLM 陆地海洋评测
很酷的评测。只需问 LLM“陆地还是海洋？”，给它一个经纬度坐标文本。问 16,200 次，绘制成图像。模型知道答案。来自对互联网的压缩。
Andrej Karpathy精选AI 评分8080 Karpathy 评 Claude Fable 5：与 Mythos 同底模，加装安全防护
Andrej Karpathy 称 Claude Fable 5 与 Mythos 是同一底层模型，只是增加了安全防护，在几乎所有基准上以一定幅度达到 SOTA。
推荐理由：Karpathy 以第一手使用体验判断该模型在长程难题上的跃升，并给出生产环境使用的提醒。