谷歌公开睡眠框架持续学习研究

谷歌研究团队公开“睡眠框架”（Sleep Framework）持续学习研究，试图让大模型在使用中持续学习而不遗忘旧知识。该研究于10月27日由 Google Research 公开，论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。 框架把模型运行分为清醒与睡眠两个阶段，在睡眠阶段完成记忆巩固与自我改进：记忆巩固通过参数扩展、混合专家记忆块和知识蒸馏，把短期上下文写入长期参数；“做梦”环节则生成并筛选合成训练样本，借助强化学习练习推理。 上述机制为研究团队的方案描述，报道未给出其防止遗忘的实际效果数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。