Google Research提出LLM持续学习睡眠框架

Google Research提出名为“sleep”的持续学习框架，让大语言模型在主动交互与离线记忆巩固之间交替，把短期上下文写入长期参数，以缓解持续学习中的遗忘。该框架结合MoE参数扩展、知识蒸馏和基于强化学习的模仿学习；在离线“睡眠”阶段，模型解锁预先分配的MoE记忆块，并用自生成练习样本更新权重，另设“做梦”阶段用自生成样本自我改进。 Google Research称，该框架完全在固定模型架构和人为设定的训练规则内运行；在多阶段评估中，面对满语、Kalamang等未见语言，性能下降接近零，并在最高1000万token的规模上表现出接近完美的扩展性。上述效果均为该团队自述。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。