Google Research·· 2 小时前精选
Google Research 提出 sleep 框架，让 LLM 持续学习不遗忘
The sleep framework: A new way for LLMs to retain knowledge in continual learning
事实摘要
Google Research 提出名为 sleep 的持续学习框架，让 LLM 在主动交互与离线记忆巩固之间交替，把短期上下文写入长期参数。该框架结合 MoE 参数扩展、知识蒸馏与基于强化学习的模仿学习，并设置“做梦”阶段用自生成样本自我改进。
原文与核验
这条信号在站内保留事实摘要与战略研判。完整内容和上下文请以原文为准；融资、并购与技术效果以原始披露为准。
战略研判
基于公开信息为什么值得关注
该框架把持续学习拆成在线交互与离线巩固两阶段，用 MoE 参数扩展和知识蒸馏缓解灾难性遗忘，若方法可复现，则可能降低模型更新对全量重训的依赖。
后续关注
10M token 长上下文与 AIME 等结果是否在独立复现中成立；参数扩展带来的显存与推理成本增量是否披露。
正文 · 原文摘要
Education Innovation
来源只提供摘要，完整内容请打开原文。
来源：Google Research · research.google