Google Research 提出 sleep 框架：让 LLM 在持续学习中稳定保留知识

Google Research 提出面向持续学习的 sleep 框架，让 LLM 在“唤醒”交互与“睡眠”离线巩固之间循环，把短期上下文记忆写入长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习，可让模型持续习得新事实、保留最长 10M tokens 的上下文知识并提升复杂推理。睡眠阶段还通过随机专家选择与 RL 精修自生成样本来实现自我改进。