大模型有一个长期困扰行业的问题：学新知识容易，保住旧能力很难。要么新信息只停留在当前对话里，聊完就忘；要么继续训练，结果旧技能被新知识冲掉。谷歌研究院提出的“睡眠框架”（Sleep Framework），试图用一种更接近人类大脑的方式来解决这个矛盾。

在 10 月 27 日公开的研究中，谷歌发布了一篇名为 Language Models Need Sleep 的论文。核心观点很直白：语言模型也许也需要类似“睡眠”的机制，用于整理、沉淀和巩固已经学到的内容。

清醒时接收信息，睡眠时巩固记忆

这套框架把模型的工作状态拆成两个阶段。

在“清醒阶段”，模型像平常一样处理输入、回应任务，并把新接触到的信息暂时放入短期记忆。进入“睡眠阶段”后，模型不再继续接收外部任务，而是把精力转向内部整理：把短期记忆中有价值的内容转化为更稳定的长期知识。

为了避免“学了新的，忘了旧的”，研究团队引入了多种机制，包括参数扩展、混合专家记忆块以及知识蒸馏。这些方法的目标，是让模型能够把新的上下文经验写入长期参数中，同时尽量不覆盖已经掌握的能力。

换句话说，谷歌不是让模型一边工作一边硬塞知识，而是给它留出一段“离线整理时间”。

模型还会“做梦”？

更有意思的是，框架中还设计了一个类似“做梦”的环节。

在睡眠状态下，模型会自行生成合成训练样本，并对这些样本进行筛选。随后，它通过强化学习反复练习，以此提升推理能力和泛化表现。这个过程有点像人类在睡梦中整理白天经验，大脑并没有真正休息，而是在重新组织记忆。

相比传统的持续微调方式，这种“睡眠式学习”的优势在于降低灾难性遗忘的风险。过去，模型一旦不断吸收新数据，很容易出现旧任务表现明显下滑的问题。而谷歌的思路是，让模型在吸收新知的同时，保留原有能力。

实验结果：长记忆、翻译和数学能力都提升

从论文给出的实验结果来看，这套框架并非只是概念。

在持续翻译、长上下文理解、事实吸收和数学推理等任务上，睡眠框架的表现超过了多数基线方法。它还能够处理最长约 1000 万 token 的上下文，并在面对未见过的语言和多阶段持续学习时，保持几乎不下降的性能。

在数学基准方面，该框架也在 AIME 24/25 等测试中取得了更高的准确率。这说明“睡眠机制”并不是单纯为了记住更多信息，还可能帮助模型提升复杂推理能力。

真正的意义：告别“知识截止日”

如果这套方法未来能够实际落地，大模型产品长期存在的“知识截止日”问题可能会被重新定义。

现在的模型往往在发布时能力就已经固定。用户问最新事件，模型可能不知道；想更新知识，又要重新训练或微调。而睡眠框架提供的是一种更自然的持续学习路径：模型可以在使用过程中不断吸收新信息，同时不丢掉旧能力。

对于医疗、金融、法律等高度依赖最新知识和长期稳定性的领域，这种机制尤其有价值。相比每隔一段时间就进行大规模重训，让模型定期“睡觉整理”，可能是更经济、也更安全的选择。

当然，这项研究距离大规模工程落地还有距离。但它提出了一个很有吸引力的方向：未来的 AI 也许不需要一直“在线硬扛”，而是通过类似睡眠的机制，学会真正消化和记住新知识。