忘却不再是问题：在记忆充足的 continual learning 世界中

continual learning (CL) 传统上关注最小化样本记忆，这一约束常不符合现代系统，其中 GPU 时间而非存储是主要瓶颈。本文挑战了这一范式，通过调查一个更现实的场景：即记忆足够以缓解遗忘，但从头重新训练仍然代价高昂。在这一实用的“中间地带”，我们发现核心挑战从稳定性转向塑性，因为模型对先前任务产生偏见，难以学习新任务。相反， improved 稳定性使得简单的数据重放基线在计算成本的六分之一左右就能超越领先方法。为解决这一新暴露的权衡，我们提出权空间整合 (Weight Space Consolidation)，一种轻量级方法，结合(1)基于排名的参数重置以恢复塑性与(2)权重平均以增强稳定性。在既有的类增量学习中使用图像分类器以及 continual 指令调优中使用大型语言模型上进行验证，我们的方法在强大基线之上超越，同时匹配数据重放的低计算成本，为需要昂贵全量重新训练提供了可扩展替代方案。这些发现挑战了长期存在的 CL 假设，为实际 CL 系统 establish 了新的低成本基准，其中样本记忆不再是限制因素。