多层次协同蒸馏遇见全局工作空间模型：面向在线类增量学习的统一框架

在线类增量学习（OCIL）使模型能够从非独立同分布的数据流中持续学习。由于数据流中的样本只能被看到一次，与离线学习相比，它更适用于现实世界场景。然而，这一约束加剧了OCIL在维持稳定性与可塑性之间适当平衡的挑战。此外，在现实世界中更严格的内存缓冲区约束下，当前基于回放的方法效果较差。虽然集成方法提高了可塑性，但它们往往难以保持稳定性。受全局工作空间理论（GWT）启发，我们提出了一种新方法，通过全局工作空间模型（GWM）——一种共享的隐式记忆，指导多个学生模型的学习——来增强集成学习。GWM通过在每个训练批次内融合所有学生的参数而形成，捕捉历史学习轨迹，并作为知识巩固的动态锚点。类似于GWT的广播机制，GWM会定期重新分发给学生，从而稳定学习并促进跨任务一致性。此外，我们引入了一种多层次协同蒸馏机制。它强制学生之间保持点对点一致性，并通过将每个学生与GWM对齐来保留历史知识。因此，学生模型在保持先前所学知识的同时，仍能适应新任务，从而在稳定性与可塑性之间取得更好的平衡。在三个标准OCIL基准上的大量实验表明，我们的方法在不同的内存预算下，为多个OCIL模型带来了显著的性能提升。代码可在https://github.com/susususushi/GWM获取。