Mamba-CL：针对持续学习在空位中优化选择性状态空间模型
计算机视觉与模式识别
2025-07-11 v2
摘要
持续学习（CL）旨在使 AI 模型能够在时间内依次学习任务，而不会遗忘先前学习的知识。最近，状态空间模型（SSM），特别是 Mamba 模型，在计算机视觉中取得了显著的成功。基于 SSM 的优势，本研究探索了利用 Mamba 模型进行 CL 的方法。因此，我们引入了 Mamba-CL，一个不断通过更新 Mamba 大型基座模型的核心 SSM 参数来实现持续学习的框架，这些参数是正交于先前任务特征子空间的。这种方法从理论上保证了一致性目标，即在先前和当前任务之间保持每个 SSM 模块的一致输出，从而克服遗忘问题。具体而言，我们通过对 Mamba 模型中四个关键时不变参数推导整体一致性约束，简化了其循环状态空间结构和非线性离散化过程。实际中，我们将空位投影应用于 Mamba 模型中实现正交性。广泛的实验在四个类递增基准上表明，Mamba-CL 在抗遗忘方面有效，优于最先进的方法。代码已包含在补充材料中。
引用
@article{arxiv.2411.15469,
title = {Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning},
author = {De Cheng and Yue Lu and Lingfeng He and Shizhou Zhang and Xi Yang and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2411.15469},
year = {2025}
}