无样本持续学习的状态空间模型
机器学习
2026-05-14 v3
摘要
状态空间模型 (SSM) 通过结构化递归捕获长程依赖，使其适用于序列建模。然而，其演化的内部状态在持续学习 (CL) 中构成挑战。这在无样本设置中尤为困难，因为缺乏先前数据，状态更新将无约束，导致灾难性遗忘。为此，我们提出 Inf-SSM，一种新的简单几何感知正则化方法，利用无限维 Grassmann manifold 的几何来约束 CL 期间的状态演化。与经典持续学习方法约束权重更新不同，Inf-SSM 正则化 SSM 的无限视角演化，这在其扩展可观测子空间中编码。我们表明，这种正则化需要求解称为 Sylvester 方程的矩阵方程，通常具有 的复杂度。我们利用 SSM 的结构和性质开发了 的解决方案。这导致可无缝集成到现有 CL 方法中的高效正则化机制。全面实验在包括 ImageNet-R 和 Caltech-256 在内的具有挑战性的基准测试上，显著减少了遗忘，同时在顺序任务上提高了准确率。
引用
@article{arxiv.2505.18604,
title = {Exemplar-Free Continual Learning for State Space Models},
author = {Isaac Ning Lee and Leila Mahmoodi and Trung Le and Mehrtash Harandi},
journal= {arXiv preprint arXiv:2505.18604},
year = {2026}
}
备注
Accepted at CVPR 2026