Mamba-FSCIL：基于选择性状态空间模型的few-shot类别增量学习中的动态适应
计算机视觉与模式识别
2025-06-30 v3
摘要
few-shot 类别增量学习（FSCIL）旨在从有限样本中逐步学习新类别，同时保留先前学习类别的知识。现有方法面临关键困境：静态架构依赖固定参数空间从顺序到达的数据学习，容易对当前 session 过拟合；而动态架构则需不断扩张参数空间，导致复杂度增加。本研究探索选择性状态空间模型（SSM）在 FSCIL 中的潜力。Mamba 利用输入依赖参数，在固定架构内动态调整处理模式并生成内容感知的扫描模式，从而为 base 类和 novel 类配置不同处理，有效保留已有知识同时适应新知识。为充分利用 Mamba 在 FSCIL 中的潜力，我们设计了两个关键模块：首先，提出双选择性 SSM 投影器，基于中间特征动态调整投影参数实现动态适应。双设计结构性地解耦了 base 和 novel 类处理，采用冻结的 base 分支保持稳健的 base 类特征，同时采用动态增量分支自适应学习 novel 类特征的独特变化。其次，我们开发了类别敏感的选择性扫描机制，以引导增量分支的动态适应。它最小化了在 novel 数据训练中对 base 类表征的干扰，同时迫使选择性扫描在 base 和 novel 类之间以不同模式运行。在 miniImageNet、CUB-200 和 CIFAR-100 上的大量实验表明，Mamba-FSCIL 取得了状态最佳的性能。代码已公开于 https://github.com/xiaojieli0903/Mamba-FSCIL。
引用
@article{arxiv.2407.06136,
title = {Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning},
author = {Xiaojie Li and Yibo Yang and Jianlong Wu and Yue Yu and Ming-Hsuan Yang and Liqiang Nie and Min Zhang},
journal= {arXiv preprint arXiv:2407.06136},
year = {2025}
}
备注
Code: https://github.com/xiaojieli0903/Mamba-FSCIL