CASP：基于 CLS Token 注意力引导提示的少样本类别递增学习
计算机视觉与模式识别
2026-01-26 v1
摘要
少样本类别递增学习 (FSCIL) 是持续学习中的核心挑战，需要模型在极端有限样本的情况下快速适应新类别，同时缓解灾难性遗忘。最近的基于提示的方法通过将预训练主干网络与任务特定提示集成取得了显著进展。然而，在极端少样本递增设置下，模型的迁移与泛化能力至关重要，因此必须利用预训练知识来学习可在未来类别间共享的特征表示。灵感来自 CLS token 的作用机制——其类似于人类注意力，逐步过滤出与任务无关的信息——我们提出 CLS Token 注意力引导提示 (CASP)。该方法将可训练偏置参数引入 CLS token 的查询、键和值投影中，以显式调制自注意力权重。为进一步提升泛化能力，我们还设计了注意力扰动策略，在浅层特征空间中进行 Manifold Token Mixup，合成潜在的新类特征以提高泛化性并为后续任务保留表示容量。在 CUB200、CIFAR100 和 ImageNet-R 数据集上的实验表明，CASP 在标准和细粒度 FSCIL 设置下均优于最先进方法，且在递增阶段无需微调，显著降低了参数开销。
引用
@article{arxiv.2601.16773,
title = {CASP: Few-Shot Class-Incremental Learning with CLS Token Attention Steering Prompts},
author = {Shuai Huang and Xuhan Lin and Yuwu Lu},
journal= {arXiv preprint arXiv:2601.16773},
year = {2026}
}