以少求多：面向无回放类增量学习的加性提示微调
计算机视觉与模式识别
2025-08-13 v2
摘要
类增量学习 (CIL) 使模型能够渐进地学习新类别，同时保留对已学类别的知识。该领域的最新进展已转向参数高效微调技术，许多方法建立在维护一个可学习提示池的框架之上。尽管有效，这些方法引入了大量计算开销，主要源于提示池查询以及提示拼接导致的输入序列长度增加。在本工作中，我们提出了一种新颖的基于提示的方法来解决这一局限性。我们的方法在所有任务中训练一组共享提示，并且不是将提示拼接到输入上，而是通过将提示加到 CLS token 上来直接修改 CLS token 的注意力计算。这种简单且轻量化的设计不仅显著降低了计算复杂度（在推理成本和可训练参数数量方面），还消除了为不同下游任务优化提示长度的需要，为无回放类增量学习提供了更高效且强大的解决方案。在多种 CIL 基准上的广泛实验证明了我们方法的有效性，突出了其建立新的基于提示的 CIL 范式的潜力。此外，在 CIL 设置之外的通用识别基准上的实验也表现出强劲的性能，使我们的方法成为通用参数高效微调方法的有力候选者。
引用
@article{arxiv.2503.07979,
title = {Achieving More with Less: Additive Prompt Tuning for Rehearsal-Free Class-Incremental Learning},
author = {Haoran Chen and Ping Wang and Zihan Zhou and Xu Zhang and Zuxuan Wu and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2503.07979},
year = {2025}
}