DSS-Prompt：基于动态-静态协同提示技术的少样本类别递增学习方法

近期来，利用具有强大泛化能力的大规模预训练模型，在广泛的下游任务中展现出显著的成功，但在具有挑战性的少样本类别递增学习（FSCIL）任务中仍属未充分探索的领域。该任务旨在在不忘记旧知识的前提下，从有限的训练样本中持续学习新概念。本文引入了一种简单而有效的方法——DSS-Prompt，通过对预训练视觉 Transformer 的提示方式进行最小化修改，将其转化为强大的 FSCIL 分类器。具体而言，我们在每个 Transformer 块中协同利用两种互补的提示类型：静态提示用于弥合预训练数据集与下游数据集之间的领域差异，从而实现更好的适应性；动态提示用于捕获实例感知的语义，从而实现从基类到新类的轻松迁移。特别地，为生成动态提示，我们利用预训练的多模态模型提取输入相关的多样化语义，从而生成互补的输入感知提示，并在不同层之间自适应调整其重要性。如此一来，基于提示后的视觉嵌入上，即可构建一个无需对递增任务进行进一步训练的简单原型分类器，超越当前最先进的方法。我们在四个基准数据集上进行大量实验，以验证 DSS-Prompt 的有效性，结果表明其在所有数据集上均 consistently 优于现有方法，并能有效缓解灾难性遗忘问题。