面向持续学习的动态提示变换器
计算机视觉与模式识别
2025-06-10 v1
摘要
在持续学习中，解决灾�性遗忘问题可能导致模型陷入稳定性-塑性困境。此外，由于不同任务之间缺乏知识交流，还会发生任务间混淆。为解决上述问题，我们提出一种新型的动态提示变换器（DPFormer），配合提示方案。提示方案有助于DPFormer记忆先前类别和任务的已学习知识，并在单一网络结构下（参数数量几乎固定）继续学习来自新类别和任务的新知识。此外，它们还为解决任务间混淆问题提供不同程度的信息，以表示不同任务。基于提示方案，我们提出一种统一的分类模块，采用二元交叉熵损失、知识蒸馏损失和辅助损失进行端到端可训练训练。与当前SOTA方法相比，在持续学习中的不同类别递增设置下，我们的方法在 CIFAR-100、ImageNet100 和 ImageNet1K 数据集上取得最佳性能。源代码将在接受后发布至我们的 GitHub 仓库。
引用
@article{arxiv.2506.07414,
title = {DPFormer: Dynamic Prompt Transformer for Continual Learning},
author = {Sheng-Kai Huang and Jiun-Feng Chang and Chun-Rong Huang},
journal= {arXiv preprint arXiv:2506.07414},
year = {2025}
}