面向预训练模型的循环提示聚合（CAPrompt）用于类别增量学习
计算机视觉与模式识别
2024-12-17 v2
摘要
最近，针对类别增量学习（CIL）的预训练模型提示调谐方法显示出良好的性能。这些方法通常涉及学习任务特定的提示，并预测任务ID以选择推理时的适当提示。然而，不准确的任务ID预测会导致训练和推理期间使用的提示之间出现严重的不一致，从而引起知识遗忘和性能下降。此外，现有的提示调谋方法仅依赖预训练模型预测任务ID，未充分利用所学提示参数中嵌入的知识，导致预测性能不佳。为解决这些问题，我们提出一种新的循环提示聚合（CAPrompt）方法，通过循环聚合不同提示的知识来消除对任务ID预测的依赖。具体而言，与预测任务ID不同，我们在训练和推理期间引入一种创新的提示聚合策略，通过利用不同提示的加权求和来克服提示不一致。 thorough 的理论分析表明，在凹条件下，聚合提示的误差低于选择单个任务特定提示。因此，我们引入凹约束和线性约束来指导提示学习，确保满足凹条件要求。此外，为了充分利用提示并实现更准确的提示权重，我们开发了一种循环权重预测策略。该策略从各任务的相等权重开始，循环方式自动调整为更合适的值。在various 数据集上的实验表明，我们提出的CAPrompt比最先进的方法性能高出2%-3%。我们的代码已公开于https://github.com/zhoujiahuan1991/AAAI2025-CAPrompt。
引用
@article{arxiv.2412.08929,
title = {CAPrompt: Cyclic Prompt Aggregation for Pre-Trained Model Based Class Incremental Learning},
author = {Qiwei Li and Jiahuan Zhou},
journal= {arXiv preprint arXiv:2412.08929},
year = {2024}
}
备注
in Proceedings of the 39th AAAI Conference on Artificial Intelligence (AAAI-25)