PECTP: 参数高效跨任务提示用于增量视觉变换器
计算机视觉与模式识别
2024-07-08 v1
摘要
增量学习(IL)旨在连续学习深度模型于顺序任务中，其中每个新任务包括一批新的类别且深度模型在推理时没有访问任务-ID信息。最近的大规模预训练模型(PTMs)通过提示技术在实际IL中取得了卓越的性能，无需旧样本(无排练)且受内存约束(内存受限)：提示扩展方法和提示固定方法。然而，提示扩展方法需要存储一个不断扩大的提示池，并面临额外棘手的提示选择问题。提示固定方法仅在一个增量任务上学习单一提示集合，无法有效处理所有增量任务。为在内存成本和所有任务性能之间取得良好平衡，我们提出了参数高效跨任务提示(PECTP)框架，包含提示保留模块(PRM)和分类器头保留模块(HRM)。为使最终学习的提示对所有增量任务都有效，PRM约束了跨任务提示参数从外层提示粒度和内层提示粒度的演化。此外，我们采用HRM继承先前学习的分类器头中的旧知识，以促进跨任务提示的泛化能力。大量实验表明我们方法的有效性。源代码将在 \url{https://github.com/RAIAN08/PECTP} 提供。
引用
@article{arxiv.2407.03813,
title = {PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer},
author = {Qian Feng and Hanbin Zhao and Chao Zhang and Jiahua Dong and Henghui Ding and Yu-Gang Jiang and Hui Qian},
journal= {arXiv preprint arXiv:2407.03813},
year = {2024}
}