PEARL：面向类增量学习的输入无关提示增强与负反馈调节
机器学习
2024-12-30 v2 计算机视觉与模式识别
摘要
类增量学习(CIL)旨在在不忘记先前学习内容的情况下持续引入新类别，从而适应数据分布的演变。当前研究者正致力于利用预训练模型(PTMs)在 CIL 任务中所承载的丰富语义信息。提示学习已被采用于 CIL，以其能够调整数据分布以更好地与预训练知识对齐的优势。本文从提示学习的角度批判性地审视了现有方法的局限性，这些方法高度依赖输入信息。为此，我们提出了一种新型 PTM-based CIL 方法，称为输入无关提示增强与负反馈调节(PEARL)。在 PEARL 中，我们实现了一个输入无关的全局提示，搭配自适应动量更新策略，以减少模型对数据分布的依赖，从而有效缓解灾难性遗忘。受负反馈调节的指引，这种自适应动量更新解决了固定权重动量更新固有的参数敏感性。此外，它通过利用 CIL 中不同任务之间的关联性，促进了针对新任务的提示持续增强。实验在六个基准数据集上表明，我们的方法实现了最先进的性能。代码已公开：https://github.com/qinyongchun/PEARL。
引用
@article{arxiv.2412.10900,
title = {PEARL: Input-Agnostic Prompt Enhancement with Negative Feedback Regulation for Class-Incremental Learning},
author = {Yongchun Qin and Pengfei Fang and Hui Xue},
journal= {arXiv preprint arXiv:2412.10900},
year = {2024}
}
备注
Accepted by AAAI-25