基于特征转换调谐的持续类增量学习
计算机视觉与模式识别
2024-05-21 v1
摘要
持续学习(CL)旨在将深度模型从静态封闭环境拓展到动态复杂场景，使系统能够在不忘记先前学习知识的同时持续获取新类别的新知识。近期CL模型逐渐转向利用预训练模型(PTMs)配合参数高效微调(PEFT)策略。然而，由于缺乏以前任务的数据，持续微调仍面临严重的灾难性遗忘问题。此外，微调后冻结机制因特征通道被抑制且第一个CL任务的训练数据不足而受限于性能。为此，本文提出特征转换调谐(FeTT)模型，通过非参数方式对所有任务的骨干特征进行微调，不仅独立于CL训练数据，还能平滑特征通道以防止过度抑制。随后，融合不同PTMs与FeTT模型的扩展集成策略可进一步提升性能。我们从类别边际分布和特征通道的差异性角度，深入讨论了微调后冻结范式与FeTT模型。大量实验在CL基准数据集上验证了我们方法的有效性。
引用
@article{arxiv.2405.11822,
title = {FeTT: Continual Class Incremental Learning via Feature Transformation Tuning},
author = {Sunyuan Qiang and Xuxin Lin and Yanyan Liang and Jun Wan and Du Zhang},
journal= {arXiv preprint arXiv:2405.11822},
year = {2024}
}