面向类别增量学习的增量原型微调
计算机视觉与模式识别
2023-02-10 v7
摘要
类别增量学习（CIL）已引起广泛关注，但现有大多数相关工作侧重于微调整个表征模型，这不可避免地导致严重的灾难性遗忘。相比之下，借助语义丰富的预训练表征模型，参数附加微调（PAT）仅改变极少数参数来学习新的视觉概念。最近的研究证明，基于PAT的CIL可以自然地避免像大多数现有方法那样通过重放或蒸馏来对抗遗忘。然而，我们发现基于PAT的CIL仍然面临严重的语义漂移，这是一种由不同学习阶段分类器学习偏差引起的高层次遗忘问题，它显著降低了基于PAT的CIL的性能。为了解决这个问题，我们提出了增量原型微调（IPT），这是一种简单但有效的方法，它通过微调类别原型进行分类，并学习示例原型来补偿语义漂移。大量实验表明，我们的方法可以有效补偿语义漂移。结合预训练良好的ViT骨干网络和其他PAT方法，IPT在主流增量学习基准上超越了最先进的基线。
引用
@article{arxiv.2204.03410,
title = {Incremental Prototype Tuning for Class Incremental Learning},
author = {Jieren Deng and Jianhua Hu and Haojian Zhang and Yunkuan Wang},
journal= {arXiv preprint arXiv:2204.03410},
year = {2023}
}