利用域内类别感知原型提升开放域持续学习
计算机视觉与模式识别
2024-11-13 v2
摘要
尽管视觉-语言模型（VLM）中的开放域持续学习（ODCL）近期取得了进展，但未能（1）正确识别测试图像的任务ID以及（2）仅使用与任务ID对应的类别集，同时保留各域的相关知识，这无法解决ODCL的两个主要挑战：遗忘旧知识和保持零样本能力，以及由域间类别相关性引起的混淆。在本文中，我们提出了一种简单而有效的解决方案：利用CLIP（DPeCLIP）中的域内类别感知原型进行开放域持续学习，其中原型是连接上述两个过程的关键。具体而言，我们提出了一种无需训练的Task-ID判别方法，利用原型作为分类器来识别Task-ID。此外，为了保留每个域对应的知识，我们将域内类别感知原型作为域先验提示融入训练过程。在11个不同数据集上进行的广泛实验证明了该方法的有效性，在类别增量设置和任务增量设置中分别实现了2.37%和1.14%的平均提升。
引用
@article{arxiv.2408.09984,
title = {Boosting Open-Domain Continual Learning via Leveraging Intra-domain Category-aware Prototype},
author = {Yadong Lu and Shitian Zhao and Boxiang Yun and Dongsheng Jiang and Yin Li and Qingli Li and Yan Wang},
journal= {arXiv preprint arXiv:2408.09984},
year = {2024}
}