OVOR：用于无排练类增量学习的带虚拟异常值正则化的 OnePrompt
机器学习
2025-07-11 v2 计算机视觉与模式识别
摘要
近期的工作表明，通过使用大型预训练模型和可学习的提示，类增量学习（CIL）设置下的无排练方法可以实现优于著名的基于排练方法的性能。无排练 CIL 方法在区分来自不同任务的类别时存在困难，因为这些类别不是一起训练的。在这项工作中，我们提出了一种基于虚拟异常值的正则化方法来收紧分类器的决策边界，从而减轻不同任务之间类别的混淆。近期的基于提示的方法通常需要一组特定于任务的提示池，以防止新任务覆盖先前任务的知识，这导致从池中查询和组合适当提示时产生额外计算。正如我们在本文中所揭示的，在不牺牲准确性的情况下，可以消除这种额外成本。我们说明了一种简化的基于提示的方法，使用少得多的可学习参数和更低的推理成本，可以获得与配备了提示池的先前最先进（SOTA）方法相当的结果。我们的正则化方法已证明其与不同的基于提示的方法兼容，提升了那些先前 SOTA 无排练 CIL 方法在 ImageNet-R 和 CIFAR-100 基准上的准确度。我们的源代码可在 https://github.com/jpmorganchase/ovor 获取。
引用
@article{arxiv.2402.04129,
title = {OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning},
author = {Wei-Cheng Huang and Chun-Fu Chen and Hsiang Hsu},
journal= {arXiv preprint arXiv:2402.04129},
year = {2025}
}
备注
Accepted by ICLR 2024