小样本类增量学习的一揽子技巧
计算机视觉与模式识别
2024-09-10 v2 机器学习
摘要
我们为小样本类增量学习（FSCIL）提出了一个一揽子技巧框架，这是一种具有挑战性的持续学习形式，涉及在样本有限的情况下持续适应新任务。FSCIL要求兼具稳定性和适应性，即在保持先前学习任务熟练度的同时学习新任务。我们提出的一揽子技巧汇集了六种关键且极具影响力的技术，在一个统一的FSCIL框架下提升了稳定性、适应性和整体性能。我们将这些技巧分为三类：稳定性技巧、适应性技巧和训练技巧。稳定性技巧旨在通过增强已学习类别的嵌入之间的分离度，并最小化学习新类别时的干扰，来减轻对先前学习类别的遗忘。另一方面，适应性技巧侧重于新类别的有效学习。最后，训练技巧在不牺牲稳定性或适应性的前提下提升整体性能。我们在三个基准数据集CIFAR-100、CUB-200和miniIMageNet上进行了大量实验，以评估我们所提出框架的影响。我们的详细分析表明，我们的方法显著提升了稳定性和适应性，通过超越该领域的先前工作，建立了新的最优水平。我们相信，我们的方法为该领域的未来研究提供了一个首选解决方案，并建立了一个稳健的基线。
引用
@article{arxiv.2403.14392,
title = {A Bag of Tricks for Few-Shot Class-Incremental Learning},
author = {Shuvendu Roy and Chunjong Park and Aldi Fahrezi and Ali Etemad},
journal= {arXiv preprint arXiv:2403.14392},
year = {2024}
}
备注
Accepted in Transactions on Machine Learning Research (TMLR)