面向少样本类增量学习的三段式权重空间集成
机器学习
2025-06-23 v1 计算机视觉与模式识别
摘要
少样本类增量学习（FSCIL）使模型仅用少量训练示例便能持续学习新概念。在 FSCIL 中，模型经历显著更新，容易忘记先前概念并对有限的新示例过拟合。最近的趋势通常是将表示学习与模型的分类头分离。学习在大量示例和大量类别的基类上获得良好泛化的特征提取器，并在增量学习期间固定。我们认为固定特征提取器限制了模型对新类别的适应性。因此，我们提出一种新方法有效解决遗忘和过拟合问题。我们的方法能够仅用少量示例便无缝更新整个模型。我们主要提出了三段式权重空间集成（Tri-WE）。Tri-WE 在权重空间中插值基模型、前一模型和当前模型，特别是针对模型的分类头。随后，它协同维护来自基模型和前一模型的知识。此外，我们认识到从稀缺数据蒸馏通用表示的挑战。因此，我们建议使用放大数据知识蒸馈的正则化损失项。仅简单混合少样本数据即可产生更丰富的数据，使蒸馏关键知识从前一模型。最终，我们在 miniImageNet、CUB200 和 CIFAR100 数据集上实现了最先进的成绩。
引用
@article{arxiv.2506.15720,
title = {Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning},
author = {Juntae Lee and Munawar Hayat and Sungrack Yun},
journal= {arXiv preprint arXiv:2506.15720},
year = {2025}
}
备注
Accepted at CVPR 2025