一致性引导的异步对比微调：面向基础模型的小样本类增量微调
计算机视觉与模式识别
2025-04-03 v2
摘要
我们提出了一致性引导的异步对比微调（CoACT），一种用于持续微调基础模型以在少样本设置下学习新类别的新方法。CoACT包含三个关键组件：（i）异步对比微调，通过在预训练编码器中引入LoRA模块来学习新类别，同时强制两个异步编码器之间的一致性；（ii）受控微调，促进基础模型子集的有效微调；以及（iii）一致性引导的增量微调，在后续会话中施加额外的正则化以减少对已学习类别的遗忘。我们在小样本类增量学习（FSCIL）以及一个新的、更具挑战性的设置——小样本类增量微调（FSCIT）上评估了我们提出的解决方案。FSCIT促进了视觉基础模型的持续微调，以仅用每类少量样本学习新类别。与传统FSCIL不同，FSCIT在增量少样本会话之前不需要一个大型的分布内基会话进行初始全监督训练。我们在16个不同数据集上进行了广泛评估，证明了CoACT在FSCIL和FSCIT设置中的有效性。在单个数据集上，CoACT在FSCIL中优于现有方法高达5.02%，在FSCIT中高达12.51%，平均改进为2.47%。此外，CoACT在少样本实验中表现出更少的遗忘和更强的鲁棒性。详细的消融和敏感性研究突出了CoACT每个组件的贡献。我们的代码已在https://github.com/ShuvenduRoy/CoACT-FSCIL公开。
引用
@article{arxiv.2405.16625,
title = {Consistency-Guided Asynchronous Contrastive Tuning for Few-Shot Class-Incremental Tuning of Foundation Models},
author = {Shuvendu Roy and Elham Dolatabadi and Arash Afkanpour and Ali Etemad},
journal= {arXiv preprint arXiv:2405.16625},
year = {2025}
}
备注
Accepted in Transactions on Machine Learning Research (TMLR)