CALA:面向少样本类增量学习的类感知 Logit 适配器
计算机视觉与模式识别
2024-12-18 v1
摘要
少样本类增量学习(FSCIL)定义了一项实用且具挑战性的任务,要求模型仅利用少量训练样本持续学习新概念。由于数据稀缺,现有 FSCIL 方法通常先利用大量基类数据训练骨干网络,随后将其冻结。然而,上述操作常导致骨干网络对基类过拟合而忽略新类,造成两者间的严重混淆。为解决此问题,我们提出了类感知 Logit 适配器(CALA)。该方法包含一个轻量级适配器,通过伪增量学习范式学习纠正有偏预测。在实际 FSCIL 过程中,我们利用学习到的适配器动态生成稳健的平衡因子。这些因子可根据新类实例与基类的相似度,将混淆的新类实例调整回其真实的标签空间。具体而言,当与基类高度相似的新类实例更易发生混淆时,需要更大的纠正力度。值得注意的是,CALA 作用于分类器层面,保留了原始特征空间,因此可灵活插入大多数现有 FSCIL 工作中以提升性能。在三个基准数据集上的实验一致验证了 CALA 的有效性与灵活性。代码将在论文被接收后发布。
引用
@article{arxiv.2412.12654,
title = {CALA: A Class-Aware Logit Adapter for Few-Shot Class-Incremental Learning},
author = {Chengyan Liu and Linglan Zhao and Fan Lyu and Kaile Du and Fuyuan Hu and Tao Zhou},
journal= {arXiv preprint arXiv:2412.12654},
year = {2024}
}
备注
10 pages