CD^2：面向少样本类增量学习的约束数据集蒸馏
计算机视觉与模式识别
2026-01-14 v1 人工智能
摘要
少样本类增量学习（FSCIL）受到公众的广泛关注，旨在利用少量训练样本持续进行分类，但其面临关键的灾难性遗忘问题。现有方法通常采用外部存储器来存储先验知识，并将其与增量类同等对待，无法妥善保留先前的关键知识。为了解决这个问题，并受近期知识迁移蒸馏工作的启发，我们提出了一个名为约束数据集蒸馏（CD）的框架来促进 FSCIL，该框架包括一个数据集蒸馏模块（DDM）和一个蒸馏约束模块（DCM）。具体而言，DDM 在分类器的引导下合成高度浓缩的样本，迫使模型从少量增量样本中学习紧凑的关键类别相关线索。DCM 引入了一个设计的损失来约束先前学习的类分布，从而更充分地保留蒸馏知识。在三个公开数据集上的大量实验表明，我们的方法优于其他最先进的竞争方法。
引用
@article{arxiv.2601.08519,
title = {CD^2: Constrained Dataset Distillation for Few-Shot Class-Incremental Learning},
author = {Kexin Bao and Daichi Zhang and Hansong Zhang and Yong Li and Yutao Yue and Shiming Ge},
journal= {arXiv preprint arXiv:2601.08519},
year = {2026}
}