打破遗忘：基于条件扩散的无训练few-shot类别递增学习
计算机视觉与模式识别
2025-11-25 v1
摘要
针对少样本类别递增学习(FSCIL)中不可避免出现的灾难性遗忘，目前的研究工作主要致力于开发更有效的基于梯度的优化策略。相比之下，鲜有人关注随着新类别数量增加而必然产生的训练成本激增，这是以基于梯度学习为前提，尽管数据极度稀缺所致。更关键的是，由于 FSCIL 通常仅为每个新类别提供少量样本，基于梯度的更新不仅会在基类上引发严重的灾难性遗忘，还会阻碍对新类别的适应。本文试图打破这一长期局限，提出核心问题：我们能否设计一种无训练的 FSCI 范式，从根本上消除梯度优化？我们提供了一个肯定的答案，通过揭示基于梯度优化与条件扩散过程之间的惊人联系。基于此观察，我们提出了条件扩散驱动的 FSCIL(CD-FSCIL)框架，用扩散生成性过渡取代常规的梯度更新过程，实现无训练的递增适应，同时有效缓解遗忘。此外，为了在少样本约束下增强表征能力，我们引入一种多模态学习策略，将视觉特征与由大型语言模型(LLM)自动生成的自然语言描述相结合。这种协同作用显著缓解了样本稀缺问题，提高了在新类别上的泛化能力。在主流 FSCIL 基准测试上进行的大量实验表明，我们的方法不仅实现了国际知名水平(SOTA)的性能，还大幅降低了计算和内存开销，标志着向无训练持续适应范式的范式转变。
引用
@article{arxiv.2511.18516,
title = {Breaking Forgetting: Training-Free Few-Shot Class-Incremental Learning via Conditional Diffusion},
author = {Haidong Kang and Ketong Qian and Yi Lu},
journal= {arXiv preprint arXiv:2511.18516},
year = {2025}
}