基于分布特征回放的提示学习用于小样本类别增量学习
计算机视觉与模式识别
2024-12-05 v3
摘要
小样本类别增量学习 (FSCIL) 旨在基于非常有限的训练数据持续学习新类别，同时不遗忘已见过的旧类别。现有研究仅依赖纯视觉网络，而本文通过利用视觉-语言模型（例如 CLIP）来解决 FSCIL，并提出了一个简单而有效的框架，名为基于分布特征回放的提示学习 (LP-DiF)。我们观察到，仅使用 CLIP 进行零样本评估就能大幅超越最具影响力的方法。然后，引入提示微调技术以进一步提高其适应能力，使模型能够持续捕获每个学习阶段的特定知识。为防止可学习提示在新阶段遗忘旧知识，我们提出了一种伪特征回放方法。具体而言，我们通过维护一个具有对角协方差矩阵的特征级高斯分布来保留每个类别的旧知识，该分布由训练图像的图像特征和从 VAE 生成的合成特征估计得出。当进入新学习阶段时，从旧类别分布中采样伪特征，并与当前阶段的训练图像结合以优化提示，从而使模型能够在保留旧知识的同时学习新知识。在三个主流基准（即 CIFAR100、mini-ImageNet、CUB-200）和本文提出的两个更具挑战性的基准（即 SUN-397 和 CUB-200）上的实验展示了 LP-DiF 的优越性，在 FSCIL 中达到了新的最优性能 (SOTA)。代码公开于 https://github.com/1170300714/LP-DiF。
引用
@article{arxiv.2401.01598,
title = {Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning},
author = {Zitong Huang and Ze Chen and Zhixing Chen and Erjin Zhou and Xinxing Xu and Rick Siow Mong Goh and Yong Liu and Wangmeng Zuo and Chunmei Feng},
journal= {arXiv preprint arXiv:2401.01598},
year = {2024}
}