面向少样本类增量学习的图像-对象特定提示学习
计算机视觉与模式识别
2023-12-11 v2
摘要
尽管已有诸多少样本类增量学习（FSCIL）研究，但取得令人满意的性能——尤其在增量阶段——仍然具有挑战性。一个突出挑战是，以充足基础阶段训练集训练的编码器在增量阶段往往表现不佳。本研究利用对比语言-图像预训练（CLIP）模型对未见类的泛化能力，为 FSCIL 引入一种新颖训练框架。我们通过为输入图像构建图像-对象特定（IOS）分类器来实现这一点。此处，IOS 分类器指针对类对象特定属性（如翅膀或车轮）而非图像背景的分类器。为创建这些 IOS 分类器，我们使用专门设计的模块将偏置提示编码进分类器，该模块利用关键-提示对来定位各阶段中类的 IOS 特征。从 FSCIL 视角，我们的框架旨在保留已有知识并快速适应新阶段而不遗忘或过拟合。这考虑了各阶段模块的可更新性以及一些为快速收敛而经验性发现的技巧。我们的方法在 miniImageNet、CIFAR100 和 CUB200 数据集上相比最先进方法持续展现出更优性能。此外，我们提供额外实验以验证所学模型实现 IOS 分类器的能力。我们还进行消融研究以分析架构中每个模块的影响。
引用
@article{arxiv.2309.02833,
title = {Image-Object-Specific Prompt Learning for Few-Shot Class-Incremental Learning},
author = {In-Ug Yoon and Tae-Min Choi and Sun-Kyung Lee and Young-Min Kim and Jong-Hwan Kim},
journal= {arXiv preprint arXiv:2309.02833},
year = {2023}
}
备注
8 pages, 4 figures, 4 tables