学习适应CLIP类别一致性元特征的少样本分类
计算机视觉与模式识别
2024-07-09 v1
摘要
最近的基于CLIP的方法在图像分类任务上显示出良好的零样本和少样本性能。现有方法如CoOp和Tip-Adapter仅关注与代表图像"概述"的文本特征完全对齐的高层视觉特征。然而，少样本学习的目标是对未见图像进行分类，这些图像属于同一类别，仅需少量标记样本。特别是与高层表征相比，低层的局部表征（Local Representations, LRs）在看见和未见样本之间更一致。基于此，我们提出了元特征适应方法（MF-Adapter），结合LRs和高层语义表征的互补优势。具体而言，我们引入了元特征单元（MF-Unit），这是一种简单而有效的局部相似度度量，用于以归纳方式测量类别一致的局部上下文。然后我们训练MF-Adapter将图像特征映射到MF-Unit，以充分地在未见图像和支持集之间推广类内知识。大量实验表明，我们提出的方法优于基于CLIP的当前最先进少样本分类方法，即使在一组具有挑战性的视觉分类任务上也表现更好。
引用
@article{arxiv.2407.05647,
title = {Learning to Adapt Category Consistent Meta-Feature of CLIP for Few-Shot Classification},
author = {Jiaying Shi and Xuetong Xue and Shenghui Xu},
journal= {arXiv preprint arXiv:2407.05647},
year = {2024}
}