超越类标记：LLM引导的少样本分类中的主导属性挖掘
计算机视觉与模式识别
2025-07-30 v2
摘要
少样本学习（Few-shot Learning, FSL）旨在develop 使用仅少量图像即可识别新类的泛化能力，但因数据稀缺面临重大挑战。最近基于对比语言-图像联合（CLIP-like）的方法通过对类名文本表示进行对齐，以缓解未见图像发现的问题。尽管取得了成功，仅将视觉表征对齐到类名嵌入会损害新类鉴别的视觉多样性。为此，我们提出一种新型少样本学习（FSL）方法（BCT-CLIP），通过对比学习探索\textbf{主导属性}，超越仅使用类标记。通过利用基于LLM的先验知识，我们的方法通过综合的结构化图像表征实现了Few-shot Learning，包括全局类别表征和patch-aware属性嵌入。具体而言，我们提出了一种新型多属性生成器（MPG），采用patch-aware交叉注意力生成多个视觉属性标记；以及一种基于聚类进行修剪的LLM助理检索程序，用于获取主导属性描述；并提出了一种新的对比学习策略用于属性标记学习。在11个广泛使用的基准数据集上的优异性能表明，我们对主导属性的探索推动了判别性的类别特定表征学习和少样本分类。
引用
@article{arxiv.2507.20511,
title = {Beyond Class Tokens: LLM-guided Dominant Property Mining for Few-shot Classification},
author = {Wei Zhuo and Runjie Luo and Wufeng Xue and Linlin Shen},
journal= {arXiv preprint arXiv:2507.20511},
year = {2025}
}
备注
11 pages, 7 figures