面向少数样本图像分类的类别相关补丁嵌入选择
计算机视觉与模式识别
2024-05-08 v1
摘要
有效的图像分类依赖于从前景和背景元素中辨识相关特征，前景通常包含关键信息。虽然人类在有限曝光下就能进行图像分类，但人工神经网络在从稀有样本中进行特征选择时常常困难重重。为此，我们提出一种用于选择类别相关补丁嵌入的新方法。我们的做法是将支持集和查询图像分割成补丁，分别使用预训练的视觉转换器 (ViT) 对其进行编码，以获得类别嵌入和补丁嵌入。随后，我们利用类别嵌入对补丁嵌入进行过滤，仅保留与类别相关的补丁。对于每张图像，我们计算类别嵌入与每个补丁嵌入的相似度，将相似度序列按降序排序，仅保留排名前列的补丁嵌入。通过优先考虑类别嵌入与补丁嵌入之间的相似度，我们选择排名最高的补丁嵌入与类别嵌入融合，以形成完整的图像表示，从而增强跨实例的模式识别。我们的策略有效缓解了类别无关补丁嵌入的影响，显著提升了预训练模型的性能。大量实验表明，我们的方法在简单性、有效性和计算效率方面均优于当前方法，在5-shot和1-shot情形下均超越了国际知名的少数样本分类基准。
引用
@article{arxiv.2405.03722,
title = {Class-relevant Patch Embedding Selection for Few-Shot Image Classification},
author = {Weihao Jiang and Haoyang Cui and Kun He},
journal= {arXiv preprint arXiv:2405.03722},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2405.03109