面向少样本图像识别的语义提示
计算机视觉与模式识别
2023-03-27 v1
摘要
少样本学习是一个具有挑战性的问题，因为仅提供少量样本来识别新类别。近期若干研究利用额外的语义信息（如类名的文本嵌入），通过将语义原型与视觉原型相结合来解决样本稀少的问题。然而，这些方法仍受限于从稀少支持样本中学到的虚假视觉特征，导致收益有限。本文提出一种新颖的语义提示（SP）方法用于少样本学习。我们并非朴素地利用语义信息来补救分类器，而是探索将语义信息作为提示来自适应地调整视觉特征提取网络。具体而言，我们设计了两种互补机制将语义提示插入特征提取器：其一是通过自注意力实现语义提示与图像块嵌入沿空间维度的交互，其二是沿通道维度用变换后的语义提示补充视觉特征。结合这两种机制，特征提取器仅用极少支持样本便展现出更好的关注类特定特征的能力，并获得更具泛化性的图像表示。在四个数据集上的大量实验表明，所提方法取得了有前景的结果，平均将1-shot学习准确率提升了3.67%。
引用
@article{arxiv.2303.14123,
title = {Semantic Prompt for Few-Shot Image Recognition},
author = {Wentao Chen and Chenyang Si and Zhang Zhang and Liang Wang and Zilei Wang and Tieniu Tan},
journal= {arXiv preprint arXiv:2303.14123},
year = {2023}
}
备注
Accepted by CVPR 2023