LPN：面向小样本分类的语言引导原型网络
计算机视觉与模式识别
2024-09-13 v3
摘要
小样本分类旨在利用有限的标注样本适应新任务。为充分利用可得数据，近期方法探索了查询图像与支持图像间合适的相似度度量，并通过元训练与预训练策略获取更好的高维特征。然而，多模态信息的潜力几乎未被发掘，而这可能为小样本分类带来可观提升。本文提出一种面向小样本分类的语言引导原型网络（LPN），其通过两个并行分支利用视觉与语言模态的互补性来改进分类器。具体而言，为在视觉任务中以有限样本引入语言模态，我们利用预训练文本编码器直接从类名提取类级文本特征，同时使用常规图像编码器处理图像。随后，我们引入语言引导解码器，通过将类级特征与视觉特征对齐，获得与每幅图像对应的文本特征。此外，我们利用类级特征与原型构建精炼原型头，在文本分支中生成鲁棒原型以供后续度量。进一步，我们利用类级特征对齐视觉特征，捕获更多与类别相关的视觉特征。最后，我们聚合视觉与文本逻辑值以校准单一模态的偏差，提升整体性能。大量实验证明了 LPN 在基准数据集上相对于最先进方法的竞争力。
引用
@article{arxiv.2307.01515,
title = {LPN: Language-guided Prototypical Network for few-shot classification},
author = {Kaihui Cheng and Chule Yang and Xiao Liu and Naiyang Guan and Zhiyuan Wang},
journal= {arXiv preprint arXiv:2307.01515},
year = {2024}
}