少即是多：审视基于语义的少样本学习
计算机视觉与模式识别
2024-03-26 v2 人工智能
摘要
少样本学习旨在利用极少量可用图像来学习和区分新类别，这在深度学习领域构成了重大挑战。近期研究者试图利用预训练语言模型，从这些稀有类别的额外文本或语言信息中获益以促进学习，从而部分缓解监督信号不足的问题。然而，迄今为止，文本信息和预训练语言模型在少样本学习中的全部潜力被低估，导致性能提升有限。为解决此问题，我们提出了一个简单但有效的少样本学习框架，专门设计用于利用文本信息和语言模型。具体而言，我们通过可学习提示显式地利用预训练语言模型的零样本能力。并且，我们直接将视觉特征与文本特征相加进行推理，无需以往工作中复杂设计的融合模块。此外，我们应用自集成和蒸馏来进一步增强这些组件。我们在四个广泛使用的少样本数据集上进行的大量实验表明，我们的简单框架取得了令人印象深刻的结果。尤其值得注意的是，它在单样本学习任务中表现卓越，分类准确率平均超越最先进方法 3.0%。\footnote{我们将在论文被接收后公开所提出框架的源代码。}
引用
@article{arxiv.2401.05010,
title = {Less is More: A Closer Look at Semantic-based Few-Shot Learning},
author = {Chunpeng Zhou and Haishuai Wang and Xilu Yuan and Zhi Yu and Jiajun Bu},
journal= {arXiv preprint arXiv:2401.05010},
year = {2024}
}