用于对比少样本学习的自注意力消息传递
计算机视觉与模式识别
2022-10-13 v1
摘要
人类具有一种独特的能力，仅从极少数样本中并以极少甚至无需监督的方式学习新表征。然而，深度学习模型需要大量数据和监督才能达到令人满意的水平。无监督少样本学习（U-FSL）旨在弥合机器与人类之间的这一差距。受图神经网络（GNNs）在发现复杂样本间关系方面能力的启发，我们提出了一种新颖的基于自注意力的消息传递对比学习方法（称为 SAMP-CLR）用于 U-FSL 预训练。我们还提出了一种基于最优传输（OT）的微调策略（称为 OpT-Tune），以高效地将任务感知引入我们新颖的端到端无监督少样本分类框架（SAMPTransfer）。我们大量的实验结果证实了 SAMPTransfer 在各种下游少样本分类场景中的有效性，在 miniImagenet 和 tieredImagenet 基准上分别实现了 7%+ 和 5%+ 的提升，确立了 U-FSL 的新 SOTA。我们的进一步研究还确认，SAMPTransfer 在 miniImagenet 上与某些有监督基线表现相当，并在具有挑战性的跨域场景中优于所有现有的 U-FSL 基线。我们的代码可在 GitHub 仓库 https://github.com/ojss/SAMPTransfer/ 中找到。
引用
@article{arxiv.2210.06339,
title = {Self-Attention Message Passing for Contrastive Few-Shot Learning},
author = {Ojas Kishorkumar Shirekar and Anuj Singh and Hadi Jamali-Rad},
journal= {arXiv preprint arXiv:2210.06339},
year = {2022}
}