基于自监督的多 pretext 注意力网络用于少样本学习
计算机视觉与模式识别
2021-03-11 v1
摘要
少样本学习是一项有趣且具有挑战性的研究，它使机器能像人类一样从少量样本中学习。现有研究很少利用来自大量无标签数据的辅助信息。自监督学习已成为一种利用无标签数据的有效方法。现有的自监督学习方法总是依赖于通过增强对单个样本进行几何变换的组合，而严重忽视了不同样本之间的内源性关联信息，该信息对任务同样重要。在本工作中，我们提出图驱动聚类（GC），一种新颖的免增强自监督学习方法，它不依赖任何辅助样本，并利用输入样本之间的内源性关联信息。此外，我们提出多 pretext 注意力网络（MAN），其利用一种特定的注意力机制将传统的依赖增强的方法与我们的 GC 相结合，自适应地学习其优化权重以提升性能，并使特征提取器获得更具通用性的表示。我们在 miniImageNet 和 tieredImageNet 数据集上广泛评估了我们的 MAN，结果表明所提方法优于当前最先进（SOTA）的相关方法。
引用
@article{arxiv.2103.05985,
title = {Multi-Pretext Attention Network for Few-shot Learning with Self-supervision},
author = {Hainan Li and Renshuai Tao and Jun Li and Haotong Qin and Yifu Ding and Shuo Wang and Xianglong Liu},
journal= {arXiv preprint arXiv:2103.05985},
year = {2021}
}