AAG：基于辅助增强与 GNT-Xent 损失的自监督表示学习
计算机视觉与模式识别
2020-10-21 v2 机器学习
摘要
自监督表示学习因其利用无标签数据进行学习的强大能力而成为新兴研究课题。作为主流的自监督学习方法，基于增强的对比学习在缺乏人工标注的各种计算机视觉任务中取得了巨大成功。尽管目前已取得进展，但现有方法常常受限于内存或存储上的额外开销，且其性能仍有很大提升空间。在此，我们提出了一种自监督表示学习方法，即 AAG，其以辅助增强策略和 GNT-Xent 损失为特征。辅助增强能够通过增加图像的多样性来提升对比学习的性能。所提出的 GNT-Xent 损失实现了稳定且快速的训练过程，并产生了有竞争力的准确率。实验结果证明了 AAG 在 CIFAR10、CIFAR100 和 SVHN 上优于先前 SOTA 方法的优越性。特别是，AAG 在批大小为 64 的条件下在 CIFAR10 上取得了 94.5% 的 top-1 准确率，比批大小为 1024 的 SimCLR 的最佳结果高出 0.5%。
关键词
引用
@article{arxiv.2009.07994,
title = {AAG: Self-Supervised Representation Learning by Auxiliary Augmentation with GNT-Xent Loss},
author = {Yanlun Tu and Jianxing Feng and Yang Yang},
journal= {arXiv preprint arXiv:2009.07994},
year = {2020}
}
备注
8 pages,6 figures