G-SimCLR：基于伪标签引导投影的自监督对比学习
机器学习
2020-09-28 v1 计算机视觉与模式识别
机器学习
摘要
在计算机视觉领域，深度神经网络在有大量标注数据的监督设定下表现更优是显而易见的。有监督学习得到的表征不仅质量高，还有助于提升模型精度。然而，大规模数据集的收集与标注成本高且耗时。为避免这一点，无监督视觉表征学习尤其是自监督设定下的研究大量开展。在近期自监督视觉识别方法的进展中，Chen 等人的 SimCLR 表明，无需显式监督也能学到高质量表征。在 SimCLR 中，作者最大化同一图像增强间的相似度，并最小化不同图像增强间的相似度。用该方法学到的表征训练线性分类器，在 ImageNet ILSVRC-2012 数据集上取得了 76.5% 的 top-1 准确率。本工作中，我们提出：在 SimCLR 使用的归一化温度缩放交叉熵（NT-Xent）损失函数下，同一批次中不含同类别图像是有益的。在无监督设定中，图像所属类别的信息是缺失的。我们使用在无标注数据集上训练的去噪自编码器的潜空间表征，并用 k-means 聚类得到伪标签。利用这一先验信息，我们按批次组织图像，使同一批次中不含来自同一类别的两张图像。我们在 CIFAR10 数据集和 ImageNet 数据集的一个子集上报告了可比的性能提升。我们将该方法称为 G-SimCLR。
引用
@article{arxiv.2009.12007,
title = {G-SimCLR : Self-Supervised Contrastive Learning with Guided Projection via Pseudo Labelling},
author = {Souradip Chakraborty and Aritra Roy Gosthipaty and Sayak Paul},
journal= {arXiv preprint arXiv:2009.12007},
year = {2020}
}
备注
Code available at this URL: https://github.com/ariG23498/G-SimCLR. This paper is accepeted as a workshop paper at https://fuzhenzhuang.github.io/DLKT2020/index.html