监督对比学习
机器学习
2021-03-12 v5 计算机视觉与模式识别
机器学习
摘要
应用于自监督表示学习的对比学习近年来再度兴起，在深度图像模型的无监督训练中达到了最先进的性能。现代批量对比方法涵盖或显著优于传统的对比损失，如三元组损失、最大间隔损失和 N-pairs 损失。在这项工作中，我们将自监督批量对比方法扩展到全监督设置，使我们能够有效利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起，同时不同类的样本簇被推开。我们分析了监督对比（SupCon）损失的两种可能形式，确定了性能最佳的损失公式。在 ResNet-200 上，我们在 ImageNet 数据集上实现了 81.4% 的 top-1 准确率，比该架构报道的最佳数字高出 0.8%。我们展示了在其他数据集和两个 ResNet 变体上相对于交叉熵的一致优越性。该损失对自然 corruptions 的鲁棒性表现出益处，并且对优化器和数据增强等超参数设置更稳定。我们的损失函数易于实现，参考 TensorFlow 代码发布于 https://t.ly/supcon。
引用
@article{arxiv.2004.11362,
title = {Supervised Contrastive Learning},
author = {Prannay Khosla and Piotr Teterwak and Chen Wang and Aaron Sarna and Yonglong Tian and Phillip Isola and Aaron Maschinot and Ce Liu and Dilip Krishnan},
journal= {arXiv preprint arXiv:2004.11362},
year = {2021}
}