广义监督对比学习
计算机视觉与模式识别
2023-05-23 v2 机器学习
摘要
随着对比学习在自监督学习范式下近期取得的令人瞩目的结果，监督对比学习已成功将这些对比方法扩展至监督场景，并在多个数据集上优于交叉熵。然而，监督对比学习固有地以二值形式——正或负——使用独热目标向量来利用标签信息。该结构难以适配那些将标签信息作为概率分布加以利用的方法，如 CutMix 与知识蒸馏。本文提出一种广义监督对比损失，其度量标签相似度与隐空间相似度之间的交叉熵。该概念通过充分利用标签分布并支持适配多种现有训练现代神经网络的技术，增强了监督对比损失的能力。借助该广义监督对比损失，我们构建了定制框架：广义监督对比学习（GenSCL）。与现有对比学习框架相比，GenSCL 还引入了额外改进，包括先进的基于图像的正则化技术与任意教师分类器。当应用于带动量对比技术的 ResNet50 时，GenSCL 在 ImageNet 上取得 77.3% 的 top-1 准确率，相对传统监督对比学习提升 4.1%。此外，我们的方法在应用于 ResNet50 时，于 CIFAR10 与 CIFAR100 上分别确立了 98.2% 与 87.0% 的新 SOTA 准确率，为该架构报告的最高数值。
引用
@article{arxiv.2206.00384,
title = {Generalized Supervised Contrastive Learning},
author = {Jaewon Kim and Hyukjong Lee and Jooyoung Chang and Sang Min Park},
journal= {arXiv preprint arXiv:2206.00384},
year = {2023}
}