参数化对比学习
计算机视觉与模式识别
2021-08-18 v2
摘要
本文提出参数化对比学习（PaCo）以应对长尾识别。基于理论分析，我们观察到监督对比损失倾向于偏置高频类，从而增加了不平衡学习的难度。我们从优化视角引入一组参数化类级可学习中心以重新平衡。进一步，我们在平衡设定下分析我们的PaCo损失。分析表明，随着更多样本被与其对应中心拉拢，PaCo能自适应增强将同类样本推近的强度，并有益于困难样本学习。在长尾CIFAR、ImageNet、Places和iNaturalist 2018上的实验显示了长尾识别的新最先进水平。在完整ImageNet上，用PaCo损失训练的模型超越各类ResNet骨干上的监督对比学习，例如我们的ResNet-200取得了81.8%的top-1准确率。我们的代码见https://github.com/dvlab-research/Parametric-Contrastive-Learning。
引用
@article{arxiv.2107.12028,
title = {Parametric Contrastive Learning},
author = {Jiequan Cui and Zhisheng Zhong and Shu Liu and Bei Yu and Jiaya Jia},
journal= {arXiv preprint arXiv:2107.12028},
year = {2021}
}
备注
ICCV 2021