广义参数化对比学习
计算机视觉与模式识别
2023-05-30 v2
摘要
本文提出广义参数化对比学习（GPaCo/PaCo），其在不平衡与平衡数据上均表现良好。基于理论分析，我们观察到监督对比损失倾向于偏向高频类别，从而增加了不平衡学习的难度。我们从优化视角引入一组参数化的类级可学习中心以重新平衡。进一步，我们在平衡设定下分析了我们的 GPaCo/PaCo 损失。分析表明，GPaCo/PaCo 能够自适应地增强将同类样本拉近的强度，因为更多样本被与其对应中心拉到一起，并有益于困难样本学习。在长尾基准上的实验显示了长尾识别的新最优性能。在完整 ImageNet 上，使用 GPaCo 损失训练的从 CNN 到视觉 transformer 的模型相比 MAE 模型展现出更好的泛化性能与更强的鲁棒性。此外，GPaCo 可应用于语义分割任务，并在 4 个最流行的基准上观察到明显提升。我们的代码可在 https://github.com/dvlab-research/Parametric-Contrastive-Learning 获取。
引用
@article{arxiv.2209.12400,
title = {Generalized Parametric Contrastive Learning},
author = {Jiequan Cui and Zhisheng Zhong and Zhuotao Tian and Shu Liu and Bei Yu and Jiaya Jia},
journal= {arXiv preprint arXiv:2209.12400},
year = {2023}
}
备注
TPAMI 2023. arXiv admin note: substantial text overlap with arXiv:2107.12028