面向长尾识别的有针对性监督对比学习
计算机视觉与模式识别
2022-05-03 v2
摘要
现实世界的数据常表现出具有严重类别不平衡的长尾分布,其中多数类会主导训练过程并改变少数类的决策边界。最近,研究者探讨了监督对比学习在长尾识别中的潜力,并证明其带来了显著的性能提升。在本文中,我们指出虽然监督对比学习有助于提升性能,但过去的基线方法受不平衡数据分布带来的均匀性差的影响。这种差的均匀性表现为少数类样本在特征空间中可分离性差。为解决该问题,我们提出有针对性监督对比学习(TSC),其改善了超球面上特征分布的均匀性。TSC 首先在超球面上生成一组均匀分布的 targets。然后在训练过程中使不同类的特征收敛到这些不同且均匀分布的 targets。这迫使所有类(包括少数类)在特征空间中保持均匀分布,改善类边界,并即使在存在长尾数据的情况下也提供更好的泛化能力。在多个数据集上的实验表明,TSC 在长尾识别任务上达到了最先进的性能。
引用
@article{arxiv.2111.13998,
title = {Targeted Supervised Contrastive Learning for Long-Tailed Recognition},
author = {Tianhong Li and Peng Cao and Yuan Yuan and Lijie Fan and Yuzhe Yang and Rogerio Feris and Piotr Indyk and Dina Katabi},
journal= {arXiv preprint arXiv:2111.13998},
year = {2022}
}
备注
The first two authors contributed equally to this paper