基于对比学习的混合网络用于长尾图像分类

学习判别性图像表征在长尾图像分类中起着至关重要的作用，因为它能缓解不平衡情况下分类器的学习。鉴于对比学习近期在表征学习中展现出的优异性能，本工作探索有效的监督对比学习策略，并对其进行定制以从不平衡数据中学习更好的图像表征，从而提升分类准确率。具体而言，我们提出一种由监督对比损失（用于学习图像表征）与交叉熵损失（用于学习分类器）组成的新型混合网络结构，其学习从特征学习逐步过渡到分类器学习，以体现更好的特征造就更好分类器的思想。我们探索了两种用于特征学习的对比损失变体，它们在形式上不同，但共享在归一化嵌入空间中将同类样本拉近、异类样本推远的共性思想。其中之一为近期提出的监督对比（SC）损失，其在最先进的无人监督对比损失基础上引入同类正样本构建而成。另一种为原型监督对比（PSC）学习策略，解决了标准SC损失的高内存消耗问题，因而在有限内存预算下更具前景。在三个长尾分类数据集上的大量实验证明了所提基于对比学习的混合网络在长尾分类中的优势。