基于对比CutMix增强长尾识别
计算机视觉与模式识别
2024-07-09 v1
摘要
现实世界的数据常遵循长尾分布，其中少数头部类别占据大部分数据，而大量尾部类别仅包含极少样本。实际情况下，深度模型由于不平衡分布，往往在尾部类别上表现poor generalization性能。为解决这一问题，数据增强已成为有效方法，通过合成尾部类别的新样本来提升性能。其中，一种流行方法是使用CutMix，该方法会显式地混合尾部类别和其他类别的图像，并根据两个图像中被裁剪区域的比例来构建标签。然而，基于面积的标签完全忽略了增强样本固有的语义信息，常导致训练信号误导。为此，我们提出了对比CutMix（ConCutMix），通过语义一致的标签构建增强样本，以提升长尾识别性能。具体而言，我们计算由对比学习学习的语义空间中样本之间的相似性，并据此纠正基于面积的标签。实验表明，我们的ConCutMix显著提高了尾部类别的准确率以及整体性能。例如，基于ResNeXt-50，我们通过尾部类别提升3.3%的显著改进，使ImageNet-LT上的整体准确率提高了3.0%。我们指出，该改进也能良好地推广到其他基准和模型。我们的代码和预训练模型已在https://github.com/PanHaulin/ConCutMix上提供。
引用
@article{arxiv.2407.04911,
title = {Enhanced Long-Tailed Recognition with Contrastive CutMix Augmentation},
author = {Haolin Pan and Yong Guo and Mianjie Yu and Jian Chen},
journal= {arXiv preprint arXiv:2407.04911},
year = {2024}
}
备注
16 pages and 13 figures