面向长尾识别的重平衡孪生对比挖掘
计算机视觉与模式识别
2022-06-27 v2
摘要
深度神经网络在严重类不平衡数据集上表现不佳。鉴于对比学习的前景性能，我们提出重平衡孪生对比挖掘（ResCom）来解决不平衡识别问题。基于数学分析与仿真结果，我们指出有监督对比学习在原始批次与孪生批次两个层面均遭受双重类不平衡问题，其比长尾分类学习更为严重。本文中，在原始批次层面，我们引入类平衡有监督对比损失，为不同类分配自适应权重。在孪生批次层面，我们提出类平衡队列，对所有类维持相同数量的键。此外，我们注意到不平衡对比损失相对于对比 logits 的梯度可解耦为正样本与负样本，且易正样本与易负样本会使对比梯度消失。我们提出有监督难正样本与难负样本对挖掘，以挑选信息量丰富的样本对进行对比较计算并改进表示学习。最后，为近似最大化两视图间的互信息，我们提出孪生平衡 Softmax 并将其与对比损失结合进行单阶段训练。大量实验表明，在多个长尾识别基准上 ResCom 大幅优于先前方法。我们的代码与模型已公开于：https://github.com/dvlab-research/ResCom。
引用
@article{arxiv.2203.11506,
title = {Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition},
author = {Zhisheng Zhong and Jiequan Cui and Zeming Li and Eric Lo and Jian Sun and Jiaya Jia},
journal= {arXiv preprint arXiv:2203.11506},
year = {2022}
}
备注
Tech report