深入探究长尾图像识别中的简单性偏置
计算机视觉与模式识别
2023-02-08 v1 机器学习
摘要
简单性偏置是指深度神经网络在应用于监督判别任务时，倾向于依赖更简单的预测模式而忽略某些复杂特征的现象。在本工作中，我们研究了长尾图像识别中的 SB，发现尾部类别受 SB 的影响更为严重，这损害了此类代表性不足类别的泛化性能。我们通过实验表明，自监督学习（SSL）可以缓解 SB，并通过丰富从尾部样本中提取的特征，从而更好地利用这些稀有样本，与监督学习形成互补。然而，标准的 SSL 方法在设计时并未明确考虑类别的固有数据分布，对于长尾分布数据可能并非最优。为了解决这一局限性，我们提出了一种针对不平衡数据量身定制的新型 SSL 方法。它通过三个不同的层次（即整体层、局部层和增强层）利用 SSL，以增强对预测性复杂模式的学习，这为克服尾部数据上严重的 SB 提供了可能。在五个长尾基准数据集上的定量和定性实验结果表明，我们的方法能够有效缓解 SB，并显著优于竞争的最先进方法。
引用
@article{arxiv.2302.03264,
title = {Delving Deep into Simplicity Bias for Long-Tailed Image Recognition},
author = {Xiu-Shen Wei and Xuhao Sun and Yang Shen and Anqi Xu and Peng Wang and Faen Zhang},
journal= {arXiv preprint arXiv:2302.03264},
year = {2023}
}