改进图像分类中去偏置效果的评估
计算机视觉与模式识别
2023-04-17 v2
摘要
图像分类器在预测时往往过度依赖与目标类别强相关（即数据集偏置）的外围属性。由于数据集偏置，模型能正确分类包含偏置属性的数据样本（即偏置对齐样本），却无法正确预测那些不含偏置属性的样本（即偏置冲突样本）。近来，大量研究聚焦于缓解此类数据集偏置，该任务被称为去偏置（debiasing）。然而，我们的综合研究表明，在图像分类中去偏置的评估方面仍有若干问题有待改进。首先，大多数先前研究未说明如何选取超参数与模型检查点（即调优准则）。其次，迄今的去偏置研究在偏置程度过高的数据集上评估所提方法，而在低偏置程度数据集上表现下降。第三，去偏置研究未采用一致的实验设置（如数据集与神经网络），需加以标准化以实现公平比较。基于上述问题，本文 1）提出用于调优准则的评估指标“对齐-冲突（AC）分数”；2）纳入低偏置程度的实验设置，并指出其尚待探索；3）统一标准化实验设置以促进去偏置方法间的公平比较。我们相信，我们的发现与经验将启发未来的去偏置研究者，在公平比较下进一步推进最先进性能。
引用
@article{arxiv.2206.03680,
title = {Improving Evaluation of Debiasing in Image Classification},
author = {Jungsoo Lee and Juyoung Lee and Sanghun Jung and Jaegul Choo},
journal= {arXiv preprint arXiv:2206.03680},
year = {2023}
}