基于损失重采样的免标注群组鲁棒性方法
计算机视觉与模式识别
2023-12-11 v1
摘要
众所周知，使用经验风险最小化（ERM）训练用于图像分类的神经网络，会使其在预测时容易依赖伪相关属性而非因果属性。此前，深度特征重加权（DFR）提出在关于伪属性的平衡数据上重新训练预训练网络的最后一层，使其对伪相关具有鲁棒性。然而，伪属性标注并非总是可获取的。为了在无需此类标注的情况下提供群组鲁棒性，我们提出了一种新方法，称为基于损失的特征重加权（LFR）。在该方法中，我们通过在训练数据的一个留出小部分上评估 ERM 预训练模型来推断数据的分组。然后，通过从误分类数据点中选择高损失样本，并从正确分类的数据点中选择低损失样本，来选取数量平衡的样本。最后，我们在选定的平衡群组上重新训练最后一层，使模型对伪相关具有鲁棒性。为进行全面评估，我们在具有不同伪相关性的多个版本的 Waterbirds 和 CelebA 数据集上评估了 LFR，这是一种在广泛的伪相关率范围内观察模型性能的新技术。尽管 LFR 极其快速且简单直接，但在训练数据中存在高伪相关的情况下，其性能优于先前不假设群组标签可用的方法，以及提供了群组标注的 DFR 方法。
引用
@article{arxiv.2312.04893,
title = {Annotation-Free Group Robustness via Loss-Based Resampling},
author = {Mahdi Ghaznavi and Hesam Asadollahzadeh and HamidReza Yaghoubi Araghi and Fahimeh Hosseini Noohdani and Mohammad Hossein Rohban and Mahdieh Soleymani Baghshah},
journal= {arXiv preprint arXiv:2312.04893},
year = {2023}
}
备注
Accepted as a short paper in OOD-CV workshop at ICCV 2023