用于去偏表示学习的梯度外推
机器学习
2025-08-12 v2 计算机视觉与模式识别
摘要
采用经验风险最小化 (ERM) 训练的机器学习分类模型常常无意中依赖虚假相关性。当测试数据中不存在这些相关性时，非目标属性与目标标签之间的这些非预期关联会导致泛化性能变差。本文从模型优化的角度解决这一问题，提出了一种新方法——用于去偏表示学习的梯度外推 (GERNE)，旨在在已知和未知属性的训练场景中学习去偏表示。GERNE 使用两个具有不同虚假相关性程度的独立批次，并将目标梯度定义为从每个批次损失计算出的梯度的线性外推。我们的分析表明，当外推梯度指向具有较少虚假相关性的批次梯度时，它能有效引导训练过程学习去偏模型。GERNE 作为一个通用的去偏框架，将 ERM 和重采样方法作为特例包含在内。我们推导了 GERNE 所采用的外推因子的理论上界和下界。通过调节该因子，GERNE 能够自适应地最大化组别平衡准确率 (GBA) 或最差组准确率 (WGA)。我们在五个视觉基准和一个 NLP 基准上验证了 GERNE，结果表明其相较于最先进的基线方法具有竞争力且往往更优的性能。项目页面见：https://gerne-debias.github.io/。
引用
@article{arxiv.2503.13236,
title = {Gradient Extrapolation for Debiased Representation Learning},
author = {Ihab Asaad and Maha Shadaydeh and Joachim Denzler},
journal= {arXiv preprint arXiv:2503.13236},
year = {2025}
}
备注
Accepted at International Conference on Computer Vision, ICCV 2025