最后一层重训练是否真的足以应对伪相关鲁棒性？
机器学习
2024-01-11 v2 计算机视觉与模式识别
摘要
已知采用经验风险最小化（ERM）训练的模型会学会依赖伪特征，即其预测基于与类别标签强相关但缺乏因果推理的不期望的辅助特征。这种行为尤其会降低以下样本的准确率：缺失伪特征的相关类别样本组，或存在伪特征的反类别样本。最近提出的深度特征重加权（DFR）方法提升了这些最差组的准确率。基于ERM模型能充分学习核心特征的主要论点，DFR仅需用小型组平衡数据集对分类模型的最后一层进行重训练。本工作中，我们考察了DFR在医学领域真实数据上的适用性。此外，我们研究了最后一层重训练有效性背后的原因，并表明尽管DFR有潜力提升最差组的准确率，它仍易受伪相关影响。
引用
@article{arxiv.2308.00473,
title = {Is Last Layer Re-Training Truly Sufficient for Robustness to Spurious Correlations?},
author = {Phuong Quynh Le and Jörg Schlötterer and Christin Seifert},
journal= {arXiv preprint arXiv:2308.00473},
year = {2024}
}
备注
Accepted at IJCAI Workshop on XAI 2023