仅重训练最后一层即可实现对任意相关性的鲁棒性
机器学习
2023-07-04 v2 计算机视觉与模式识别
机器学习
摘要
神经网络分类器可在很大程度上依赖简单的伪特征（如背景）进行预测。然而，即便在这些情况下，我们表明它们仍常常学习到与数据期望属性相关的核心特征，这与近期发现相反。受此启发，我们证明简单的最后一层重训练在伪相关性基准上可匹配或超越最先进方法，但复杂度和计算开销显著降低。此外，我们表明在大型 ImageNet 训练的模型上仅用单 GPU 训练数分钟，最后一层重训练也能显著减少对背景和纹理信息的依赖，提升对协变量偏移的鲁棒性。
引用
@article{arxiv.2204.02937,
title = {Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations},
author = {Polina Kirichenko and Pavel Izmailov and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2204.02937},
year = {2023}
}
备注
ICLR 2023. Code is available at https://github.com/PolinaKirichenko/deep_feature_reweighting