冻结后训练：虚假相关与特征噪声下可证明的表示学习
机器学习
2025-12-10 v3
摘要
训练环境中存在如图像背景之类的虚假相关，会使经验风险最小化（ERM）在测试环境中表现糟糕。为解决此问题，Kirichenko等人（2022）经验发现，即使存在虚假相关，与结果相关的核心特征仍能被良好学习。这开启了一种先训练特征学习器而非分类器、再在测试环境中进行线性探测（最后一层重训）的有前景策略。然而，缺乏对该方法何时及为何奏效的理论理解。本文中，我们发现核心特征仅在与其相关的不可实现噪声小于虚假特征的不可实现噪声时才能被良好学习，而这在实践中未必成立。我们提供理论与实验支持该发现并阐明不可实现噪声的重要性。此外，我们提出一种称为冻结后训练（FTT）的算法，先冻结某些显著特征，再用ERM训练其余特征。我们从理论上证明FTT保留了更利于测试时探测的特征。在两个常用虚假相关数据集上，FTT优于ERM、IRM、JTT和CVaR-DRO，在特征噪声大时准确率显著提升（4.5%）。FTT在一般分布偏移基准上也表现更优。
引用
@article{arxiv.2210.11075,
title = {Freeze then Train: Towards Provable Representation Learning under Spurious Correlations and Feature Noise},
author = {Haotian Ye and James Zou and Linjun Zhang},
journal= {arXiv preprint arXiv:2210.11075},
year = {2025}
}