存在伪相关时的特征学习
机器学习
2022-10-21 v1 计算机视觉与模式识别
机器学习
摘要
已知深度分类器依赖伪特征 即在训练数据上与目标相关但本质上与学习问题无关的模式，例如对前景分类时的图像背景。本文中我们评估了可从标准经验风险最小化（ERM）与专门的组鲁棒性训练所学表示中解码出的关于核心（非伪）特征的信息量。遵循近期关于深度特征重加权（DFR）的工作，我们通过在一个打破伪相关的留出集上重新训练模型最后一层来评估特征表示。在多个视觉与 NLP 问题上，我们显示简单 ERM 学习的特征与专门针对减弱伪相关影响而设计的组鲁棒性方法学习的特征极具竞争力。此外，我们显示所学特征表示的质量极大受训练方法之外的设计决策影响，例如模型架构与预训练策略。另一方面，我们发现强正则化对于学习高质量特征表示并非必要。最后，利用我们分析中的洞见，我们在流行的 Waterbirds、CelebA 发色预测与 WILDS-FMOW 问题上显著优于文献报道的最佳结果，分别达到 97%、92% 与 50% 的最差组准确率。
引用
@article{arxiv.2210.11369,
title = {On Feature Learning in the Presence of Spurious Correlations},
author = {Pavel Izmailov and Polina Kirichenko and Nate Gruver and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2210.11369},
year = {2022}
}
备注
NeurIPS 2022. Code available at https://github.com/izmailovpavel/spurious_feature_learning