存在伪特征时改善最坏组泛化的挑战与机遇
机器学习
2025-04-18 v5
摘要
深度神经网络常常利用训练时类中多数样本所存在的“伪”特征。这导致“最坏组测试准确率”低下，即缺乏这些伪特征的小众群体准确率较差。尽管近期解决伪相关（SC）的研究日益增多，若干具有挑战性的设置仍未被探索。本工作中，我们提出在以下设置中研究缓解SC的方法：1）学习更慢的伪特征，2）更多的类别数，3）更多的组数。我们引入两个新数据集Animals和SUN以促进该研究，并在总计5个视觉数据集上对8种最先进（SOTA）方法进行了系统基准测试，训练了超过5,000个模型。借此，我们凸显了现有组推断方法在训练后期才被学到的伪特征面前表现不佳。此外，我们展示了所有现有方法在更多组和/或更多类的设置中均面临困难。最后，我们表明了谨慎的模型选择（超参数调优）在提取最优性能方面的重要性，尤其是在我们引入的更具挑战性的设置中，并提出了更具成本效益的模型选择策略。总体而言，通过广泛而系统的实验，本工作揭示了一系列在伪特征存在下改善最坏组泛化的新挑战与机遇。我们的数据集、方法和脚本可在 https://github.com/BigML-CS-UCLA/SpuCo 获取。
引用
@article{arxiv.2306.11957,
title = {Challenges and Opportunities in Improving Worst-Group Generalization in Presence of Spurious Features},
author = {Siddharth Joshi and Yu Yang and Yihao Xue and Wenhan Yang and Baharan Mirzasoleiman},
journal= {arXiv preprint arXiv:2306.11957},
year = {2025}
}
备注
Package: https://github.com/BigML-CS-UCLA/SpuCo * - These authors contributed equally