聚合掩盖了基于虚假相关性的 OOD 泛化失效
机器学习
2025-10-30 v1
摘要
关于外分布 (OOD) 泛化的基准测试经常显示在分布 (ID) 与 OOD 准确率之间存在强正相关，称为“准确率-在-线”。人们常认为这一模式暗示虚假相关——即改善 ID 但降低 OOD 性能的相关性在实际中很少见。我们发现，这一正相关常常是对异构 OOD 示例进行聚合的结果。我们采用一种简单的梯度方法 OODSelect 来识别其中在准确率-在-线关系中不成立的语义连贯 OOD 子集。广泛使用的分布迁移基准测试表明，OODSelect 揭示了子集，有时超过标准 OOD 集合的一半，其中更高的 ID 准确率预测更低的 OOD 准确率。我们的发现表明，聚合指标可能掩盖了 OOD 鲁棒性的重要失效模式。我们发布代码和识别的子集以促进进一步研究。
引用
@article{arxiv.2510.24884,
title = {Aggregation Hides Out-of-Distribution Generalization Failures from Spurious Correlations},
author = {Olawale Salaudeen and Haoran Zhang and Kumail Alhamoud and Sara Beery and Marzyeh Ghassemi},
journal= {arXiv preprint arXiv:2510.24884},
year = {2025}
}
备注
Accepted as a Spotlight paper at NeurIPS 2025