DivIL：揭示并解决过度不变性以实现外分布 generalization
机器学习
2025-05-23 v2
摘要
外分布 generalization 是一种常见问题，期望模型在与训练数据分布不同的情形下仍能表现良好。流行的解决方法是不变学习（IL），通过在训练时添加强约束使模型专注于不变特征而非伪影特征。然而，强不变约束存在潜在缺陷：由于多样化环境数量有限且特征空间中的过度正则化，可能导致不变特征中丢失重要细节，同时通过消除伪相关实现不变性，这称为过度不变性（over-invariance），也会损害 generalization 性能。我们对过度不变性进行理论定义，并观察到该问题在各种经典 IL 方法中都存在。为缓解此问题，我们提出一种简单方法——多样化不变学习（DivIL），通过添加无监督对比学习和随机遮蔽机制来补偿不变约束，可应用于各种 IL 方法。此外，我们在多个模态上进行实验，涵盖 12 个数据集和 6 个经典模型，验证了我们的过度不变性观点以及 DivIL 框架的有效性。我们的代码已公开，地址为 https://github.com/kokolerk/DivIL。
引用
@article{arxiv.2502.12413,
title = {DivIL: Unveiling and Addressing Over-Invariance for Out-of- Distribution Generalization},
author = {Jiaqi Wang and Yuhang Zhou and Zhixiong Zhang and Qiguang Chen and Yongqiang Chen and James Cheng},
journal= {arXiv preprint arXiv:2502.12413},
year = {2025}
}