论不变性学习与对抗训练在分布外泛化中的联系
机器学习
2022-12-20 v1
摘要
尽管在许多任务中取得了令人瞩目的成功，深度学习模型被证明依赖于伪特征，当泛化到分布外（out-of-distribution, OOD）数据时，这将导致灾难性的失败。不变风险最小化（Invariant Risk Minimization, IRM）被提出通过提取用于OOD泛化的领域不变特征来缓解此问题。然而，最近的工作表明，IRM仅对特定类型的分布偏移（例如，相关性偏移）有效，而在其他情况下（例如，多样性偏移）则失败。与此同时，另一种方法，即对抗训练（Adversarial Training, AT），显示出更好的领域迁移性能，表明它有潜力成为提取领域不变特征的有效候选方法。本文通过探索IRM和AT目标之间的相似性来研究这种可能性。受此联系的启发，我们提出了域级对抗训练（Domainwise Adversarial Training, DAT），这是一种受AT启发的方法，通过领域特定扰动来缓解分布偏移。大量实验表明，我们提出的DAT可以有效地移除领域变化特征，并在相关性偏移和多样性偏移下均能改善OOD泛化。
引用
@article{arxiv.2212.09082,
title = {On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization},
author = {Shiji Xin and Yifei Wang and Jingtong Su and Yisen Wang},
journal= {arXiv preprint arXiv:2212.09082},
year = {2022}
}
备注
To appear in AAAI-23