使用不变风险最小化的分布外预测:局限性与一种有效修复
机器学习
2021-02-24 v2 人工智能
摘要
本工作考虑分布外(OOD)预测问题,其中(1)训练数据来自多个域且(2)测试域在训练中未出现。DNN 在 OOD 预测中失败,因为它们易于捕捉伪相关。近来,不变风险最小化(IRM)被提出以解决此问题。其有效性已在着色 MNIST 实验中得到证明。然而,我们发现 IRM 的性能在\emph{强 伪性}下会急剧下降——当由于域标签这一共同原因对伪特征与类标签二者的强因果影响,导致伪特征与类标签间伪相关很强时(见图 1)。本工作中,我们试图回答:为何 IRM 在上述设定中失败?为何 IRM 对原始着色 MNIST 数据集有效?我们如何修复 IRM 的这一问题?随后,我们提出一种简单有效的方法修复 IRM 的问题。我们将 IRM 与条件分布匹配结合,以在强 伪性下避免一类特定的伪相关。实证上,我们设计了一系列半合成数据集——着色 MNIST plus,其暴露了 IRM 的问题并展示了所提方法的有效性。
引用
@article{arxiv.2101.07732,
title = {Out-of-distribution Prediction with Invariant Risk Minimization: The Limitation and An Effective Fix},
author = {Ruocheng Guo and Pengchuan Zhang and Hao Liu and Emre Kiciman},
journal= {arXiv preprint arXiv:2101.07732},
year = {2021}
}
备注
22 pages