寻得缺失的不变性原理——不变风险最小化的互补对偶

机器学习模型常因训练时依赖与标签伪相关的特征，而对分布外（OOD）数据泛化不佳。近来，提出不变风险最小化（IRM）技术，通过保持各环境下特征条件标签期望 $\mathbb{E}_e[y|f(x)]$ 来学习仅使用不变特征的预测器。然而，较新研究已表明 IRM 的实用版本 IRM-v1 在各种设置中会失败。本文中，我们指出了导致失败的 IRM 公式的根本缺陷。随后，我们引入基于保持标签条件特征期望 $\mathbb{E}_e[f(x)|y]$ 的互补不变性概念 MRI，其无此缺陷。进一步，我们引入称为 MRI-v1 的 MRI 公式的简化实用版本。我们证明对于一般线性问题，给定充足数量的环境，MRI-v1 保证不变预测器。我们还通过实证表明，MRI-v1 大幅优于 IRM-v1，并在基于图像的非线性问题中持续取得近最优的 OOD 泛化。