加权风险不变性：面对不变特征迁移的数据集成

学习其预测在多个环境下保持不变的模型是一种针对分布外推断的有前景的方法。此类模型被训练以提取特征 $X_{\text{inv}}$，使得标签给定提取特征的条件分布 $Y \mid X_{\text{inv}}$ 在不同环境下保持不变。不变模型也应能够处理提取特征 $X_{\text{inv}}$ 边缘分布 $p(X_{\text{inv}})$ 的迁移，我们将这种迁移称为“不变协变迁移”。然而，我们表明在不变协变迁移下，现有学习不变模型的方法表现不佳，甚至会失败学习不变模型——即便是来自简单且已研究的线性-高斯模型的数据——或在有限样本情况下表现poor。为缓解这些问题，我们提出了“加权风险不变性”(WRI)。我们的框架基于对训练示例进行适当的重新加权，施加跨环境损失的不变性。我们表明WRI在线性-高斯设置下可证明学习到不变模型，即抛弃伪相关。在实际中，我们提出一种通过同时学习密度 $p(X_{\text{inv}})$ 和模型参数来实现WRI的实用算法，并通过实验表明WRI在不变协变迁移下优于以前的集成学习方法。