在分布外泛化问题中不变性何时有用？
机器学习
2021-11-29 v4 机器学习
摘要
分布外（OOD）泛化问题的目标是训练一个在所有环境中都能泛化的预测器。该领域流行的方法采用如下假设：这样的预测器应当是一个捕获跨环境保持不变的机制的不变预测器（invariant predictor）。尽管这些方法在各案例研究中取得了实验成功，该假设的理论验证仍有很大空间。本文提出了一组不变预测器达到OOD最优性所必需的新理论条件。我们的理论不仅适用于非线性情形，而且推广了\citet{rojas2018invariant}中使用的必要条件。我们还从理论中推导出梯度间对齐（Inter Gradient Alignment）算法，并在MNIST衍生的基准数据集以及\citet{aubinlinear}提出的三个不变性单元测试（Invariance Unit Tests）中的两个上展示了其竞争力。
引用
@article{arxiv.2008.01883,
title = {When is invariance useful in an Out-of-Distribution Generalization problem ?},
author = {Masanori Koyama and Shoichiro Yamaguchi},
journal= {arXiv preprint arXiv:2008.01883},
year = {2021}
}