基于因果不变变换的分布外泛化
机器学习
2022-03-25 v3 机器学习
摘要
在真实世界应用中，学习一个在分布外（OOD）数据上表现良好的模型十分重要且值得追求。近来，因果性已成为解决 OOD 泛化问题的有力工具，其思想基于跨相关域不变的因果机制。为利用通常未知的因果机制，现有工作假设因果特征的线性形式或需要足够多且多样的训练域，这在实践中通常具有限制性。本工作中，我们免除了这些假设，并在不显式恢复因果特征的情况下处理 OOD 问题。我们的方法基于这样的变换：其修改非因果特征但保持因果部分不变，这些变换既可来自先验知识，也可在多域场景中以训练数据学习得到。在不变因果机制设定下，我们从理论上证明，若所有此类变换均可用，则仅使用单域数据即可学习跨域极小极大最优模型。注意到获知完整的因果不变变换集合可能不切实际，我们进一步证明仅需知晓这些变换的一个子集便已足够。基于理论发现，提出了一种正则化训练流程以提升 OOD 泛化能力。在合成与真实数据集上的大量实验结果验证了所提算法的有效性，即便仅使用少量因果不变变换。
引用
@article{arxiv.2203.11528,
title = {Out-of-distribution Generalization with Causal Invariant Transformations},
author = {Ruoyu Wang and Mingyang Yi and Zhitang Chen and Shengyu Zhu},
journal= {arXiv preprint arXiv:2203.11528},
year = {2022}
}
备注
accepted by cvpr2022