不变性原理与信息瓶颈相遇于分布外泛化
机器学习
2022-11-22 v2 机器学习
摘要
来自因果学的不变性原理是诸如不变风险最小化（IRM）等旨在解决分布外（OOD）泛化失败的重要方法的核心。尽管理论令人期待，基于不变性原理的方法在常见分类任务中失败，其中不变（因果）特征捕获了关于标签的所有信息。这些失败是由于方法未能捕获不变性，还是不变性原理本身不充分？为回答这些问题，我们重访线性回归任务中的基本假设，其中基于不变性的方法被证明可证明地泛化 OOD。与线性回归任务相反，我们表明对于线性分类任务，我们需要对分布偏移强得多的限制，否则 OOD 泛化不可能。此外，即便适当限制了分布偏移，我们表明仅不变性原理是不充分的。我们证明一种信息瓶颈约束的形式结合不变性，可解决当不变特征捕获关于标签的所有信息时的关键失败，并在其未捕获时保留现有成功。我们提出一种融合这两个原理的方法，并在若干实验中展示其有效性。
引用
@article{arxiv.2106.06607,
title = {Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization},
author = {Kartik Ahuja and Ethan Caballero and Dinghuai Zhang and Jean-Christophe Gagnon-Audet and Yoshua Bengio and Ioannis Mitliagkas and Irina Rish},
journal= {arXiv preprint arXiv:2106.06607},
year = {2022}
}