不变风险最小化是一种全变差模型

不变风险最小化是一种在机器学习中将不变特征泛化到不同环境的新兴方法。虽然大多数相关工作集中于新的 IRM 设置或新的应用场景，但 IRM 的数学本质仍有待恰当解释。我们验证了 IRM 本质上是学习风险关于分类器变量的基于 $L^2$ 范数的全变差（TV-$\ell_2$）。此外，我们提出了一种基于 TV-$\ell_1$ 模型的新型 IRM 框架。它不仅扩展了可用作学习风险和特征提取器的函数类，而且基于余面积公式在去噪和不变特征保留方面具有稳健的性能。我们还阐明了 IRM-TV-$\ell_1$ 实现分布外泛化的一些要求。实验结果表明，所提出的框架在几个基准机器学习场景中取得了具有竞争力的性能。