不变风险最小化是否捕捉到了不变性？
机器学习
2021-03-02 v2 人工智能
机器学习
摘要
我们表明，Arjovsky等人（2019）的不变风险最小化（IRM）公式可能无法捕捉“自然”不变性，至少在其实用的“线性”形式下如此，即便在直接遵循IRM动机示例的非常简单的问题上也是如此。这可能导致在新环境上更差的泛化能力，甚至与无约束的ERM相比亦然。该问题源于线性变体（如其具体方法IRMv1）与完整非线性IRM公式之间的显著差距。此外，即使捕捉到了“正确”的不变性，我们表明由于损失函数并非跨环境不变，IRM仍可能学习到次优预测器。这些问题即便在总体分布上度量不变性时也会出现，但IRM对采样极其脆弱这一事实加剧了这些问题。
引用
@article{arxiv.2101.01134,
title = {Does Invariant Risk Minimization Capture Invariance?},
author = {Pritish Kamath and Akilesh Tangella and Danica J. Sutherland and Nathan Srebro},
journal= {arXiv preprint arXiv:2101.01134},
year = {2021}
}
备注
Code is available in the arXiv ancillary files, linked from this page