关于风险最小化中的不变性惩罚
机器学习
2021-06-21 v1 机器学习
摘要
不变风险最小化（IRM）原则由 Arjovsky 等人 [2019] 首次提出，旨在通过利用来自不同实验条件的数据异质性来解决域泛化问题。具体而言，IRM 寻求找到一个数据表示，使得在其下最优分类器在所有域中保持不变。尽管 IRM 具有概念上的吸引力，但最初提出的不变性惩罚的有效性近来受到质疑。特别地，存在反例使得该不变性惩罚对于非不变数据表示可以任意小。我们通过重新审视数据表示的 Gramian 矩阵提出了一种替代的不变性惩罚。我们讨论了其特征值在风险与不变性惩罚关系中的作用，并证明对于所述反例它是病态的。所提方法在保证温和非退化条件下，对线性设置可恢复不变表示。其有效性由在 DomainBed 与 InvarianceUnitTest（两个广泛的域泛化测试平台）上的实验所证实。
关键词
引用
@article{arxiv.2106.09777,
title = {On Invariance Penalties for Risk Minimization},
author = {Kia Khezeli and Arno Blaas and Frank Soboczenski and Nicholas Chia and John Kalantari},
journal= {arXiv preprint arXiv:2106.09777},
year = {2021}
}