基于全变分不变风险最小化的外分布总体一般化
机器学习
2025-03-03 v2
摘要
不可变风险最小化(IRVM)是近期被解释为全变分模型(IRM-TV)的重要机器学习通用框架。然而，如何在IRM-TV框架下提高外分布(OOH)一般化仍是未解之谜。本文将IRM-TV扩展为一种拉格朗日乘子模型，命名为OOD-TV-IRM。我们发现，自主全变分超参数恰为拉格朗日乘子。因此，OOD-TV-IRM本质上是一个原始-对偶优化模型，其中原始优化最小化整个不可变风险，而对偶优化强化全变分惩罚。目标是达到半纳什均衡，维持训练损失与OOH一般化之间的平衡。我们还发展了一个收敛的原始-对偶算法，以促进对抗学习方案。实验结果表明，OOD-TV-IRM在大多数情况下均优于IRM-TV。
引用
@article{arxiv.2502.19665,
title = {Out-of-distribution Generalization for Total Variation based Invariant Risk Minimization},
author = {Yuanchao Wang and Zhao-Rong Lai and Tianqi Zhong},
journal= {arXiv preprint arXiv:2502.19665},
year = {2025}
}
备注
ICLR 2025