帕累托不变风险最小化：缓解分布外泛化中的优化困境
机器学习
2023-03-03 v2 机器学习
摘要
近年来，使机器学习系统对分布外（OOD）数据具备良好泛化能力的研究兴趣日益增长。大多数工作致力于改进优化目标，通过正则化模型以捕获潜在的不变性；然而，这些OOD目标在优化过程中往往存在折衷：i）许多OOD目标为便于优化不得不松弛为经验风险最小化（ERM）的惩罚项，而松弛形式会削弱原始目标的鲁棒性；ii）由于ERM与OOD目标之间的内在冲突，惩罚项还需仔细调谐惩罚权重。因此，这些折衷容易导致ERM或OOD目标的次优性能。为解决这些问题，我们引入多目标优化（MOO）视角来理解OOD优化过程，并提出一种称为PAreto不变风险最小化（PAIR）的新优化方案。PAIR通过与其他OOD目标协同优化来提升OOD目标的鲁棒性，从而弥合由松弛造成的差距。随后PAIR逼近一个在ERM与OOD目标间恰当权衡的帕累托最优解。在具有挑战性的基准WILDS上的大量实验表明，PAIR缓解了上述折衷并取得了顶尖的OOD性能。
引用
@article{arxiv.2206.07766,
title = {Pareto Invariant Risk Minimization: Towards Mitigating the Optimization Dilemma in Out-of-Distribution Generalization},
author = {Yongqiang Chen and Kaiwen Zhou and Yatao Bian and Binghui Xie and Bingzhe Wu and Yonggang Zhang and Kaili Ma and Han Yang and Peilin Zhao and Bo Han and James Cheng},
journal= {arXiv preprint arXiv:2206.07766},
year = {2023}
}
备注
ICLR 2023, 50 pages, 58 figures