领域对抗训练:一种博弈论视角
机器学习
2022-02-14 v1 计算机视觉与模式识别
计算机科学与博弈论
摘要
领域自适应领域的主流工作集中在使用领域对抗训练学习不变表示。在本文中,我们从博弈论的视角来解释这种方法。我们将领域对抗训练中的最优解定义为局部纳什均衡,并证明领域对抗训练中的梯度下降可能违反优化器的渐近收敛保证,常常阻碍迁移性能。我们的分析引导我们用高阶常微分方程(ODE)求解器(即龙格-库塔法)替代梯度下降,并为此推导了渐近收敛保证。这一优化器族显著更稳定,并允许更激进的训练率,当作为标准优化器的直接替代品使用时,能带来显著的性能提升。我们的实验表明,结合最先进的领域对抗方法,我们以不到一半的训练迭代次数实现了高达3.5%的改进。我们的优化器易于实现,无需额外参数,并且可以插入任何领域对抗框架中。
引用
@article{arxiv.2202.05352,
title = {Domain Adversarial Training: A Game Perspective},
author = {David Acuna and Marc T Law and Guojun Zhang and Sanja Fidler},
journal= {arXiv preprint arXiv:2202.05352},
year = {2022}
}
备注
ICLR 2022