中文

领域对抗训练:一种博弈论视角

机器学习 2022-02-14 v1 计算机视觉与模式识别 计算机科学与博弈论

摘要

领域自适应领域的主流工作集中在使用领域对抗训练学习不变表示。在本文中,我们从博弈论的视角来解释这种方法。我们将领域对抗训练中的最优解定义为局部纳什均衡,并证明领域对抗训练中的梯度下降可能违反优化器的渐近收敛保证,常常阻碍迁移性能。我们的分析引导我们用高阶常微分方程(ODE)求解器(即龙格-库塔法)替代梯度下降,并为此推导了渐近收敛保证。这一优化器族显著更稳定,并允许更激进的训练率,当作为标准优化器的直接替代品使用时,能带来显著的性能提升。我们的实验表明,结合最先进的领域对抗方法,我们以不到一半的训练迭代次数实现了高达3.5%的改进。我们的优化器易于实现,无需额外参数,并且可以插入任何领域对抗框架中。

关键词

引用

@article{arxiv.2202.05352,
  title  = {Domain Adversarial Training: A Game Perspective},
  author = {David Acuna and Marc T Law and Guojun Zhang and Sanja Fidler},
  journal= {arXiv preprint arXiv:2202.05352},
  year   = {2022}
}

备注

ICLR 2022