双人博弈中的离散化漂移
机器学习
2021-07-05 v2 机器学习
摘要
基于梯度的双人博弈方法产生了可解决挑战性问题的丰富动力学，但却难以稳定和被理解。部分复杂性源于同时或交替梯度下降给出的离散更新步，这导致每个参与者偏离连续梯度流——我们将此现象称为离散化漂移。利用后向误差分析，我们推导了紧密跟随离散动力学的修正连续动力系统。这些修正动力学为与零和博弈(包括生成对抗网络)相关的臭名昭著的挑战提供了洞见。特别地，我们识别出离散化漂移中可改变性能并在某些情况下使博弈失稳的不同分量。最后，量化离散化漂移使我们能够识别显式抵消有害漂移形式或增强有益漂移形式的正则化器，从而改善GAN训练的性能。
引用
@article{arxiv.2105.13922,
title = {Discretization Drift in Two-Player Games},
author = {Mihaela Rosca and Yan Wu and Benoit Dherin and David G. T. Barrett},
journal= {arXiv preprint arXiv:2105.13922},
year = {2021}
}