GANs训练的收敛性：一种博弈与随机控制方法
机器学习
2021-12-28 v2 机器学习
摘要
生成对抗网络（GANs）的训练众所周知是困难的，尤其是对于金融时间序列。本文首先分析了GANs极小极大博弈中的适定性问题以及GANs目标函数中的凸性问题。随后提出了一种用于GANs训练中超参数调节的随机控制框架。建立了相应极小极大博弈的动态规划原理弱形式以及值函数在粘性意义下的唯一性与存在性。特别地，推导出了最优自适应学习率和批大小显式形式，并证明其依赖于目标函数的凸性，揭示了学习率选择不当与GANs训练爆炸之间的关系。最后，实证研究表明，融入该自适应控制方法的训练算法在收敛性和鲁棒性方面优于标准ADAM方法。从GANs训练的角度看，本文的分析为流行的“裁剪”做法提供了分析支持，并表明GANs中的凸性与适定性问题可通过适当选择超参数来解决。
引用
@article{arxiv.2112.00222,
title = {Convergence of GANs Training: A Game and Stochastic Control Methodology},
author = {Othmane Mounjid and Xin Guo},
journal= {arXiv preprint arXiv:2112.00222},
year = {2021}
}