剖析GAN中的自适应方法
机器学习
2022-10-11 v1
摘要
自适应方法是训练生成对抗网络(GANs)广泛使用的关键组件。尽管已有一些工作在标准任务中指明自适应方法的“边际价值”,为何它们对GAN训练仍至关重要仍不清楚。本文形式化研究自适应方法如何助力GAN训练;受arXiv:2002.11803 [cs.LG]提出的grafting方法启发,我们将Adam更新的幅值与方向分量分离,并分别将其嫁接到SGDA更新的方向与幅值上。通过考虑一种具有Adam更新幅值与SGD归一化方向的更新规则,我们经实验表明Adam的自适应幅值是GAN训练的关键。这促使我们更细致地考察归一化随机梯度下降 ascent(nSGDA)方法类在GAN训练中的表现。我们提出一个合成理论框架,比较带神经网络的GAN训练中nSGDA与SGDA的性能。我们证明在该设定下,用nSGDA训练的GAN能恢复真实分布的所有模态,而用SGDA(及任意学习率配置)训练的相同网络则遭受模态崩塌。我们分析中的关键洞见是:归一化梯度迫使判别器与生成器以相同步调更新。我们还通过实验表明,在多个数据集上,Adam的性能可由nSGDA方法恢复。
引用
@article{arxiv.2210.04319,
title = {Dissecting adaptive methods in GANs},
author = {Samy Jelassi and David Dobre and Arthur Mensch and Yuanzhi Li and Gauthier Gidel},
journal= {arXiv preprint arXiv:2210.04319},
year = {2022}
}