一步两阶——以 Tseng 方法稳步进行 GAN 训练
最优化与控制
2020-06-17 v1
摘要
受生成对抗网络（GANs）训练的启发，我们研究求解带额外非光滑正则项的极小极大问题的方法。为此我们采用单调算子理论，特别是前向-后向-前向（FBF）方法，该方法通过对每次更新以第二次梯度评估进行修正，从而避免已知的极限环问题。此外，我们提出一种看似新颖的方案，其循环利用旧梯度以减轻额外的计算成本。在此过程中我们重新发现了一种已知方法，其与乐观梯度下降上升（OGDA）相关。对于两种方案，我们通过统一的方法证明了凸-凹极小极大问题的新收敛速率。所推导的误差界是针对遍历迭代的间隙函数给出的。对于确定性与随机性问题，我们分别展示了 与 的收敛速率。我们以在 CIFAR10 数据集上 Wasserstein GANs 训练中的实证改进来补充我们的理论结果。
引用
@article{arxiv.2006.09033,
title = {Two steps at a time -- taking GAN training in stride with Tseng's method},
author = {Axel Böhm and Michael Sedlmayer and Ernö Robert Csetnek and Radu Ioan Boţ},
journal= {arXiv preprint arXiv:2006.09033},
year = {2020}
}
备注
19 pages, 5 figures