用 Lookahead-Minmax 驯服 GAN
机器学习
2021-06-24 v3 机器学习
摘要
生成对抗网络（GAN）以训练困难而著称。其底层 minmax 优化极易受随机梯度方差及相关博弈向量场旋转分量的影响。为应对这些挑战，我们提出了用于 minmax 优化的 Lookahead 算法，该算法原本仅针对单一目标最小化而开发。我们的 Lookahead-minmax 的回退步自然地应对了旋转博弈动力学，这一性质被认定为使梯度上升下降方法能够在文献中常分析的挑战性例子上收敛的关键。此外，它在不使用大 mini-batch 的情况下隐式处理高方差，而大 mini-batch 已知对达到 state-of-the-art 性能至关重要。在 MNIST、SVHN、CIFAR-10 和 ImageNet 上的实验结果表明，将 Lookahead-minmax 与 Adam 或外梯度结合，在性能和稳定性提升方面具有明显优势，且内存与计算成本可忽略。使用少 30 倍的参数和 16 倍小的 minibatch，我们在 CIFAR-10 上无需使用类标签即取得 12.19 的 FID，优于所报道的与类相关的 BigGAN 的性能，使 state-of-the-art 的 GAN 训练能为常见计算资源所及。
引用
@article{arxiv.2006.14567,
title = {Taming GANs with Lookahead-Minmax},
author = {Tatjana Chavdarova and Matteo Pagliardini and Sebastian U. Stich and Francois Fleuret and Martin Jaggi},
journal= {arXiv preprint arXiv:2006.14567},
year = {2021}
}