Wasserstein GAN 的隐式凸性：具有闭式解的可解释生成模型
机器学习
2022-03-22 v2 计算机视觉与模式识别
图像与视频处理
最优化与控制
机器学习
摘要
生成对抗网络（GANs）常用于对复杂数据分布建模。GAN 的生成器与判别器通常由神经网络建模，分别构成了关于生成器非凸、关于判别器非凹的不透明优化问题。此类网络常以梯度下降-上升（GDA）启发式优化，但尚不清楚该优化问题是否包含任何鞍点，或启发式方法能否在实践中找到它们。在本工作中，我们通过凸对偶的视角分析具有两层神经网络判别器的 Wasserstein GAN 的训练，并针对多种生成器揭示了 Wasserstein GAN 可经凸优化方法精确求解或可被表示为凸-凹博弈的条件。利用该凸对偶解释，我们进一步展示了判别器不同激活函数的影响。我们的观察通过数值结果得到验证，证明了凸解释的力量，并在 CelebA 图像生成中对应于线性生成器与二次激活判别器的凸架构的渐进式训练中得到应用。我们的实验代码可在 https://github.com/ardasahiner/ProCoGAN 获取。
引用
@article{arxiv.2107.05680,
title = {Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions},
author = {Arda Sahiner and Tolga Ergen and Batu Ozturkler and Burak Bartan and John Pauly and Morteza Mardani and Mert Pilanci},
journal= {arXiv preprint arXiv:2107.05680},
year = {2022}
}
备注
Published as paper in ICLR 2022. First two authors contributed equally to this work; 34 pages, 11 figures