用于生成对抗网络的共轭梯度法
机器学习
2023-02-22 v3 计算机视觉与模式识别
最优化与控制
摘要
生成模型的训练策略之一是最小化模型分布与数据分布之间的 Jensen--Shannon 散度。由于数据分布未知，生成对抗网络（GANs）将这一问题表述为生成器与判别器两个模型之间的博弈。该训练可在博弈论及局部纳什均衡（LNE）的框架下表述。对现有方法给出稳定性或最优性的保证似乎并不可行。该优化问题远比单目标设定更具挑战性。在此，我们利用共轭梯度法可靠且高效地求解 GANs 中的 LNE 问题。我们在温和假设下给出证明与收敛分析，表明所提方法在三种不同学习率更新规则（包括恒定学习率）下收敛到 LNE。最后，我们证明所提方法在最佳 Frechet 初始距离（FID）分数上优于随机梯度下降（SGD）和动量 SGD，且平均上优于 Adam。代码见 \url{https://github.com/Hiroki11x/ConjugateGradient_GAN}。
引用
@article{arxiv.2203.14495,
title = {Conjugate Gradient Method for Generative Adversarial Networks},
author = {Hiroki Naganuma and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2203.14495},
year = {2023}
}
备注
Accepted to AISTATS 2023