环面生成对抗网络中傅里叶模态的动力学
机器学习
2022-09-07 v1 动力系统
机器学习
摘要
生成对抗网络(GANs)是强大的机器学习模型，能够高分辨率地生成所需现象的完全合成样本。尽管取得了成功，GAN 的训练过程高度不稳定，通常有必要为网络实现若干辅助启发式方法以达成可接受的模型收敛。本文中，我们引入一种分析生成对抗网络训练中收敛与稳定性的新方法。为此，我们提议将定义周期性 GAN 的对抗极小极大博弈的目标函数分解为其傅里叶级数。通过研究连续交替梯度下降算法下截断傅里叶级数的动力学，我们得以近似真实流并识别 GAN 收敛的主要特征。该方法通过研究旨在生成未知指数分布的 参数 GAN 中的训练流得到实证确认。作为副产物，我们表明 GAN 中的收敛轨道是周期轨道的小扰动，因此纳什均衡是螺旋吸引子。这在理论上解释了 GAN 中观察到的缓慢且不稳定的训练。
引用
@article{arxiv.2209.01842,
title = {Dynamics of Fourier Modes in Torus Generative Adversarial Networks},
author = {Ángel González-Prieto and Alberto Mozo and Edgar Talavera and Sandra Gómez-Canaval},
journal= {arXiv preprint arXiv:2209.01842},
year = {2022}
}
备注
27 pages, 8 figures, 1 table. Minor typos corrected from the published version