一个可解的高维GAN模型
机器学习
2019-10-29 v2 无序系统与神经网络
信息论
math.IT
机器学习
摘要
我们针对由高维输入数据驱动的单层 GAN 的训练过程给出理论分析。所提模型在微观与宏观尺度上的训练动力学均可在高维极限下被精确分析。具体而言，我们证明度量训练过程质量的宏观量收敛于一个由常微分方程 (ODE) 刻画的确定性过程，而包含所有详细权重的微观状态保持随机性，其动力学可由随机微分方程 (SDE) 描述。该分析提供了一个不同于近期小学习率极限下分析的新视角，在后者的分析中微观状态总被视为确定性，且噪声贡献被忽略。由我们的分析可知，背景噪声的水平对训练过程的收敛至关重要：噪声设得过强会导致特征恢复失败，而噪声过弱则引起振荡。尽管本文聚焦于 GAN 的一个简单拷贝模型，我们相信此处发展的分析方法与见解将有助于从理论上理解具有更先进训练算法的其他 GAN 变体。
引用
@article{arxiv.1805.08349,
title = {A Solvable High-Dimensional Model of GAN},
author = {Chuang Wang and Hong Hu and Yue M. Lu},
journal= {arXiv preprint arXiv:1805.08349},
year = {2019}
}
备注
Accepted by 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada