从神经正切核视角看生成对抗网络
机器学习
2022-11-08 v5 神经与进化计算
机器学习
摘要
我们提出了一种分析生成对抗网络（GANs）的新颖理论框架。我们揭示了先前分析的一个根本性缺陷：由于错误地建模了 GAN 的训练机制，这些方法受制于定义不良的判别器梯度。我们克服了这一阻碍对 GAN 训练进行原则性研究的问题，在我们的框架中通过考虑判别器的架构来解决它。为此，我们利用无限宽神经网络理论，通过其神经正切核（Neural Tangent Kernel）来刻画判别器。我们刻画了在多种损失函数下训练得到的判别器，并建立了该网络的通用可微性性质。由此，我们推导出了关于生成分布收敛性的新见解，增进了对 GAN 训练动力学的理解。我们通过基于该框架的分析工具包对这些结果进行了实证验证，揭示了与 GAN 实践相一致的直观认识。
引用
@article{arxiv.2106.05566,
title = {A Neural Tangent Kernel Perspective of GANs},
author = {Jean-Yves Franceschi and Emmanuel de Bézenac and Ibrahim Ayed and Mickaël Chen and Sylvain Lamprier and Patrick Gallinari},
journal= {arXiv preprint arXiv:2106.05566},
year = {2022}
}