生成对抗网络中极小-极大优化的高斯-牛顿方法
机器学习
2024-04-11 v1 数值分析
数值分析
最优化与控制
摘要
提出了一种用于训练生成对抗网络（GAN）的新型一阶方法。它修改了高斯-牛顿方法以近似极小-极大海森矩阵，并使用Sherman-Morrison求逆公式计算逆矩阵。该方法对应于一个确保必要收缩的定点方法。为了评估其有效性，在图像生成任务中常用的各种数据集（如MNIST、Fashion MNIST、CIFAR10、FFHQ和LSUN）上进行了数值实验。我们的方法能够在多个数据集上生成具有更高保真度和更大多样性的图像。在CIFAR10上，它还在所有比较方法（包括最先进的二阶方法）中取得了最高的初始分数。此外，其执行时间与一阶极小-极大方法相当。
引用
@article{arxiv.2404.07172,
title = {A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks},
author = {Neel Mishra and Bamdev Mishra and Pratik Jawanpuria and Pawan Kumar},
journal= {arXiv preprint arXiv:2404.07172},
year = {2024}
}
备注
accepted in IJCNN 2023, 9 pages