HessianFR：一种高效的基于Hessian的沿脊跟随算法用于极小极大优化
最优化与控制
2022-05-24 v1 机器学习
数值分析
数值分析
摘要
可微分的双人序贯博弈（例如通过GAN生成图像）的广泛应用引起了研究人员对高效快速算法的研究和关注。大多数现有算法基于同时博弈的良好性质（即凸凹收益函数）而发展，但不适用于求解具有不同设定的序贯博弈。一些传统的梯度下降上升算法在理论上和数值上均无法找到同时博弈的局部纳什均衡或序贯博弈的局部极小极大（即局部Stackelberg均衡）。在本文中，我们提出了HessianFR，一种高效的基于Hessian的沿脊跟随（Follow-the-Ridge）算法，具有理论保证。此外，我们利用随机算法的收敛性和Hessian逆的近似来提升算法效率。我们在合成和真实世界大规模图像数据集（如MNIST、CIFAR-10和CelebA）上进行了一系列训练生成对抗网络（GANs）的实验。实验结果表明，所提出的HessianFR在收敛性和图像生成质量方面优于基线。
引用
@article{arxiv.2205.11030,
title = {HessianFR: An Efficient Hessian-based Follow-the-Ridge Algorithm for Minimax Optimization},
author = {Yihang Gao and Huafeng Liu and Michael K. Ng and Mingjie Zhou},
journal= {arXiv preprint arXiv:2205.11030},
year = {2022}
}