极小极大博弈中的递归推理：一种 Level $k$ 梯度博弈方法
机器学习
2022-11-01 v1 计算机科学与博弈论
摘要
尽管生成对抗网络（GANs）在生成视觉上吸引人的图像方面取得了成功，但它们以难以训练而著称。为了稳定极小极大博弈中的学习动态，我们提出了一种新颖的递归推理算法：Level 梯度博弈（Lv. GP）算法。与许多现有算法不同，我们的算法不需要复杂的启发式方法或曲率信息。我们表明，随着 增大，Lv. GP 渐近收敛于对参与者未来策略的准确估计。此外，我们论证了 Lv. GP 自然推广了一类依赖于预测更新的可证明收敛博弈动态。进一步，我们给出了其在非凸-非凹零和博弈中的局部收敛性质，以及在双线性和二次博弈中的全局收敛性质。通过将 Lv. GP 与 Adam 优化器结合，我们的算法在性能和计算开销方面相比其他方法具有明显优势。使用单块 Nvidia RTX3090 GPU 且在 CIFAR-10 上参数量比 BigGAN 少 30 倍，我们在 30 小时内实现了无条件图像生成的 FID 为 10.17，使得在常见计算资源上训练 GAN 达到最先进性能。
引用
@article{arxiv.2210.16482,
title = {Recursive Reasoning in Minimax Games: A Level $k$ Gradient Play Method},
author = {Zichu Liu and Lacra Pavel},
journal= {arXiv preprint arXiv:2210.16482},
year = {2022}
}
备注
For the code associated with this paper, see https://github.com/ZichuLiu/submission