博弈优化中的复动量方法
机器学习
2021-06-03 v2 计算机科学与博弈论
摘要
我们将带动量的梯度下降推广到可微博弈优化中，使其具有复值动量。我们通过证明在双线性零和博弈中对于同步与交替更新均收敛，为该方法提供了理论动机。我们的方法给出实值参数更新，使其成为标准优化器的直接替代。我们通过经验证明，复值动量可改善现实对抗博弈（如生成对抗网络）中的收敛性——表明我们以几乎相同的计算代价找到了更好的解。我们还展示了对复值 Adam 变体的实用推广，并用其在 CIFAR-10 上以更好的 inception 分数训练 BigGAN。
引用
@article{arxiv.2102.08431,
title = {Complex Momentum for Optimization in Games},
author = {Jonathan Lorraine and David Acuna and Paul Vicol and David Duvenaud},
journal= {arXiv preprint arXiv:2102.08431},
year = {2021}
}