基于自适应复合梯度的生成对抗网络训练
机器学习
2021-11-11 v1 人工智能
计算机科学与博弈论
动力系统
最优化与控制
摘要
生成对抗网络的广泛应用得益于成功的训练方法,其保证目标函数收敛到局部极小值。然而,由于一些基于梯度的方法存在循环行为以及基于Hessian矩阵的方法计算代价高昂,设计一种高效且具有竞争力的训练方法仍是一项挑战。本文提出自适应复合梯度(ACG)方法,在适当设定下于双线性博弈中线性收敛。理论与玩具函数实验表明,我们的方法能够缓解循环行为并比近期提出的算法收敛更快。值得注意的是,ACG方法不仅用于寻找双线性博弈中的稳定不动点,也适用于一般博弈。ACG方法是一种新颖的半无梯度算法,因为它不需要计算每步的梯度,通过利用未来迭代中的预测信息降低了梯度与Hessian的计算代价。我们通过将ACG集成到带有线性GAN的现有算法中进行了两个高斯混合实验。结果表明ACG与先前算法具有竞争力。在四个流行数据集(MNIST、Fashion-MNIST、CIFAR-10和CelebA)上使用DCGAN进行的真实实验表明,我们的ACG方法优于若干基线,说明了该方法的优越性与有效性。
引用
@article{arxiv.2111.05508,
title = {Training Generative Adversarial Networks with Adaptive Composite Gradient},
author = {Huiqing Qi and Fang Li and Shengli Tan and Xiangyun Zhang},
journal= {arXiv preprint arXiv:2111.05508},
year = {2021}
}