通向平衡的多种路径：GANs无需在每一步减小散度
机器学习
2018-02-22 v3 机器学习
摘要
生成对抗网络（GANs）是一类不最小化单一训练准则的生成模型。与其他生成模型不同，数据分布通过生成器（生成模型）与判别器（提供训练信号的教师）之间的博弈来学习，二者各自最小化自身的代价。GANs被设计为达到纳什均衡，在该均衡下，任一参与者在不改变其他参与者参数的情况下无法降低其代价。针对GANs理论的一种有用方法是证明训练分布与模型分布之间的散度在均衡处取得最小值。近期的若干研究方向受到这样一种观念的推动：该散度是学习过程的主要指导，且学习的每一步都应减小散度。我们表明这一观点过于受限。在GAN训练期间，判别器在分布间散度的梯度无用的情形下提供学习信号。我们提供了将GAN训练视为散度最小化的经验反例。具体而言，我们证明GANs能够在散度最小化观点预测其会失败的情形下学习分布。我们还表明，受散度最小化视角启发的梯度惩罚在应用于其他散度最小化视角未预测其有用的语境时同样有帮助。这为日益增多的证据做出贡献：GAN训练或许更有用地被视作通过未必在每步最小化特定散度的轨迹来逼近纳什均衡。
引用
@article{arxiv.1710.08446,
title = {Many Paths to Equilibrium: GANs Do Not Need to Decrease a Divergence At Every Step},
author = {William Fedus and Mihaela Rosca and Balaji Lakshminarayanan and Andrew M. Dai and Shakir Mohamed and Ian Goodfellow},
journal= {arXiv preprint arXiv:1710.08446},
year = {2018}
}
备注
18 pages