基于近端对偶间隙刻画GAN收敛性
机器学习
2021-07-13 v2 人工智能
摘要
尽管生成对抗网络（GANs）在建模数据分布方面成就斐然，训练它们仍是一项挑战性任务。造成此困难的一个因素是GAN损失曲线不直观，需对生成输出进行主观评估以推断训练进展。近来，受博弈论启发，对偶间隙被提出作为与领域无关的度量来监控GAN训练。然而，它仅限于GAN收敛到纳什均衡的情形。但GAN未必总收敛到纳什均衡才能建模数据分布。本工作中，我们将对偶间隙的概念推广为近端对偶间隙，适用于未必存在纳什均衡的GAN训练一般情境。我们从理论上证明近端对偶间隙能够监控GAN收敛到比纳什均衡更宽泛的均衡谱系。我们还从理论上建立了不同GAN形式下近端对偶间隙与真实和生成数据分布间散度之间的关系。我们的结果对GAN收敛的本质提供了新见解。最后，我们通过实验验证了近端对偶间隙在监控和影响GAN训练方面的有用性。
引用
@article{arxiv.2105.04801,
title = {On Characterizing GAN Convergence Through Proximal Duality Gap},
author = {Sahil Sidheekh and Aroof Aimen and Narayanan C. Krishnan},
journal= {arXiv preprint arXiv:2105.04801},
year = {2021}
}