信息几何视角下的 f-GAN
机器学习
2017-07-17 v1 机器学习
摘要
Nowozin 等人去年展示了如何将 GAN 的原理推广到所有 f-散度。该方法优雅，但未能完整描述监督博弈，且对关键角色——生成器——谈及甚少：例如，如果求解 GAN 博弈意味着在某种参数空间中收敛，那么生成器实际收敛到什么？这如何为生成器的设计提供启示，并与该主题虽蓬勃发展但几乎纯实验性的文献相比较？在本文中，我们揭示了一大类发生此种收敛的分布——即形变指数族，它是指数族的一个广泛超集——并展示了其与另外三个关键 GAN 参数（损失、博弈与架构）的紧密关联。特别地，我们表明当前深度架构能够利用一种尤其紧凑的设计对极大量此类密度进行因子分解，从而彰显了深度架构的力量及其在 f-GAN 博弈中的巧妙契合。该结果在激活函数满足一充分条件（流行选择恰好满足该条件）时成立。我们结果的关键在于对一个旧定理的变分推广，该定理关联了正则指数族之间的 KL 散度与其自然参数之间的散度。我们通过附加结果和实验见解完善了这一图景，这些结果和见解关于如何将这些结果用于进一步改进 GAN 架构，途径包括（i）生成器中激活函数的原则性设计，以及（ii）在判别器中显式集成适当的复合损失的链接函数。
引用
@article{arxiv.1707.04385,
title = {f-GANs in an Information Geometric Nutshell},
author = {Richard Nock and Zac Cranko and Aditya Krishna Menon and Lizhen Qu and Robert C. Williamson},
journal= {arXiv preprint arXiv:1707.04385},
year = {2017}
}