从最大间隔视角看梯度惩罚

生成对抗网络(GANs)中一种提升性能的流行启发式方法是对判别器使用某种形式的梯度惩罚。该梯度惩罚最初由Wasserstein距离公式所驱动。然而,在其他GAN公式中使用梯度惩罚并无充分动机。我们提出了期望间隔最大化这一统一框架,并表明广泛的梯度惩罚GAN(例如Wasserstein、Standard、Least-Squares和Hinge GANs)均可由此框架导出。我们的结果表明,采用梯度惩罚会诱导出一个大间隔分类器(从而在GAN中为大间隔判别器)。我们描述了期望间隔最大化如何帮助减少在伪(生成)样本上的梯度消失,这是GAN中的一个已知问题。从该框架出发,我们推导出一种带Hinge损失的新的 $L^\infty$ 梯度范数惩罚,其通常能生成与 $L^2$-范数惩罚相比同样好(或更好)的GAN输出(基于Fréchet Inception Distance)。