最小第 k 阶与 Rényi 生成对抗网络

我们研究利用参数化信息论测度族推广生成对抗网络（GANs）的损失函数，以期提升性能。首先引入一种称为最小第 k 阶 GAN（L$k$GAN）的新生成器损失函数，通过使用 $k \geq 1$ 的 $k$ 阶绝对误差失真测度推广最小二乘 GANs（LSGANs）（当 $k=2$ 时恢复 LSGAN 损失函数）。研究表明，在（无约束）最优判别器下最小化该广义损失函数等价于最小化 $k$ 阶 Pearson-Vajda 散度。接着提出另一种基于阶数 $\alpha >0$、$\alpha\neq 1$ 的 Rényi 交叉熵泛函的 GAN 生成器损失函数。证明该以 Rényi 为中心的广义损失函数在 $\alpha\to1$ 时可证明退化为原始 GAN 损失函数，并保持了基于 Jensen-Rényi 散度（Jensen-Shannon 散度的自然推广）的原始 GAN 所满足的平衡点。实验结果表明，所提损失函数应用于 MNIST 和 CelebA 数据集，在 DCGAN 和 StyleGAN 架构下，分别借助参数 $k$ 和 $\alpha$ 提供的额外自由度带来了性能收益。更具体地，实验显示由 Fréchet Inception Distance（FID）分数衡量的生成图像质量及训练稳定性均有改善。尽管本研究应用于 GANs，所提方法具有通用性，可用于信息论之于深度学习的其他应用，例如人工智能中的公平性或隐私问题。