通过提升空间感知改善 GAN 均衡
计算机视觉与模式识别
2022-04-19 v2
摘要
生成对抗网络（GANs）的成功很大程度上建立在生成器（G）与判别器（D）之间的对抗训练之上。人们期望它们达到某种均衡，使得 D 无法区分生成图像与真实图像。然而，这种均衡在实用 GAN 训练中很少实现，相反，D 几乎总是胜过 G。我们将其中一个根源归结为 D 与 G 之间的信息不对称。我们观察到，D 在判定图像真假时会学习自身的视觉注意力，而 G 对于特定合成应关注哪些区域没有明确线索。为缓解 GANs 中 D 主导竞争的问题，我们旨在提升 G 的空间感知。随机采样的多级热图作为归纳偏置被编码进 G 的中间层。因此 G 可以有目的地改善某些图像区域的合成。我们进一步提出将 G 的空间感知与由 D 诱导出的注意力图对齐。通过这种方式，我们有效缩小了 D 与 G 之间的信息差距。大量结果表明，我们的方法推动 GANs 中的二人博弈更接近均衡，从而获得更好的合成性能。作为副产品，引入的空间感知便利了对输出合成的交互式编辑。演示视频与代码见 https://genforce.github.io/eqgan-sa/。
引用
@article{arxiv.2112.00718,
title = {Improving GAN Equilibrium by Raising Spatial Awareness},
author = {Jianyuan Wang and Ceyuan Yang and Yinghao Xu and Yujun Shen and Hongdong Li and Bolei Zhou},
journal= {arXiv preprint arXiv:2112.00718},
year = {2022}
}