GAN 中作为空间归纳偏置的位置编码
计算机视觉与模式识别
2020-12-10 v1
摘要
SinGAN 尽管有效感受野有限，却展现出学习内部块分布的惊人能力。我们感兴趣的是，这种平移不变卷积生成器如何仅凭空间独立同分布输入捕捉全局结构。本文以 SinGAN 和 StyleGAN2 为例，表明这种能力在很大程度上源于生成器中使用零填充时的隐式位置编码。此类位置编码对于生成高保真图像不可或缺。在 DCGAN 和 PGGAN 等其他生成架构中也观察到相同现象。我们进一步表明零填充导致空间偏置不平衡且位置间关系模糊。为提供更好的空间归纳偏置，我们研究替代位置编码并分析其效果。基于更灵活显式的位置编码，我们提出一种新的多尺度训练策略，并在最优无条件生成器 StyleGAN2 中证明其有效性。此外，显式空间归纳偏置显著改进了 SinGAN 以实现更多样的图像操控。
引用
@article{arxiv.2012.05217,
title = {Positional Encoding as Spatial Inductive Bias in GANs},
author = {Rui Xu and Xintao Wang and Kai Chen and Bolei Zhou and Chen Change Loy},
journal= {arXiv preprint arXiv:2012.05217},
year = {2020}
}
备注
paper with appendix, project page: https://nbei.github.io/gan-pos-encoding.html