基于块生成的 GAN 中用于无缝无限尺寸纹理合成的局部填充
计算机视觉与模式识别
2024-11-08 v5 图像与视频处理
摘要
基于生成对抗网络（GANs）的纹理模型使用零填充来隐式编码图像特征的位置信息。然而，当扩展空间输入以生成大尺寸图像时，零填充常因图像中心不正确的位置信息而导致图像质量下降。此外，零填充会限制生成的大图像内的多样性。在本文中，我们提出一种使用基于逐块生成的 GAN 生成大任意尺寸随机纹理图像的新颖方法。模型在生成器中使用局部填充（local padding）而非零填充，其在生成块之间共享边界特征；提供位置上下文并确保边界处的一致性。所提模型可在单张纹理图像上训练，且相对于输出图像尺寸具有恒定的 GPU 可扩展性，因此可生成无限尺寸的图像。我们在实验中表明，我们的方法在生成纹理的质量与多样性方面相比现有基于 GAN 的纹理模型有显著进步。此外，在最先进的超分辨率模型中实现局部填充有效消除了平铺伪影，实现了大规模超分辨率。我们的代码可在 \url{https://github.com/ai4netzero/Infinite_Texture_GANs} 获取。
引用
@article{arxiv.2309.02340,
title = {Local Padding in Patch-Based GANs for Seamless Infinite-Sized Texture Synthesis},
author = {Alhasan Abdellatif and Ahmed H. Elsheikh and Hannah P. Menke},
journal= {arXiv preprint arXiv:2309.02340},
year = {2024}
}