面向图像修复的高效纹理感知多GAN方法
计算机视觉与模式识别
2021-02-16 v2
摘要
近期基于GAN（生成对抗网络）的修复方法取得了显著进展，并利用多阶段网络或上下文注意力模块（CAM）生成了合理的图像。然而，这些技术增加了模型复杂度，限制了其在低资源环境中的应用。此外，由于GAN的稳定性问题，它们难以生成具有真实纹理细节的高分辨率图像。受这些观察的启发，我们提出了一种多GAN架构，在提升性能的同时提高了渲染效率。我们的训练方案以端到端方式优化四个渐进式高效生成器与判别器的参数。由于维度空间较小，填充低分辨率图像对GAN而言挑战较小，同时它引导更高分辨率的生成器学习图像的全局结构一致性。为约束修复任务并确保细粒度纹理，我们采用基于LBP的损失函数来最小化生成纹理与真实纹理之间的差异。我们在Places2和CelebHQ数据集上进行了实验。定性与定量结果表明，所提方法不仅优于当前最先进（SOTA）算法，还加快了推理时间。
引用
@article{arxiv.2009.14721,
title = {Efficient texture-aware multi-GAN for image inpainting},
author = {Mohamed Abbas Hedjazi and Yakup Genc},
journal= {arXiv preprint arXiv:2009.14721},
year = {2021}
}
备注
25 pages, 15 figures, 11 tables