基于异构滤波频谱提示的图像补全
计算机视觉与模式识别
2022-11-08 v1
摘要
具有大规模自由形式缺失区域的图像补全是计算机视觉领域最具挑战性的任务之一。尽管研究者们追求更优的解决方案，模式无感知、纹理模糊与结构失真等缺陷仍十分明显，从而留有改进空间。为克服这些挑战，我们提出了一种基于StyleGAN的新型图像补全网络——频谱提示GAN（SH-GAN），其中引入了精心设计的频谱处理模块频谱提示单元。我们还提出了两种新颖的二维频谱处理策略：异构滤波与高斯分割，其良好契合现代深度学习模型，并可进一步扩展至其他任务。通过充分的实验，我们证明我们的模型在基准数据集FFHQ与Places2上分别取得了3.4134与7.0277的FID分数，从而优于先前工作并达到新的SOTA。我们还通过消融实验证明了我们设计的有效性，从中可注意到上述挑战（即模式无感知、纹理模糊与结构失真）得到显著缓解。我们的代码将于 https://github.com/SHI-Labs/SH-GAN 开源。
引用
@article{arxiv.2211.03700,
title = {Image Completion with Heterogeneously Filtered Spectral Hints},
author = {Xingqian Xu and Shant Navasardyan and Vahram Tadevosyan and Andranik Sargsyan and Yadong Mu and Humphrey Shi},
journal= {arXiv preprint arXiv:2211.03700},
year = {2022}
}
备注
wacv23