空间与频率线索共同贡献于高保真图像修复
计算机视觉与模式识别
2023-07-18 v1
摘要
深度生成方法近期在图像修复中取得巨大成功。然而，大多数生成修复网络要么结果过度平滑，要么存在混叠伪影。前者缺乏高频细节，后者缺乏语义结构。为解决这个问题，我们提出一种有效的频率-空间互补网络（FSCN），利用空间和频率域中丰富的语义信息。具体而言，我们在基于空间的网络上引入额外的频率分支和频率损失，以对频率信息施加直接监督，并提出频率-空间交叉注意力块（FSCAB）来融合多域特征并组合相应特性。借助我们的 FSCAB，修复网络能够同时捕获频率信息并保持视觉一致性。大量定量和定性实验表明，我们的修复网络能有效取得优越结果，以显著更少的参数和计算成本超越先前最先进方法。代码将很快发布。
引用
@article{arxiv.2307.07678,
title = {Both Spatial and Frequency Cues Contribute to High-Fidelity Image Inpainting},
author = {Ze Lu and Yalei Lv and Wenqi Wang and Pengfei Xiong},
journal= {arXiv preprint arXiv:2307.07678},
year = {2023}
}
备注
Frequency Cues, Image Inpainting