基于条件纹理与结构双生成的图像修复
计算机视觉与模式识别
2024-04-09 v2
摘要
深度生成方法近年来通过引入结构先验在图像修复方面取得了显著进展。然而，由于在结构重建过程中缺乏与图像纹理的适当交互，当前方法在处理大面积破损时表现不足，且通常会出现扭曲的结果。本文提出一种用于图像修复的新型双流网络，以耦合方式对结构约束的纹理合成与纹理引导的结构重建进行建模，使二者更好地相互利用以生成更合理的图像。此外，为增强全局一致性，设计了双向门控特征融合（Bi-GFF）模块来交换并组合结构与纹理信息，并开发了上下文特征聚合（CFA）模块，通过区域亲和度学习和多尺度特征聚合来细化生成内容。在 CelebA、Paris StreetView 和 Places2 数据集上的定性与定量实验证明了所提方法的优越性。我们的代码可在 https://github.com/Xiefan-Guo/CTSDG 获取。
引用
@article{arxiv.2108.09760,
title = {Image Inpainting via Conditional Texture and Structure Dual Generation},
author = {Xiefan Guo and Hongyu Yang and Di Huang},
journal= {arXiv preprint arXiv:2108.09760},
year = {2024}
}
备注
Accepted by ICCV 2021