TransRef: 用于参考引导图像修复的多尺度参考嵌入 Transformer

即使对于在大规模数据上训练的最先进的基于学习的修复方法而言，对受损图像进行修复以补全复杂的语义环境和多样的空洞模式也具有挑战性。捕获与受损图像相同场景的参考图像为补全受损图像提供了信息丰富的指导，因为它与受损图像的空洞具有相似的纹理和结构先验。在本工作中，我们提出了一种基于 Transformer 的编码器-解码器网络，命名为 TransRef，用于参考引导的图像修复。具体而言，该指导通过参考嵌入过程逐步进行，其中参考特征随后与受损图像的特征进行对齐和融合。为了精确利用参考特征进行指导，我们提出了一个参考块对齐 (Ref-PA) 模块来对齐参考图像和受损图像的块特征并调和它们的风格差异，同时提出了一个参考块 Transformer (Ref-PT) 模块来细化嵌入的参考特征。此外，为了促进参考引导图像恢复任务的研究，我们构建了一个包含 50K 对输入和参考图像的公开基准数据集。定量和定性评估均证明了参考信息及所提出方法在补全复杂空洞方面优于现有最先进方法的有效性。代码和数据集可在 https://github.com/Cameltr/TransRef 获取。