基于深度引导的图像修复网络及新型数据集

图像修复近年来取得了显著进展，但现有方法往往忽视深度信息，这损害了相似性匹配，在浅景深（DoF）场景中导致注意力分散，在深景深设置下则过度强化背景内容。为此，我们提出一种新型深度引导网络（Depth-Guided Network, DGN）用于图像修复，并推出一种新型大规模高分辨率数据集。具体而言，网络包含两个交互分支：一个提供结构引导的深度估计分支，另一个执行核心修复任务的图像修复分支。此外，图像修复分支通过分层窗口自注意力机制利用内部对象相似性，通过稀疏非局部注意力捕捉对象间相似性。通过联合训练，深度特征有助于提升修复质量，而修复分支增强的视觉特征反过来又帮助精细化深度估计。我们还引入了一个用于训练和评估的新数据集，包含 9,205 张来自 403 种植物种类的高分辨率图像，具有多样化的深度和纹理变化。大量实验表明，我们的方法在多个标准基准上实现最先进性能，并能良好推广至未见植物图像，显示其有效性和鲁棒性。