GeoFill：基于参考图像且具备更优几何理解的图像修复方法
计算机视觉与模式识别
2022-10-11 v2
摘要
参考引导的图像修复通过利用另一张单一参考图像中的内容来恢复图像像素。主要挑战在于如何精确地将参考图像中的像素放置到缺失区域中。因此，理解关联两个视角间像素的 3D 几何关系是构建更优模型的关键步骤。鉴于处理各类参考图像的复杂性，我们聚焦于使用同一相机自由移动环绕拍摄所得图像的情景。与先前工作相比，我们提出了一种原则性方法，该方法不对场景的平面性做启发式假设。我们利用单目深度估计并预测相机间相对位姿，随后通过可微 3D 重投影以及对相对位姿、深度图尺度与偏移的联合优化，将参考图像对齐到目标图像。我们的方法在具有大基线、复杂几何与极端相机运动的 RealEstate10K 和 MannequinChallenge 数据集上均达到了最先进的性能。我们通过实验验证了我们的方法在处理大缺失区域时也表现更优。
引用
@article{arxiv.2201.08131,
title = {GeoFill: Reference-Based Image Inpainting with Better Geometric Understanding},
author = {Yunhan Zhao and Connelly Barnes and Yuqian Zhou and Eli Shechtman and Sohrab Amirghodsi and Charless Fowlkes},
journal= {arXiv preprint arXiv:2201.08131},
year = {2022}
}
备注
Accepted to WACV 2023