3DFill：基于自监督三维图像对齐的参考引导图像修复
计算机视觉与模式识别
2022-11-10 v1
摘要
现有的大多数图像修复算法基于单一视角，难以处理大面积缺失或包含复杂场景的缺失区域。一些参考引导算法通过参考另一视角图像并利用二维图像对齐来填补缺失区域。由于相机成像过程，简单的二维变换难以获得令人满意的结果。本文提出 3DFill，一种简单高效的参考引导图像修复方法。给定一张带有任意缺失区域的目标图像和一张来自另一视角的参考图像，3DFill 首先通过两阶段方法对齐两幅图像：三维投影 + 二维变换，其结果优于二维图像对齐。三维投影实现图像间的整体对齐，二维变换则是聚焦于缺失区域的局部对齐。整个图像对齐过程是自监督的。随后，我们利用对齐图像的内容填补目标图像的缺失区域。最后，我们使用条件生成网络精修填补后的图像以获得修复结果。3DFill 在多种大视角偏移下的图像修复任务中达到了最先进的性能，且推理速度比其他修复模型更快。
引用
@article{arxiv.2211.04831,
title = {3DFill:Reference-guided Image Inpainting by Self-supervised 3D Image Alignment},
author = {Liang Zhao and Xinyuan Zhao and Hailong Ma and Xinyu Zhang and Long Zeng},
journal= {arXiv preprint arXiv:2211.04831},
year = {2022}
}