基于参考视图的真实且视点一致的 3D 场景填充:RePaintGS
计算机视觉与模式识别
2025-07-14 v1
摘要
辐射场方法,如神经辐射场或 3D 高斯溶解,已成为合成真实新视角的关键 3D 表示。对于实际应用,正在进行灵活的场景编辑技术研究,其中对象删除是一种代表性任务。然而,删除对象会暴露遮挡区域,常导致不自然的外观。因此,采用图像填充技术来替换此区域的做法已被采用——即称为 3D 场景填充的任务。然而,图像填充方法为每个视角产生一个众多可行完成方案之一,导致视角之间不一致。广泛采用的方法利用感知线索在填充视角之间平滑混合,但容易导致细节丢失,当视角之间存在感知不一致时会失败。在本文中,我们提出了一种新颖的 3D 场景填充方法,通过利用参考视角可靠地产生真实且感知上一致的结果,即使面对复杂场景也是如此。给定填充后的参考视角,我们估计其他视角的填充相似性,以调整其在构建针对参考外观精准几何的贡献。该几何被用于将参考填充变形到其他视角作为伪真实参考,以指导优化匹配参考外观。比较评估表明,我们的方法在填充场景的几何保真度和外观一致性方面均取得了改善。
引用
@article{arxiv.2507.08434,
title = {RePaintGS: Reference-Guided Gaussian Splatting for Realistic and View-Consistent 3D Scene Inpainting},
author = {Ji Hyun Seo and Byounhyun Yoo and Gerard Jounghyun Kim},
journal= {arXiv preprint arXiv:2507.08434},
year = {2025}
}