中文

辐射场中视图一致的对象移除

计算机视觉与模式识别 2024-08-06 v1

摘要

辐射场(Radiance Fields,RFs)作为3D场景表示的关键技术,能够实现对新视角的高度真实合成。然而,随着RFs的广泛应用,对维持不同视角一致性的编辑技术需求日益凸显。当前方法主要依赖单帧2D图像填充,往往难以维持跨视图的一致性,从而影响编辑后RF场景的真实感。本文引入一种新颖的RF编辑流程,通过仅对单一参考图像进行填充,再采用基于深度的方法在多个视角中进行投影,显著减少了单帧填充所观察到的不一致性。然而,投影通常假设跨视图的光度一致性,这在现实场景中往往不切实际。为适应现实环境中光照和视点的变异,本文通过生成 inpainted 图像的多个方向变体来调整投影视图的外观,从而适应不同的光度条件。此外,我们还提供了一种有效且鲁棒的多视图对象分割方法作为本流程的有价值副产品。大量实验表明,我们的方法在维持跨视图内容一致性和提升视觉质量方面显著优于现有框架。更多结果可访问 https://vulab-ai.github.io/View-consistent_Object_Removal_in_Radiance_Fields。

关键词

引用

@article{arxiv.2408.02100,
  title  = {View-consistent Object Removal in Radiance Fields},
  author = {Yiren Lu and Jing Ma and Yu Yin},
  journal= {arXiv preprint arXiv:2408.02100},
  year   = {2024}
}

备注

Accepted to ACM Multimedia (MM) 2024. Project website is accessible at https://vulab-ai.github.io/View-consistent_Object_Removal_in_Radiance_Fields