面向物体重配置的快速稀疏视图引导 NeRF 更新
计算机视觉与模式识别
2024-03-19 v1
摘要
Neural Radiance Field (NeRF) 作为一种隐式 3D 场景表示，本身缺乏适应对初始静态场景所作更改的能力。如果物体被重新配置，在不进行耗时的数据重新采集和 NeRF 重新训练的情况下，很难更新 NeRF 以反映场景的新状态。为了解决这一局限性，我们开发了首个针对物理变化的 NeRF 更新方法。我们的方法仅将变化场景的稀疏新图像（例如 4 张）作为额外输入，并在约 1 到 2 分钟内更新预训练的 NeRF。具体而言，我们开发了一个流水线来识别场景变化并相应地更新 NeRF。我们的核心思想是使用第二个辅助 NeRF 来学习局部几何和外观变化，从而规避了直接微调 NeRF 的优化困难。辅助 NeRF 的插值能力是在稀疏视图监督下准确重建未遮挡物体区域的关键。我们的方法对 NeRF 预训练不施加任何约束，且不需要额外的用户输入或显式语义先验。它比从头重新训练 NeRF 快一个数量级，同时保持持平甚至更优的性能。
引用
@article{arxiv.2403.11024,
title = {Fast Sparse View Guided NeRF Update for Object Reconfigurations},
author = {Ziqi Lu and Jianbo Ye and Xiaohan Fei and Xiaolong Li and Jiawei Mo and Ashwin Swaminathan and Stefano Soatto},
journal= {arXiv preprint arXiv:2403.11024},
year = {2024}
}