DynaMoN：面向动态神经辐射场的运动感知快速鲁棒相机定位
计算机视觉与模式识别
2024-12-17 v4
摘要
利用神经辐射场精确重建动态场景高度依赖于相机位姿的估计。广泛使用的运动恢复结构（SfM）流程在面临场景内容与相机运动各自独立动态时，难以准确追踪相机轨迹。为应对该挑战，我们提出面向动态神经辐射场的动态运动感知快速鲁棒相机定位（DynaMoN）。DynaMoN 利用语义分割与通用运动掩码处理动态内容以进行初始相机位姿估计，并采用聚焦静态的射线采样实现快速准确的 novel-view 合成。我们新颖的迭代学习方案在训练 NeRF 与更新位姿参数间切换，以提升重建与轨迹估计质量。所提流程显著加速了训练过程。我们在 TUM RGB-D 数据集与 BONN RGB-D Dynamic 数据集两个真实世界动态数据集上广泛评估了我们的方法。DynaMoN 在重建质量与轨迹精度上均优于当前最优方法。我们计划公开代码以促进该领域研究。
引用
@article{arxiv.2309.08927,
title = {DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields},
author = {Nicolas Schischka and Hannah Schieber and Mert Asim Karaoglu and Melih Görgülü and Florian Grötzner and Alexander Ladikos and Daniel Roth and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2309.08927},
year = {2024}
}