VoxNeRF:融合体素表示与神经辐射场以增强室内新视角合成
计算机视觉与模式识别
2024-12-05 v2 机器人学
摘要
高保真新视角合成对于机器人导航与交互至关重要,但仍具挑战性,尤其在室内环境与实时场景中。现有技术通常需要在训练与渲染上耗费大量计算资源,且常因几何结构不足而导致次优的三维表示。为应对这些局限,我们提出 VoxNeRF,一种利用易获取几何先验来增强神经室内重建与新视角合成质量与效率的新方法。我们提出一种高效的体素引导采样技术,基于体素编码的几何先验将计算资源选择性地分配至光线的最相关片段,显著减少训练与渲染时间。此外,我们引入一种鲁棒的深度损失,以改善稀疏视角设置下的重建与渲染质量。我们的方法在 ScanNet 与 ScanNet++ 上通过大量实验得到验证,其中 VoxNeRF 优于现有最先进方法,并为室内沉浸式插值与外推设置确立了新基准。
引用
@article{arxiv.2311.05289,
title = {VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis},
author = {Sen Wang and Qing Cheng and Stefano Gasperini and Wei Zhang and Shun-Cheng Wu and Niclas Zeller and Daniel Cremers and Nassir Navab},
journal= {arXiv preprint arXiv:2311.05289},
year = {2024}
}
备注
8 pages, 4 figures