基于 Plenoxel 辐射场的 RGB-D 建图与跟踪
计算机视觉与模式识别
2023-11-08 v2 机器人学
摘要
神经辐射场(NeRFs)的广泛采用确保了近年来新视角合成领域的显著进展。这些模型捕捉场景的体积辐射场,通过使用简单、可微的渲染方程创建高度逼真、稠密、照片级真实的模型。尽管它们很流行,这些算法在 RGB 传感器固有的视觉数据中存在严重的模糊性,这意味着尽管用视角合成生成的图像在视觉上看起来非常可信,但底层的 3D 模型往往是错误的。这在机器人和扩展现实(XR)等实际应用中极大地限制了这些模型的实用性,而在这些应用中,准确的稠密 3D 重建本应具有重大价值。在本文中,我们提出了视角合成模型与 3D 重建模型之间的关键差异。我们还评论了为什么在使用当前新视角合成方法的范式时,深度传感器对于建模一般外向场景的准确几何是必不可少的。聚焦于运动恢复结构任务,我们通过扩展 Plenoxel 辐射场模型实际证明了这一需求:提出了一种基于 RGB-D 数据、无需神经网络的辐射场稠密建图与跟踪的解析微分方法。我们的方法在建图和跟踪任务上都取得了 SOTA 结果,同时比竞争的基于神经网络的方法更快。代码可在 https://github.com/ysus33/RGB-D_Plenoxel_Mapping_Tracking.git 获取。
引用
@article{arxiv.2307.03404,
title = {RGB-D Mapping and Tracking in a Plenoxel Radiance Field},
author = {Andreas L. Teigen and Yeonsoo Park and Annette Stahl and Rudolf Mester},
journal= {arXiv preprint arXiv:2307.03404},
year = {2023}
}
备注
2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) *The first two authors contributed equally to this paper