使用 NeRF 重建未知物体需要多少视角?
机器人学
2024-02-14 v2
摘要
神经辐射场(NeRFs)因其在内存效率上的出色表现以及仅需带位姿的 RGB 输入,正获得在线主动物体重建领域的显著关注。以往的基于 NeRF 的视角规划方法表现出计算低效,因为它们依赖于一种迭代范式,包括(1)在新图像到达时重新训练 NeRF;以及(2)仅规划到下一最佳视角的路径。为应对这些局限,我们提出了一种基于所需视角数量预测(PRV)的非迭代流水线。我们方法背后的核心思想是:重建一个物体所需的视角数量取决于其复杂度。因此,我们设计了一个名为 PRVNet 的深度神经网络来预测所需视角数量,使我们能依据物体复杂度量身定制数据采集并规划全局最短路径。为训练我们的 PRVNet,我们使用 ShapeNet 数据集生成监督标签。仿真实验表明,我们基于 PRV 的视角规划方法优于基线,在取得良好重建质量的同时显著降低了移动成本与规划时间。我们进一步在真实世界实验中验证了该方法的泛化能力。
引用
@article{arxiv.2310.00684,
title = {How Many Views Are Needed to Reconstruct an Unknown Object Using NeRF?},
author = {Sicong Pan and Liren Jin and Hao Hu and Marija Popović and Maren Bennewitz},
journal= {arXiv preprint arXiv:2310.00684},
year = {2024}
}
备注
Sicong Pan and Liren Jin have equal contribution. Publication to appear in IEEE International Conference on Robotics and Automation (ICRA), 2024