NerfBridge：将实时在线神经辐射场训练引入机器人学
机器人学
2023-05-18 v1
摘要
本工作发表于 IEEE 机器人与自动化国际会议 2023 非常规空间表征研讨会。神经辐射场（NeRFs）是一类从彩色图像建模三维环境的隐式场景表征。NeRFs 具有表现力，能够建模真实世界环境复杂且多尺度的几何结构，这使其潜在地成为机器人应用的有力工具。现代 NeRF 训练库能在数秒内从静态数据集生成照片级真实感的 NeRF，但其为离线使用而设计，且需要缓慢的位姿优化预计算步骤。在本工作中，我们提出 NerfBridge，一个连接机器人操作系统（ROS）与流行 Nerfstudio 库的开源桥接工具，用于从图像流中进行 NeRF 的实时在线训练。NerfBridge 通过提供对 Nerfstudio 高效训练流水线及模型库的可扩展接口，加速了机器人学中 NeRF 应用研究的开发。作为一个示例用例，我们概述了一种硬件设置，可利用 NerfBridge 从安装在四旋翼上的相机在室内外环境捕获的图像训练 NeRF。配套视频见 https://youtu.be/EH0SLn-RcDg，代码见 https://github.com/javieryu/nerf_bridge。
引用
@article{arxiv.2305.09761,
title = {NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics},
author = {Javier Yu and Jun En Low and Keiko Nagami and Mac Schwager},
journal= {arXiv preprint arXiv:2305.09761},
year = {2023}
}