中文

PC-NeRF:自动驾驶环境下部分传感器数据丢失时的父子神经辐射场

计算机视觉与模式识别 2023-10-03 v1 机器人学

摘要

重建大规模 3D 场景对自动驾驶车辆至关重要,尤其在部分传感器数据丢失时。尽管近期发展的神经辐射场(NeRF)在隐式表示上已展现引人注目的结果,但利用部分丢失的 LiDAR 点云数据进行大规模 3D 场景重建仍待探索。为弥补此缺口,我们提出名为父子神经辐射场(PC-NeRF)的新型 3D 场景重建框架。该框架包含父 NeRF 与子 NeRF 两个模块,以同时优化场景级、片段级与点级的场景表示。通过借助子 NeRF 的片段级表示能力,可更高效利用传感器数据,即便观测有限也能快速获得场景的近似体素表示。经充分实验,我们所提 PC-NeRF 被证实可在大规模场景中实现高精度 3D 重建。此外,PC-NeRF 能有效应对部分传感器数据丢失的情形,并在有限训练时间内具备高部署效率。我们的方法实现与预训练模型将发布于 https://github.com/biter0088/pc-nerf。

关键词

引用

@article{arxiv.2310.00874,
  title  = {PC-NeRF: Parent-Child Neural Radiance Fields under Partial Sensor Data Loss in Autonomous Driving Environments},
  author = {Xiuzhong Hu and Guangming Xiong and Zheng Zang and Peng Jia and Yuxuan Han and Junyi Ma},
  journal= {arXiv preprint arXiv:2310.00874},
  year   = {2023}
}