面向单目稠密 SLAM 的轻量 ToF 传感器多模态神经辐射场
计算机视觉与模式识别
2023-08-29 v1
摘要
轻量级飞行时间（ToF）深度传感器体积小且成本低，因而广泛应用于移动设备上的自动对焦和障碍物检测等任务。然而，由于深度测量稀疏且含噪，这些传感器很少被用于稠密几何重建。本文中，我们提出了首个结合单目相机与轻量 ToF 传感器的稠密 SLAM 系统。具体而言，我们提出了一种多模态隐式场景表示，支持对来自 RGB 相机和轻量 ToF 传感器的信号进行渲染，并通过与原始传感器输入比较来驱动优化。此外，为保证成功的位姿跟踪与重建，我们利用预测深度作为中间监督，并开发了由粗到细的优化策略以高效学习隐式表示。最后，我们显式利用时序信息来处理轻量 ToF 传感器的噪声信号，从而提高系统的精度与鲁棒性。实验表明，我们的系统很好地利用了轻量 ToF 传感器的信号，并在相机跟踪与稠密场景重建上均取得了有竞争力的结果。项目主页：\url{https://zju3dv.github.io/tof_slam/}。
引用
@article{arxiv.2308.14383,
title = {Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a Light-Weight ToF Sensor},
author = {Xinyang Liu and Yijin Li and Yanbin Teng and Hujun Bao and Guofeng Zhang and Yinda Zhang and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2308.14383},
year = {2023}
}
备注
Accepted to ICCV 2023 (Oral). Project Page: https://zju3dv.github.io/tof_slam/