CLONeR：用于占据栅格辅助神经表示的相机-激光雷达融合
计算机视觉与模式识别
2023-04-05 v4
摘要
神经辐射场（NeRFs）的最新进展实现了最先进的新视角合成，并促进了场景属性的密集估计。然而，NeRFs 对于在极稀疏视角下捕获、场景内容远离相机且通常规模大而无界场景（如野外机器人应用的典型情况）常常失败。具体而言，NeRF 风格算法表现不佳：（1）当视角不足且位姿多样性小时，（2）当场景包含饱和与阴影时，以及（3）当对具有精细结构的大无界场景进行精细采样变得计算密集时。本文提出 CLONeR，其显著改进 NeRF，使其能够对从稀疏输入传感器视角观测到的大型室外驾驶场景建模。这是通过将 NeRF 框架内的占据与颜色学习解耦为分别使用 LiDAR 和相机数据训练的独立多层感知机（MLPs）来实现的。此外，本文提出一种在 NeRF 模型旁构建可微分 3D 占据栅格地图（OGM）的新方法，并利用该占据栅格改进沿光线在度量空间中进行体渲染的点采样。通过在 KITTI 数据集场景上的大量定量与定性实验，本文证明所提方法在稀疏输入数据训练下，在新视角合成与密集深度预测任务上均优于最先进的 NeRF 模型。
引用
@article{arxiv.2209.01194,
title = {CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations},
author = {Alexandra Carlson and Manikandasriram Srinivasan Ramanagopal and Nathan Tseng and Matthew Johnson-Roberson and Ram Vasudevan and Katherine A. Skinner},
journal= {arXiv preprint arXiv:2209.01194},
year = {2023}
}
备注
first two authors equally contributed