OccNeRF：推进无 LiDAR 环境中的 3D 占据预测
计算机视觉与模式识别
2024-08-22 v3
摘要
占据预测重建周围环境的 3D 结构，为自动驾驶规划和导航提供详细信息。然而，大多数现有方法严重依赖 LiDAR 点云来生成占据真值，这在基于视觉的系统中不可用。在本文中，我们提出了一种 OccNeRF 方法，用于在没有 3D 监督的情况下训练占据网络。与之前考虑有界场景的工作不同，我们参数化了重建的占据场并重新组织了采样策略，以与摄像头的无限感知范围对齐。我们采用神经渲染将占据场转换为多摄像头深度图，并由多帧光度一致性进行监督。此外，对于语义占据预测，我们设计了几种策略来优化提示并过滤预训练的开集 2D 分割模型的输出。在 nuScenes 和 SemanticKITTI 数据集上进行的自监督深度估计和 3D 占据预测任务的大量实验证明了该方法的有效性。
引用
@article{arxiv.2312.09243,
title = {OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments},
author = {Chubin Zhang and Juncheng Yan and Yi Wei and Jiaxin Li and Li Liu and Yansong Tang and Yueqi Duan and Jiwen Lu},
journal= {arXiv preprint arXiv:2312.09243},
year = {2024}
}
备注
Code: https://github.com/LinShan-Bin/OccNeRF