OccFusion：无需深度估计的多传感器融合 3D 占据预测
计算机视觉与模式识别
2024-07-11 v2
摘要
基于多传感器融合的 3D 占据预测对于可靠的自动驾驶系统至关重要，能够实现对 3D 场景的细粒度理解。此前基于融合的 3D 占据预测方法依赖于深度估计来处理 2D 图像特征。然而，深度估计是一个病态问题，阻碍了这些方法的准确性和鲁棒性。此外，细粒度的占据预测需要大量的计算资源。为解决这些问题，我们提出了 OccFusion，一种无需深度估计的多模态融合框架。此外，我们引入了一种可泛化的主动训练方法和一种主动解码器，它们可应用于任何占据预测模型，具有提升其性能的潜力。在 nuScenes-Occupancy 和 nuScenes-Occ3D 上进行的实验表明，我们的框架具有卓越的性能。详细的消融研究突出了所提出每种方法的有效性。
引用
@article{arxiv.2403.05329,
title = {OccFusion: Depth Estimation Free Multi-sensor Fusion for 3D Occupancy Prediction},
author = {Ji Zhang and Yiran Ding and Zixin Liu},
journal= {arXiv preprint arXiv:2403.05329},
year = {2024}
}