OccLoff：学习优化的特征融合用于3D占用预测
计算机视觉与模式识别
2024-11-07 v1
摘要
3D语义占用预测对于精细表示周围环境至关重要，这对确保自动驾驶安全必不可少。现有的基于融合的占用方法通常涉及对图像特征进行2D到3D视角变换，随后进行计算密集的3D操作以将这些特征与LiDAR特征融合，导致高计算成本和降低的精度。此外，当前关于占用预测的研究主要集中于设计特定的网络架构，通常针对特定模型进行定制，而对更基础的语义特征学习关注有限。这一差距阻碍了能够提升各种占用模型性能的更可迁移方法的发展。为应对这些挑战，我们提出了OccLoff，一个学习优化3D占用特征融合的框架。具体而言，我们引入了一个带有熵掩码的稀疏融合编码器，直接融合3D和2D特征，在提高模型精度的同时降低计算开销。此外，我们提出了一种可迁移的基于代理的损失函数和自适应难样本加权算法，增强了多种SOTA方法的性能。在nuScenes和SemanticKITTI基准上的广泛评估证明了我们框架的优越性，而消融研究证实了每个提出模块的有效性。
引用
@article{arxiv.2411.03696,
title = {OccLoff: Learning Optimized Feature Fusion for 3D Occupancy Prediction},
author = {Ji Zhang and Yiran Ding and Zixin Liu},
journal= {arXiv preprint arXiv:2411.03696},
year = {2024}
}