基于多传感器融合的实时提升范围视图 3D 语义分割
计算机视觉与模式识别
2024-07-16 v1
摘要
范围视图 (RV) 基于 3D 点云语义分割广泛采用，因其紧凑的数据形式。然而，RV 方法在处理被遮挡点的分割鲁棒性方面不足，且由于 3D 点云稀疏性会导致投影 RGB 图像失真。为缓解这些问题，我们提出一种新的激光雷达和摄像机范围视图基于 3D 点云语义分割方法 (LaCRange)。具体而言，设计了一种扭曲补偿知识蒸馏 (DCKD) 策略，以纠正 RV 投影 RGB 图像的负面影响。此外，引入基于上下文的特征融合模块，以实现稳健且保留性的传感器融合。最后，为解决 RV 分辨率有限且 3D 拓扑不足的问题，设计了一种新的点 refinement 方案，用于在 2D 和 3D 中正确聚合特征并增强点特征。我们在大规模自动驾驶数据集上评估了所提方法，包括 SemanticKITTI 和 nuScenes。除了实现实时性能外，所提方法在 nuScenes 基准测试中取得了最先进的结果。
引用
@article{arxiv.2407.09697,
title = {Uplifting Range-View-based 3D Semantic Segmentation in Real-Time with Multi-Sensor Fusion},
author = {Shiqi Tan and Hamidreza Fazlali and Yixuan Xu and Yuan Ren and Bingbing Liu},
journal= {arXiv preprint arXiv:2407.09697},
year = {2024}
}