TLCFuse：面向遮挡感知语义分割辅助运动规划的时序多模态融合
机器人学
2024-11-26 v2
摘要
在自动驾驶中，处理遮挡场景至关重要但极具挑战。鲁棒的环境感知对于应对遮挡并辅助运动规划必不可少。最先进的模型融合激光雷达（Lidar）与相机（Camera）数据以产生令人印象深刻的感知结果，但检测被遮挡物体仍然困难。本文中，我们强调时序线索的关键作用，将其与这些模态一并集成以应对该挑战。我们提出了一种用于鸟瞰图语义栅格分割的新方法，利用连续传感器数据实现对遮挡的鲁棒性。我们的模型使用注意力操作从传感器读数中提取信息，并将该信息聚合为低维潜在表示，从而能够在每个预测步处理多步输入。此外，我们展示了它如何也可直接用于预测交通场景演化，并无缝集成到运动规划器中以进行轨迹规划。在语义分割任务上，我们在 nuScenes 数据集上评估我们的模型，表明其优于其他基线，尤其在评估被遮挡和部分遮挡车辆时差异显著。另外，在运动规划任务上，我们是最早在 nuPlan（一个前沿的大规模运动规划数据集）上训练与评估的团队之一。
引用
@article{arxiv.2311.05319,
title = {TLCFuse: Temporal Multi-Modality Fusion Towards Occlusion-Aware Semantic Segmentation-Aided Motion Planning},
author = {Gustavo Salazar-Gomez and Wenqian Liu and Manuel Diaz-Zapata and David Sierra-Gonzalez and Christian Laugier},
journal= {arXiv preprint arXiv:2311.05319},
year = {2024}
}
备注
Published on 2024 IEEE Intelligent Vehicles Symposium (IV)