FusionAD：面向自动驾驶预测与规划任务的多模态融合框架
计算机视觉与模式识别
2023-08-15 v4 人工智能
机器人学
摘要
构建多模态多任务神经网络以实现准确且鲁棒的性能，是自动驾驶感知任务中事实上的标准。然而，利用来自多个传感器的此类数据联合优化预测与规划任务在很大程度上仍未被探索。本文中，我们提出 FusionAD——据我们所知，首个融合来自两个最关键传感器（相机与 LiDAR）信息并超越感知任务的统一框架。具体而言，我们首先构建基于 transformer 的多模态融合网络以有效生成基于融合的特征。与基于相机的端到端方法 UniAD 不同，我们随后建立了融合辅助的模态感知预测与状态感知规划模块，称为 FMSPnP，其充分利用多模态特征的优势。我们在常用基准 nuScenes 数据集上进行了大量实验，我们的 FusionAD 取得了最先进的性能，在检测与跟踪等感知任务上平均超越基线 15%，在占据预测精度上超越 10%，将 ADE 分数中的预测误差从 0.708 降至 0.389，并将碰撞率从 0.31% 降至仅 0.12%。
引用
@article{arxiv.2308.01006,
title = {FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of Autonomous Driving},
author = {Tengju Ye and Wei Jing and Chunyong Hu and Shikun Huang and Lingping Gao and Fangzhen Li and Jingke Wang and Ke Guo and Wencong Xiao and Weibo Mao and Hang Zheng and Kun Li and Junbo Chen and Kaicheng Yu},
journal= {arXiv preprint arXiv:2308.01006},
year = {2023}
}