TransFuser：基于Transformer的传感器融合模仿学习用于自动驾驶
计算机视觉与模式识别
2022-06-01 v1 人工智能
机器学习
机器人学
摘要
我们应如何整合来自互补传感器的表征以用于自动驾驶？基于几何的融合在感知任务（如目标检测、运动预测）中已展现出前景。然而，在端到端驾驶的背景下，我们发现基于现有传感器融合方法的模仿学习在动态智能体高密度分布的复杂驾驶场景中表现不佳。因此，我们提出TransFuser，一种利用自注意力整合图像与LiDAR表征的机制。我们的方法在多个分辨率上使用transformer模块来融合透视图与鸟瞰图特征图。我们在具有长路线和密集交通的具有挑战性的新基准以及CARLA城市驾驶模拟器的官方排行榜上实验验证了其有效性。在提交时，TransFuser在CARLA排行榜的驾驶分数上大幅优于所有先前工作。与基于几何的融合相比，TransFuser将平均每公里碰撞次数降低了48%。
引用
@article{arxiv.2205.15997,
title = {TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving},
author = {Kashyap Chitta and Aditya Prakash and Bernhard Jaeger and Zehao Yu and Katrin Renz and Andreas Geiger},
journal= {arXiv preprint arXiv:2205.15997},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2104.09224