Cognitive TransFuser：基于语义引导Transformer的传感器融合改进航点预测

鉴于从输入传感器获取的视觉全局上下文，面向智能自动驾驶主体的传感器融合方法仍是驾驶场景理解的关键。具体而言，对于局部航点预测任务，单模态网络仍受限于对输入传感器灵敏度的强依赖，因此近期工作提倡在实践中于特征层面融合多传感器。尽管众所周知多数据模态促进相互上下文交换，其要求在部署至实际驾驶场景时以最小计算量实时进行全局3D场景理解，从而在可用传感器数量有限的情况下令训练策略更为重要。有鉴于此，我们利用与目标任务高度相关的精心筛选的辅助任务（例如交通灯识别与语义分割），通过融合辅助任务特征并基于模仿学习使用辅助头进行航点预测。我们提出的基于RGB-LIDAR的多任务特征融合网络，称为Cognitive TransFuser，在CARLA仿真器中以显著优势增强并超越基线网络，实现更安全且更完整的道路导航。我们在Town05 Short与Town05 Long基准上通过大量实验验证所提网络，实现高达44.2 FPS的实时推理速度。