引导端到端驾驶模型的注意力机制

基于视觉的端到端驾驶模型通过模仿学习训练可以提供自动驾驶的经济解决方案。然而，这些表现良好的模型通常需要大量数据，同时仍缺乏明确且直观的激活图谱来揭示这些模型在驾驶时的内部工作方式。在本文中，我们研究如何通过在训练时添加基于显著语义图的损失项来引导这些模型的注意力，从而提高其驾驶质量并获得更直观的激活图。与以往工作不同，我们的方法在测试时间不需要这些显著语义图，同时也无需修改其应用的模型的体系结构。我们使用完美和噪声显著语义图进行测试，后者灵感来自真实数据中可能遇到的错误。在以 CIL++ 作为代表性的最先进模型和 CARLA 模拟器及其标准基准进行测试后，我们的实验表明该方法在训练更好的自动驾驶模型方面有效，尤其是在数据和计算资源有限的情况下效果更为显著。