面向端到端自动驾驶的模块化自适应对抗训练

近期的深度学习进展显著提升了自动驾驶（AD）模型的性能，尤其是集成感知、预测和规划阶段的端到端系统，实现了state-of-the-art性能。然而，这些模型仍然 vulnerable to对抗攻击，人类难以察觉的扰动可 disrupt decision-making processes。虽然对抗训练是增强模型抗攻击鲁棒性的有效方法，但目前尚无研究聚焦于端到端AD模型的对抗训练。本文为端到端AD模型的对抗训练迈出了第一步，并提出了一种 novel Module-wise Adaptive Adversarial Training（MA2T）方法。然而，将传统对抗训练扩展到此背景极具挑战性，因为模型内不同阶段具有不同的目标且强烈相互关联。为此，MA2T首先引入模块化噪声注入，将噪声注入到不同模块的输入处，针对 overall目标进行训练，而非每个独立模块的 loss。此外，我们引入动态权重累积适应，纳入累积的权重变化，基于每个模块的贡献（累积降低率）来自适应地学习和调整每个模块的 loss权重，以实现更好的平衡和稳健训练。为证明该防御的有效性，我们在广泛使用的nuScenes数据集上进行了大量实验，测试于多个端到端AD模型，在white-box和black-box攻击下，本方法相较于其他基线方法表现出显著优势（提升5-10%）。此外，我们通过CARLA仿真环境中的闭环评估验证了该防御的鲁棒性，显示其即使面对自然损坏也能保持 improved韧性。