sharpening the Spear: 基于DRL的自主驾驶策略的自适应专家引导对抗攻击

深度强化学习（DRL）已成为自主驾驶的热门范式。然而，尽管DRL-based策略具备先进的能力，它们仍高度脆弱地暴露于对抗攻击，这在实际部署中构成严重的安全风险。调查此类攻击对于揭示策略脆弱性并指导开发更稳健的自主系统至关重要。虽然现有攻击方法取得了显著进展，但仍面临若干挑战：1）它们常依赖高频攻击，而关键攻击机会通常是情境依赖且稀疏的，导致攻击模式效率低下；2）限制攻击频率可提高效率，但常因对手的探索受限而导致训练不稳定。为此，我们提出一种自适应专家引导的对抗攻击方法，旨在提升攻击策略训练的稳定性和效率。该方法首先通过模仿学习从成功的攻击示范中推导出专家策略，并通过基于ensemble Mixture-of-Experts架构的强化实现对不同情境的稳健泛化。该专家策略随后通过KL散度正则化项指导DRL-based对手。由于情境的多样性，专家策略可能并非完美。为此，我们进一步引入一种基于绩效的退火策略，逐渐减少对专家的依赖。广泛的实验表明，我们的方法在碰撞率、攻击效率和训练稳定性方面均优于现有方法，尤其在专家策略次优的情况下效果更为显著。