通过孪生感知联邦强化学习保障自动驾驶系统安全

联邦强化学习（FRL）对于在多个智能体之间实现协作学习而不共享原始数据至关重要，从而在动态车辆环境中的决策过程中增强隐私和可扩展性。然而，投毒攻击对基于FRL的系统的安全性和可靠性构成了重大威胁，特别是在安全关键的自动驾驶中，这种脆弱性在很大程度上仍未得到探索。这些攻击可以通过巧妙地注入恶意系统参数来破坏全局控制模型，导致潜在的危险。为了应对这些挑战，我们提出了\alg（\underline{Sec}ure \underline{A}ggregation with \underline{p}oisoning-\underline{p}revention and historical reinforcement）作为防御框架，旨在增强为安全关键驾驶场景设计的FRL系统的鲁棒性。\alg战略性地集成了数字孪生用于排练式学习，并利用历史聚合模型参数以及选定的中心梯度，确保只聚合良性数据，从而有效减轻恶意智能体的影响。为\alg在存在投毒攻击时的收敛性能提供了理论保证。我们还使用开发的模拟真实高速公路环境的数字孪生来验证\alg的有效性，以评估在对抗条件下的自动驾驶车辆控制。