ADReFT：基于强化微调的自适应决策修复用于安全自动驾驶

自动驾驶系统 (ADSs) 持续面临因其设计和性能能力的内在局限性而产生的安全关键风险。线上修复在缓解此类局限性方面发挥着关键作用，确保 ADSs 的运行时安全和可靠性。现有线上修复方案通过基于预定义规范（如基于规则的约束或训练数据集）将不可接受轨迹转换为可接受轨迹来强制执行 ADSs 合规性。然而，这些方法往往缺乏泛化性、适应性，倾向于过于保守，导致修复效果不佳，不仅未能充分缓解安全风险，还会降低整体驾驶体验。为此，我们提出一种自适应决策修复方法 ADReFT，通过离线学习失败测试识别安全关键状态，并生成适当的缓解动作以提高 ADSs 的安全性。具体而言，ADReFT 融合基于 transformer 的模型，包含两个联合头部：State Monitor 和 Decision Adapter，旨在捕捉复杂驾驶环境互动，以评估状态安全严重程度并生成自适应修复动作。鉴于缺乏对状态安全性识别的参考标准，我们首先使用监督学习对 ADReFT 进行预训练，采用粗糙注释进行训练，即将紧随违规行为的状态标记为正样本，其他状态标记为负样本。这一过程建立了 ADReFT 缓解安全关键违规的基础能力，尽管可能导致较为保守的缓解策略。因此，我们随后采用强化学习对 ADReFT 进行微调，以提高其初始能力并生成更精确、情境更合适的修复决策。我们的评估结果表明，ADReFT 实现了更好的修复性能。