基于软保守KL控制的Transformer强化学习自主驾驶

近年来，城市自主驾驶汽车的运动规划成为一个备受关注的问题 due to its complex interaction of road components. 为了应对这一挑战，许多方法依赖通过仿射学习处理的人类样本数据。虽然有效，但仿射学习本身无法充分处理安全和可靠性问题。将仿射学习与强化学习结合，通过在RL损失中添加RL与IL策略之间的KL散度可以缓解仿射学习的弱点，但会因仿射学习的协变量漂移而导致过度保守。为克服这一局限，我们引入一种方法，将仿射学习与强化学习结合使用，通过隐式熵-KL控制实现简单方式来减少过度保守特征。在 particular，我们在来自未见数据集的不同具有挑战性的仿真城市场景中进行验证，表明尽管仿射学习在仿射任务中表现良好，但我们提出的方法显著改善了鲁棒性（失败率降低超过17%），并生成类人驾驶行为。