可解释强化学习用于公式一赛车策略

在公式一赛车中，球队竞争是开发车辆并在每场比赛中实现最高可能的成绩。在比赛期间，球队无法更改车辆，因此必须通过赛车策略来提高车辆的成绩，即优化选择何时使用何种胎 compound。本文引入一种强化学习模型RSRL（Race Strategy Reinforcement Learning），用于在模拟环境中控制赛车策略，为行业标准的硬编码和蒙特卡洛基于赛车策略提供了更快的替代方案。使用与预期成绩排名P5.5（其中P1为第一名，P20为最后名）相当的车速驾驶汽车，RSRL在我们的测试赛事——2023年巴林大型赛车赛中实现了平均排名P5.33，优于最佳基线的P5.63。我们随后在可移植性研究中展示了如何通过训练优先考虑单场或多场赛道的性能。进一步地，我们补充模型预测的特征重要性、基于决策树的代理模型和决策树反事实推理，以提高用户对模型信任。最后，我们提供示例，说明在现实世界情境中该方法的应用，拉近了模拟与现实之间的距离。