面向驾驶模拟的多智能体模仿学习

仿真是一种有吸引力的验证自动驾驶车辆安全性的方案。生成对抗模仿学习（Generative Adversarial Imitation Learning, GAIL）近期被证明可学习具代表性的人类驾驶员模型。这些人类驾驶员模型通过在单智能体环境中训练习得，但难以推广到多智能体驾驶场景。我们认为这些困难源于训练与测试时的观测采样自不同分布。该差异使得此类模型不适用于驾驶场景仿真，其中多个智能体必须在长时间范围内真实交互。我们通过一种基于课程学习的参数共享方法扩展 GAIL 以解决这些缺陷。与单智能体 GAIL 策略相比，我们的 PS-GAIL 方法生成的策略在多智能体环境中交互更稳定，且能更好地捕捉人类驾驶员的涌现行为。