通过生成对抗模仿学习建模人类驾驶行为
人工智能
2023-02-08 v2
摘要
自动驾驶汽车安全验证中的一个开放问题是在仿真中构建可靠的人类驾驶行为模型。本工作提出了一种从真实世界驾驶演示数据中学习神经驾驶策略的方法。我们将人类驾驶建模为一个以非线性和随机性以及未知潜在成本函数为特征的序列决策问题。模仿学习是在成本函数未知或难以指定时生成智能行为的一种方法。基于逆强化学习(IRL)的工作,生成对抗模仿学习(GAIL)旨在即使对于具有大型或连续状态与动作空间的问题(例如建模人类驾驶)也能提供有效的模仿。本文描述了使用 GAIL 进行基于学习的驾驶建模。由于驾驶建模本质上是一个多智能体问题,其中智能体之间的交互需要被建模,本文描述了一种称为 PS-GAIL 的 GAIL 参数共享扩展,以应对多智能体驾驶建模。此外,GAIL 是领域无关的,难以在学习过程中编码与驾驶相关的特定知识。本文描述了奖励增强模仿学习(RAIL),其修改奖励信号以向智能体提供领域特定知识。最后,人类演示依赖于 GAIL 可能未捕获的潜在因素。本文描述了 Burn-InfoGAIL,其允许对演示中的潜在变异性进行解耦。模仿学习实验使用真实世界高速公路驾驶数据集 NGSIM 进行。实验表明,这些对 GAIL 的修改能够成功建模高速公路驾驶行为,准确复现人类演示,并在驾驶智能体交互产生的交通流中生成逼真的涌现行为。
引用
@article{arxiv.2006.06412,
title = {Modeling Human Driving Behavior through Generative Adversarial Imitation Learning},
author = {Raunak Bhattacharyya and Blake Wulfe and Derek Phillips and Alex Kuefler and Jeremy Morton and Ransalu Senanayake and Mykel Kochenderfer},
journal= {arXiv preprint arXiv:2006.06412},
year = {2023}
}
备注
14 pages, 8 figures. To be published in the IEEE Transactions on Intelligent Transportation Systems