学习在高冲突驾驶场景中稳健协商双向车道使用
机器学习
2021-10-25 v1 人工智能
多智能体系统
机器人学
摘要
近来，自动驾驶在应对最常见的交通场景（如交叉口导航与变道）方面取得了实质性进展。然而，这些成功大多局限于具有明确交通规则且只需与其他车辆进行极少协商的场景。本文中，我们引入了一个先前未被考虑但日常存在的高冲突驾驶场景，该场景要求具有平等权利与优先级的智能体之间进行协商。不存在集中控制结构，且我们不允许通信。因此，其他驾驶员是否愿意合作以及合作程度均未知。我们使用多智能体强化学习（MARL）训练策略，以稳健地与协作程度不可观测的对方车辆协商。我们提出了离散非对称软 actor-critic（DASAC），一种最大熵离策略 MARL 算法，支持集中训练与分散执行。我们表明，使用 DASAC 能够在超过 99% 的情况下成功协商并穿越所考虑的场景。我们的智能体对对手决策的未知时机、对方车辆不可观测的协作程度以及此前未遇到的策略均具有鲁棒性。此外，它们学会展现出类人行为，如防御性驾驶、预判解决方案选项以及解读其他智能体的行为。
引用
@article{arxiv.2103.12070,
title = {Learning to Robustly Negotiate Bi-Directional Lane Usage in High-Conflict Driving Scenarios},
author = {Christoph Killing and Adam Villaflor and John M. Dolan},
journal= {arXiv preprint arXiv:2103.12070},
year = {2021}
}
备注
7 pages, 7 figures