HARL:一种用于自动驾驶交叉口管理的新型分层对抗强化学习
多智能体系统
2022-07-26 v4 机器人学
摘要
作为一项新兴技术,网联自动驾驶车辆(CAV)被认为能够通过有效的车联网(V2X)通信与全局观测以更快更安全的方式通过交叉口。自动驾驶交叉口管理是实现交叉口高效通行的关键路径,其通过每辆 CAV 的自适应决策过程减少不必要的减速与停车,从而更充分地利用交叉口空间。分布式强化学习(DRL)为自动驾驶交叉口管理提供了灵活的端到端模型,可适应多种交叉口场景。然而,DRL 易发生碰撞,因为在复杂交互中多方的动作均从通用策略中采样,这限制了 DRL 在真实场景中的应用。为此,我们提出一种分层强化学习框架,其中不同层级的模型在感知范围、动作步长与奖励反馈周期上有所不同。上层模型加速 CAV 以防止其相互冲突,下层模型调整上层模型的趋势以避免移动状态变化引发新冲突。CAV 每步的实际动作由两层趋势共同决定,在对抗过程中形成实时平衡。所提模型在具有 4 条支路且每支路 4 车道的复杂交叉口实验中证明有效,并展现出优于基线的性能。
引用
@article{arxiv.2205.02428,
title = {HARL: A Novel Hierachical Adversary Reinforcement Learning for Automoumous Intersection Management},
author = {Guanzhou Li and Jianping Wu and Yujing He},
journal= {arXiv preprint arXiv:2205.02428},
year = {2022}
}