面向城市环境中安全交互式自动驾驶的想象增强分层强化学习

分层强化学习（HRL）通过显式利用层次结构将时间抽象引入强化学习（RL）。现代 HRL 通常设计一个由高层策略和底层策略组成的分层智能体。高层策略以较低频率选择激活哪个底层策略，被激活的底层策略在每个时间步选择一个动作。近期的 HRL 算法在合成导航任务中相较标准 RL 算法取得了性能提升。然而，我们无法将这些 HRL 算法应用于真实世界导航任务。主要挑战之一是真实世界导航任务要求智能体在动态环境中表现出安全且交互式的行为。本文提出想象增强分层强化学习（IAHRL），将想象高效地整合进 HRL，使智能体能在真实世界导航任务中学习安全且交互式的行为。想象是指在不与实际环境交互的情况下预测动作的后果。IAHRL 的核心思想是底层策略想象出安全且结构化的行为，然后高层策略通过解读这些想象出的行为来推断与周围物体的交互。我们还引入了一种新的注意力机制，使高层策略对周围物体的顺序具有置换不变性，并赋予本智能体相对于它们的优先级。为评估 IAHRL，我们引入了五个复杂的城市驾驶任务，它们属于最具挑战性的真实世界导航任务。实验结果表明，IAHRL 使智能体能够表现出安全且交互式的行为，取得了比基线更高的成功率和更低的平局回合步数。