封建式转向：用于转向角预测的层次化学习

我们考虑使用以自我为中心的路面图像来预测自动驾驶汽车的转向角这一挑战。在本工作中，我们探索使用层次化强化学习（HRL）中的封建网络（feudal networks）来设计一个车辆智能体，从 Udacity 驾驶数据集的第一人称行车记录仪图像中预测转向角。我们的方法 Feudal Steering 受近期 HRL 工作的启发，由一个管理者网络和一个工作者网络组成，它们在不同的时间尺度上运行并具有不同的目标。管理者工作的时间尺度相对于工作者较粗，并具有更高层次、面向任务的目标空间。使用封建学习将任务划分为管理者和工作者子网络可提供更准确且鲁棒的预测。驾驶中的时间抽象允许比单个时间实例的转向角更复杂的基元。复合动作包含一个可在整个驾驶序列中重复使用的子程序或技能。相关的子程序 id 是管理者网络的目标，因此管理者寻求在高层任务上成功（例如急右转、微右转、交通中直行或无交通阻碍直行）。特定时间实例的转向角是工作者网络的输出，受管理者高层任务调节。我们在 Udacity 数据集上展示了最先进的转向角预测结果。