基于自然语言指令的条件驾驶

自动驾驶汽车的广泛采用不仅取决于其安全性，很大程度上还取决于其与人类用户交互的能力。就像人类驾驶员一样，自动驾驶汽车将被期望能够理解并安全地遵循自然语言指示，这些指示会根据用户偏好或在存在歧义的情况下（尤其是在地图覆盖不佳或过时的位置）突然改变预先规划的路线。为此，我们提出了一种基于语言的驾驶智能体，它使用循环层和门控注意力实现分层策略。这种分层方法使我们能够既在描述长时间跨度的高级语言指令层面进行推理，又在实时控制自动驾驶汽车所需的低级、复杂、连续状态/动作空间层面进行推理。我们使用从人类驾驶员和导航员收集的真实语言数据，通过条件模仿学习来训练我们的策略。通过在 CARLA 框架内进行的定量和交互式实验，我们表明我们的模型能够成功解读语言指令并安全地遵循它们，即使泛化到先前未见的环境也是如此。代码和视频可在 https://sites.google.com/view/language-grounded-driving 获取。