从轨道固定的世界学习驾驶
机器人学
2021-10-05 v3 计算机视觉与模式识别
机器学习
摘要
我们通过基于模型的方法从预录驾驶日志中学习一种交互式基于视觉的驾驶策略。一个世界前向模型监督一个预测任意潜在驾驶轨迹结果的驾驶策略。为支持从预录日志中学习，我们假设世界处于轨道上（on rails），即智能体及其动作均不影响环境。该假设极大简化了学习问题，将动力学分解为非反应式世界模型与自车低维紧凑前向模型。我们的方法利用 Bellman 方程的表格动态规划评估为每条训练轨迹计算动作值；这些动作值进而监督最终的基于视觉的驾驶策略。尽管有世界在轨道上的假设，最终驾驶策略在动态且具反应性的世界中表现良好。在撰写时，我们的方法在 CARLA 排行榜上排名第一，以四十分之一的数据量取得了高 25% 的驾驶分数。在 ProcGen 基准的导航任务上，我们的方法比最先进的免模型强化学习技术样本效率高一个数量级。
引用
@article{arxiv.2105.00636,
title = {Learning to drive from a world on rails},
author = {Dian Chen and Vladlen Koltun and Philipp Krähenbühl},
journal= {arXiv preprint arXiv:2105.00636},
year = {2021}
}
备注
Paper published in ICCV 2021(Oral); Code and data available at: https://dotchen.github.io/world_on_rails/