GPT-Driver：利用 GPT 学习驾驶
计算机视觉与模式识别
2023-12-06 v3 人工智能
计算与语言
机器人学
摘要
我们提出了一种简单而有效的方法，可将 OpenAI GPT-3.5 模型转化为可靠的自动驾驶车辆运动规划器。运动规划是自动驾驶中的核心挑战，旨在规划出安全且舒适的驾驶轨迹。现有的运动规划器主要利用启发式方法预测驾驶轨迹，但这些方法在面对新颖且未见的驾驶场景时泛化能力不足。本文中，我们提出了一种新颖的运动规划方法，其利用了大语言模型（LLM）固有的强推理能力与泛化潜力。我们方法的根本洞见是将运动规划重新表述为一个语言建模问题，这是此前未被探索的视角。具体而言，我们将规划器的输入与输出表示为语言令牌（token），并利用 LLM 通过坐标位置的语言描述来生成驾驶轨迹。此外，我们提出了一种新颖的提示-推理-微调策略，以激发 LLM 的数值推理潜力。借助该策略，LLM 能够描述高度精确的轨迹坐标，并以自然语言表述其内部的决策过程。我们在大规模 nuScenes 数据集上评估了我们的方法，大量实验证实了基于 GPT 的运动规划器的有效性、泛化能力与可解释性。代码现已发布于 https://github.com/PointsCoder/GPT-Driver。
引用
@article{arxiv.2310.01415,
title = {GPT-Driver: Learning to Drive with GPT},
author = {Jiageng Mao and Yuxi Qian and Junjie Ye and Hang Zhao and Yue Wang},
journal= {arXiv preprint arXiv:2310.01415},
year = {2023}
}
备注
NeurIPS 2023 Foundation Models for Decision Making Workshop