LLM4AD：面向自动驾驶的大型语言模型——概念、综述、基准、实验与未来趋势
机器人学
2026-03-27 v5 人工智能
计算与语言
人机交互
摘要
随着大型语言模型（LLM）的广泛采用和成功发展，越来越多的人关注将LLM应用于自动驾驶技术的潜力。受益于其自然语言理解和推理能力，LLM有望提升自动驾驶系统的各个方面，从感知和场景理解到交互式决策。本文首先介绍了面向自动驾驶的大型语言模型（LLM4AD）的新颖概念，随后综述了现有的LLM4AD研究。然后，提出了一个全面的基准，用于评估LLM4AD系统的指令遵循和推理能力，包括LaMPilot-Bench、CARLA Leaderboard 1.0基准（仿真环境）以及NuPlanQA（多视角视觉问答）。此外，在自动驾驶车辆平台上进行了大量现实世界实验，考察了云端和边缘LLM部署，以实现个性化决策和运动控制。接下来，探讨了将语言扩散模型集成到自动驾驶中的未来趋势，以提出的ViLaD（Vision-Language Diffusion）框架为例。最后，讨论了LLM4AD的主要挑战，包括延迟、部署、安全与隐私、安全性、可信度与可解释性以及个性化等问题。
引用
@article{arxiv.2410.15281,
title = {LLM4AD: Large Language Models for Autonomous Driving -- Concept, Review, Benchmark, Experiments, and Future Trends},
author = {Can Cui and Yunsheng Ma and Sung-Yeon Park and Zichong Yang and Yupeng Zhou and Peiran Liu and Juanwu Lu and Juntong Peng and Jiaru Zhang and Ruqi Zhang and Lingxi Li and Yaobin Chen and Jitesh H. Panchal and Amr Abdelraouf and Rohit Gupta and Kyungtae Han and Ziran Wang},
journal= {arXiv preprint arXiv:2410.15281},
year = {2026}
}
备注
The paper was accepted by the Proceedings of the IEEE