面向个性化自动驾驶车辆运动控制的车载视觉语言模型：系统设计与真实世界验证
人工智能
2025-02-17 v1 机器人学
摘要
个性化驾驶是指自动驾驶车辆在维持安全和舒适标准的同时，调整其驾驶行为或控制策略以匹配个体用户偏好与驾驶风格的能力。然而，现有工作要么无法精确捕捉每个个体的偏好，要么随着用户群扩大而变得计算效率低下。视觉语言模型（VLMs）凭借其自然语言理解和场景推理能力，为这一方向提供了有前景的解决方案。在本工作中，我们提出了一个轻量且高效的车载 VLM 框架，可在保持强推理能力的同时提供低延迟的个性化驾驶性能。我们的解决方案结合了基于检索增强生成（RAG）的记忆模块，通过人类反馈实现对个体驾驶偏好的持续学习。通过全面的实车部署与实验，我们的系统展现了在各种场景下提供安全、舒适且个性化驾驶体验的能力，并将接管率显著降低达 76.9%。据我们所知，本工作代表了真实世界自动驾驶车辆中首个基于 VLM 的端到端运动控制系统。
引用
@article{arxiv.2411.11913,
title = {On-Board Vision-Language Models for Personalized Autonomous Vehicle Motion Control: System Design and Real-World Validation},
author = {Can Cui and Zichong Yang and Yupeng Zhou and Juntong Peng and Sung-Yeon Park and Cong Zhang and Yunsheng Ma and Xu Cao and Wenqian Ye and Yiheng Feng and Jitesh Panchal and Lingxi Li and Yaobin Chen and Ziran Wang},
journal= {arXiv preprint arXiv:2411.11913},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2410.15281