面向自动驾驶的 LVLM-MPC 协作：一种安全感知且任务可扩展的控制架构

本文提出一种新型大型视觉语言模型（LVLM）和模型预测控制（MPC）集成框架，为自动驾驶（AD）提供任务可扩展性和安全性。LVLM 在 diverse driving scenarios 中 于高层次任务规划。然而，由于这些基础模型并非专为驾驶设计，其推理不一致于低层运动规划的可行性，安全性和平滑任务切换仍存疑虑。本文将 LVLM 与 MPC Builder 集成，后者根据 LVLM 生成的符号任务命令自动生成 MPC，以确保最优性和安全性。生成的 MPC 可通过评估给定任务的可行性并生成面向任务切换的 MPC，强力辅助或拒绝 LVLM 驱动的任务切换。我们的方法提供了一个安全、灵活且可适应的控制框架，弥合了最前沿基础模型与可靠车辆运行之间的差距。我们通过仿真实验展示了该方法的有效性，表明该系统能够在保持 LVLMs 灵活性和适应性的同时，安全且有效地处理高速公路驾驶。