LMMCoDrive：基于大型多模态模型的协作驾驶
机器人学
2024-09-19 v1
摘要
为解决自动出行-需求(AMoD)系统中去中心化协作调度和运动规划的复杂挑战，本文引入LMMCoDrive，一种新型的协作驾驶框架，利用大型多模态模型(LMM)来增强动态城市环境中的交通效率。该框架无缝集成调度和运动规划过程，确保Cooperative Autonomous Vehicles(CAVs)的有效运行。将CAVs与乘客请求之间的空间关系抽象为鸟瞰图(BEV)，以充分发挥LMM的潜力。此外，针对每个CAVs进行谨慎的轨迹细化，同时通过安全约束确保碰撞避免。提出一种以交替方向乘子方法(ADMM)为基础的去中心化优化策略，用于驱动CAVs的图演化。仿真结果表明，LMM在优化CAVs调度和增强每个车辆的去中心化协作优化过程中发挥着关键作用并产生显著影响。这标志着对实现实际、高效和安全的AMoD系统具有重要意义的进步，旨在革新城市交通。代码可在 https://github.com/henryhcliu/LMMCoDrive 获取。
引用
@article{arxiv.2409.11981,
title = {LMMCoDrive: Cooperative Driving with Large Multimodal Model},
author = {Haichao Liu and Ruoyu Yao and Zhenmin Huang and Shaojie Shen and Jun Ma},
journal= {arXiv preprint arXiv:2409.11981},
year = {2024}
}
备注
7 pages, 5 figures