一种基于多模态大语言模型的自动驾驶新方法，适用于不同天气条件
机器人学
2024-11-19 v1 系统与控制
系统与控制
摘要
自动驾驶（AD）技术有望通过使日常交通更安全、更高效、更舒适来彻底改变交通方式。它们在减少交通事故和改善出行方面的作用将对未来智能交通系统至关重要。恶劣环境条件下的自动驾驶提出了重大挑战，需要鲁棒且自适应的解决方案，并要求进一步研究。在此背景下，本文展示了一个利用多模态大语言模型（MLLM）能力的自动驾驶代理的综合性能分析，该代理在 LimSim++ 框架中使用 GPT-4o，该框架提供与 CARLA 驾驶模拟器的闭环交互。我们称之为 MLLM-AD-4o。我们的研究评估了代理在恶劣条件下的决策、感知和控制，包括恶劣天气、能见度差和复杂交通场景。结果表明，即使在具有挑战性的环境中，AD 代理也能保持高水平的安全性和效率，凸显了 GPT-4o 在任何环境条件下增强自动驾驶系统（ADS）的潜力。此外，我们评估了使用不同感知实体时 MLLM-AD-4o 的性能，包括仅前向摄像头、前向和后向摄像头，以及结合激光雷达的情况。本文的结果为将 MLLM 与 AD 框架集成提供了有价值的见解，为该领域的未来进步铺平了道路。
引用
@article{arxiv.2411.10603,
title = {A Novel MLLM-based Approach for Autonomous Driving in Different Weather Conditions},
author = {Sonda Fourati and Wael Jaafar and Noura Baccar},
journal= {arXiv preprint arXiv:2411.10603},
year = {2024}
}
备注
9 pages, 6 figures; Submitted to IEEE Transactions on Intelligent Transportation Systems