基于多模态大语言模型的自动驾驶车辆真实角落案例生成
机器人学
2024-12-03 v1 人工智能
摘要
为保证自动驾驶（AV）系统的安全和可靠性，角落案例（corner cases）在探索系统在稀有和挑战性条件下的行为方面发挥着关键作用。然而，当前方法往往难以满足多样化的测试需求， struggles to generalize to novel, high-risk scenarios that closely mirror real-world conditions. 为解决这一挑战，本文提出AutoScenario，一个基于多模态大语言模型（Multimodal Large Language Model, LLM）的框架，用于真实的角落案例生成。它将来自多个来源的安全关键数据转换为文本表示，使风险因素能够 generalization，同时利用LLM的广泛世界知识和先进推理能力。此外，它集成了仿真urban mobility（SUMO）和CARLA仿真器的工具，以简化和执行LLM生成的代码。我们的实验表明，AutoScenario能够生成真实且具有挑战性的测试场景，精确地针对特定的测试需求或文本描述。此外，我们验证了其生成多样化和新颖场景的能力，这些场景源自涉及危险情境的多模态真实数据，充分利用LLM的强大泛化能力，以有效模拟各种角落案例。
引用
@article{arxiv.2412.00243,
title = {Realistic Corner Case Generation for Autonomous Vehicles with Multimodal Large Language Model},
author = {Qiujing Lu and Meng Ma and Ximiao Dai and Xuanhan Wang and Shuo Feng},
journal= {arXiv preprint arXiv:2412.00243},
year = {2024}
}