穿越不确定性：感知缺陷下基于 LLM 常识的风险规避控制用于自动驾驶
机器人学
2025-12-15 v2 人工智能
机器学习
摘要
部分感知缺陷会破坏对环境的理解，从而危及自动驾驶车辆的安全。现有协议通常默认采取完全规避风险的动作，例如立即停车，这不仅不利于导航目标，而且在罕见驾驶场景中缺乏灵活性。然而，在风险较小的情况下，停车可能是不必要的，更自适应的响应更为可取。在本文中，我们提出了 LLM-RCO，这是一个风险规避框架，利用大型语言模型（LLM）将类人驾驶常识集成到面临感知缺陷的自动驾驶系统中。LLM-RCO 包含与动态驾驶环境交互的四个关键模块：危险推断、短期运动规划器、动作条件验证器和安全约束生成器，使其能够在此类具有挑战性的条件下采取主动且具备上下文感知的动作。为了增强 LLM 的驾驶决策能力，我们构建了 DriveLM-Deficit 数据集，该数据集包含 53,895 个视频片段，具有安全关键对象的缺陷标注，用于 LLM 在危险检测和运动规划方面的微调。在 CARLA 模拟器中于恶劣驾驶条件下进行的大量实验表明，LLM-RCO 在感知缺陷场景中促进了主动操作而非纯粹的风险规避动作，突显了其在提升自动驾驶应对感知丢失挑战的韧性方面的价值。
引用
@article{arxiv.2503.07020,
title = {Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits},
author = {Yuting Hu and Chenhui Xu and Ruiyang Qin and Dancheng Liu and Amir Nassereldine and Yiyu Shi and Jinjun Xiong},
journal= {arXiv preprint arXiv:2503.07020},
year = {2025}
}