CurricuVLM：基于视觉语言模型实现自适应安全关键课程学习的无人驾驶安全框架
机器人学
2025-02-24 v1 人工智能
计算机视觉与模式识别
摘要
在自动驾驶系统中确保安全性仍然是一个关键挑战，尤其是处理少数但可能导致灾难性后果的安全关键场景。虽然已有研究探索了生成自动驾驶车辆（AV）测试用的安全关键场景，但有效将这些场景纳入策略学习以提升安全性的工作有限。此外，开发能够适应 AV 不断演化的行为模式和性能瓶颈的训练课程计划也基本未被探索。为此，我们提出 CurricuVLM，一个新颖框架，利用视觉语言模型（VLMs）实现自动驾驶代理的个人化课程学习。我们的方法独特地利用 VLMs 的多模态理解能力分析代理行为，识别性能弱点，动态生成针对课程调整的量身定制训练场景。通过对不安全驾驶情形的深入分析（带有叙事描述），CurricuVLM 对 AV 的能力进行深入推理，识别关键行为模式。框架随后综合这些已识别的局限性，生成针对性训练场景，实现有效且个性化的课程学习。广泛的 Waymo 开放运动数据集实验表明，CurricuVLM 在常规和安全关键场景中均优于最先进的基线方法，在导航成功率、驾驶效率和安全性指标方面表现卓越。进一步分析表明，CurricuVLM 是一种可通用的方法，可集成到各种强化学习算法中，以提升自动驾驶系统。代码和演示视频已公开：https://zihaosheng.github.io/CurricuVLM/。
引用
@article{arxiv.2502.15119,
title = {CurricuVLM: Towards Safe Autonomous Driving via Personalized Safety-Critical Curriculum Learning with Vision-Language Models},
author = {Zihao Sheng and Zilin Huang and Yansong Qu and Yue Leng and Sruthi Bhavanam and Sikai Chen},
journal= {arXiv preprint arXiv:2502.15119},
year = {2025}
}