Learning from Risk: LLM-Guided Generation of Safety-Critical Scenarios with Prior Knowledge

Yuhang Wang; Heye Huang; Zhenhua Xu; Kailai Sun; Baoshen Guo; Jinhua Zhao

Learning from Risk: LLM-Guided Generation of Safety-Critical Scenarios with Prior Knowledge

机器学习 2025-11-27 v1 人工智能

作者: Yuhang Wang , Heye Huang , Zhenhua Xu , Kailai Sun , Baoshen Guo , Jinhua Zhao

摘要

自动驾驶面临在稀有长尾事件和复杂多智能体相互作用方面的关键挑战，这些事件在现实世界数据中稀缺却对于稳健的安全验证至关重要。本文提出了一种高保真场景生成框架，将条件变分自编码器（CVAE）与大语言模型（LLM）集成。CVAE 编码来自大规模自然数据集中历史轨迹和地图信息，以学习潜在交通结构，生成物理一致的基础场景。基于此，LLM 作为对抗推理引擎，将非结构化场景描述解析为领域特定损失函数，并在不同风险水平下动态指导场景生成。这种知识驱动的优化在现实性和可控性之间取得平衡，确保生成的场景既合理又具备风险敏感性。广泛的 CARLA 和 SMARTS 实验表明，我们的框架显著提高了高风险和长尾事件的覆盖率，改善了模拟与现实交通分布之间的一致性，使自动驾驶系统暴露于由现有规则或数据驱动方法产生的更具挑战性的相互作用中。这些结果为安全验证开辟了新道路，使自动系统能够在稀有但重要事件下的原则性压力测试。

关键词

自动驾驶场景生成大语言模型 CVAE 安全验证

引用

@article{arxiv.2511.20726,
  title  = {Learning from Risk: LLM-Guided Generation of Safety-Critical Scenarios with Prior Knowledge},
  author = {Yuhang Wang and Heye Huang and Zhenhua Xu and Kailai Sun and Baoshen Guo and Jinhua Zhao},
  journal= {arXiv preprint arXiv:2511.20726},
  year   = {2025}
}

备注

24 pages, 6 figures

Learning from Risk: LLM-Guided Generation of Safety-Critical Scenarios with Prior Knowledge

摘要

关键词

引用

备注

相关论文