LMM增强的自动驾驶系统测试安全关键场景生成：从非事故交通视频出发
软件工程
2025-01-03 v2
摘要
安全测试是自动驾驶系统发展的基石。为确保ADS的安全性，生成多样化的安全关键测试场景至关重要。虽然现有的ADS从业者主要专注于在仿真环境中复现真实交通事故以创建测试场景，但必须强调的是，由于人类驾驶与自动驾驶之间的差异，这些事故中的许多并不会直接导致ADS的安全违规。更重要的是，我们观察到一些无事故的真实场景不仅可能导致ADS出现异常行为，还可以在仿真测试期间被用于生成ADS违规。因此，从常规交通场景（即非碰撞场景）中发现ADS的安全违规具有重要意义。我们引入了LEADE，一种实现上述目标的新方法。它从真实交通视频中自动生成抽象场景和具体场景。然后优化这些场景，以在人类驾驶安全的语义一致场景中搜索ADS的安全违规。具体来说，LEADE增强了大型多模态模型的能力，使其能够从交通视频中准确构建抽象场景，并通过多模态少样本思维链生成具体场景。基于此，LEADE评估并增加了自车与人类驾驶在语义等价场景中的行为差异。我们在工业级L4级自动驾驶系统Apollo上实现并评估了LEADE。
引用
@article{arxiv.2406.10857,
title = {LMM-enhanced Safety-Critical Scenario Generation for Autonomous Driving System Testing From Non-Accident Traffic Videos},
author = {Haoxiang Tian and Xingshuo Han and Yuan Zhou and Guoquan Wu and An Guo and Mingfei Cheng and Shuo Li and Jun Wei and Tianwei Zhang},
journal= {arXiv preprint arXiv:2406.10857},
year = {2025}
}
备注
17 pages