ChatScene：基于知识的安全关键场景生成用于自动驾驶车辆
人工智能
2024-05-24 v1 机器学习
摘要
我们提出ChatScene，一个基于大型语言模型（LLM）的智能体，利用LLM的能力为自动驾驶车辆生成安全关键场景。给定非结构化的语言指令，该智能体首先使用LLM生成文本描述的交通场景。这些场景描述随后被分解为若干子描述，以指定细节如车辆的行为和位置。然后，该智能体独特地将文本描述的子场景转换为领域特定语言，进而生成用于模拟器中预测和控制的实际代码，促进在CARLA模拟环境中创建多样且复杂的场景。我们智能体的一个关键部分是全面的知识检索组件，通过训练包含场景描述和代码对的知识数据库，高效地将特定文本描述转换为相应的领域特定代码片段。大量实验结果证明了ChatScene在提高自动驾驶车辆安全性方面的有效性。例如，与最先进的基线相比，ChatScene生成的场景在针对不同基于强化学习的自车进行测试时，碰撞率增加了15%。此外，我们表明，通过使用我们生成的安全关键场景微调不同的基于RL的自动驾驶模型，它们可以实现9%的碰撞率降低，超越了当前最先进的方法。ChatScene有效弥合了交通场景文本描述与实际CARLA模拟之间的差距，为自动驾驶车辆的安全测试和改进提供了一种统一便捷地生成安全关键场景的方法。
引用
@article{arxiv.2405.14062,
title = {ChatScene: Knowledge-Enabled Safety-Critical Scenario Generation for Autonomous Vehicles},
author = {Jiawei Zhang and Chejian Xu and Bo Li},
journal= {arXiv preprint arXiv:2405.14062},
year = {2024}
}
备注
The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024