情景幻想：用于生成自动驾驶仿真环境的向量化潜在扩散模型

我们介绍 Scenario Dreamer，这是一种完全数据驱动的自主车辆规划生成式模拟器，用于生成初始交通场景——包括车道图和代理人边界框——以及闭环代理行为。现有方法用于生成驾驶仿真环境将初始交通场景编码为光栅化图像，因而需要参数丰富的网络进行不必要的计算，因为许多空白像素。此外，我们发现现有方法采用基于规则的代理行为缺乏多样性和真实性。Scenario Dreamer 采用一种新颖的向量化潜在扩散模型用于初始场景生成，直接操作向量化场景元素；并采用自回归 Transformer 进行数据驱动的代理行为模拟。Scenario Dreamer 还支持通过扩散插板实现场景外推，使能够生成无限仿真环境。广泛实验表明，Scenario Dreamer 在真实性和效率方面优于现有生成式模拟器：向量化场景生成基模型在约2倍参数、6倍更低的生成延迟和10倍更少的 GPU 训练时间方面实现了优异的生成质量。我们通过表明强化学习规划代理在 Scenario Dreamer 环境中（尤其是在长期和对抗性驾驶环境中）比传统非生成式仿真环境中更具挑战性来确认其实际实用性。