语言条件化的交通场景生成

仿真构成了现代自动驾驶开发的支柱。仿真器有助于在不将人类、车辆或其环境置于风险之中的情况下开发、测试和改进行驶系统。然而,仿真器面临一个主要挑战:它们依赖于真实、可扩展且有趣的内容。尽管近期在渲染和场景重建方面的进展在创建静态场景资产上取得了巨大进步,但对其布局、动态和行为进行建模仍然具有挑战性。在这项工作中,我们转向语言,将其作为动态交通场景生成的监督来源。我们的模型 LCTGen 将一个大语言模型与一个基于 transformer 的解码器架构相结合,该架构从地图数据集中选择可能的地图位置,并生成初始交通分布以及每辆车的动态。LCTGen 在无条件和有条件交通场景生成方面,在真实性和保真度上都优于先前的工作。代码和视频将发布于 https://ariostgx.github.io/lctgen。