从鸟瞰图布局生成街景图像
计算机视觉与模式识别
2024-02-14 v4
摘要
鸟瞰图（BEV）感知近年受到越来越多的关注，因为它提供了跨视图的简洁统一空间表示，并惠及多种下游驾驶应用。与此同时，面向自动驾驶的数据驱动仿真已成为近期研究焦点，但兼具完全数据驱动与可控性的方法甚少。理想仿真模型不是使用真实场景的感知数据，而是生成与给定高精地图和交通布局对齐的逼真街景图像，该任务对于可视化复杂交通场景及开发鲁棒自动驾驶感知模型至关重要。本文中，我们提出BEVGen，一种条件生成模型，可合成一组与交通场景BEV布局匹配的真实且空间一致的环视图像。BEVGen融入了一种带有空间注意力设计的新型跨视图变换，学习相机与地图视图间的关系以确保一致性。我们在具挑战性的NuScenes和Argoverse 2数据集上评估了所提模型。训练后，BEVGen能准确渲染道路与车道线，并生成具有多种不同天气条件和时段的交通场景。
引用
@article{arxiv.2301.04634,
title = {Street-View Image Generation from a Bird's-Eye View Layout},
author = {Alexander Swerdlow and Runsheng Xu and Bolei Zhou},
journal= {arXiv preprint arXiv:2301.04634},
year = {2024}
}