MagicDrive：具备多样三维几何控制的街景生成
计算机视觉与模式识别
2024-05-06 v7 人工智能
摘要
扩散模型的最新进展显著增强了带 2D 控制的数据合成能力。然而，在街景生成中实现精确的 3D 控制——这对 3D 感知任务至关重要——仍然难以达成。具体而言，使用鸟瞰图（Bird's-Eye View, BEV）作为主要条件常导致几何控制（如高度）方面的挑战，影响物体形状、遮挡模式和道路表面高程的表示，而这些对于感知数据合成（尤其是 3D 目标检测任务）都至关重要。在本文中，我们介绍了 MagicDrive，一种新颖的街景生成框架，它通过定制的编码策略，提供多样的 3D 几何控制，包括相机位姿、道路图和 3D 边界框，以及文本描述。此外，我们的设计融入了跨视角注意力模块，以确保多相机视角间的一致性。借助 MagicDrive，我们实现了高保真街景图像与视频合成，捕捉细微的 3D 几何与各种场景描述，增强了 BEV 分割和 3D 目标检测等任务。
引用
@article{arxiv.2310.02601,
title = {MagicDrive: Street View Generation with Diverse 3D Geometry Control},
author = {Ruiyuan Gao and Kai Chen and Enze Xie and Lanqing Hong and Zhenguo Li and Dit-Yan Yeung and Qiang Xu},
journal= {arXiv preprint arXiv:2310.02601},
year = {2024}
}
备注
Project Page: https://flymin.github.io/magicdrive; Figure 7 updated