BEVControl：通过 BEV 草图布局以多视角一致性精确控制街景元素
计算机视觉与模式识别
2023-09-26 v4
摘要
利用合成图像提升感知模型性能是计算机视觉中一项长期的研究挑战。在以视觉为中心的、配备多视角摄像头的自动驾驶系统中，这一问题尤为突出，因为某些长尾场景永远无法被采集到。在 BEV 分割布局的引导下，现有生成网络在仅以场景级指标评估时似乎能合成照片级真实的街景图像。然而，一旦放大，它们通常无法生成准确的前景与背景细节，例如朝向。为此，我们提出了一种两阶段生成方法，称为 BEVControl，可生成准确的前景与背景内容。与类分割输入不同，它还支持草图风格输入，对人类编辑更为灵活。此外，我们提出了一种全面的多层级评估协议，以公平比较生成场景、前景物体与背景几何的质量。大量实验表明，我们的 BEVControl 以显著优势超越最先进方法 BEVGen，前景分割 mIoU 从 5.89 提升至 26.80。此外，我们展示了使用 BEVControl 生成的图像训练下游感知模型，其在 NDS 分数上平均获得 1.29 的提升。
引用
@article{arxiv.2308.01661,
title = {BEVControl: Accurately Controlling Street-view Elements with Multi-perspective Consistency via BEV Sketch Layout},
author = {Kairui Yang and Enhui Ma and Jibin Peng and Qing Guo and Di Lin and Kaicheng Yu},
journal= {arXiv preprint arXiv:2308.01661},
year = {2023}
}
备注
13 pages, 8 figures