FB-BEV:基于前向-后向视图变换的 BEV 表示
计算机视觉与模式识别
2023-08-21 v2
摘要
视图变换模块(VTM)在多视角图像特征与鸟瞰图(BEV)表示之间进行变换,是基于摄像头的 BEV 感知系统中的关键步骤。目前,两种最突出的 VTM 范式是前向投影与后向投影。以前向投影为代表的 Lift-Splat-Shoot 会导致无后处理的稀疏投影 BEV 特征。以后向投影为例的 BEVFormer,由于未利用深度信息,容易因错误投影产生假阳性 BEV 特征。为克服上述局限,我们提出了一种新颖的前向-后向视图变换模块。我们的方法弥补了两种现有方法的不足,使它们能够相互增强,从而共同获得更高质量的 BEV 表示。我们以 FB-BEV 实例化所提模块,在 nuScenes 测试集上取得了 62.4% NDS 的新的最先进(SOTA)结果。代码与模型见 https://github.com/NVlabs/FB-BEV。
引用
@article{arxiv.2308.02236,
title = {FB-BEV: BEV Representation from Forward-Backward View Transformations},
author = {Zhiqi Li and Zhiding Yu and Wenhai Wang and Anima Anandkumar and Tong Lu and Jose M. Alvarez},
journal= {arXiv preprint arXiv:2308.02236},
year = {2023}
}
备注
Accept to ICCV 2023, camera-ready version