中文

UniFusion:用于鸟瞰图时空表示的统一多视角融合 Transformer

计算机视觉与模式识别 2023-03-21 v2

摘要

鸟瞰图(BEV)表示是一种基于空间融合的自动驾驶新感知形式。进一步地,时序融合也被引入 BEV 表示并取得了巨大成功。在本工作中,我们提出了一种新方法,将空间与时序融合统一并合并为一个统一的数学形式。该统一融合不仅能为 BEV 融合提供新视角,还带来了新能力。借助所提出的统一时空融合,我们的方法可支持长距离融合,而这是传统 BEV 方法难以实现的。此外,我们工作中的 BEV 融合是时间自适应的,且时序融合权重是可学习的;相比之下,传统方法主要对时序融合使用固定且相等的权重。另外,所提出的统一融合可避免传统 BEV 融合方法中的信息丢失并充分利用特征。在 NuScenes 数据集上的大量实验与消融研究显示了所提方法的有效性,且我们的方法在地图分割任务中取得了最先进的性能。

关键词

引用

@article{arxiv.2207.08536,
  title  = {UniFusion: Unified Multi-view Fusion Transformer for Spatial-Temporal Representation in Bird's-Eye-View},
  author = {Zequn Qin and Jingyu Chen and Chao Chen and Xiaozhi Chen and Xi Li},
  journal= {arXiv preprint arXiv:2207.08536},
  year   = {2023}
}