中文

LetsMap:用于语义 BEV 地图的无监督表示学习

计算机视觉与模式识别 2024-05-30 v1 人工智能 机器人学

摘要

语义鸟瞰视角 (BEV) 地图为各种决策任务提供丰富的表示,具有强大的遮挡推理能力。然而,大多数 BEV 映射方法采用完全监督的学习范例,依赖大量的人工标注 BEV 真实数据。在本工作中,我们提出了首个从单目正面视图 (FV) 图像生成语义 BEV 地图的无监督表示学习方法,以 label-efficient 方式实现。我们的 approach pretrains the network to independently reason about scene geometry and scene semantics using two disjoint neural pathways in an unsupervised manner and then finetunes it for the task of semantic BEV mapping using only a small fraction of labels in the BEV. 我们通过利用 FV 图像的空间和时间一致性来学习场景几何,而依赖于一种新颖的 temporal masked autoencoder 形式来编码场景表示。在 KITTI-360 和 nuScenes 数据集上的广泛评估表明,我们的方法在仅使用 1% BEV 标签且不使用额外标注数据的情况下,与现有 state-of-the-art 方法持平。

关键词

引用

@article{arxiv.2405.18852,
  title  = {LetsMap: Unsupervised Representation Learning for Semantic BEV Mapping},
  author = {Nikhil Gosala and Kürsat Petek and B Ravi Kiran and Senthil Yogamani and Paulo Drews-Jr and Wolfram Burgard and Abhinav Valada},
  journal= {arXiv preprint arXiv:2405.18852},
  year   = {2024}
}

备注

23 pages, 5 figures