SkyEye：基于单目前视图像的自监督鸟瞰图语义建图
计算机视觉与模式识别
2023-02-09 v1 人工智能
机器人学
摘要
鸟瞰图（BEV）语义地图因其为决策任务提供的丰富表征，已成为自动驾驶流水线中不可或缺的组成部分。然而，现有生成这些地图的方法仍遵循全监督训练范式，因此依赖于大量标注的BEV数据。在本工作中，我们针对这一局限，提出了首个利用单张前视（FV）单目图像生成BEV语义地图的自监督方法。在训练过程中，我们通过利用更易获取的视频序列FV语义标注，克服了对BEV真值标注的需求。为此，我们提出了SkyEye架构，该架构基于两种自监督模式进行学习，即隐式监督与显式监督。隐式监督通过基于FV语义序列强制场景随时间的空间一致性来训练模型，而显式监督则利用由FV语义标注与自监督深度估计生成的BEV伪标签。在KITTI-360数据集上的大量评估表明，我们的自监督方法与最先进的全监督方法性能相当，且仅使用全监督方法在BEV中1%的直接监督便取得了有竞争力的结果。最后，我们公开发布了我们的代码以及由KITTI-360和Waymo数据集生成的BEV数据集。
引用
@article{arxiv.2302.04233,
title = {SkyEye: Self-Supervised Bird's-Eye-View Semantic Mapping Using Monocular Frontal View Images},
author = {Nikhil Gosala and Kürsat Petek and Paulo L. J. Drews-Jr and Wolfram Burgard and Abhinav Valada},
journal= {arXiv preprint arXiv:2302.04233},
year = {2023}
}
备注
14 pages, 7 figures