360BEV：面向室内俯视视角的全景语义建图
计算机视觉与模式识别
2023-09-06 v4
摘要
只见局部而非全貌，便无法知晓整体情形。俯视视角（BEV）感知是从以自我为中心的视角获取分配中心地图的过程，当仅使用窄视场（FoV）时受到限制。本工作首次建立了从360°全景图到BEV语义的映射任务，即360BEV任务，以在自上而下的视角中实现室内场景的整体表示。不同于依赖窄视场图像序列，一幅带深度信息的全景图像便足以生成整体BEV语义地图。为对360BEV进行基准测试，我们提出了两个室内数据集，360BEV-Matterport和360BEV-Stanford，二者均包含以自我为中心的全景图像与语义分割标签，以及分配中心语义地图。除深入探讨不同建图范式外，我们提出了一种专用于全景语义建图的解决方案，即360Mapper。通过大量实验，我们的方法在两个数据集上分别取得44.32%和45.78%的mIoU，超越先前方法，mIoU分别提升+7.60%和+9.70%。代码与数据集可在项目页面获取：https://jamycheung.github.io/360BEV.html。
引用
@article{arxiv.2303.11910,
title = {360BEV: Panoramic Semantic Mapping for Indoor Bird's-Eye View},
author = {Zhifeng Teng and Jiaming Zhang and Kailun Yang and Kunyu Peng and Hao Shi and Simon Reiß and Ke Cao and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2303.11910},
year = {2023}
}
备注
Code and datasets are available at the project page: https://jamycheung.github.io/360BEV.html. Accepted to WACV 2024