360Loc:一种用于跨设备查询全向视觉定位的数据集与基准
计算机视觉与模式识别
2024-06-03 v3
摘要
便携式 360 相机正成为建立大型视觉数据库的廉价高效工具。通过捕获场景的全向视图,这些相机可加速构建对视觉定位至关重要的环境模型。然而,由于缺乏有价值的数据集,此类优势常被忽视。本文引入一个新的基准数据集 360Loc,其由带真实位姿的 360 图像组成用于视觉定位。我们提出一种结合 360 图像与激光雷达数据生成真实 6DoF 位姿的 360 建图实用实现。360Loc 是首个探索跨设备视觉定位挑战的数据集与基准,涉及 360 参考帧,以及来自针孔、超广角鱼眼与 360 相机的查询帧。我们提出一种虚拟相机方法从 360 图像生成低视场查询帧,确保不同查询类型在视觉定位任务中性能的公平比较。我们还将该虚拟相机方法扩展至基于特征匹配与基于位姿回归的方法,以缓解跨设备域间隙导致的性能损失,并针对最先进基线评估其有效性。我们证明全向视觉定位在具对称与重复结构的挑战性大规模场景中更为鲁棒。这些结果为 360 相机建图与跨设备查询全向视觉定位提供了新见解。
引用
@article{arxiv.2311.17389,
title = {360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries},
author = {Huajian Huang and Changkun Liu and Yipeng Zhu and Hui Cheng and Tristan Braud and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:2311.17389},
year = {2024}
}
备注
CVPR 2024. Project Page: https://huajianup.github.io/research/360Loc/