Pix2Map：用于从图像推断街道地图的跨模态检索
计算机视觉与模式识别
2023-04-11 v2 机器学习
摘要
自动驾驶车辆依赖城市街道地图进行自主导航。本文提出 Pix2Map，一种直接从自视角图像推断城市街道地图拓扑的方法，用于持续更新和扩展现有地图。这是一项具有挑战性的任务，因为我们需要直接从原始图像数据推断复杂的城市道路拓扑。本文的核心见解是，通过学习图像与现有地图（表示为编码视觉环境拓扑布局的离散图）的联合跨模态嵌入空间，该问题可被表述为跨模态检索。我们使用 Argoverse 数据集进行实验评估，表明仅从图像数据准确检索对应于已见和未见道路的街道地图确实是可行的。此外，我们展示了检索到的地图可用于更新或扩展现有地图，甚至展示了从空间图进行视觉定位与图像检索的概念验证结果。
引用
@article{arxiv.2301.04224,
title = {Pix2Map: Cross-modal Retrieval for Inferring Street Maps from Images},
author = {Xindi Wu and KwunFung Lau and Francesco Ferroni and Aljoša Ošep and Deva Ramanan},
journal= {arXiv preprint arXiv:2301.04224},
year = {2023}
}
备注
12 pages, 8 figures