跨视角图像检索——基于深度学习的地面到航拍图像检索
计算机视觉与模式识别
2020-05-05 v1
摘要
跨模态检索旨在衡量不同类型数据之间的内容相似性。该思想此前已应用于视觉、文本和语音数据。在本文中，我们提出一种专门用于多视角图像的新型跨模态检索方法，称为跨视角图像检索 CVIR。我们的方法旨在找到一个特征空间以及一个嵌入空间，其中街景图像样本可直接与卫星视角图像样本进行比较（反之亦然）。为此，我们提出了一种基于深度度量学习的新型解决方案“DeepCVIR”。以往的跨视角图像数据集存在缺陷：（1）缺乏类别信息；（2）最初是为具有耦合图像的跨视角图像地理定位任务收集的；（3）不包含任何非街道位置的图像。为训练、比较和评估跨视角图像检索的性能，我们提出了一个包含 6 个类别的新跨视角图像数据集，称为 CrossViewRet，其包含高速公路、山脉、宫殿、河流、船只和体育场等图像，每个类别有 700 张高分辨率双视角图像。结果表明，所提出的 DeepCVIR 在给定数据集的 CVIR 任务上优于传统匹配方法，并将作为未来研究的基线。
引用
@article{arxiv.2005.00725,
title = {Cross-View Image Retrieval -- Ground to Aerial Image Retrieval through Deep Learning},
author = {Numan Khurshid and Talha Hanif and Mohbat Tharani and Murtaza Taj},
journal= {arXiv preprint arXiv:2005.00725},
year = {2020}
}
备注
International Conference on Neural Information Processing (ICONIP-2019)