并行利用局部与全局描述子搜索对应关系的视觉定位方法
计算机视觉与模式识别
2020-09-24 v1
摘要
从给定图像计算 6DoF 相机位姿的视觉定位在机器人、虚拟现实、增强现实等方面有广泛应用。两类描述子对视觉定位十分重要。其一为从每幅图像提取整体特征的全局描述子。其二为通常包围一个关键点、从每个图像块提取局部特征的局部描述子。越来越多的视觉定位方法具有两阶段：先以全局描述子进行图像检索，再由检索反馈以局部描述子建立 2D-3D 点对应。多数方法中这两阶段是串行的。这种简单组合未实现局部与全局描述子融合的优势。由检索反馈得到的 3D 点仅通过全局描述子作为 2D 图像点的最近邻候选。在执行 2D-3D 点对应时，每个 2D 图像点也称为查询局部特征。本文提出一种新颖的并行搜索框架，利用局部与全局描述子两者优势以获取查询局部特征的最近邻候选。具体地，除使用基于深度学习的全局描述子外，我们还利用局部描述子构建随机树结构以获得查询局部特征的最近邻候选。我们在构建随机树时提出一种新的概率模型与一种新的基于深度学习的局部描述子。在所提局部描述子的损失函数中给出了保持二值化后判别性的加权汉明正则项。该损失函数联合训练实值与二值描述子，其结果被集成进随机树中。
引用
@article{arxiv.2009.10891,
title = {Leveraging Local and Global Descriptors in Parallel to Search Correspondences for Visual Localization},
author = {Pengju Zhang and Yihong Wu and Bingxi Liu},
journal= {arXiv preprint arXiv:2009.10891},
year = {2020}
}