TP3M：基于 Transformer 的带参考图像的伪三维图像匹配

在视点或光照变化剧烈或低纹理的场景中，图像匹配仍然具有挑战性。在本文中，我们提出了一种基于 Transformer 的伪三维图像匹配方法。该方法借助参考图像将从源图像中提取的二维特征升级为三维特征，并通过由粗到细的三维匹配将其与从目标图像中提取的二维特征进行匹配。我们的关键发现是，通过引入参考图像，对源图像的特征点进行筛选，并进一步将其特征描述子从二维丰富至三维，从而提高了与目标图像的匹配性能。在多个数据集上的实验结果表明，所提出的方法在单应性估计、位姿估计和视觉定位任务上达到了 SOTA，尤其是在具有挑战性的场景中。