从更高维度的视角：3D几何先验是否能帮助视觉平面图定位？

由于平面图容易获取、随时间保持一致且对视觉外观变化具有内在鲁棒性，因此，平面图内的自定位吸引了研究者的关注。然而，由于平面图是建筑结构的简约表述，视觉感知与平面图之间的模式差异和几何差异为这一任务带来了挑战。虽然现有方法巧妙地利用二维几何特征和姿态滤波器来实现良好的性能，但它们未能解决由于各种形状的3D物体导致的频繁视觉变化和视角遮挡所引起的定位误差。为此，本文从更高维度的角度来看待二维平面图定位（FLoc）问题，通过注入3D几何先验来强化视觉FLoc算法。对于3D几何先验建模，我们首先使用多视角约束来建模几何感知的视图不变性，即利用成像几何原理为多个视角相同的点的匹配提供约束条件。随后，我们进一步建模视图-场景对齐的几何先验，通过将场景的表面重建与序列的RGB帧关联来增强跨模态的几何-颜色对应关系。这种3D先验通过自监督对比学习来建模，因此无需额外的几何或语义标注。这些在大量真实场景中总结的3D先验在跨模态鸿沟上起到桥梁作用，同时在不增加FLoc算法计算负担的情况下提高了定位成功率。充分的对比实验表明，我们的方法显著优于当前的方法，并大幅提升了FLoc精度。所有数据和代码将在匿名评审后公开。