基于3D场景的野外楼层平面定位

许多公共建筑提供带有"您所在位置"指示器的平面图，以帮助访客定位。楼层平面定位旨在通过确定视觉观察捕获位置于平面图中的位置来实现上述功能。然而，现有方法通常假设受控的小规模环境和精确的矢量化平面图，限制了其在大型建筑和栅格化平面图中的应用。本文提出一种在野外执行楼层平面定位的方法，通过将任务 grounding 在场景的重建3D表示中。给定不受约束的图像集合，该方法重建重力对齐的3D场景，并投影为2D密度图作为平面图代理。随后将该代理通过二维相似变换与输入平面图对齐。为弥合密度图与建筑平面图之间的外观差距，我们改编了2D基础模型以学习跨模态对应关系，引入细化方案以保持语义对齐匹配的同时保持结构一致性。大量实验表明，我们的方法在先前方法上实现了显著提升，包括在仅限单个输入图像的极度稀疏情形下。我们的代码和数据将公开提供。