中文

GSplatLoc:将关键点描述符锚定至 3D Gaussian Splatting 以改进视觉定位

计算机视觉与模式识别 2025-03-21 v3 人工智能 机器学习 机器人学

摘要

尽管存在多种视觉定位方法,如场景坐标回归和相机位姿回归,但这些方法通常面临优化复杂或精度有限的挑战。为了应对这些挑战,我们探索了新视角合成技术的应用,特别是 3D Gaussian Splatting (3DGS),它能够紧凑地编码 3D 几何和场景外观。我们提出了一种两阶段流程,将来自轻量级 XFeat 特征提取器的密集且鲁棒关键点描述符集成到 3DGS 中,从而增强了在室内和室外环境中的性能。通过 3DGS 表示与查询图像描述符之间的 2D-3D 对应关系,直接获得粗略位姿估计。在第二阶段,通过最小化基于渲染的光度扭曲损失来细化初始位姿估计。在广泛使用的室内和室外数据集上的基准测试表明,相较于近期的基于神经渲染的定位方法(如 NeRFMatch 和 PNeRFLoc),本方法取得了改进。

关键词

引用

@article{arxiv.2409.16502,
  title  = {GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization},
  author = {Gennady Sidorov and Malik Mohrat and Denis Gridusov and Ruslan Rakhimov and Sergey Kolyubin},
  journal= {arXiv preprint arXiv:2409.16502},
  year   = {2025}
}

备注

Project website at https://gsplatloc.github.io/