GSplatLoc:将关键点描述符锚定至 3D Gaussian Splatting 以改进视觉定位
计算机视觉与模式识别
2025-03-21 v3 人工智能
机器学习
机器人学
摘要
尽管存在多种视觉定位方法,如场景坐标回归和相机位姿回归,但这些方法通常面临优化复杂或精度有限的挑战。为了应对这些挑战,我们探索了新视角合成技术的应用,特别是 3D Gaussian Splatting (3DGS),它能够紧凑地编码 3D 几何和场景外观。我们提出了一种两阶段流程,将来自轻量级 XFeat 特征提取器的密集且鲁棒关键点描述符集成到 3DGS 中,从而增强了在室内和室外环境中的性能。通过 3DGS 表示与查询图像描述符之间的 2D-3D 对应关系,直接获得粗略位姿估计。在第二阶段,通过最小化基于渲染的光度扭曲损失来细化初始位姿估计。在广泛使用的室内和室外数据集上的基准测试表明,相较于近期的基于神经渲染的定位方法(如 NeRFMatch 和 PNeRFLoc),本方法取得了改进。
引用
@article{arxiv.2409.16502,
title = {GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization},
author = {Gennady Sidorov and Malik Mohrat and Denis Gridusov and Ruslan Rakhimov and Sergey Kolyubin},
journal= {arXiv preprint arXiv:2409.16502},
year = {2025}
}
备注
Project website at https://gsplatloc.github.io/