基于 3D 高斯溅写特征对应关系的视觉定位
计算机视觉与模式识别
2025-05-02 v2 机器人学
摘要
本文提出了一种方法，用于相对于预计算的 3D 高斯溅写（3DGS）场景表示对查询图像进行定位。首先，该方法使用 3DGS 在某个初始姿态估计处渲染合成 RGBD 图像。其次，它在查询图像和该合成图像之间建立 2D-2D 对应关系。最后，它使用深度图将 2D-2D 对应关系提升为 2D-3D 对应关系，并求解透视-点（PnP）问题以产生最终姿态估计。评估结果显示，我们的方法在三个现有数据集的 38 个场景和超过 2,700 张测试图像上的表现显著减少了推理时间（从超过 10 秒缩短至约 0.1 秒）和估计误差，与基于光度损失最小化的基线方法相比。结果还表明，我们的方法对初始姿态估计误差容忘度高，可达旋转 55°、平移 1.1 单位（按场景比例归一化），在 Synthetic NeRF 和 Mip-NeRF360 数据集上实现了小于 5° 的旋转误差和小于 0.05 单位的平移误差（占测试图像的 90%），在更具挑战性的 Tanks and Temples 数据集上则达到 42%。
引用
@article{arxiv.2504.20379,
title = {GSFeatLoc: Visual Localization Using Feature Correspondence on 3D Gaussian Splatting},
author = {Jongwon Lee and Timothy Bretl},
journal= {arXiv preprint arXiv:2504.20379},
year = {2025}
}