NeRFect 匹配：探索用于视觉定位的 NeRF 特征

在这项工作中，我们提出使用 Neural Radiance Fields (NeRF) 作为视觉定位的场景表示。最近，NeRF 被用于通过增强训练数据库、通过渲染图像提供辅助监督或作为迭代细化模块来增强位姿回归和场景坐标回归模型。我们通过探索 NeRF 的内部特征在建立用于定位的精确 2D-3D 匹配中的潜力，扩展了其公认的优势——它能够提供具有逼真外观和精确几何的紧凑场景表示。为此，我们在各种条件下全面检查了 NeRF 通过视图合成获得的隐式知识以进行匹配。这包括探索不同的匹配网络架构、在多层提取编码器特征以及改变训练配置。值得注意的是，我们引入了 NeRFMatch，这是一种先进的 2D-3D 匹配函数，它利用了通过视图合成学习到的 NeRF 内部知识。我们在基于结构的流程中，在标准定位基准上对 NeRFMatch 进行了评估，在 Cambridge Landmarks 上创下了定位性能的新 SOTA。