IFFNeRF: 基于单幅图像与 NeRF 模型的免初始化快速六自由度位姿估计
计算机视觉与模式识别
2024-03-20 v1 机器人学
摘要
我们引入 IFFNeRF,在神经辐射场 (NeRF) 公式的基础上,根据给定图像估计六自由度 (6DoF) 相机位姿。IFFNeRF 专为实时运行而设计,且无需接近所求解的初始位姿猜测。IFFNeRF 利用 Metropolis-Hasting 算法从 NeRF 模型内部采样表面点。从这些采样点出发,我们投射射线并通过像素级视图合成推断每条射线的颜色。随后,通过在查询图像与生成的射线束之间选择对应关系,可将相机位姿作为最小二乘问题的解进行估计。我们通过学习到的注意力机制促进此过程,将查询图像嵌入与参数化射线的嵌入相连接,从而匹配与图像相关的射线。通过合成与真实评估设置,我们表明,与 iNeRF 相比,我们的方法可将角度误差与平移误差精度分别提高 80.1% 和 67.3%,同时在消费级硬件上以 34fps 的速度运行且无需初始位姿猜测。
引用
@article{arxiv.2403.12682,
title = {IFFNeRF: Initialisation Free and Fast 6DoF pose estimation from a single image and a NeRF model},
author = {Matteo Bortolon and Theodore Tsesmelis and Stuart James and Fabio Poiesi and Alessio Del Bue},
journal= {arXiv preprint arXiv:2403.12682},
year = {2024}
}
备注
Accepted ICRA 2024, Project page: https://mbortolon97.github.io/iffnerf/