CaLDiff：通过姿态扩散在NeRF中进行相机定位
计算机视觉与模式识别
2023-12-27 v1
摘要
随着基于NeRF的隐式三维表示的广泛使用，在同一表示中进行相机定位的需求变得显而易见。这样做不仅简化了定位过程——通过避免基于NeRF外部的定位——而且还有潜力提供增强定位的优势。本文研究了使用扩散模型进行相机姿态调整在NeRF中定位相机的问题。更具体地说，给定一个预训练的NeRF模型，我们训练一个扩散模型，该模型以要定位的图像为条件，迭代更新随机初始化的相机姿态。在测试时，新相机的定位分两步进行：首先，使用所提出的姿态扩散过程进行粗略定位，然后在NeRF中进行姿态反演过程的局部细化步骤。实际上，所提出的通过姿态扩散进行相机定位（CaLDiff）方法也将姿态反演步骤集成到了扩散过程中。由于我们下游的细化感知扩散过程，这种集成提供了显著更好的定位。我们在具有挑战性的真实世界数据上进行的详尽实验验证了我们的方法，其结果显著优于对比方法和已建立的基线。我们的源代码将公开提供。
引用
@article{arxiv.2312.15242,
title = {CaLDiff: Camera Localization in NeRF via Pose Diffusion},
author = {Rashik Shrestha and Bishad Koju and Abhigyan Bhusal and Danda Pani Paudel and François Rameau},
journal= {arXiv preprint arXiv:2312.15242},
year = {2023}
}