iNeRF：反演神经辐射场用于位姿估计

我们提出 iNeRF，一个通过“反演”神经辐射场（NeRF）实现无网格位姿估计的框架。NeRF 已被证明在视图合成任务中极为有效——合成真实世界场景或物体的照片级真实感新视图。本工作中，我们探究是否可通过 NeRF 的分析-by-合成方法实现无网格、仅 RGB 的 6DoF 位姿估计——给定图像，求相机相对于 3D 物体或场景的平移与旋转。我们的方法假设在训练或测试时均无可用的物体网格模型。从初始位姿估计出发，我们使用梯度下降最小化从 NeRF 渲染的像素与观测图像中像素之间的残差。实验中，我们首先研究 1）在 iNeRF 位姿精修过程中如何采样光线以收集信息性梯度，以及 2）不同光线批量大小如何在合成数据集上影响 iNeRF。随后我们展示，对于来自 LLFF 数据集的复杂真实世界场景，iNeRF 可通过估计新图像的相机位姿并将这些图像作为 NeRF 的额外训练数据来改进 NeRF。最后，我们展示 iNeRF 能通过反演从单视图推断出的 NeRF 模型，利用 RGB 图像执行类别级物体位姿估计，包括训练时未见的物体实例。