ICON：面向联合位姿与辐射场优化的增量置信度方法
计算机视觉与模式识别
2024-01-18 v1
摘要
神经辐射场（NeRF）在给定一组二维图像的情况下，在新视角合成（NVS）方面展现出卓越的性能。然而，NeRF 训练需要每个输入视图的精确相机位姿，这通常通过运动恢复结构（SfM）流程获得。近期的工作试图放宽这一约束，但它们通常仍依赖于可被进一步优化的、尚可的初始位姿。本文旨在消除对位姿初始化的需求。我们提出了增量置信度（ICON），这是一种从二维视频帧训练 NeRF 的优化过程。ICON 仅假设平滑的相机运动来估计位姿的初始猜测值。此外，ICON 引入了“置信度”：一种用于动态重加权梯度的模型质量自适应度量。ICON 依赖高置信度的位姿来学习 NeRF，并依赖高置信度的三维结构（由 NeRF 编码）来学习位姿。我们证明，在没有先验位姿初始化的情况下，ICON 在 CO3D 和 HO3D 数据集上均取得了优于使用 SfM 位姿的方法的性能。
引用
@article{arxiv.2401.08937,
title = {ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization},
author = {Weiyao Wang and Pierre Gleize and Hao Tang and Xingyu Chen and Kevin J Liang and Matt Feiszli},
journal= {arXiv preprint arXiv:2401.08937},
year = {2024}
}