ActiveNeRF：基于不确定性估计的学习式观测点选择方法
计算机视觉与模式识别
2022-09-20 v1
摘要
近来，神经辐射场(NeRF)在从稀疏的2D图像集重建3D场景和合成新视角方面展现出良好性能。尽管有效，NeRF的性能高度受训练样本质量影响。在场景仅有少量已标定图像时，NeRF难以泛化到新视角，并可能在未观测区域坍缩为平凡解。这使得NeRF在资源受限场景下不实用。本文提出一种新颖的学习框架ActiveNeRF，旨在以受限的输入预算建模3D场景。具体而言，我们首先将不确定性估计引入NeRF模型，确保少观测下的鲁棒性，并解释NeRF如何理解场景。在此基础上，我们提出基于主动学习策略用新捕获样本补充现有训练集。通过评估新输入带来的不确定性降低，我们选取信息增益最大的样本。以此方式，可用最少的额外资源提升新视角合成质量。大量实验验证了我们的模型在真实与合成场景上的性能，尤其在训练数据更稀缺时。代码将发布于\url{https://github.com/LeapLabTHU/ActiveNeRF}。
引用
@article{arxiv.2209.08546,
title = {ActiveNeRF: Learning where to See with Uncertainty Estimation},
author = {Xuran Pan and Zihang Lai and Shiji Song and Gao Huang},
journal= {arXiv preprint arXiv:2209.08546},
year = {2022}
}
备注
Accepted by ECCV2022