ProbNeRF：基于2D图像的不确定性感知3D形状推断
计算机视觉与模式识别
2022-11-01 v1 机器学习
摘要
从单张2D图像推断物体形状是一个欠约束问题。关于哪些物体是合理的事先知识会有所帮助，但即便给定此类先验知识，对于物体被遮挡部分的形状仍可能存在不确定性。近来，条件神经辐射场（NeRF）模型已被开发出来，能够学习从单张2D图像推断3D模型的良好点估计。这些模型的不确定性估计推断问题则较少受到关注。本工作中，我们提出概率NeRF（ProbNeRF），一种用于学习3D物体形状与外观的概率生成模型及推断策略，并通过后验推断从2D图像恢复这些属性。ProbNeRF以变分自编码器方式训练，但在测试时我们使用哈密顿蒙特卡洛（HMC）进行推断。给定物体的一张或几张2D图像（可能被部分遮挡），ProbNeRF不仅能准确建模其可见部分，还能对不可见部分提出真实且多样的假设。我们表明ProbNeRF成功的关键在于（i）确定性渲染方案，（ii）退火HMC策略，（iii）基于超网络的解码器架构，以及（iv）对完整NeRF权重集而非仅低维编码进行推断。
引用
@article{arxiv.2210.17415,
title = {ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images},
author = {Matthew D. Hoffman and Tuan Anh Le and Pavel Sountsov and Christopher Suter and Ben Lee and Vikash K. Mansinghka and Rif A. Saurous},
journal= {arXiv preprint arXiv:2210.17415},
year = {2022}
}
备注
18 pages, 18 figures, 1 table; submitted to the 26th International Conference on Artificial Intelligence and Statistics (AISTATS 2023)