基于似然的生成辐射场与潜空间能量模型用于三维感知解耦图像表示
计算机视觉与模式识别
2023-04-18 v1 机器学习
摘要
我们提出 NeRF-LEBM，一种基于似然的自顶向下三维感知二维图像生成模型，其通过神经辐射场（NeRF）引入三维表示，并通过可微体积渲染引入二维成像过程。该模型将图像表示为从三维物体到二维图像的渲染过程，并以一些潜变量为条件，这些变量刻画物体特征并假设遵循信息性的可训练能量先验模型。我们提出两种基于似然的学习框架来训练 NeRF-LEBM：（i）带基于马尔可夫链蒙特卡洛推断的最大似然估计；（ii）带重参数化技巧的变分推断。我们在相机位姿已知与未知两种场景下研究模型。在多个基准数据集上的实验表明，NeRF-LEBM 可从二维图像推断三维物体结构、以新视角与新物体生成二维图像、从不完整二维图像中学习，以及从具已知或未知相机位姿的二维图像中学习。
引用
@article{arxiv.2304.07918,
title = {Likelihood-Based Generative Radiance Field with Latent Space Energy-Based Model for 3D-Aware Disentangled Image Representation},
author = {Yaxuan Zhu and Jianwen Xie and Ping Li},
journal= {arXiv preprint arXiv:2304.07918},
year = {2023}
}