Pix2NeRF：用于单图像到神经辐射场转换的无监督条件 $\pi$-GAN
计算机视觉与模式识别
2022-03-01 v1 人工智能
图形学
机器学习
摘要
我们提出一种以单张输入图像为条件，生成特定类别物体或场景的神经辐射场（NeRF）的流水线。这是一项具有挑战性的任务，因为训练 NeRF 需要同一场景的多视角图像及相应的位姿，而这些难以获取。我们的方法基于 -GAN——一种用于无条件 3D 感知图像合成的生成模型，其将随机潜码映射到一类物体的辐射场。我们联合优化（1）-GAN 目标以利用其高保真 3D 感知生成能力，以及（2）一个精心设计的重建目标。后者包含一个与 -GAN 生成器耦合的编码器，构成自编码器。与以往少样本 NeRF 方法不同，我们的流水线是无监督的，能够用独立图像训练，无需 3D、多视角或位姿监督。我们流水线的应用包括 3D 头像生成、基于单输入图像的以物体为中心的新视角合成，以及 3D 感知超分辨率等。
引用
@article{arxiv.2202.13162,
title = {Pix2NeRF: Unsupervised Conditional $\pi$-GAN for Single Image to Neural Radiance Fields Translation},
author = {Shengqu Cai and Anton Obukhov and Dengxin Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:2202.13162},
year = {2022}
}
备注
16 pages, 10 figures