ZIGNeRF:基于可逆生成神经辐射场的零样本三维场景表示
计算机视觉与模式识别
2023-06-06 v1
摘要
生成式神经辐射场(NeRFs)通过学习一组无位姿图像的分布,在合成多视角图像方面展现出卓越能力。尽管现有生成式 NeRF 能在数据分布内生成三维一致的高质量随机样本,但从单张输入图像创建三维表示仍是一项艰巨挑战。本文中,我们介绍 ZIGNeRF,一种创新模型,可执行零样本生成对抗网络(GAN)反演,从单张域外图像生成多视角图像。该模型由新颖的反演器支撑,将域外图像映射到生成器流形的潜码上。值得注意的是,ZIGNeRF 能够将物体从背景中解耦,并执行 360 度旋转或深度与水平平移等三维操作。我们使用多个真实图像数据集验证了模型的有效性:Cats、AFHQ、CelebA、CelebA-HQ 和 CompCars。
引用
@article{arxiv.2306.02741,
title = {ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields},
author = {Kanghyeok Ko and Minhyeok Lee},
journal= {arXiv preprint arXiv:2306.02741},
year = {2023}
}