面向基于风格的神经辐射场的3D感知编码
计算机视觉与模式识别
2022-11-15 v1 机器学习
摘要
我们解决了基于风格的神经辐射场（如StyleNeRF）的NeRF反演任务。在该任务中，我们旨在学习一个反演函数，将输入图像投影到NeRF生成器的潜空间，并基于潜代码合成原始图像的新视角。与针对2D生成模型的GAN反演相比，NeRF反演不仅需要1）保留输入图像的身份，还需2）确保所生成新视角的3D一致性。这要求从单视图图像获得的潜代码在多个视图间保持不变。为应对这一新挑战，我们提出了一种用于基于风格的NeRF反演的两阶段编码器。在第一阶段，我们引入一个基础编码器将输入图像转换为潜代码。为确保潜代码是视角不变的且能合成3D一致的新视角图像，我们利用身份对比学习来训练基础编码器。其次，为更好地保留输入图像的身份，我们引入一个细化编码器来精炼潜代码并向输出图像添加更精细的细节。需注意，该模型的新颖性在于其第一阶段编码器的设计，其产生位于潜流形上最接近的潜代码，从而第二阶段的细化将接近NeRF流形。通过大量实验，我们证明了我们所提出的两阶段编码器在图像重建和新视角渲染上，定性和定量均优于现有的反演编码器。
引用
@article{arxiv.2211.06583,
title = {3D-Aware Encoding for Style-based Neural Radiance Fields},
author = {Yu-Jhe Li and Tao Xu and Bichen Wu and Ningyuan Zheng and Xiaoliang Dai and Albert Pumarola and Peizhao Zhang and Peter Vajda and Kris Kitani},
journal= {arXiv preprint arXiv:2211.06583},
year = {2022}
}
备注
21 pages (under review)