G-NeRF: 几何增强的单视图图像新视角合成
计算机视觉与模式识别
2024-04-12 v1
摘要
新视角合成旨在从给定的视角图像集合生成新的视角图像。最近的研究尝试依赖从多视角图像学习到的3D几何先验（如形状、大小和位置）来解决这个问题。然而，这些方法存在以下局限性：1）它们需要一组特定场景（如人脸、汽车或椅子）的多视角图像作为训练数据，这在许多真实场景中往往不可用；2）由于缺乏多视角监督，它们无法从单视角图像中提取几何先验。在本文中，我们提出了一种几何增强的NeRF（G-NeRF），它通过几何引导的多视角合成方法增强几何先验，然后进行深度感知训练。在合成过程中，受现有3D GAN模型可以无条件合成高保真多视角图像的启发，我们采用现成的3D GAN模型（如EG3D）作为免费源，通过合成多视角数据提供几何先验。同时，为了进一步提高合成数据的几何质量，我们引入了一种截断方法，以有效采样3D GAN模型中的潜在编码。为了解决单视角图像缺乏多视角监督的问题，我们设计了深度感知训练方法，结合深度感知判别器通过深度图引导几何先验。实验在定性和定量结果上都证明了我们方法的有效性。
引用
@article{arxiv.2404.07474,
title = {G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images},
author = {Zixiong Huang and Qi Chen and Libo Sun and Yifan Yang and Naizhou Wang and Mingkui Tan and Qi Wu},
journal= {arXiv preprint arXiv:2404.07474},
year = {2024}
}
备注
CVPR 2024 Accepted Paper