NeRF-GAN蒸馏：基于卷积的高效三维感知生成
计算机视觉与模式识别
2023-07-25 v3 图形学
机器学习
摘要
由于缺少充足的3D先验，姿态条件卷积生成模型难以从单视图数据集生成高质量的三维一致图像。近来，神经辐射场（NeRFs）与生成模型（如生成对抗网络（GANs））的融合改变了从单视图图像进行三维感知生成的范式。NeRF-GANs利用了神经三维表示和体渲染的强大归纳偏置，代价是更高的计算复杂度。本研究旨在通过从预训练的NeRF-GANs中蒸馏三维知识，在推理时重新审视姿态条件2D GANs以实现高效的三维感知生成。我们提出了一种简单有效的方法，基于在姿态条件卷积网络中复用预训练NeRF-GAN解耦良好的潜空间，直接生成对应于底层三维表示的三维一致图像。在多个数据集上的实验表明，所提方法在质量和三维一致性方面获得了与体渲染相当的结果，同时受益于卷积网络的计算优势。代码将发布于：https://github.com/mshahbazi72/NeRF-GAN-Distillation
引用
@article{arxiv.2303.12865,
title = {NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions},
author = {Mohamad Shahbazi and Evangelos Ntavelis and Alessio Tonioni and Edo Collins and Danda Pani Paudel and Martin Danelljan and Luc Van Gool},
journal= {arXiv preprint arXiv:2303.12865},
year = {2023}
}