HyperNeRFGAN:面向 3D NeRF GAN 的超网络方法
计算机视觉与模式识别
2024-08-23 v2
摘要
近期深度生成模型在三维物体上的流行凸显了对更高效训练方法的需求,特别是考虑到使用体素或点云等传统三维表示训练的困难。神经辐射场(NeRFs)从有限的一组 2D 图像生成复杂三维场景新视角方面提供了当前质量基准,是针对该挑战的有前景方案。然而,这些模型的训练需要已知图像所对应的相机位置。本文中,我们克服此限制,引入 HyperNeRFGAN,一种采用超网络(hypernetwork)范式的生成对抗网络(GAN)架构,将高斯噪声转换为 NeRF 架构的权重,该 NeRF 在训练阶段不使用视角方向。因此,正如我们实验研究所表明的,所提模型尽管比现有最先进替代方案明显简单,却在相机位置估计困难的多种图像数据集(尤其是医学数据背景下)上展现出优越性能。
引用
@article{arxiv.2301.11631,
title = {HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN},
author = {Adam Kania and Artur Kasymov and Jakub Kościukiewicz and Artur Górak and Marcin Mazur and Maciej Zięba and Przemysław Spurek},
journal= {arXiv preprint arXiv:2301.11631},
year = {2024}
}