SuperNeRF-GAN：一种用于高效且增强3D感知图像合成的通用3D一致超分辨率框架
计算机视觉与模式识别
2025-01-20 v2
摘要
诸如 NeRF 之类的神经体绘制技术通过支持从各种相机姿态生成单一场景或物体的图像，已经彻底改变了3D感知图像合成。然而，NeRF 的高计算成本给合成高分辨率（HR）图像带来了挑战。现有大多数方法通过利用2D超分辨率来解决这一问题，但这会损害3D一致性。其他方法提出辐射流形或两阶段生成以实现3D一致的高分辨率合成，但它们仅限于特定的合成任务，降低了其通用性。为了应对这些挑战，我们提出了 SuperNeRF-GAN，一种用于3D一致超分辨率的通用框架。SuperNeRF-GAN 的一个关键亮点是它与基于 NeRF 的3D感知图像合成方法无缝集成，并且能够在保持3D一致性的同时提高生成图像的分辨率并降低计算成本。具体而言，给定一个能够产生诸如 tri-plane 之类 NeRF 表示的预训练生成器，我们首先执行体绘制以获得具有相应深度图和法线图的低分辨率图像。然后，我们采用一个 NeRF 超分辨率模块，该模块学习一个网络以获得高分辨率 NeRF。接下来，我们提出了一种新颖的深度引导绘制过程，该过程包含三个简单而有效的步骤，包括通过深度聚合构建边界校正的多深度图、法线引导的深度超分辨率以及深度引导的 NeRF 绘制。实验结果证明了我们方法在效率、3D一致性和质量方面的优越性。此外，消融实验验证了我们提出的各组件的有效性。
引用
@article{arxiv.2501.06770,
title = {SuperNeRF-GAN: A Universal 3D-Consistent Super-Resolution Framework for Efficient and Enhanced 3D-Aware Image Synthesis},
author = {Peng Zheng and Linzhi Huang and Yizhou Yu and Yi Chang and Yilin Wang and Rui Ma},
journal= {arXiv preprint arXiv:2501.06770},
year = {2025}
}