GANeRF：利用判别器优化神经辐射场
计算机视觉与模式识别
2023-11-21 v2 图形学
图像与视频处理
摘要
神经辐射场（NeRF）已展现出令人印象深刻的新视角合成结果；然而，即便精细的录制也会在重建中产生瑕疵，例如由于观测不佳的区域或微小的光照变化。我们的目标是以一种联合方案减轻这些来自各种来源的瑕疵：我们利用生成对抗网络（GANs）生成逼真图像的能力，并用它们通过NeRF增强三维场景重建的真实感。为此，我们使用对抗判别器学习场景的补丁分布，其为辐射场重建提供反馈，从而以三维一致的方式提升真实感。由此，渲染伪影通过施加多视角路径渲染约束在底层三维表示中直接修复。此外，我们以多分辨率NeRF渲染图条件化一个生成器，并对其对抗训练以进一步提升渲染质量。我们证明我们的方法显著改善了渲染质量，例如在Tanks and Temples的高级室内场景上，与Nerfacto相比LPIPS分数几乎减半，同时PSNR提升1.4dB。
引用
@article{arxiv.2306.06044,
title = {GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields},
author = {Barbara Roessle and Norman Müller and Lorenzo Porzi and Samuel Rota Bulò and Peter Kontschieder and Matthias Nießner},
journal= {arXiv preprint arXiv:2306.06044},
year = {2023}
}
备注
SIGGRAPH Asia 2023, project page: https://barbararoessle.github.io/ganerf , video: https://youtu.be/352ccXWxQVE