Super-NeRF：用于 NeRF 超分辨率的视角一致细节生成
计算机视觉与模式识别
2023-04-27 v1
摘要
神经辐射场（NeRF）在建模 3D 场景与合成高保真新视角方面取得显著成功。然而，现有基于 NeRF 的方法更多关注充分利用图像分辨率生成新视角，较少考虑在有限输入分辨率下细节的生成。类比图像超分辨率的广泛应用，NeRF 超分辨率是从仅低分辨率输入生成 3D 场景高分辨率隐式表示的有效途径，并具有巨大应用潜力。迄今，这一重要课题仍鲜有探索。本文提出一种名为 Super-NeRF 的 NeRF 超分辨率方法，从仅低分辨率输入生成高分辨率 NeRF。给定多视角低分辨率图像，Super-NeRF 构建一致性控制超分辨率模块，为 NeRF 生成视角一致的高分辨率细节。具体而言，为每幅低分辨率输入图像引入可优化潜码，控制 2D 超分辨率图像收敛至视角一致输出。各低分辨率图像的潜码与目标 Super-NeRF 表示协同优化，以充分利用 NeRF 构建中固有的视角一致性约束。我们在合成、真实世界及 AI 生成的 NeRF 数据集上验证了 Super-NeRF 的有效性。Super-NeRF 在高分辨率细节生成与跨视角一致性上达到了最先进的 NeRF 超分辨率性能。
引用
@article{arxiv.2304.13518,
title = {Super-NeRF: View-consistent Detail Generation for NeRF super-resolution},
author = {Yuqi Han and Tao Yu and Xiaohang Yu and Yuwang Wang and Qionghai Dai},
journal= {arXiv preprint arXiv:2304.13518},
year = {2023}
}