结合深度教师网络的单视图神经辐射场
计算机视觉与模式识别
2023-05-12 v2
摘要
神经辐射场（NeRF）已被提出用于照片级真实的新视角渲染。然而，它需要同一场景的许多不同视图进行训练。此外，它对新场景的泛化能力较差，且需要在每个场景上重新训练或微调。在本文中，我们开发了一种新的 NeRF 模型，仅使用单张图像作为输入进行新视角合成。我们提出将（粗粒度）平面渲染与（细粒度）体渲染相结合，以实现更高的渲染质量和更好的泛化能力。我们还设计了一个深度教师网络，预测稠密伪深度图以监督联合渲染机制，并促进一致 3D 几何的学习。我们在三个具有挑战性的数据集上评估了我们的方法。它以在 PSNR 上实现 520\% 的提升并将深度渲染中的误差降低 2050\% 优于最先进的单视图 NeRF。它还展示出对未见数据的优异泛化能力，无需在每个新场景上微调。
引用
@article{arxiv.2303.09952,
title = {Single-view Neural Radiance Fields with Depth Teacher},
author = {Yurui Chen and Chun Gu and Feihu Zhang and Li Zhang},
journal= {arXiv preprint arXiv:2303.09952},
year = {2023}
}