用于快速视图合成的级联可泛化神经辐射场
计算机视觉与模式识别
2023-11-22 v2 图形学
摘要
我们提出 CG-NeRF，一种用于视图合成的级联且可泛化的神经辐射场方法。近期可泛化视图合成方法可使用一组邻近输入视图渲染高质量新视图。然而，由于神经辐射场均匀点采样的本质，渲染速度仍较慢。现有场景特定方法可高效训练并渲染新视图，但无法泛化至未见过的数据。我们的方法通过提出两个新颖模块来解决快速且可泛化视图合成的问题：一个粗辐射场预测器和一个基于卷积的神经渲染器。该架构基于隐式神经场推断一致场景几何，并使用单个 GPU 高效渲染新视图。我们首先在 DTU 数据集的多个 3D 场景上训练 CG-NeRF，该网络仅使用光度损失即可在未见的真实与合成数据上生成高质量且准确的新视图。此外，我们的方法可利用单一场景更密集的参考图像集生成准确新视图，而无需依赖额外的显式表示，且仍保持预训练模型的高速渲染。实验结果表明，CG-NeRF 在各种合成与真实数据集上优于最先进的可泛化神经渲染方法。
引用
@article{arxiv.2208.04717,
title = {Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis},
author = {Phong Nguyen-Ha and Lam Huynh and Esa Rahtu and Jiri Matas and Janne Heikkila},
journal= {arXiv preprint arXiv:2208.04717},
year = {2023}
}
备注
Accepted at IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)