GeoNeRF：利用几何先验泛化 NeRF
计算机视觉与模式识别
2022-03-22 v2
摘要
我们提出 GeoNeRF，一种基于神经辐射场的可泛化逼真新视角合成方法。我们的方法包含两个主要阶段：几何推理器和渲染器。为渲染新视角，几何推理器首先为每个邻近源视角构建级联代价体。然后，渲染器利用基于 Transformer 的注意力机制和级联代价体推断几何与外观，并通过经典体渲染技术渲染出细节图像。该架构尤其允许精细的遮挡推理，从一致的源视角中收集信息。此外，我们的方法可轻松在单一场景上微调，并以极少的计算成本渲染出与逐场景优化的神经渲染方法相竞争的结果。实验表明，GeoNeRF 在各种合成与真实数据集上优于最先进的（SOTA）可泛化神经渲染模型。最后，通过对几何推理器稍作修改，我们还提出了一种适配 RGBD 图像的替代模型。该模型直接利用深度传感器常提供的深度信息。实现代码见 https://www.idiap.ch/paper/geonerf。
引用
@article{arxiv.2111.13539,
title = {GeoNeRF: Generalizing NeRF with Geometry Priors},
author = {Mohammad Mahdi Johari and Yann Lepoittevin and François Fleuret},
journal= {arXiv preprint arXiv:2111.13539},
year = {2022}
}
备注
CVPR2022