神经场与显式几何表示相结合用于城市场景的逆向渲染
计算机视觉与模式识别
2023-04-07 v1
摘要
从捕获的图像中进行场景重建与内蕴分解将支持许多应用，例如重照明和虚拟物体插入。近期基于 NeRF 的方法实现了令人印象深刻的 3D 重建保真度，但将光照和阴影烘焙到辐射场中，而通过可微渲染促进内蕴分解的基于网格的方法尚未扩展到室外场景的复杂性和规模。我们提出了一种针对大型城市场景的新型逆向渲染框架，能够从一组带位姿的 RGB 图像（可选深度）中联合重建场景几何、空间变化材质和 HDR 光照。具体而言，我们使用神经场来处理主光线，并使用显式网格（从底层神经场重建）来建模产生投射阴影等高阶光照效果的次级光线。通过忠实地将复杂几何和材质与光照效果解耦，我们的方法在多个室外数据集上实现了具有镜面反射和阴影效果的光照逼真重照明。此外，它支持基于物理的场景操作，例如带有光线追踪阴影投射的虚拟物体插入。
引用
@article{arxiv.2304.03266,
title = {Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes},
author = {Zian Wang and Tianchang Shen and Jun Gao and Shengyu Huang and Jacob Munkberg and Jon Hasselgren and Zan Gojcic and Wenzheng Chen and Sanja Fidler},
journal= {arXiv preprint arXiv:2304.03266},
year = {2023}
}
备注
CVPR 2023. Project page: https://nv-tlabs.github.io/fegr/