基于神经全光函数与辐射场的光泽物体逆向渲染
计算机视觉与模式识别
2024-03-26 v1
摘要
逆向渲染旨在恢复物体的几何结构和材质。与神经辐射场相比，它为传统渲染引擎提供了更兼容的重建。另一方面，现有的基于 NeRF 的逆向渲染方法无法很好地处理具有局部光照交互的光泽物体，因为它们通常将光照过度简化为 2D 环境贴图，这仅假设了无限远的光源。观察到 NeRF 在恢复辐射场方面的优越性，我们基于 NeRF 和光线追踪提出了一种新颖的 5D 神经全光函数，使得通过渲染方程可以公式化更准确的光照-物体交互。我们还设计了一种材质感知的圆锥采样策略，借助预滤波辐射场来高效积分 BRDF 波瓣内的光线。我们的方法分为两个阶段：第一阶段重建目标物体的几何结构和预滤波环境辐射场，第二阶段利用提出的 NeP 和材质感知圆锥采样策略估计目标物体的材质。在提出的真实世界和合成数据集上的大量实验表明，我们的方法能够重建具有来自附近物体复杂光照交互的、具有挑战性的光泽物体的高保真几何结构/材质。项目网页：https://whyy.site/paper/nep
引用
@article{arxiv.2403.16224,
title = {Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields},
author = {Haoyuan Wang and Wenbo Hu and Lei Zhu and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2403.16224},
year = {2024}
}
备注
CVPR 2024 paper. Project webpage https://whyy.site/paper/nep