NeFII：基于近场间接光照的反射率分解逆渲染
计算机视觉与模式识别
2023-09-15 v2
摘要
逆渲染方法旨在从多视角RGB图像中估计几何、材质与光照。为了获得更好的分解，近期方法尝试通过球面高斯(SG)建模由不同材质反射的间接光照，然而这往往使高频反射细节模糊。在本文中，我们提出一种端到端的逆渲染流程，从多视角图像中分解材质与光照，同时考虑近场间接光照。简而言之，我们引入基于蒙特卡洛采样的路径追踪并将间接光照缓存为神经辐射，从而实现物理忠实且易于优化的逆渲染方法。为提升效率与实用性，我们利用SG表示平滑的环境光照并应用重要性采样技术。为监督来自未观测方向的间接光照，我们提出了一种新颖的隐式神经辐射与未观测光线路径追踪结果之间的辐射一致性约束，并结合材质与光照的联合优化，从而显著提升分解性能。大量实验表明，我们的方法在多个合成与真实数据集上优于当前最优(state-of-the-art)方法，尤其在互反射分解方面。我们的代码与数据可在 https://woolseyyy.github.io/nefii/ 获取。
引用
@article{arxiv.2303.16617,
title = {NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination},
author = {Haoqian Wu and Zhipeng Hu and Lincheng Li and Yongqiang Zhang and Changjie Fan and Xin Yu},
journal= {arXiv preprint arXiv:2303.16617},
year = {2023}
}
备注
Accepted in CVPR 2023