NeILF：用于基于物理材质估计的神经入射光场
计算机视觉与模式识别
2022-03-21 v2
摘要
我们提出一种从多视角图像与重建几何进行材质与光照估计的可微渲染框架。在该框架中，我们将场景光照表示为神经入射光场（NeILF），将材质属性表示为由多层感知机建模的表面 BRDF。与近期将场景光照近似为 2D 环境贴图的方法相比，NeILF 是一个完整的 5D 光场，能够建模任意静态场景的照明。此外，遮挡与间接光可由 NeILF 表示自然处理，无需多跳光线追踪，从而即使对具有复杂光照与几何的场景也能估计材质属性。我们还提出平滑正则化与朗伯假设，以在优化过程中降低材质-光照歧义。我们的方法严格遵循基于物理的渲染方程，并通过可微渲染过程联合优化材质与光照。我们在自研合成数据集、DTU MVS 数据集与真实世界 BlendedMVS 场景上对所提方法进行了深入评估。在新视角渲染质量方面，我们的方法大幅优于先前方法，为基于图像的材质与光照估计树立了新标杆。
引用
@article{arxiv.2203.07182,
title = {NeILF: Neural Incident Light Field for Physically-based Material Estimation},
author = {Yao Yao and Jingyang Zhang and Jingbo Liu and Yihang Qu and Tian Fang and David McKinnon and Yanghai Tsin and Long Quan},
journal= {arXiv preprint arXiv:2203.07182},
year = {2022}
}