NeuS-PIR：基于预积分渲染的可重光照神经表面学习
计算机视觉与模式识别
2024-03-27 v3 图形学
摘要
本文提出一种名为 NeuS-PIR 的方法，利用来自多视角图像或视频的预积分渲染恢复可重光照神经表面。与基于 NeRF 和离散网格的方法不同，我们的方法利用隐式神经表面表示重建高质量几何，这有助于将辐射场分解为两部分：空间变化材质场与全频率光照表示。该分解通过带材质编码正则化的自适应可微预积分渲染框架联合优化，反过来解决了几何重建的模糊性，并更好地解耦与精炼各场景属性。此外，我们引入一种从学习到的表示中蒸馏间接光照场的方法，进一步恢复如互反射等复杂光照效应。因此，我们的方法支持重光照等高级应用，并可与现代图形引擎无缝集成。定性与定量实验表明，NeuS-PIR 在合成与真实数据集的多种任务上均优于现有方法。源代码见 https://github.com/Sheldonmao/NeuSPIR
引用
@article{arxiv.2306.07632,
title = {NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering},
author = {Shi Mao and Chenming Wu and Zhelun Shen and Yifan Wang and Dayan Wu and Liangjun Zhang},
journal= {arXiv preprint arXiv:2306.07632},
year = {2024}
}