ENVIDR:具有神经环境光照的隐式可微渲染器
计算机视觉与模式识别
2023-03-24 v1 图形学
机器学习
摘要
神经渲染的最新进展在从多视图图像重建场景方面展现出巨大潜力。然而,准确表征具有光泽表面的物体对现有方法仍具挑战。本工作中,我们提出ENVIDR,一种用于高质量渲染与重建具有难处理镜面反射表面的框架。为此,我们首先提出一种具有分解渲染组件的新颖神经渲染器,以学习表面与环境光照之间的相互作用。该渲染器使用现有基于物理的渲染器训练,并与实际场景表示解耦。随后我们提出一种基于SDF的神经表面模型,利用该已学习的神经渲染器表征通用场景。我们的模型还通过行进表面反射光线合成由光泽表面互反射引起的间接光照。我们证明该方法在具有挑战性的光泽场景上优于当前最先进方法,在提供镜面反射高质量渲染的同时支持材质编辑与场景重光照。
引用
@article{arxiv.2303.13022,
title = {ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting},
author = {Ruofan Liang and Huiting Chen and Chunlin Li and Fan Chen and Selvakumar Panneer and Nandita Vijaykumar},
journal= {arXiv preprint arXiv:2303.13022},
year = {2023}
}
备注
Project page: https://nexuslrf.github.io/ENVIDR/