NeRO:基于多视角图像重建反射物体神经几何与BRDF的方法
计算机视觉与模式识别
2023-05-30 v1 图形学
摘要
我们提出一种基于神经渲染的方法 NeRO,用于从未知环境中捕获的多视角图像重建反射物体的几何与 BRDF。反射物体的多视角重建极具挑战性,因为镜面反射具有视角依赖性,从而违背了多视角一致性——而这是大多数多视角重建方法的基石。近期的神经渲染技术可建模环境光与物体表面之间的相互作用以拟合视角依赖的反射,从而使得从多视角图像重建反射物体成为可能。然而,在神经渲染中精确建模环境光十分困难,尤其在几何未知时。现有多数可建模环境光的神经渲染方法仅考虑直接光照,并依赖物体掩码来重建弱镜面反射物体。因此,这些方法无法重建反射物体,尤其在物体掩码不可用且物体受间接光照照明时。我们提出一种两步法来解决该问题。首先,通过应用分离求和近似与积分方向编码来近似直接与间接光照的着色效应,我们能够在无任何物体掩码的情况下精确重建反射物体的几何。随后,在物体几何固定后,我们使用更精确的采样来恢复环境光与物体的 BRDF。大量实验表明,我们的方法仅从带位姿的 RGB 图像即可精确重建反射物体的几何与 BRDF,而无需知晓环境光与物体掩码。代码与数据集见 https://github.com/liuyuan-pal/NeRO。
引用
@article{arxiv.2305.17398,
title = {NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images},
author = {Yuan Liu and Peng Wang and Cheng Lin and Xiaoxiao Long and Jiepeng Wang and Lingjie Liu and Taku Komura and Wenping Wang},
journal= {arXiv preprint arXiv:2305.17398},
year = {2023}
}
备注
Accepted to SIGGRAPH 2023. Project page: https://liuyuan-pal.github.io/NeRO/ Codes: https://github.com/liuyuan-pal/NeRO