NeRFactor:未知光照下形状与反射率神经分解
计算机视觉与模式识别
2021-12-23 v2 图形学
摘要
我们解决了从处于单一未知光照条件下物体的多视角图像(及其相机位姿)中恢复物体形状和空间变化反射率的问题。这使得能够在任意环境光照下渲染物体的新视角并编辑物体的材质属性。我们称为神经辐射分解(NeRFactor)的方法之关键,是将物体的神经辐射场(NeRF)[Mildenhall et al. 2020]表示的体几何提炼为表面表示,然后在求解空间变化反射率和环境光照的同时联合细化几何。具体而言,NeRFactor 在没有任何监督的情况下,仅使用重渲染损失、简单平滑先验以及从真实世界 BRDF 测量中学习的数据驱动 BRDF 先验,恢复表面法线、光可见性、反照率和双向反射分布函数(BRDFs)的 3D 神经场。通过显式建模光可见性,NeRFactor 能够将阴影与反照率分离,并在任意光照条件下合成逼真的软阴影或硬阴影。在此具有挑战性且约束不足的对捕获设定下,NeRFactor 能够为合成与真实场景的自由视角重光照恢复令人信服的 3D 模型。定性与定量实验表明,NeRFactor 在各种任务上优于经典和基于深度学习的最先进水平。我们的视频、代码和数据可在 people.csail.mit.edu/xiuming/projects/nerfactor/ 获取。
引用
@article{arxiv.2106.01970,
title = {NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination},
author = {Xiuming Zhang and Pratul P. Srinivasan and Boyang Deng and Paul Debevec and William T. Freeman and Jonathan T. Barron},
journal= {arXiv preprint arXiv:2106.01970},
year = {2021}
}
备注
Camera-ready version for SIGGRAPH Asia 2021. Project Page: https://people.csail.mit.edu/xiuming/projects/nerfactor/