S$^3$-NeRF：基于单视点下明暗与阴影的神经反射场
计算机视觉与模式识别
2022-10-18 v1 人工智能
摘要
在本文中，我们处理了多视点场景重建的“对偶问题”，即利用不同点光源下捕获的单视点图像来学习神经场景表示。不同于现有的只能恢复2.5D场景表示（即可见表面的法向/深度图）的单视点方法，我们的方法学习一个神经反射场来表示场景的3D几何与BRDF。我们的方法不依赖多视点照片一致性，而是利用两种信息丰富的单目线索，即明暗与阴影，来推断场景几何。在多个具有挑战性的数据集上的实验表明，我们的方法能够从单视点图像恢复场景的3D几何，包括可见与不可见部分。得益于神经反射场表示，我们的方法对深度不连续具有鲁棒性。它支持新视点合成与重打光等应用。我们的代码与模型可在 https://ywq.github.io/s3nerf 找到。
引用
@article{arxiv.2210.08936,
title = {S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint},
author = {Wenqi Yang and Guanying Chen and Chaofeng Chen and Zhenfang Chen and Kwan-Yee K. Wong},
journal= {arXiv preprint arXiv:2210.08936},
year = {2022}
}
备注
NeurIPS 2022, Project page: https://ywq.github.io/s3nerf