无光度立体线索的神经多视图自标定光度立体视觉

我们提出了一种神经逆向渲染方法，可从在不同方向光照下拍摄的多视图图像中联合重建几何、空间变化反射率和光照条件。以往的多种光度立体视觉方法需要光照标定或诸如逐视图法线图等中间线索，与此不同，我们的方法在单阶段内从原始图像联合优化所有场景参数。我们将几何和反射率均表示为神经隐式场，并应用阴影感知的体渲染。空间网络首先预测每个场景点的有符号距离和反射率潜码。随后，反射率网络以该潜码以及经角度编码的表面法线、视图和光照方向为条件，估计反射率值。所提出的方法在形状和光照估计精度上优于 SOTA 的法线引导方法，可推广至视图未对齐的多光照图像，并能处理具有挑战性几何与反射率的物体。