面向通用表面光度立体视觉的无标定神经逆渲染方法

本文提出一种用于光度立体视觉问题的无标定深度神经网络框架。为训练模型求解该问题，现有的基于神经网络的方法要么需要精确的光照方向，要么需要物体的真实表面法线，或两者皆需。然而在实践中，精确获取这两类信息颇具挑战，这限制了光度立体视觉算法在视觉应用中的广泛采用。为规避此困难，我们提出一种无标定的神经逆渲染方法来求解该问题。我们的方法首先从输入图像估计光照方向，然后优化图像重建损失以计算表面法线、双向反射分布函数值与深度。此外，我们的公式显式建模复杂表面的凹部与凸部，以考虑图像形成过程中的互反射效应。在具有挑战性的对象上的大量评估表明，所提方法总体取得与监督式及经典方法相当或更好的结果。