单目法线估计：通过阴影序列估计

单目法线估计旨�从单一 RGB 图像中估计法线图，该图像中的物体受任意光照条件影响。现有方法依赖深度模型直接预测法线图，但常常出现 3D 错位问题：虽然估计得到的法线图看起来可能具有正确的外观，但重建的表面往往无法与几何细节对齐。我们认为，这种错位源于当前方法论：模型难以区分和重建法线图中表示的各种几何信息，因为底层几何差异仅通过相对细微的颜色变化来体现。为解决此问题，我们提出了一种新方法论，将法线估计重新定义为阴影序列估计，因而阴影序列对各种几何信息更为敏感。基于此方法论，我们提出了 RoSE 方法，利用图像到视频生成模型预测阴影序列。随后通过求解简单的最小二乘问题，将预测的阴影序列转换为法线图。为增强鲁棒性并更好地处理复杂物体，RoSE 在包含多样形状、材料和光照条件的合成数据集 MultiShade 上进行训练。实验表明，RoSE 在基于物体的单目法线估计实用基准数据集上实现了最新性能。