RMAFF-PSN：一种残差多尺度注意力特征融合光度立体网络

由于物体几何形状和表面材料变化引起的表面反射特性影响，使用光度立体方法从二维图像中预测复杂结构和空间材料变化区域的精确法线图具有挑战性。为了解决这个问题，我们提出了一种名为 RMAFF-PSN 的光度立体网络，该网络使用残差多尺度注意力特征融合来处理物体的“困难”区域。与以前仅使用堆叠卷积层从输入图像中提取深度特征的方法不同，我们的方法整合了来自图像不同分辨率阶段和尺度的特征信息。该方法通过浅层-深层阶段特征提取、双分支增强和注意力优化，在复杂区域中保留了更多的物理信息，如物体的纹理和几何形状。为了在真实条件下测试网络结构，我们提出了一个名为 Simple PS data 的新真实数据集，其中包含具有不同结构和材料的多个物体。在公开可用的基准数据集上的实验结果表明，在相同输入图像数量下，我们的方法优于大多数现有的已标定光度立体方法，特别是在高度非凸物体结构的情况下。我们的方法在稀疏光照条件下也取得了良好的结果。