从单幅图像估计反射率层：融合反射率引导与阴影/高光感知学习
计算机视觉与模式识别
2023-08-08 v3
摘要
从单幅图像估计反射率层是一项具有挑战性的任务。当输入图像包含阴影或镜面高光时，该任务更具挑战性，这类因素常导致反射率层估计不准确。为此，我们提出一种两阶段学习方法，包括反射率引导与阴影/高光感知（S-Aware）网络以应对该问题。在第一阶段，借助由基于先验的无阴影、无高光图像引导的新颖损失约束，获得不含阴影与高光的初始反射率层。为在第二阶段细化中进一步使反射率层独立于阴影与高光，我们引入一种 S-Aware 网络，用以从输入图像中区分反射率图像。我们的网络采用分类器对阴影/无阴影、高光/无高光类别进行分类，使激活特征充当聚焦于阴影/高光区域的注意力图。我们的定量与定性评估表明，所提方法在不受阴影与高光影响的反射率层估计上优于现有最优方法。代码见：\url{https://github.com/jinyeying/S-Aware-network}。
引用
@article{arxiv.2211.14751,
title = {Estimating Reflectance Layer from A Single Image: Integrating Reflectance Guidance and Shadow/Specular Aware Learning},
author = {Yeying Jin and Ruoteng Li and Wenhan Yang and Robby T. Tan},
journal= {arXiv preprint arXiv:2211.14751},
year = {2023}
}
备注
Accepted to AAAI2023, https://github.com/jinyeying/S-Aware-network