基于物理的阴影图像分解用于阴影去除
计算机视觉与模式识别
2021-11-10 v2
摘要
我们提出一种用于阴影去除的新颖深度学习方法。受阴影形成物理模型的启发,我们使用线性光照变换对图像中的阴影效应建模,使得阴影图像可表示为无阴影图像、阴影参数和遮罩(matte)层的组合。我们使用两个深度网络,即 SP-Net 和 M-Net,分别预测阴影参数和阴影遮罩。该系统使我们能够从图像中去除阴影效应。随后我们采用修复网络 I-Net 进一步精炼结果。我们在最具挑战性的阴影去除数据集(ISTD)上训练和测试我们的框架。我们的方法在阴影区域均方根误差(root mean square error, RMSE)方面将最优结果(state-of-the-art)提升了 20%。此外,该分解使我们能够构建一种基于块的弱监督阴影去除方法。该模型无需任何无阴影图像(其获取繁琐)即可训练,并与使用完全配对的阴影与无阴影图像训练的最优方法取得具竞争力的阴影去除结果。最后,我们引入 SBU-Timelapse,一个用于评估阴影去除方法的视频阴影去除数据集。
引用
@article{arxiv.2012.13018,
title = {Physics-based Shadow Image Decomposition for Shadow Removal},
author = {Hieu Le and Dimitris Samaras},
journal= {arXiv preprint arXiv:2012.13018},
year = {2021}
}
备注
PAMI21 - Camera Ready Version. arXiv admin note: substantial text overlap with arXiv:1908.08628