结构感知的阴影去除网络
计算机视觉与模式识别
2024-02-02 v2
摘要
现有的基于深度学习的阴影去除方法仍会产生带有阴影残留的图像。这些阴影残留通常存在于低强度值的同质区域中，在现有的图像到图像映射范式下难以追踪。我们观察到阴影主要在图像结构层面（人类在该层面感知物体形状和连续颜色）退化图像。因此，本文提出在图像结构层面去除阴影。基于该思路，我们提出一种新颖的结构感知阴影去除网络（StructNet），利用图像结构信息解决阴影残留问题。具体而言，StructNet 首先重建无阴影的输入图像结构信息，然后利用恢复的无阴影结构先验引导图像级阴影去除。StructNet 包含两个主要新颖模块：（1）掩码引导的无阴影提取（MSFE）模块，以非阴影到阴影的方向性方式提取图像结构特征；（2）多尺度特征与残差聚合（MFRA）模块，利用无阴影结构信息正则化特征一致性。此外，我们还提出扩展 StructNet 以利用多级结构信息（MStructNet），以最小计算开销进一步提升阴影去除性能。在三个阴影去除基准上的大量实验表明，我们的方法优于现有阴影去除方法，且 StructNet 可与现有方法集成以进一步改进它们。
引用
@article{arxiv.2301.03182,
title = {Structure-Informed Shadow Removal Networks},
author = {Yuhao Liu and Qing Guo and Lan Fu and Zhanghan Ke and Ke Xu and Wei Feng and Ivor W. Tsang and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2301.03182},
year = {2024}
}
备注
IEEE TIP