仅学习修复是不够的：为单图像阴影去除迁移恒等映射
计算机视觉与模式识别
2023-05-19 v1
摘要
阴影去除是将阴影区域恢复为其无阴影对应区域，同时保持非阴影区域不变。最先进的阴影去除方法在收集的阴影与无阴影图像对上训练深度神经网络，期望通过共享权重完成两个不同任务，即针对阴影区域的数据修复和针对非阴影区域的恒等映射。我们发现这两个任务兼容性差，且对这两个任务使用共享权重可能导致模型在训练过程中仅朝其中一个任务而非两者优化。注意，这一关键问题未被现有基于深度学习的阴影去除方法所识别。为解决这个问题，我们提出分别处理这两个任务，并以迭代方式利用恒等映射结果引导阴影修复。具体而言，我们的方法由三部分组成：用于处理非阴影区域的恒等映射分支（IMB）、基于恒等结果进行阴影区域修复的迭代去阴影分支（IDB），以及智能聚合块（SAB）。IMB 旨在重建与输入图像恒等的图像，这可在不显式区分阴影与非阴影区域的情况下有益于非阴影区域的修复。利用 IMB 提取的多尺度特征，IDB 可有效地将信息从非阴影区域逐步迁移至阴影区域，促进阴影去除过程。SAB 设计用于自适应整合来自 IMB 和 IDB 的特征。此外，它生成精细调整的软阴影掩码以引导阴影去除过程。大量实验表明我们的方法在广泛使用阴影去除数据集上优于所有最先进的阴影去除方法。
引用
@article{arxiv.2305.10640,
title = {Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal},
author = {Xiaoguang Li and Qing Guo and Pingping Cai and Wei Feng and Ivor Tsang and Song Wang},
journal= {arXiv preprint arXiv:2305.10640},
year = {2023}
}