利用图像修复进行单图像阴影去除
计算机视觉与模式识别
2023-10-03 v3
摘要
全监督阴影去除方法在公开数据集上取得了最佳的修复质量，但仍会产生一些阴影残留。原因之一在于缺乏大规模的阴影—无阴影图像对。无监督方法可缓解该问题，但其修复质量远低于全监督方法。本工作中，我们发现先在图像修复数据集上预训练阴影去除网络可显著减少阴影残留：一个朴素的编码器—解码器网络仅使用 10% 的阴影—无阴影图像对，即可获得与最先进方法相竞争的修复质量。通过信息存储在权重中（IIW）的方法分析有无修复预训练的网络后，我们发现图像修复预训练改善了非阴影区域的修复质量，并显著增强了网络的泛化能力。此外，阴影去除微调使网络能够填补阴影区域的细节。受这些观察启发，我们将阴影去除表述为一个自适应融合任务，兼具阴影去除与图像修复的优势。具体而言，我们设计了一个由双编码器、自适应融合模块和解码器组成的自适应融合网络。两个编码器分别负责从阴影图像和阴影掩膜图像中提取特征；自适应融合模块负责以自适应方式融合这些特征；最后解码器将自适应融合特征转换为所需的无阴影结果。大量实验表明，借助图像修复的我们的方法优于所有最先进方法。
引用
@article{arxiv.2302.05361,
title = {Leveraging Inpainting for Single-Image Shadow Removal},
author = {Xiaoguang Li and Qing Guo and Rabab Abdelfattah and Di Lin and Wei Feng and Ivor Tsang and Song Wang},
journal= {arXiv preprint arXiv:2302.05361},
year = {2023}
}