ShadowFormer：全局上下文助力图像阴影去除
计算机视觉与模式识别
2023-02-06 v1
摘要
近期的深度学习方法在图像阴影去除方面取得了令人鼓舞的结果。然而，现有大多数方法侧重于在阴影与非阴影区域内局部处理，导致阴影边界处出现严重伪影以及阴影与非阴影区域间光照不一致。深度阴影去除模型利用阴影与非阴影区域间全局上下文关联仍具挑战性。本工作中，我们首先提出一种基于 Retinex 的阴影模型，由此推导出一种新的基于 transformer 的网络，称为 ShadowFormer，以利用非阴影区域辅助阴影区域复原。我们采用多尺度通道注意力框架分层捕获全局信息。在此基础上，我们在瓶颈阶段提出带有阴影交互注意力（SIA）的阴影交互模块（SIM），以有效建模阴影与非阴影区域间的上下文关联。我们在三个流行的公开数据集（包括 ISTD、ISTD+ 和 SRD）上进行了大量实验来评估所提方法。我们的方法以最多少 150 倍的模型参数量实现了最先进的性能。
引用
@article{arxiv.2302.01650,
title = {ShadowFormer: Global Context Helps Image Shadow Removal},
author = {Lanqing Guo and Siyu Huang and Ding Liu and Hao Cheng and Bihan Wen},
journal= {arXiv preprint arXiv:2302.01650},
year = {2023}
}
备注
Accepted by AAAI2023