软硬注意力 U-Net 模型与多尺度图像阴影去除基准数据集
计算机视觉与模式识别
2024-10-23 v1
摘要
有效的阴影去除对于提升各类应用（包括计算机视觉与数字摄影）中图像的视觉质量至关重要。过去几十年中，基于物理和机器学习的方法已被提出；然而，大多数方法由于受限的模型假设而难以捕捉复杂的阴影模式，忽视了阴影通常出现在不同尺度这一事实。此外，当前用于阴影去除基准测试的数据集仅包含少量图像，场景简单，主要包含由单一物体投射的均匀阴影，其中只有极少数同时包含手动阴影标注和配对的去阴影图像。为解决这些局限，本文贡献具有双重性：a) 提出了一种名为软硬注意力 U-Net（SHAU）的新型深度学习架构，专注于多尺度阴影去除；b) 提供了名为多尺度阴影去除数据集（MSRD）的新合成数据集，包含多尺度复杂阴影模式，旨在作为隐私保护数据集，用于更全面地评估未来的阴影去除方法。SHAU 的关键架构组件包括软注意力和硬注意力模块，它们与多尺度特征提取模块协同作用，实现对不同尺度和强度阴影的有效去除。实验结果表明，SHAU 在各基准数据集上优于相关最先进阴影去除方法，阴影区域的峰值信噪比（PSNR）和均方根误差（RMSE）分别提升了 25.1% 和 61.3%。
引用
@article{arxiv.2408.03734,
title = {Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal},
author = {Eirini Cholopoulou and Dimitrios E. Diamantis and Dimitra-Christina C. Koutsiou and Dimitris K. Iakovidis},
journal= {arXiv preprint arXiv:2408.03734},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication