超高清图像反射去除基准评测

基于深度学习的方法在单图像反射去除（SIRR）任务上已取得显著成功。然而，这些方法大多聚焦于高清/标清（HD/SD）图像，而忽略了超高清（UHD）等更高分辨率的图像。随着现代设备所捕获的 UHD 图像日益普及，本文旨在解决 UHD SIRR 问题。具体而言，我们首先合成两个大规模 UHD 数据集，UHDRR4K 和 UHDRR8K。UHDRR4K 数据集分别由 $2,999$ 和 $168$ 个图像四元组用于训练和测试，UHDRR8K 数据集包含 $1,014$ 和 $105$ 个四元组。据我们所知，这两个数据集是首个最大规模的 SIRR 用 UHD 数据集。接着，我们使用所提数据集对六种最先进的 SIRR 方法进行了全面评测。基于结果，我们详细讨论了这些方法应用于 UHD 图像时的优势与局限。最后，我们提出了一种名为 RRFormer 的基于 transformer 的反射去除架构。RRFormer 包含三个模块，即预处理嵌入模块、自注意力特征提取模块和多尺度空间特征提取模块。这些模块分别提取超列特征、全局与局部注意力特征以及多尺度空间特征。为确保有效训练，我们的损失函数采用了三项：像素损失、特征损失和对抗损失。我们通过实验结果表明，RRFormer 在非 UHD 数据集和我们提出的 UHDRR 数据集上均达到了最先进的性能。代码与数据集公开于 https://github.com/Liar-zzy/Benchmarking-Ultra-High-Definition-Single-Image-Reflection-Removal。