基于FFT转换器和层次化Transformer的U型反射移除方法——F2T2-HiT
计算机视觉与模式识别
2025-06-09 v1
摘要
单图像反射移除（SIRR）技术在图像处理中发挥着关键作用，通过消除背景中的不需要反射来提升图像质量。这些反射常常是由于通过玻璃表面拍摄的照片造成的，会显著降低图像质量。SIRR 由于在现实场景中遇到的复杂多变的反射而仍然保持具有挑战性。这些反射在强度、形状、光源、大小和覆盖区域方差异巨大，给大多数现有方法处理所有情况带来了挑战。为了应对这些挑战，本文引入了一种基于Transformer的U型快速傅里叶变换Transformer和层次化Transformer（F2T2-HiT）架构，这是一种创新的Transformer设计用于SIRR。我们的方法独特地将FFT Transformer模块和层次化Transformer模块置于UNet框架内。FFT Transformer模块利用全局频率域信息有效地捕获和分离反射模式，而层次化Transformer模块则利用多尺度特征提取来处理大小和复杂度不同的反射。在三个公开可用的测试数据集上进行的大量实验表明，我们的方法在性能上实现了最先进的水平，验证了该方法的有效性。
引用
@article{arxiv.2506.05489,
title = {F2T2-HiT: A U-Shaped FFT Transformer and Hierarchical Transformer for Reflection Removal},
author = {Jie Cai and Kangning Yang and Ling Ouyang and Lan Fu and Jiaming Ding and Huiming Sun and Chiu Man Ho and Zibo Meng},
journal= {arXiv preprint arXiv:2506.05489},
year = {2025}
}