SAM-Deblur: 让Segment Anything助力图像去模糊
计算机视觉与模式识别
2023-12-19 v2
摘要
图像去模糊是图像复原领域中的一项关键任务,旨在消除模糊伪影。然而,处理非均匀模糊的挑战导致了一个病态问题,这限制了现有去模糊模型的泛化性能。为解决该问题,我们首次提出了一个将Segment Anything Model (SAM)的先验知识整合到去模糊任务中的框架SAM-Deblur。具体而言,SAM-Deblur分为三个阶段。首先,我们对模糊图像进行预处理,通过SAM获取分割掩码,并提出一种掩码丢弃方法用于训练以增强模型鲁棒性。然后,为充分利用SAM生成的结构先验,我们提出了一种掩码平均池化(MAP)单元,专门用于对SAM生成的分割区域进行平均,作为一个即插即用的组件,可无缝集成到现有去模糊网络中。最后,我们将MAP单元生成的融合特征输入去模糊模型以获得清晰图像。在RealBlurJ、ReloBlur和REDS数据集上的实验结果表明,引入我们的方法使GoPro训练的NAFNet的PSNR分别提高了0.05、0.96和7.03。项目页面可在GitHub \href{https://hplqaq.github.io/projects/sam-deblur}{HPLQAQ/SAM-Deblur}获取。
引用
@article{arxiv.2309.02270,
title = {SAM-Deblur: Let Segment Anything Boost Image Deblurring},
author = {Siwei Li and Mingxuan Liu and Yating Zhang and Shu Chen and Haoxiang Li and Zifei Dou and Hong Chen},
journal= {arXiv preprint arXiv:2309.02270},
year = {2023}
}
备注
Accepted to ICASSP 2024