探究图像复原中SAM先验的应用
计算机视觉与模式识别
2023-05-24 v1
摘要
图像复原（IR）是计算机视觉中的基础问题，其目标是从退化的低质量（LQ）观测中恢复高质量（HQ）图像。在这一病态问题中，一个LQ输入可能对应多个HQ解，从而产生模糊的解空间。这促使人们研究和引入先验知识，以有效约束解空间并提升复原图像的质量。尽管IR中手工设计和学习到的先验被广泛使用，但从大规模基础模型引入知识的关注有限。本文中，我们首次以参数高效微调的方式利用最先进的segment anything model（SAM，分割一切模型）的先验知识来提升现有IR网络的性能。具体而言，选择SAM是基于其对图像退化的鲁棒性，从而可从中提取HQ语义掩码。为利用语义先验并提升复原质量，我们提出轻量级SAM先验微调（SPT）单元。这一即插即用组件使我们能将语义先验有效整合进现有IR网络，从而显著提升复原质量。作为我们方法中唯一可训练的模块，SPT单元有潜力同时提升效率与可扩展性。我们在多个任务（如图像超分辨率和彩色图像去噪）上展示了所提方法增强多种方法的有效性。
引用
@article{arxiv.2305.13620,
title = {A Dive into SAM Prior in Image Restoration},
author = {Zeyu Xiao and Jiawang Bai and Zhihe Lu and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2305.13620},
year = {2023}
}
备注
Technical Report