利用预训练模型先验提升图像复原
计算机视觉与模式识别
2024-03-20 v2
摘要
具有大规模训练数据的预训练模型（如 CLIP 和 Stable Diffusion）已在图像理解和语言描述生成等各种高层计算机视觉任务中展现出卓越性能。然而，它们在图像复原等底层任务中的潜力仍有待探索。在本文中，我们探索利用此类模型来增强图像复原。由于预训练模型的现成特征 (OSF) 不能直接服务于图像复原，我们提出学习一个额外的轻量级模块，称为预训练引导细化模块 (PTG-RM)，以利用 OSF 细化目标复原网络的复原结果。PTG-RM 由两个部分组成：预训练引导空间变化增强 (PTG-SVE) 和预训练引导通道 - 空间注意力 (PTG-CSA)。PTG-SVE 实现了最优的短程和长程神经操作，而 PTG-CSA 增强了与复原相关的学习的空间 - 通道注意力。大量实验表明，PTG-RM 凭借其紧凑的规模（参数<），有效提升了不同任务中各种模型的复原性能，包括低光增强、去雨、去模糊和去噪。
引用
@article{arxiv.2403.06793,
title = {Boosting Image Restoration via Priors from Pre-trained Models},
author = {Xiaogang Xu and Shu Kong and Tao Hu and Zhe Liu and Hujun Bao},
journal= {arXiv preprint arXiv:2403.06793},
year = {2024}
}
备注
CVPR2024