基于多低秩适配的通用图像修复框架 UIR-LoRA
计算机视觉与模式识别
2024-10-01 v1
摘要
现有的统一方法通常将多退化图像修复视为多任务学习问题。尽管相较于单一退化修复方法表现良好,但它们忽略了多任务修复中公共性与特殊性的利用,从而限制了模型性能。受深度生成模型和微调技术的成功启发,我们提出了基于多个低秩适配器(LoRA)的通用图像修复框架,该框架源于多域迁移学习。我们的框架将预训练的生成模型作为多退化图像修复的共享组件,并通过低秩适配将其迁移到特定退化图像修复任务。此外,我们引入一种基于退化相似性的 LoRA 组合策略,该策略自适应地组合训练好的 LoRA,从而使模型适用于混合退化修复。在多个和混合退化上的广泛实验表明,所提出的通用图像修复方法不仅在保真度和感知图像质量方面优于其他统一图像修复模型,而且具有更好的泛化能力。我们的代码已公开于 https://github.com/Justones/UIR-LoRA。
引用
@article{arxiv.2409.20197,
title = {UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation},
author = {Cheng Zhang and Dong Gong and Jiumei He and Yu Zhu and Jinqiu Sun and Yanning Zhang},
journal= {arXiv preprint arXiv:2409.20197},
year = {2024}
}