LoRA-IR：驯服低秩专家以实现高效的全能图像恢复
计算机视觉与模式识别
2024-11-19 v2
摘要
基于提示的全能图像恢复（IR）框架通过将退化特定信息整合到提示模块中，取得了显著的性能。然而，处理现实场景中遇到的复杂多样的退化仍然是一个重大挑战。为了解决这个问题，我们提出了 LoRA-IR，一个灵活的框架，能够动态利用紧凑的低秩专家来实现高效的万能图像恢复。具体来说，LoRA-IR 包含两个训练阶段：退化引导的预训练和参数高效的微调。在预训练阶段，我们通过一种简单的机制增强预训练的 CLIP 模型，使其能够扩展到更高分辨率，从而提取自适应的退化表示来引导 IR 网络。在微调阶段，我们通过低秩适应（LoRA）来优化预训练的 IR 网络。基于专家混合（MoE）架构，LoRA-IR 通过退化引导的路由器动态整合多个低秩恢复专家。这种动态整合机制显著增强了我们的模型对现实场景中复杂且未知退化的适应性。大量实验表明，LoRA-IR 在 14 个 IR 任务和 29 个基准测试中达到了最先进的性能，同时保持了计算效率。代码和预训练模型将在 https://github.com/shallowdream204/LoRA-IR 提供。
关键词
引用
@article{arxiv.2410.15385,
title = {LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration},
author = {Yuang Ai and Huaibo Huang and Ran He},
journal= {arXiv preprint arXiv:2410.15385},
year = {2024}
}