基于异构混合专家的图像复原参数高效适配

针对特定退化设计单任务图像复原模型近年来取得了巨大成功。为了实现泛化的图像复原，all-in-one方法近期被提出，并展现了使用单一模型处理多种复原任务的潜力。尽管结果令人鼓舞，但现有的all-in-one范式仍存在计算成本高以及在未知退化上泛化能力有限的问题。在这项工作中，我们引入了一种替代方案来提高图像复原模型的泛化能力。受参数高效迁移学习最新进展的启发，我们旨在仅调整少量参数，将预训练的复原模型适配到各种任务。然而，当前PETL方法由于其同质化表示特性，无法在各种复原任务间泛化。为此，我们提出AdaptIR，一种采用正交多分支设计的混合专家，以捕获局部空间、全局空间和通道表示基，随后通过自适应基组合获得针对不同退化的异构表示。大量实验表明，我们的AdaptIR在单一退化任务上表现稳定，并在混合退化任务中表现优异，仅需微调0.6%的参数8小时。