AdaIR：利用图像修复任务中内在相似性的适配器方法
计算机视觉与模式识别
2024-04-18 v1 人工智能
摘要
现有的图像修复方法通常采用为特定退化情况专门训练的大型网络。尽管这些方法有效，但由于依赖于任务特定的网络，必然带来较大的存储成本和计算开销。本文超越这一既定框架，探索图像修复任务之间内在的共性。主要目标是识别跨修复任务可共享的组件，并通过为特定任务训练的模块来增强这些共享组件。为此，我们提出了 AdaIR—a 一个实现低存储成本和高效训练而不牺牲性能的新框架。具体而言，首先通过自监督预训练（使用人工合成退化）构建通用修复网络。预训练阶段之后，训练适配器以适应特定退化。AdaIR仅需训练轻量级、任务特定的模块，确保更高效的存储和训练流程。我们进行了大量实验以验证 AdaIR 的有效性，并分析了预训练策略对发现可共享组件的影响。实验结果表明，AdaIR 在多任务修复中取得卓越成绩，仅需每个修复任务约 1.9 MB 的参数量，以及约 7 小时的训练时间。
引用
@article{arxiv.2404.11475,
title = {AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters},
author = {Hao-Wei Chen and Yu-Syuan Xu and Kelvin C. K. Chan and Hsien-Kai Kuo and Chun-Yi Lee and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2404.11475},
year = {2024}
}