基于贡献的低秩适应及其用于实图像恢复的预训练模型

最近，预训练模型和高效参数调优在受掩码建模和提示调优的推动下在自然语言处理和高层计算机视觉中取得了显著成功。然而在低层计算机视觉中，仅有有限的研究关注预训练模型，甚至对高效微调策略尚未进行探索，尽管其在诸多现实世界任务中具有重要意义和益处，例如在AI边缘设备上整合新任务时缓解内存膨胀问题。本文提出了一种名为贡献基于低秩适应（Contribution-based Low-Rank Adaptation，CoLoRA）的新型高效参数调优方法，用于多种图像恢复，并配合随机级联退化（random order degradations）的有效预训练方法（PROD）。不同于以往方法对所有网络参数进行调优，我们的CoLoRA通过利用LoRA（低秩适应）为每个新视觉任务进行高效微调，并采用贡献基于的方法自适应地确定该任务在各层的容量，从而实现与完整调优相当的性能。此外，我们的PROD策略允许扩展预训练模型的能力，提高性能并提高对合成预训练与现实世界微调之间的鲁棒性。我们的CoLoRA配合PROD在各种图像恢复任务中表现出色，涵盖多种退化类型，适用于已知和新任务的合成数据集和真实世界数据集。