自适应盲所有一图像修复

盲所有一图像修复模型旨在从输入受未知失真损坏的图像中恢复高质量图像。然而，这些模型在训练阶段需要定义所有可能的失真类型，同时对未见失真的泛化能力有限，这限制了其在复杂场景中的实际应用。在本文中，我们引入一种名为 ABAIR 的自适应盲所有一恢复模型，不仅能处理多种失真并对未见失真表现出良好泛化，还能通过仅训练小部分参数来高效整合新的失真。我们首先在大量自然图像上进行训练，采用多种人工合成失真。为增强其识别失真的能力，我们引入分段头以估计每个像素的失型别。随后，我们通过独立的低秩适配器(Adapter)来适应不同的图像修复任务。最后，我们学习一种灵活且轻量级的 degradation 估计器，用于自适应组合适配器以处理复杂图像。这种 specialize-then-merge 方法既在针对特定失真方面强大，也在适应复杂任务方面灵活。此外，我们的模型不仅在五任务和三任务 IR 设置中超越了最先进的性能，还在未见失真和复合失真方面表现出卓越的泛化能力。