退化感知的残差条件最优传输用于统一图像恢复
计算机视觉与模式识别
2024-11-05 v1
摘要
全合一图像恢复已成为面向实际应用的有前景的低级视觉任务。在此背景下，关键问题在于如何同时处理不同类型的退化图像。本工作提出了一种退化感知的残差条件最优传输（DA-RCOT）方法，将（全合一）图像恢复建模为最优传输（OT）问题，适用于无配对和有配对设置，引入传输残差作为传输成本和传输映射的退化特定提示。具体而言，我们通过利用传输成本中傅里叶残差的退化特定模式，将图像恢复形式化为残差引导的 OT 目标。更关键的是，我们将恢复中的传输映射设计为两遍 DA-RCOT 映射：第一遍计算传输残差，然后将其编码为多尺度残差嵌入以条件化第二遍恢复。该条件化过程将固有退化知识（如退化类型和程度）以及多尺度残差嵌入中的结构信息注入 OT 映射，从而能够动态调整其行为以实现全合一恢复。在五种退化类型上的广泛实验表明，DA-RCOT 在失真度量、感知质量和图像结构保持方面相较于最先进方法具有优异性能。值得注意的是，DA-RCOT 在面对多种退化时展现出优越的适应性，并对退化程度和退化数量表现出显著的鲁棒性。
引用
@article{arxiv.2411.01656,
title = {Degradation-Aware Residual-Conditioned Optimal Transport for Unified Image Restoration},
author = {Xiaole Tang and Xiang Gu and Xiaoyi He and Xin Hu and Jian Sun},
journal= {arXiv preprint arXiv:2411.01656},
year = {2024}
}