残差条件化最优传输：面向结构保持的无配对和配对图像修复

深度学习图像修复方法通常难以忠实地保留原始图像的结构。本文提出一种新的残差条件化最优传输 (RCOT) 方法，将图像修复建模为配对和非配对情形下的最优传输 (OT) 问题，引入传输残差作为唯一的降解特定线索，用于传输成本和传输图。具体而言，我们首先通过将残差的降解特定信息纳入传输成本，形式化了傅里叶残差引导的 OT 目标。我们进一步设计包含基模型和细化过程的两级 RCOT 传输图，其中在第一级计算传输残差，然后将其编码为降解特定嵌入以条件化第二级修复。在对偶意义下，RCOT 问题被转化为对抗性训练神经网络可解的最小最大优化问题。大量实验表明，RCOT 在 distortion measures 和 perceptual quality 方面均表现出竞争力，恢复的图像结构比现有方法更忠实。