从历史中学习：面向图像复原的任务无关模型对比学习
计算机视觉与模式识别
2024-01-26 v5
摘要
对比学习已成为高层视觉任务中一种主流范式，其通过引入适当的负样本，也被用于低层视觉任务，以获得紧凑的优化空间来应对其不适定性质。然而，现有方法依赖于人工预定义且面向任务的负样本，往往表现出明显的任务特定偏置。为应对这一挑战，本文提出一种称为“从历史中学习”的创新方法，该方法从目标模型自身动态生成负样本。我们的方法名为面向图像复原的模型对比学习（MCLIR），将滞后模型复用为负模型，使其兼容多种图像复原任务。我们提出自先验引导负损失（SPN）来实现该机制。该方法在采用所提模型对比范式重新训练时显著增强现有模型。结果表明，在各类任务和架构上图像复原均有显著提升。例如，在RESIDE室内数据集上用于图像去雾时，用SPN重新训练的模型分别比原始FFANet和DehazeFormer高出3.41 dB和0.57 dB。类似地，在SPA-Data上用于图像去雨比IDT提升0.47 dB，在Manga109上用于4倍超分辨率比轻量SwinIR提升0.12 dB。代码与重新训练的模型见 https://github.com/Aitical/MCLIR。
引用
@article{arxiv.2309.06023,
title = {Learning from History: Task-agnostic Model Contrastive Learning for Image Restoration},
author = {Gang Wu and Junjun Jiang and Kui Jiang and Xianming Liu},
journal= {arXiv preprint arXiv:2309.06023},
year = {2024}
}
备注
Camera Ready Version. Accepted to The 38th Annual AAAI Conference on Artificial Intelligence (AAAI 2024)