用于图像重建的残差对比学习：从噪声图像中学习可迁移表示
计算机视觉与模式识别
2022-04-28 v2 机器学习
摘要
本文关注用于底层图像复原与增强任务的对比学习（CL）。我们提出了一种基于残差的新标签高效学习范式——残差对比学习（RCL），并推导出一个无监督视觉表示学习框架，适用于带有噪声输入的底层视觉任务。有监督的图像重建旨在直接最小化残差项，而 RCL 另辟蹊径，通过定义一个新颖的实例判别 pretext 任务，使用残差作为判别特征，在残差与 CL 之间建立联系。我们的公式缓解了现有 CL 框架中实例判别 pretext 任务与下游图像重建任务之间严重的任务错位问题。在实验上，我们发现 RCL 能够学习鲁棒且可迁移的表示，与近期专为噪声输入设计的自监督方法相比，提升了诸如去噪与超分辨率等各类下游任务的性能。此外，我们的无监督预训练能在保持与全监督图像重建相当性能的同时，显著降低标注成本。
引用
@article{arxiv.2106.10070,
title = {Residual Contrastive Learning for Image Reconstruction: Learning Transferable Representations from Noisy Images},
author = {Nanqing Dong and Matteo Maggioni and Yongxin Yang and Eduardo Pérez-Pellitero and Ales Leonardis and Steven McDonagh},
journal= {arXiv preprint arXiv:2106.10070},
year = {2022}
}
备注
Accepted by IJCAI 2022