由鲁棒 DINO 特征引导的多任务图像复原
计算机视觉与模式识别
2024-08-19 v3
摘要
多任务图像复原因其相对于单任务方法的固有通用性和高效性而备受关注。然而,随着任务数量的增加,性能会出现下降,这主要归因于复原模型难以同时处理性质不同的多种任务。因此,一种新的视角应运而生,旨在探索不同退化任务之间与退化无关的语义共性。在本文中,我们观察到 DINOv2 的特征能够有效地建模语义信息,并且独立于退化因素。受此观察启发,我们提出了 \mbox{\textbf{DINO-IR}},一种利用从 DINOv2 提取的鲁棒特征来同时解决多任务图像复原的多任务图像复原方法。我们首先提出了一种像素-语义融合(PSF)模块,以动态融合 DINOv2 的浅层特征(包含像素级信息)和深层特征(包含与退化无关的语义信息)。为了利用 DINOv2 的特征引导复原模型,我们开发了 DINO-Restore 适配与融合模块,以调整来自 PSF 的融合特征的通道,然后将其与复原模型的特征进行整合。通过将这些模块整合到一个统一的深度模型中,我们提出了一种 DINO 感知对比损失来约束模型训练。大量实验结果表明,我们的 DINO-IR 在各种任务上以较大优势优于现有的多任务图像复原方法。源代码和训练模型将予以公开。
引用
@article{arxiv.2312.01677,
title = {Multi-task Image Restoration Guided By Robust DINO Features},
author = {Xin Lin and Jingtong Yue and Kelvin C. K. Chan and Lu Qi and Chao Ren and Jinshan Pan and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2312.01677},
year = {2024}
}