面向高效图像超分辨率的蒸馏监督卷积低秩适配
计算机视觉与模式识别
2025-04-16 v1
摘要
卷积神经网络(CNN)在高效图像超分辨率中被广泛应用。然而，对于CNN方法，性能提升往往需要更深的网络和更大的特征图，从而增加复杂度和推理成本。鼓励LoRA在大语言模型微调中的成功，我们探索其应用于轻量模型的可能性，提出Distillation-Supervised Convolutional Low-Rank Adaptation (DSCLoRA)，在不增加模型架构复杂度或推理成本的前提下提高模型性能。具体而言，我们将ConvLoRA集成到高效SR网络SPAN中，通过用所提出的SConvLB模块取代SPAB模块，并将ConvLoRA层集成到像素shuffle模块及其前导卷积层中。DSCLoRA利用低秩分解进行参数更新，并采用基于空间特征亲和力的知识蒸馏策略，将教师模型（预训练的SPAN）中的二阶统计信息传递给学生模型（我们的方法）。该方法保留轻量模型的核心知识，并在特定条件下促进最优解发现。在基准数据集上的实验表明，DSCLoRA在保持其效率和竞争图像质量的同时，提高了PSNR和SSIM。值得注意的是，DSCLoRA在NTIRE 2025高效超分辨率挑战赛 Overall Performance Track 中名列第一。我们的代码和模型已公开发布于 https://github.com/Yaozzz666/DSCF-SR。
引用
@article{arxiv.2504.11271,
title = {Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution},
author = {Xinning Chai and Yao Zhang and Yuxuan Zhang and Zhengxue Cheng and Yingsheng Qin and Yucai Yang and Li Song},
journal= {arXiv preprint arXiv:2504.11271},
year = {2025}
}