通过自改进特权学习提升 All-in-One 图像复原
计算机视觉与模式识别
2025-06-02 v1
摘要
针对多样且混合退化的统一图像复原模型通常面临优化动力学不稳定和任务间冲突的问题。本文引入了自改进特权学习，这是一种新范式，通过创新性地将特权信息的效用从训练阶段扩展至推理阶段，从而克服了这些局限性。在常规特权学习中，由真值导出的指导通常在训练后被丢弃；与此不同，SIPL 使模型能够在测试时利用自身的初步输出作为伪特权信号，进行迭代式自我精炼。SIPL 的核心是代理融合，这是一个包含可学习特权字典的轻量级模块。在训练期间，该字典从特权特征表示中蒸馏出基本的高频和结构先验。关键在于，在推理时，同一学习到的字典与模型初始复原导出的特征进行交互，从而促成自我纠正循环。SIPL 可无缝集成到各种骨干架构中，以极小的计算开销提供显著的性能提升。大量实验表明，SIPL 在多样的 all-in-one 图像复原基准上显著推进了当前最优水平。例如，与 PromptIR 模型集成后，SIPL 在复合退化任务上实现了 +4.58 dB 的显著 PSNR 提升，在多样的五任务基准上实现了 +1.28 dB 的提升，凸显了其有效性与广泛适用性。代码可在我们的项目页面 https://github.com/Aitical/SIPL 获取。
引用
@article{arxiv.2505.24207,
title = {Boosting All-in-One Image Restoration via Self-Improved Privilege Learning},
author = {Gang Wu and Junjun Jiang and Kui Jiang and Xianming Liu},
journal= {arXiv preprint arXiv:2505.24207},
year = {2025}
}