Perceive-IR：更好地感知退化以实现全合一图像恢复
计算机视觉与模式识别
2025-05-09 v2
摘要
现有的全合一图像恢复方法通常难以同时感知退化类型和严重程度，忽略了对图像质量的细粒度感知。此外，大多数方法使用定制的主干网络，这限制了其适应性和集成到先进恢复模型中的能力。为解决这些局限，我们提出了 Perceive-IR，一个新颖的与主干无关的全合一图像恢复框架，旨在实现细粒度的质量控制和适应多种退化类型和严重程度。其模块化结构允许核心组件独立于特定主干网络，从而可以无缝集成到先进的恢复模型中而无需重大修改。具体而言，Perceive-IR 包含两个关键阶段：1) 多级质量感知提示学习阶段，其中训练了一个细粒度质量感知器，通过优化提示与图像在 CLIP 感知空间中的对齐来区分三个质量级别。此阶段确保了对图像质量的细致理解，为后续恢复奠定基础；2) 恢复阶段，将质量感知器与难度自适应感知损失相结合，形成质量感知学习策略。该策略不仅动态区分样本学习难度，还通过将恢复图像推向真实高质量样本并远离低质量和中等质量样本来实现细粒度质量控制。
引用
@article{arxiv.2408.15994,
title = {Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration},
author = {Xu Zhang and Jiaqi Ma and Guoli Wang and Qian Zhang and Huan Zhang and Lefei Zhang},
journal= {arXiv preprint arXiv:2408.15994},
year = {2025}
}
备注
Accepted by IEEE Transactions on Image Processing. Project page at https://house-yuyu.github.io/Perceive-IR/