中文

PromptCIR:基于提示学习的盲压缩图像恢复

计算机视觉与模式识别 2024-04-29 v1

摘要

盲压缩图像恢复因其现实应用价值而备受关注。它旨在缓解由未知质量因子(特别是 JPEG 编解码器)引起的压缩伪影。现有的盲 CIR 工作通常寻求质量因子预测网络的辅助,以促进其网络恢复压缩图像。然而,预测的数值质量因子缺乏空间信息,限制了网络对图像内容的适应性。近期基于提示学习的图像恢复研究展示了提示在不同退化类型和程度上的泛化潜力。这促使我们设计了一种基于提示学习的压缩图像恢复网络,命名为 PromptCIR,它能够有效恢复不同压缩级别的图像。具体而言,PromptCIR 利用提示隐式编码压缩信息,其中提示直接与由图像特征生成的软权重交互,从而为恢复过程提供动态的内容感知和失真感知指导。轻量级提示使我们的方法能够适应不同的压缩级别,同时引入极小的参数开销。总体而言,PromptCIR 利用强大的 transformer 主干网络与动态提示模块,熟练处理盲 CIR 任务,在 NTIRE 2024 盲压缩图像增强赛道挑战赛中荣获第一名。大量实验验证了我们提出的 PromptCIR 的有效性。代码可在 https://github.com/lbc12345/PromptCIR-NTIRE24 获取。

关键词

引用

@article{arxiv.2404.17433,
  title  = {PromptCIR: Blind Compressed Image Restoration with Prompt Learning},
  author = {Bingchen Li and Xin Li and Yiting Lu and Ruoyu Feng and Mengxi Guo and Shijie Zhao and Li Zhang and Zhibo Chen},
  journal= {arXiv preprint arXiv:2404.17433},
  year   = {2024}
}

备注

Winner of NTIRE 2024 Blind Compressed Image Enhancement Challenge