UCIP：一种基于动态提示的通用压缩图像超分辨率框架
计算机视觉与模式识别
2024-07-19 v1
摘要
压缩图像超分辨率（CSR）旨在同时超分辨率压缩图像，并应对由压缩引起的复杂混合失真。然而，现有 CSR 研究通常只关注单一压缩编解码器，即 JPEG，忽略了实际应用中多样化的传统或学习型编解码器，如 HEVC、VVC、HIFIC 等。本文提出了首个通用 CSR 框架，称为 UCIP，采用动态提示学习，旨在支持任意压缩编解码器/模式的 CSR 失真。具体而言，提出了一种高效的动态提示策略，通过仅使用大小为 1x1 的少量提示，挖掘内容/空间感知的任务自适应上下文信息，以实现通用 CSR 任务。为简化上下文信息挖掘，我们引入一种类似 MLP 的框架主干结构，并首次将主动标记混合器（ATM）适用于 CSR 任务，其中仅在水平和垂直方向上进行全局信息建模，伴随偏移量预测。我们还构建了一个涵盖 6 种主流传统和学习型编解码器（包括 JPEG、HEVC、VVC、HIFIC 等）的全方位基准数据集， resulting in 23 种常见退化。大量实验表明，UCIP 在通用 CSR 任务上表现一致且优异。项目可在 https://lixinustc.github.io/UCIP.github.io 查看。
引用
@article{arxiv.2407.13108,
title = {UCIP: A Universal Framework for Compressed Image Super-Resolution using Dynamic Prompt},
author = {Xin Li and Bingchen Li and Yeying Jin and Cuiling Lan and Hanxin Zhu and Yulin Ren and Zhibo Chen},
journal= {arXiv preprint arXiv:2407.13108},
year = {2024}
}
备注
Accepted by ECCV 2024