QMamba: 首次探索视觉 Mamba 在图像质量评估中的潜力
计算机视觉与模式识别
2025-05-30 v2 图像与视频处理
摘要
本文首次探索了近期流行的基础模型——状态空间模型/Mamba——在图像质量评估 (IQA) 中的感知潜力。已有多篇关于 Mamba 的工作表明其在诸多领域（如分割和分类）中具有显著潜力。然而，Mamba 的感知能力仍未得到充分探索。因此，我们提出了 QMamba，通过重新审视和适配 Mamba 模型，以适应 IQA 的三个关键任务：任务特定 IQA、通用 IQA 和可迁移 IQA，揭示其在感知能力和计算成本方面相较于现有基础模型（如 Swin Transformer、ViT 和 CNN）具有明显优势。为提高 QMamba 的可迁移性，我们提出了 StylePrompt 调谐范式，在其中注入轻量级均值和方差提示，以辅助针对不同下游 IQA 任务进行任务适应性迁移学习。与现有提示调谋策略相比，StylePrompt 在更低的计算成本下实现了更好的感知迁移。大量实验在多个人工合成、真实 IQA 数据集以及跨 IQA 数据集上表明，我们所提出的 QMamba 有效且实用。代码将公开于：https://github.com/bingo-G/QMamba.git
引用
@article{arxiv.2406.09546,
title = {QMamba: On First Exploration of Vision Mamba for Image Quality Assessment},
author = {Fengbin Guan and Xin Li and Zihao Yu and Yiting Lu and Zhibo Chen},
journal= {arXiv preprint arXiv:2406.09546},
year = {2025}
}
备注
Accepted by ICML 2025