DP-IQA: 利用扩散先验进行野外盲图像质量评估
计算机视觉与模式识别
2026-03-11 v6 人工智能
摘要
野外盲图像质量评估（IQA）评估具有复杂真实失真且无参考图像的图像质量，面临重大挑战。由于收集大规模训练数据的困难，利用有限数据开发具有强泛化能力的模型仍然是一个开放问题。受预训练文本到图像（T2I）扩散模型强大图像感知能力的启发，我们提出了一种新颖的IQA方法，即基于扩散先验的IQA（DP-IQA），利用T2I模型的先验来提高性能和泛化能力。具体来说，我们利用预训练的Stable Diffusion作为骨干，通过可调文本适配器从去噪U-Net中提取由提示嵌入引导的多级特征。同时，图像适配器补偿有损预训练编码器引入的信息损失。与需要完整图像分布建模的T2I模型不同，我们的方法针对图像质量评估，其本质上需要更少的参数。为了提高适用性，我们将知识蒸馏到一个轻量级的基于CNN的学生模型中，显著减少了参数，同时保持甚至增强了泛化性能。实验结果表明，DP-IQA在各种野外数据集上达到了最先进的性能，突显了T2I先验在盲IQA任务中的优越泛化能力。据我们所知，DP-IQA是第一个在盲IQA中应用预训练扩散先验的方法。代码和检查点可在https://github.com/RomGai/DP-IQA获取。
引用
@article{arxiv.2405.19996,
title = {DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild},
author = {Honghao Fu and Yufei Wang and Wenhan Yang and Alex C. Kot and Bihan Wen},
journal= {arXiv preprint arXiv:2405.19996},
year = {2026}
}