基于扩散模型的无参考图像质量评估：视觉补偿引导与视觉差异分析
计算机视觉与模式识别
2024-12-30 v2 机器学习
图像与视频处理
摘要
现有的自由能引导的无参考图像质量评估（NR-IQA）方法仍然难以在图像像素级特征信息学习与高层特征信息捕捉之间找到平衡，且所获高层特征信息的有效利用仍是一个挑战。作为一类新颖的最先进（SOTA）生成模型，扩散模型展现出建模复杂关系的能力，能够全面理解图像，并更好地学习高层和底层视觉特征。鉴于此，我们率先探索将扩散模型应用于 NR-IQA 领域。首先，我们设计了一种新的扩散恢复网络，利用生成的增强图像和含噪图像，结合扩散模型去噪过程中获得的非线性特征，作为高层视觉信息。其次，设计了两个视觉评估分支以全面分析所获的高层特征信息。其中包括基于 Transformer 架构和噪声嵌入策略的视觉补偿引导分支，以及基于 ResNet 架构和残差转置注意力块的视觉差异分析分支。在七个公开 NR-IQA 数据集上进行的广泛实验表明，所提出的模型优于现有的 NR-IQA SOTA 方法。
引用
@article{arxiv.2402.14401,
title = {Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment},
author = {Zhaoyang Wang and Bo Hu and Mingyang Zhang and Jie Li and Leida Li and Maoguo Gong and Xinbo Gao},
journal= {arXiv preprint arXiv:2402.14401},
year = {2024}
}
备注
Accepted by TIP