基于Transformer的有监督对比学习无参考图像质量评估
计算机视觉与模式识别
2023-12-13 v1 图像与视频处理
摘要
图像质量评估（IQA）长期以来一直是图像处理领域的研究热点，尤其是无参考图像质量评估（NR-IQA）。由于强大的特征提取能力，现有的基于卷积神经网络（CNN）和Transformer的NR-IQA方法取得了显著进展。然而，在面临未知真实失真数据集时，它们仍然表现出能力有限。为了进一步提高NR-IQA性能，本文提出了一种新颖的有监督对比学习（SCL）和基于Transformer的NR-IQA模型SaTQA。我们首先通过SCL在大规模合成数据集上训练模型（不需要图像主观评分），以提取具有各种失真类型和程度的图像退化特征。为了进一步从图像中提取失真信息，我们提出了一种结合多流块（MSB）的主干网络，将CNN的归纳偏置与Transformer的长期依赖建模能力相结合。最后，我们提出了图像块注意力块（PAB），通过将对比学习学习到的退化特征与主干网络提取的感知失真信息相融合，获得最终的失真图像质量得分。在七个标准IQA数据集上的实验结果表明，SaTQA在合成数据集和真实数据集上均优于现有最先进方法。代码可在 https://github.com/I2-Multimedia-Lab/SaTQA 获取
引用
@article{arxiv.2312.06995,
title = {Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning},
author = {Jinsong Shi and Pan Gao and Jie Qin},
journal= {arXiv preprint arXiv:2312.06995},
year = {2023}
}
备注
Accepted by AAAI24