基于Transformer预测误差图与感知质量令牌的盲图像质量评价
计算机视觉与模式识别
2023-05-17 v1 图像与视频处理
摘要
图像质量评价是图像处理领域的一个基本问题，由于在多数实际场景中缺乏参考图像，无参考图像质量评价（NR-IQA）近年来受到越来越多的关注。随着深度学习技术的发展，许多基于深度神经网络的NR-IQA方法被提出，这些方法试图基于对数据库信息的理解来学习图像质量。当前，Transformer已在各种视觉任务中取得显著进展。由于Transformer中注意力机制的特性契合人类感知伪影的全局感知影响，Transformer因而非常适用于图像质量评价任务。本文提出一种基于Transformer的NR-IQA模型，利用预测的客观误差图与感知质量令牌。具体而言，我们首先通过预训练一个由Transformer编码器和解码器组成的模型来生成预测误差图，其中失真图像与参考图像之间的客观差异被用作监督信号。然后，我们冻结预训练模型的参数，并设计另一条分支使用视觉Transformer提取感知质量令牌，与预测误差图进行特征融合。最后，将融合特征回归至最终的图像质量分数。大量实验表明，我们所提方法在真实与合成图像数据库上均优于当前最先进水平。此外，由感知质量令牌提取的注意力图也确实符合人类视觉系统的特性。
引用
@article{arxiv.2305.09353,
title = {Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token},
author = {Jinsong Shi and Pan Gao and Aljosa Smolic},
journal= {arXiv preprint arXiv:2305.09353},
year = {2023}
}
备注
Submitted to TMM