基于 Transformer 的感知图像质量评估
计算机视觉与模式识别
2021-05-06 v2 图像与视频处理
摘要
在本文中，我们提出了一种图像质量 Transformer (IQT)，成功地将 Transformer 架构应用于感知全参考图像质量评估 (IQA) 任务。感知表示在图像质量评估中变得愈发重要。在此背景下，我们使用卷积神经网络 (CNN) 骨干网络从每幅输入图像中提取感知特征表示。提取的特征图被送入 Transformer 编码器和解码器，以比较参考图像与失真图像。遵循基于 Transformer 的视觉模型的方法，我们使用额外的可学习质量嵌入和位置嵌入。Transformer 的输出被传入预测头以预测最终的质量分数。实验结果表明，我们提出的模型在标准 IQA 数据集上表现优异。对于一个包含生成模型输出图像的大规模 IQA 数据集，我们的模型也展现出有前景的结果。所提出的 IQT 在 NTIRE 2021 感知图像质量评估挑战赛的 13 个参赛队伍中排名第一。我们的工作将进一步拓展感知 IQA 任务的研究思路。
引用
@article{arxiv.2104.14730,
title = {Perceptual Image Quality Assessment with Transformers},
author = {Manri Cheon and Sung-Jun Yoon and Byungyeon Kang and Junwoo Lee},
journal= {arXiv preprint arXiv:2104.14730},
year = {2021}
}
备注
Accepted to NTIRE workshop at CVPR 2021. 1st Place in NTIRE 2021 perceptual IQA challenge. https://github.com/manricheon/IQT