注意力助CNN看得更清：基于注意力的混合图像质量评价网络
计算机视觉与模式识别
2022-04-25 v1
摘要
图像质量评价（IQA）算法旨在量化人类对图像质量的感知。遗憾的是，当评价由生成对抗网络（GAN）生成的、具有看似真实纹理的失真图像时，性能会下降。本文中，我们推测这种不适应源于IQA模型的骨干网络：基于图像块预测的方法使用独立的图像块作为输入分别打分，但缺乏图像块之间的空间关系建模。因此，我们提出了一种基于注意力的混合图像质量评价网络（AHIQ）来应对这一挑战，并在基于GAN的IQA任务上取得更好性能。首先，我们采用双分支架构，包括视觉Transformer（ViT）分支和卷积神经网络（CNN）分支用于特征提取。混合架构结合了ViT捕获的图像块间交互信息与CNN的局部纹理细节。为使浅层CNN的特征更聚焦于视觉显著区域，借助ViT分支的语义信息应用了可变形卷积。最后，我们使用逐块分数预测模块获得最终分数。实验表明，我们的模型在四个标准IQA数据集上优于最先进方法，且AHIQ在NTIRE 2022感知图像质量评价挑战赛的全参考（FR）赛道中排名第一。
引用
@article{arxiv.2204.10485,
title = {Attentions Help CNNs See Better: Attention-based Hybrid Image Quality Assessment Network},
author = {Shanshan Lao and Yuan Gong and Shuwei Shi and Sidi Yang and Tianhe Wu and Jiahao Wang and Weihao Xia and Yujiu Yang},
journal= {arXiv preprint arXiv:2204.10485},
year = {2022}
}