基于 Transformers、相对排序与自一致性的无参考图像质量评价
图像与视频处理
2022-01-06 v2 计算机视觉与模式识别
摘要
无参考图像质量评价（NR-IQA）的目标是根据主观评价估计感知图像质量，由于缺少原始参考图像，这是一个复杂且未解决的问题。在本文中，我们提出一种新颖模型来解决 NR-IQA 任务，采用混合方法，利用卷积神经网络（CNNs）和 Transformers 中的自注意力机制从输入图像中提取局部和非局部特征。我们通过 CNNs 捕获图像的局部结构信息，然后为规避所提取 CNNs 特征间的局部偏置并获得图像的非局部表示，我们在提取的特征上利用 Transformers，将其建模为 Transformer 模型的序列输入。此外，为提高主观与客观分数间的单调性相关性，我们利用每批次内图像间的相对距离信息并强制它们之间的相对排序。最后但同样重要的是，我们观察到当对输入施加等变变换（例如水平翻转）时 NR-IQA 模型的性能会下降。因此，我们提出一种利用自一致性作为自监督来源以提高 NRIQA 模型鲁棒性的方法。具体而言，我们强制每个图像及其变换（水平翻转）的质量评价模型输出间自一致，以利用丰富的自监督信息并降低模型的不确定性。为证明我们工作的有效性，我们在七个标准 IQA 数据集（合成与真实）上评估，并显示我们的模型在各数据集上取得了最先进的结果。
引用
@article{arxiv.2108.06858,
title = {No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency},
author = {S. Alireza Golestaneh and Saba Dadsetan and Kris M. Kitani},
journal= {arXiv preprint arXiv:2108.06858},
year = {2022}
}