一种基于恰可察觉差异的显著性通道注意力残差网络用于全参考图像质量预测
计算机视觉与模式识别
2020-10-19 v4
摘要
近来，得益于深度卷积神经网络（CNN）的强大能力，许多基于 CNN 的图像质量评价（IQA）模型被加以研究。然而，以往的基于 CNN 的 IQA 模型在简单地将一切托付给 CNN、期望其从训练集中学习时，可能尚未充分利用人类视觉系统（HVS）的特性来解决 IQA 问题。本文中，我们提出一种基于恰可察觉差异（JND）概念的新型显著性通道注意力残差网络，用于全参考图像质量评价（FR-IQA），称为 JND-SalCAR，并在具有各类失真的大型 IQA 数据集上展现出显著提升。所提出的 JND-SalCAR 有效地学习了如何将视觉显著性与 JND 等人类心理物理特性融入图像质量预测。在所提网络中，设计了 SalCAR 模块，以便借助基于显著性的空间注意力与通道注意力机制提取感知重要特征。此外，显著性图作为指导来预测块权重图，从而为 JND-SalCAR 的端到端优化提供稳定训练。据我们所知，我们的工作提出了首个受 HVS 启发的可训练 FR-IQA 网络，同时考虑了视觉显著性与 HVS 的 JND 特性。当视觉显著性图与 JND 概率图被显式给定为先验时，它们可被有益地结合以更精确地预测人类给出的 IQA 分数，最终带来性能提升与更快收敛。实验结果表明，所提 JND-SalCAR 在大型 IQA 数据集上依据斯皮尔曼等级相关系数（SRCC）与皮尔逊线性相关系数（PLCC）显著优于近期所有最先进的 FR-IQA 方法。
引用
@article{arxiv.1902.05316,
title = {A Novel Just-Noticeable-Difference-based Saliency-Channel Attention Residual Network for Full-Reference Image Quality Predictions},
author = {Soomin Seo and Sehwan Ki and Munchurl Kim},
journal= {arXiv preprint arXiv:1902.05316},
year = {2020}
}
备注
Accepted for publication in IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)