面向感知与保真度的降参考信噪比图像超分辨率质量评估

随着图像超分辨率（SR）算法的不断发展，如何评估生成的 SR 图像质量已成为迫切需要的任务。虽然全参考方法在 SR 图像质量评估（SR-IQA）方面表现良好，但其对高分辨率（HR）图像的依赖限制了实际应用的可行性。最大限地利用可获得的重建信息进行 SR-IQA，如低分辨率（LR）图像和尺度因子，是一种在没有 HR 参考图像的情况下提高 SR-IQA 评估性能的有前景的做法。本文尝试在考虑 LR 图像和尺度因子的条件下，评估 SR 图像的感知质量和重建保真度。具体而言，我们提出了一种新型双分支降参考 SR-IQA 网络，即感知与保真度感知 SR-IQA（PFIQA）。感知感知分支通过利用 Vision Transformer（ViT）的全局建模优势和 ResNet 的局部关系，纳入尺度因子，以实现全面视觉感知。而保真度感知分支则通过 LR 和 SR 图像之间的视觉感知来评估重建保真度。两种分支的结合与人类视觉系统的结合高度一致，实现了对 SR 图像的全面评估。实验结果表明，PFIQA 在三个广泛使用的 SR-IQA 数据集上超越了当前的领先模型。尤其值得注意的是，PFIQA 在评估真实世界 SR 图像质量方面表现出色。