深度特征中的结构相似性：面向几何差异参考图像质量评估
计算机视觉与模式识别
2024-12-30 v1 图像与视频处理
摘要
带参考图像的图像质量评估（Image Quality Assessment, IQA）在优化和评估计算机视觉任务中发挥重要作用。传统方法假设参考图像与测试图像的所有像素完全对齐，这种对齐参考 IQA（Aligned-Reference IQA, AR-IQA）方法无法解决两图像间存在多种几何形变的实际问题。尽管已有工作致力于解决几何差异参考 IQA（Geometrically-Disparate-Reference IQA, GDR-IQA）问题，但其采用任务依赖性方法，例如为图像超分辨率和重新规模化专门设计，或假设几何畸变较小可被平移鲁棒滤波器或显式图像配准所抵消。本文重新思考此问题，提出一种统一、无需训练的深度结构相似性（Deep Structural Similarity, DeepSSIM）方法，以单一框架解决上述问题。该方法以简单而高效的方式评估深度特征的结构相似性，并通过注意力校准策略缓解注意力偏差。该方法无需针对特定任务设计，即可在 AR-IQA 数据集上实现 SOTA 水平，并对各种 GDR-IQA 测试情形表现出强鲁棒性。值得注意的是，我们的测试还表明 DeepSSIM 作为优化工具用于训练图像超分辨率、增强与恢复，也显示出更广泛的可泛性。
引用
@article{arxiv.2412.19553,
title = {Structural Similarity in Deep Features: Image Quality Assessment Robust to Geometrically Disparate Reference},
author = {Keke Zhang and Weiling Chen and Tiesong Zhao and Zhou Wang},
journal= {arXiv preprint arXiv:2412.19553},
year = {2024}
}