面向无意见图像质量评估的质量感知图文对齐
计算机视觉与模式识别
2025-03-11 v3 计算与语言
摘要
无参考图像质量评估（NR-IQA）致力于设计在缺乏高质量参考图像时与人类感知相一致的图像质量度量方法。大多数 state-of-the-art 的 NR-IQA 方法是意见感知的，即它们需要人类标注进行训练。这种依赖性限制了它们的可扩展性和广泛适用性。为克服这一局限，我们提出了 QualiCLIP（Quality-aware CLIP），一种基于 CLIP 的自监督无意见方法，不需要人类意见。具体而言，我们引入了一种质量感知图文对齐策略，使 CLIP 生成质量感知的图像表示。从原始图像出发，我们以逐渐增强的强度对其进行合成退化。然后，我们训练 CLIP 根据这些退化图像与质量相关的反义词文本提示的相似度对其进行排序。同时，我们强制 CLIP 为具有相似内容和相同退化程度的图像生成一致的表示。我们的实验表明，所提方法在具有多种失真类型的多个数据集上优于现有的无意见方法。此外，尽管不需要人类标注，QualiCLIP 在跨数据集实验中相较于有监督的意见感知方法取得了优异的性能，从而展示了显著的泛化能力。代码和模型公开于 https://github.com/miccunifi/QualiCLIP。
引用
@article{arxiv.2403.11176,
title = {Quality-Aware Image-Text Alignment for Opinion-Unaware Image Quality Assessment},
author = {Lorenzo Agnolucci and Leonardo Galteri and Marco Bertini},
journal= {arXiv preprint arXiv:2403.11176},
year = {2025}
}