CLIP-DQA：基于CLIP的全局与局部视角盲区评估去雾图像质量
计算机视觉与模式识别
2025-02-05 v1 人工智能
摘要
盲区去雾图像质量评估（BDQA）旨在准确预测去雾图像的视觉质量，而无需任何参考信息，这对于评估、比较和优化去雾算法至关重要。现有基于学习的BDQA方法取得了显著成功，但小规模的DQA数据集限制了其性能。为此，本文提出采用对比语言-图像预训练（CLIP）方法，该方法在大规模图像-文本对上进行预训练，适用于BDQA任务。具体而言，启发于人类视觉系统基于层次化特征理解图像的方式，我们将去雾图像的全局和局部信息作为CLIP的输入。为准确将去雾图像的层次化信息映射到质量评分，我们调整了CLIP的视觉分支和语言分支，以进行提示学习。实验在两个真实DQA数据集上表明，我们提出的方法称为CLIP-DQA，相较于现有BDQA方法，在质量预测准确性方面取得了更好的性能。代码已公开于https://github.com/JunFu1995/CLIP-DQA。
关键词
引用
@article{arxiv.2502.01707,
title = {CLIP-DQA: Blindly Evaluating Dehazed Images from Global and Local Perspectives Using CLIP},
author = {Yirui Zeng and Jun Fu and Hadi Amirpour and Huasheng Wang and Guanghui Yue and Hantao Liu and Ying Chen and Wei Zhou},
journal= {arXiv preprint arXiv:2502.01707},
year = {2025}
}
备注
Accepted by ISCAS 2025 (Oral)