CLIP-AGIQA: 利用 CLIP 提升 AI 生成图像质量评估性能

随着生成技术的快速发展，AI 生成图像（AIGIs）在日常生活的各个方面得到广泛应用。然而，由于技术尚不成熟，生成图像的质量存在差异，因此有必要开发用于评估生成图像质量的技术。尽管已提出了一些模型来评估生成图像的质量，但在面对日益增长和多样化的图像类别时仍不足。因此，迫切需要开发更先进、更有效的模型来评估生成图像的质量。最近的研究探索了视觉语言模型 CLIP 在图像质量评估中的显著潜力，发现其在评估自然图像质量方面表现良好。然而，其应用于生成图像的研究尚不充分。本文基于此思路进一步探讨 CLIP 在评估生成图像质量方面的潜力。我们设计了 CLIP-AGIQA，一种基于 CLIP 的回归模型，用于生成图像的质量评估，利用 CLIP 所封装的丰富视觉和文本知识。特别地，我们实现了多类别可学习提示，充分利用 CLIP 中的文本知识进行质量评估。在包括 AGIQA-3K 和 AIGCIQA2023 在内的几个生成图像质量评估基准上进行了广泛实验，结果表明 CLIP-AGIQA 在评估生成图像质量方面优于现有的 IQA 模型，取得了优异的性能。