基于任务特定提示和多粒度相似性的人工智能生成图像质量评估
计算机视觉与模式识别
2024-11-26 v1
摘要
最近，由给定提示（初始提示）创建的人工智能生成图像（AIGI）引起了广泛关注。然而，由于技术不熟练，这些图像常常存在感知质量差和文本图像错位问题。因此，评估AIGI的感知质量和对齐质量至关重要，以提高生成模型的性能。现有的评估方法过度依赖于初始提示中的任务提示设计，并使用相同的提示来指导感知和对齐质量评估，忽视了两者之间的区别。为解决这一局限性，我们提出了一种名为TSP-MGS的新型AIGI质量评估方法，该方法设计了任务特定提示并衡量AIGI与提示之间的多粒度相似性。具体而言，首先构建任务特定提示分别描述感知和对齐质量程度，并引入初始提示用于细致的质量感知。然后，计算AIGI与任务特定提示之间的粗粒度相似性，以实现整体质量意识。此外，为提高对AIGI细节的理解，测量图像与初始提示之间的细粒度相似性。最后通过集成多粒度相似性获得精确的质量预测。在常用的AGIQA-1K和AGIQA-3K基准测试上的实验表明，所提出的TSP-MGS具有优越性。
引用
@article{arxiv.2411.16087,
title = {AI-Generated Image Quality Assessment Based on Task-Specific Prompt and Multi-Granularity Similarity},
author = {Jili Xia and Lihuo He and Fei Gao and Kaifan Zhang and Leida Li and Xinbo Gao},
journal= {arXiv preprint arXiv:2411.16087},
year = {2024}
}