PCQA: 基于提示条件的AIGC质量评估强基线

大型语言模型（LLM）和扩散模型的发展带来了人工智能生成内容（AIGC）的繁荣。建立一个有效的质量评估框架，以基于AIGC技术对不同图像或视频进行可量化的评估至关重要。AIGC方法生成的内容由精心设计的提示驱动。因此，直观上，提示也可以作为AIGC质量评估的基础。本研究提出了一种有效的AIGC质量评估（QA）框架。首先，我们提出了一种基于双源CLIP（对比语言-图像预训练）文本编码器的混合提示编码方法，以理解和响应提示条件。其次，我们提出了一种基于集成的特征混合器模块，以有效融合适配的提示和视觉特征。在两个数据集上的实证研究实践：AIGIQA-20K（AI生成图像质量评估数据库）和T2VQA-DB（文本到视频质量评估数据库），验证了我们提出的方法：基于提示条件的质量评估（PCQA）的有效性。我们提出的简单可行的框架可能促进多模态生成领域的研究发展。