基于指令调优的人工智能生成图像质量评估
计算机视觉与模式识别
2025-02-04 v2
摘要
人工智能生成内容（AIGC）近年来迅速发展，其中基于人工智能的图像生成因其高效和富有想象力的图像创建能力而广受关注。然而，AI生成图像（AIGIs）可能不满足人类偏好，因其独特的失真特性，这凸显了理解和评估人类偏好对AIGIs的必要性。为此，本文首先构建了一个新型AIGIs图像质量评估（IQA）数据库，称为AIGCIQA2023+，该数据库提供人类视觉偏好评分以及来自三个角度（包括质量、真实性和对应性）的详细偏好解释。然后，基于构建的AIGCIQA2023+数据库，本文提出了MINT-IQA模型，用于从多角度评估和解释人类对AIGIs的视觉偏好。具体而言，MINT-IQA模型首先学习和评估来自多角度的人类偏好，然后通过视觉-语言指令调优策略，MINT-IQA获得对AIGIs的人类视觉偏好强大的理解和解释能力，可用于反馈进一步提高评估能力。大量实验结果表明，所提出的MINT-IQA模型在理解和评估人类视觉偏好方面实现了领先性能，而提出的模型在传统IQA任务上也与领先的IQA模型取得了竞争成绩。AIGCIQA2023+数据库和MINT-IQA模型已提供访问：https://github.com/IntMeGroup/MINT-IQA。
引用
@article{arxiv.2405.07346,
title = {Quality Assessment for AI Generated Images with Instruction Tuning},
author = {Jiarui Wang and Huiyu Duan and Guangtao Zhai and Xiongkuo Min},
journal= {arXiv preprint arXiv:2405.07346},
year = {2025}
}