HEIE：基于 MLLM 的层次化可解释 AIGC 图像不真实评估器
计算机视觉与模式识别
2025-06-02 v2 人工智能
摘要
AIGC 图像在各类领域广泛存在，但常因质量问题（如细节缺失、不自然纹理）而受到批评。既有的专用模型旨在预测缺陷区域热图，但面临两个主要挑战：（1）缺乏可解释性，无法为细微缺陷提供原因分析；（2）无法利用常识与逻辑推理，导致泛化能力差。多模态大语言模型（MLLM）有望提供更好的理解与推理能力，但自身也面临：（1）难以捕获细粒度缺陷定位；（2）受限于像素级输出，难以生成精确热图。为此，我们提出 HEIE：一种新型基于 MLLM 的层次化可解释图像不真实评估器。我们引入 CoT 驱动的可解释三元评估器，整合热图、评分与解释输出，并通过 CoT 将复杂任务分解为难度递增的子任务，从而提升可解释性。我们的自适应层次化不真实映射器融合低层图像特征与 LLM 中的高层映射标记，实现从局部到全局的层次化热图预测。我们还构建了一个新数据集：Expl-AIGI-Eval，旨在促进 AIGC 图像的可解释性不真实评估。我们的 метод在大量实验中实现了最先进的性能。项目网址为 https://yfthu.github.io/HEIE/。
引用
@article{arxiv.2411.17261,
title = {HEIE: MLLM-Based Hierarchical Explainable AIGC Image Implausibility Evaluator},
author = {Fan Yang and Ru Zhen and Jianing Wang and Yanhao Zhang and Haoxiang Chen and Haonan Lu and Sicheng Zhao and Guiguang Ding},
journal= {arXiv preprint arXiv:2411.17261},
year = {2025}
}
备注
Accepted by CVPR 2025