AIGI-Holmes：通过多模态大语言模型实现可解释且通用的 AI 生成图像检测

AI 生成内容（AIGC）技术的快速发展导致高度逼真的 AI 生成图像（AIGI）被用于散布虚假信息，威胁公共信息安全。虽然现有的 AIGI 检测技术通常有效，但面临两个问题：1）缺乏可供人类验证的解释；2）在最新生成技术方面缺乏泛化能力。为此，我们引入了一个大规模且全面的数据集 Holmes-Set，其中包括 Holmes-SFTSet——一个包含图像是否为 AI 生成解释的指令调优数据集，以及 Holmes-DPOSet——一个人类对齐的偏好数据集。我们的工作引入一种高效的数据标注方法，称为 Multi-Expert Jury，通过结构化 MLLM 解释来增强数据生成，并通过跨模型评估、专家缺陷过滤和人类偏好修改实现质量控制。此外，我们提出了 Holmes Pipeline——一个严格设计的三阶段训练框架，包括视觉专家预训练、监督式微调和直接偏好优化。Holmes Pipeline 将多模态大语言模型（MLLM）适用于 AIGI 检测，同时生成可供人类验证和人类对齐的解释，最终得到我们的模型 AIGI-Holmes。在推理阶段，我们引入一种协同解码策略，将模型对视觉专家的感知与 MLLM 的语义推理相结合，进一步增强了泛化能力。在三个基准上的大量实验验证了 AIGI-Holmes 的有效性。