中文

INSIGHT:面向生成性人工智能图像推理的可解释神经视觉-语言框架

计算机视觉与模式识别 2025-12-01 v1

摘要

最近 GAN 和扩散模型生成的 AI 生成图像的逼真度不断提升,加剧了对视觉媒体可靠性的担忧。尽管深度伪造检测领域取得了显著进展,但当前的 forensic 系统在实际条件下(如严重降采样、压缩和跨域分布偏移)仍显下降。此外,大多数检测器作为黑箱分类器运行,为何将图像标记为合成几乎没有提供解释,削弱了信任,阻碍了在高风险场景中的采纳。我们提出了 INSIGHT(Interpretable Neural Semantic and Image-based Generative-forensic Hallucination Tracing),一个用于鲁棒检测和透明解释 AI 生成图像的统一多模态框架,即使在极低分辨率(16x16 - 64x64)下也能实现。INSIGHT 结合了分层超分辨率以放大细微 forensic 线索而不引入误导性 artifact,Grad-CAM 驱动的多尺度局部化揭示表明哪些空间区域与生成模式相关,并利用 CLIP 指导的语义对齐将视觉异常映射到人类可解释描述。随后,使用结构化 ReAct + Chain-of-Thought 协议驱动视觉-语言模型,产生一致且细致的解释,通过双阶段 G-Eval + LLM-as-a-judge 管道验证,以最小化幻觉并确保事实性。在动物、车辆和抽象合成场景等多个领域,INSIGHT 在极端退化条件下显著提升了检测鲁棒性和解释质量,超越了先前的检测器和黑箱 VLM 框架。我们的结果凸显了一条通向透明、可靠 AI 生成图像 forensics 的实用路径,确立了 INSIGHT 作为可信多模态内容验证的重要一步。

关键词

引用

@article{arxiv.2511.22351,
  title  = {INSIGHT: An Interpretable Neural Vision-Language Framework for Reasoning of Generative Artifacts},
  author = {Anshul Bagaria},
  journal= {arXiv preprint arXiv:2511.22351},
  year   = {2025}
}

备注

36 pages, 17 figures