图像描述生成中的可解释幻觉检测框架：基于概念反事实的HalCECE
计算机视觉与模式识别
2025-08-04 v2 人工智能
摘要
在人工智能的动态发展背景下，探索视觉语言(VL)模型中幻觉现象的研究日益成为关键前沿。本工作深入分析了广泛使用的图像描述生成器所表现出的幻觉现象，揭示了有趣的模式。具体而言，我们借助概念反事实解释技术来处理VL幻觉问题。所采用的概念反事实骨架具有确定性和高效性，能够建议由层次化知识驱动的语义最小编辑，从而以黑盒方式完成从幻觉描述到非幻觉描述的转换。我们提出的HalCECE幻觉检测框架具有高度可解释性，除了提供独立数值外，还能提供语义上有意义的编辑；幻觉概念的层次化分解促进了对幻觉现象的全面分析。本工作的另一项新颖之处在于探讨角色幻觉，是首次涉及视觉概念之间相互关联性的幻觉检测研究。总体而言，HalCECE为VL幻觉检测这一关键领域提供了可解释的方向，从而促进了对当前及未来VL系统的可信评估。
引用
@article{arxiv.2503.00436,
title = {HalCECE: A Framework for Explainable Hallucination Detection through Conceptual Counterfactuals in Image Captioning},
author = {Maria Lymperaiou and Giorgos Filandrianos and Angeliki Dimitriou and Athanasios Voulodimos and Giorgos Stamou},
journal= {arXiv preprint arXiv:2503.00436},
year = {2025}
}