通过句子级早期干预缓解对象幻觉
计算机视觉与模式识别
2026-05-25 v3
摘要
多模态大语言模型(MLLMs)已彻底革新了跨模态理解,但持续面临幻觉问题——即生成的内容与视觉输入矛盾。现有幻觉缓解方法要么计算成本高昂,要么在训练数据与模型输出之间引入分布不匹配。我们识别出一个关键洞察:幻觉主要在文本生成的早期阶段出现,并通过后续输出进行传播。为此,我们提出SENTINEL( Sentence-level Early iNtervention Through IN-domain prEference Learning),一个无需人工标注的框架。具体而言,我们首先通过迭代抽样模型输出、使用两个开放词汇检测器验证对象存在性、并将句子分类为幻觉/非幻觉类别来引导高质量领域内偏好对。随后,我们使用具有上下文一致性的正样本和幻觉负样本构建上下文感知偏好数据。最后,我们使用强调幻觉初始显现处句子水平的上下文感知偏好损失(C-DPO)进行模型训练。实验结果表明,SENTINEL 可将幻觉率降低90%以上,并在幻觉基准测试和通用能力基准测试中超越前沿方法,展示了其优势和泛化能力。模型、数据集和代码已在 https://github.com/pspdada/SENTINEL 提供。
引用
@article{arxiv.2507.12455,
title = {Mitigating Object Hallucinations via Sentence-Level Early Intervention},
author = {Shangpin Peng and Senqiao Yang and Li Jiang and Zhuotao Tian},
journal= {arXiv preprint arXiv:2507.12455},
year = {2026}
}