HIME：通过幻觉不敏感模型编辑缓解LVLMs中的对象幻觉
计算机视觉与模式识别
2026-02-24 v1
摘要
大型视觉语言模型（Large Vision-Language Model，简称LVM）已展示出惊人的多模态理解能力，但仍容易出现对象幻觉，即模型描述不存在的对象或归因于错误的事实信息，这引发了对可靠实际部署的严重关切。虽然微调是常采用的缓解措施，但其高计算成本和实际难度动员了需要训练无替代方案的方向，其中模型编辑最近涌现出作为有前景的方向。然而，无差别编辑风险在干扰预训练LVMs中所编码的丰富隐式知识，引出一个根本性问题：在抑制幻觉的同时保护预训练知识，每层需要施加多少干预？为解决此问题，我们对基于三个广泛使用的大型语言模型 backbone——Qwen、LLaMA和Vicuna——构建的LVM解码器进行了系统性分析，揭示了对对象幻觉不敏感性在不同层之间存在明显差异。基于这些见解，我们提出幻觉不敏感得分（Hallucination Insensitivity Score，简称HIS），是一个原则性的度量标准，用于量化每层对幻觉的不敏感性，并为针对性干预提供指导。利用HIS，我们提出幻觉不敏感模型编辑（Hallucination Insensitivity Model Editing，简称HIME），一种简单而有效的层自适应权重编辑方法，通过选择性修改潜在特征来抑制幻觉，同时保留预训练知识。广泛的实验表明，HIME在包括CHAIR、MME和GPT-4V辅助评估在内的开放式生成基准测试中平均降低了61.8%的幻觉，不引入额外参数、推理时延或计算开销。
引用
@article{arxiv.2602.18711,
title = {HIME: Mitigating Object Hallucinations in LVLMs via Hallucination Insensitivity Model Editing},
author = {Ahmed Akl and Abdelwahed Khamis and Ali Cheraghian and Zhe Wang and Sara Khalifa and Kewen Wang},
journal= {arXiv preprint arXiv:2602.18711},
year = {2026}
}