MALM：用于缓解大语言模型幻觉的多信息适配器
人工智能
2025-06-17 v1 计算与语言
摘要
大语言模型（LLM）容易出现三种类型的幻觉：输入冲突幻觉、上下文冲突幻觉和事实冲突幻觉。本研究旨在通过利用三者之间的相互依赖关系来缓解不同类型的幻觉。为此，我们提出了大语言模型多信息适配器（MALM）。该框架采用定制化的多图学习方法，旨在阐明原始输入、上下文信息和外部事实知识之间的相互联系，从而在一个统一的框架内缓解三类幻觉。实验在四个基准数据集上进行：HaluEval、TruthfulQA、Natural Questions和TriviaQA。我们从两个方面评估了所提出的框架：（1）在HaluEval和TruthfulQA上对不同基础LLM的适应性，以验证MALM在应用于7种典型LLM时是否有效。MALM相对于LLaMA-2表现出显著提升；（2）通过分别将MALM与三种代表性检索器（BMM25、Spider和DPR）结合，验证了其在检索增强生成（RAG）中的泛化能力。此外，通过自动化和人工评估来证实实验结果的正确性，其中GPT-4和3名人类志愿者判断LLaMA-2与MALM哪个回答更好。结果表明GPT-4和人类分别偏好MALM的占比为79.4%和65.6%。结果验证了通过多层图注意力网络将三类幻觉之间的复杂交互融入LLM生成过程是缓解幻觉的有效方法。所提出的适配器设计在不同基础LLM上也已被证明是灵活且鲁棒的。
引用
@article{arxiv.2506.12483,
title = {MALM: A Multi-Information Adapter for Large Language Models to Mitigate Hallucination},
author = {Ao Jia and Haiming Wu and Guohui Yao and Dawei Song and Songkun Ji and Yazhou Zhang},
journal= {arXiv preprint arXiv:2506.12483},
year = {2025}
}