用于检索增强生成的去幻觉并行上下文扩展
计算与语言
2024-12-20 v1 人工智能
摘要
尽管集成了检索增强生成（RAG），大型语言模型（LLM）仍容易生成幻觉信息。并行上下文扩展（PCE）是一系列研究旨在有效整合并行（无序）上下文的方法，但在适用于RAG情境时仍存在幻觉问题。本文提出了DePaC（Dehallucinating Parallel Context Extension），通过上下文感知的负面训练和信息校准的聚合来缓解幻觉问题。DePaC旨在缓解两种类型的上下文幻觉：事实捏造（即LLM提出的主张不受上下文支持）和事实遗漏（即LLM未呈现可被上下文支持的主张）。具体而言，对于事实捏造，我们应用上下文感知的负面训练，通过负面监督微调LLM，从而显式地引导LLM在上下文与问题无关时拒绝作答；对于事实遗漏，我们提出了信息校准的聚合方法，优先选择其上下文窗口在上下文方面具有更高信息增量的上下文。基于九个RAG任务的实验结果表明，DePaC显著缓解了这两种类型的幻觉，并在这些任务上 consistently 实现更好的性能。
引用
@article{arxiv.2412.14905,
title = {Dehallucinating Parallel Context Extension for Retrieval-Augmented Generation},
author = {Zexiong Ma and Shengnan An and Zeqi Lin and Yanzhen Zou and Jian-Guang Lou and Bing Xie},
journal= {arXiv preprint arXiv:2412.14905},
year = {2024}
}