DRAGged into Conflicts：检索增强型大语言模型中冲突源的检测与处理
计算与语言
2025-06-17 v2 人工智能
机器学习
摘要
检索增强生成（RAG）是一种常用方法，用于通过相关且最新的信息增强大语言模型（LLM）。然而，检索到的来源常常包含冲突信息，目前尚不清楚模型应如何处理此类差异。在本工作中，我们首先提出了RAG中知识冲突类型的新分类体系，以及每种类型所需的模型行为。然后我们引入了CONFLICTS，一个高质量的基准，包含在真实RAG场景中专家标注的冲突类型。CONFLICTS是首个能够追踪模型如何处理广泛知识冲突的基准。我们在该基准上进行了广泛实验，结果表明LLM在适当解决来源之间的冲突方面往往存在困难。虽然提示LLM明确推理检索文档中潜在冲突显著改善了其回答的质量和适当性，但未来研究仍有大幅改进的空间。
引用
@article{arxiv.2506.08500,
title = {DRAGged into Conflicts: Detecting and Addressing Conflicting Sources in Search-Augmented LLMs},
author = {Arie Cattan and Alon Jacovi and Ori Ram and Jonathan Herzig and Roee Aharoni and Sasha Goldshtein and Eran Ofek and Idan Szpektor and Avi Caciularu},
journal= {arXiv preprint arXiv:2506.08500},
year = {2025}
}