解构并缓解检索增强型大语言模型中的检索器不一致性

尽管检索增强型大语言模型（Retrieval-Augmented Large Language Models, RALMs）在事实性方面显示出优势，但它们在与原始无检索语言模型（LMs）的表现一致性方面并不占据上风。我们的实验表明，这种基于实例的性能不一致性不仅存在于检索增强模型与无检索模型之间，也存在于不同的检索器之间。为理解这一现象，我们调查了 RALMs 的退化行为，并将其理论性地分为四类。进一步的分析表明，知识来源的内在差异以及读者模型的不可预测退化是造成不一致性的主要原因。基于我们的分析，我们引入了检索器集合（Ensemble of Retrievers, EoR），一个可适应性地从不同知识来源检索并有效降低不可预测读者错误的可训练框架。我们的实验在开放域问答任务上表明，EoR 通过显著减少不一致行为，显著优于单一检索器的 RALM。