生成式检索增强大语言模型归因偏差的评估
计算与语言
2025-07-15 v2
摘要
对答案来源文件进行归因化是检索增强生成 (RAG) 中提高模型输出可验证性的一种方法。先前的研究主要致力于改进和评估大语言模型 (LLM) 在RAG中的归因质量，但可能以牺牲归因偏差为代价。我们定义并考察了RAG管道中评估LLM的两个方面，即归因灵敏度和对作者信息的偏差。我们显式地向LLM提供源文档的作者信息，指示其进行答案归因，并分析(i) LLM输出对源文档作者的敏感性，以及(ii) LLM是否对人类编写或AI生成的源文档表现出偏差。我们设计了实验设置，通过反事实评估研究三个LLM在归因灵敏度和偏差方面的表现。我们的结果表明，添加作者信息到源文档后，LLM归因质量可因3%至18%而显著变化。此外，我们展示了LLM对显式人类作者存在归因偏差，这为先前研究表明LLM生成内容可能被优先于人类编写内容的发现提供了竞争性假设。我们的发现表明，源文档的元数据可以影响LLM的信任程度以及其答案的归因方式。Furthermore, our research highlights attribution bias and sensitivity as a novel aspect of brittleness in LLMs.
引用
@article{arxiv.2410.12380,
title = {Evaluation of Attribution Bias in Generator-Aware Retrieval-Augmented Large Language Models},
author = {Amin Abolghasemi and Leif Azzopardi and Seyyed Hadi Hashemi and Maarten de Rijke and Suzan Verberne},
journal= {arXiv preprint arXiv:2410.12380},
year = {2025}
}
备注
Accepted at ACL 2025 (Findings)