归因于上下文：基于 Jensen-Shannon 散度的检索增强生成中上下文归因机制性研究
计算与语言
2026-02-12 v5 人工智能
机器学习
摘要
检索增强生成（RAG）利用大语言模型（LLM）结合外部上下文来增强生成响应的准确性和可靠性。然而，由于当前方法计算密集，往往需要大量微调或人工标注， reliably attributing generated content to specific context segments（即上下文归因）仍然具有挑战性。本文引入一种基于 Jensen-Shannon 散度的方法，用于将响应归因于上下文（ARC-JSD），实现对关键上下文句子的高效且准确的识别，而无需额外微调、梯度计算或代理模型。评估在包括 TyDi QA、Hotpot QA 和 Musique 在内的广泛 RAG 基准测试中进行，使用不同规模的指令调优 LLM，结果显示相较于前一种基于代理的方法，ARC-JSD 在准确率和计算效率方面均表现出优势。此外，我们的机制性分析揭示了负责上下文归因的特定注意力头和多层感知器（MLP）层，这为理解 RAG 模型内部工作机制及其如何影响 RAG 行为提供了宝贵见解。我们的代码已公开于 https://github.com/ruizheliUOA/ARC_JSD。
引用
@article{arxiv.2505.16415,
title = {Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation},
author = {Ruizhe Li and Chen Chen and Yuchen Hu and Yanjun Gao and Xi Wang and Emine Yilmaz},
journal= {arXiv preprint arXiv:2505.16415},
year = {2026}
}
备注
Accepted at ICLR 2026; Best Paper Award at COLM 2025 XLLM-Reason-Plan Workshop; Accepted at NeurIPS 2025 Mechanistic Interpretability Workshop