从RAG到丰富参数：探究语言模型如何利用外部知识而非参数信息处理事实查询
计算与语言
2024-06-19 v1 人工智能
摘要
检索增强生成（RAG）通过利用外部上下文来增强对给定用户提示的响应，从而丰富了语言模型的推理能力。由于在搜索、问答和聊天机器人等语言模型的各种实际应用中得到应用，这种方法已变得流行。然而，这种方法的确切工作机制尚不明确。在本文中，我们从机制上审视RAG流水线，以强调语言模型会走捷径，并强烈偏向于仅利用上下文信息来回答问题，而极少依赖其参数记忆。我们通过以下方式探究语言模型中的这种机制行为：(i) 因果中介分析，表明在回答问题时参数记忆被最小化利用；(ii) 注意力贡献与消融，表明最后一个token的残差流并未从问题中的主体token得到丰富，而是从上下文中的其他信息性token得到丰富。我们发现这种显著的捷径行为在LLaMa和Phi系列模型中均成立。
引用
@article{arxiv.2406.12824,
title = {From RAGs to rich parameters: Probing how language models utilize external knowledge over parametric information for factual queries},
author = {Hitesh Wadhwa and Rahul Seetharaman and Somyaa Aggarwal and Reshmi Ghosh and Samyadeep Basu and Soundararajan Srinivasan and Wenlong Zhao and Shreyas Chaudhari and Ehsan Aghazadeh},
journal= {arXiv preprint arXiv:2406.12824},
year = {2024}
}